L-AI hija Affidabbli? [Vidjo u Kwiżż]

Tweġiba qasira: L-AI mhijiex affidabbli bħala karatteristika: tiddependi fuq il-kompitu, il-linja ta' rkupru, u bniedem li għadu fuq il-ganċ. Il-ħin ta' attività huwa jekk l-endpoint wieġebx; il-verità hija jekk it-tweġiba kinitx hekk. Użaha meta żball ikun irħis jew jista' jinqabad; naqqas ir-ritmu meta żball ikun jiswa ħafna flus.

Punti ewlenin:

Responsabbiltà: Semmi min jirrevedi, min jista' jwaqqfu, u min hu responsabbli.

Trasparenza: Spezzjona l-biċċa rkuprata, inkella għadek mifhum/a.

Awditabilità: Irreġistra l-prompts, il-biċċiet irkuprati, u l-bgħit sabiex in-nuqqasijiet ikunu jistgħu jiġu traċċati.

Reżistenza għall-użu ħażin: Falliment magħluq fuq kwistjonijiet ta' flus; qatt ma tivvinta numri, twieqi, jew politika.

Riżultati illustrattivi: Ittratta test illustrattiv ta' 20 mistoqsija bħala mappa, mhux prova ta' 95%.

Artikoli li forsi tixtieq taqra wara dan:

🔗 Kif tuża l-IA fil-ħajja ta’ kuljum
Skopri modi prattiċi kif l-IA tista’ tissimplifika l-kompiti u r-rutini ta’ kuljum.

🔗 Kif tuża l-AI fuq il-post tax-xogħol
Tgħallem modi prattiċi biex ittejjeb il-produttività u l-effiċjenza bl-AI.

🔗 Tista' l-IA taħseb waħedha?
Esplora jekk l-intelliġenza artifiċjali tistax tassew taħseb b'mod indipendenti u tirraġuna.

🔗 X'inhuma t-tipi ta' IA?
Ifhem it-tipi ewlenin ta' IA, il-kapaċitajiet, u d-differenzi ewlenin.

Xi tfisser "affidabbli" anke meta l-magna hija pappagall statistiku

L-affidabbiltà, fid-diskors ta' kuljum, tfisser li tista' tiddependi fuq xi ħaġa.

B'awtomazzjoni li titkellem, munzell ta' proprjetajiet differenti jinħbew taħt kelma waħda. Fattwalità. Konsistenza. Kalibrazzjoni - jekk il-kunfidenza tal-mudell taqbilx maċ-ċans li jkun korrett, jew jekk sempliċement... tinstema' ċerta. Sigurtà. Ħin ta' tħaddim. Sensittività fil-pront. Imġieba f'każijiet estremi. Imġieba wara bidla fid-distribuzzjoni, meta d-dinja diretta ma tkunx id-dinja tat-taħriġ. L-ebda waħda minn dawn ma tfalli flimkien. Dik hija l-parti li n-nies jaqbżuha.

Chatbot jista’ jkun “attiv” il-ġimgħa kollha u xorta jkun żbaljat nhar ta’ Tlieta wara nofsinhar. Kopilota tal-kodifikazzjoni jista’ jkun tajjeb f’boilerplate u mbagħad jimmaġina API li tidher eżattament bħal dik ġenwina. Il-metafora li n-nies ifittxu hija “kollega junior”. Hija waħda imperfetta - dawk junior jistħu – iżda hija eqreb minn “oracle”.

It-test live huwa affidabbli għal xiex, għal min, b'liema ċiklu madwaru. Inkella tkun qed tivvaluta blender fuq jekk jistax jagħmel it-taxxi.

Il-ħin ta' tħaddim mhuwiex verita' - żewġ tipi differenti ta' "affidabbiltà"

In-nies tal-Ops u n-nies tal-verità jużaw l-istess kelma u jitkellmu mingħajr ma jgħidu x-xulxin.

Il-ħin ta' tħaddim huwa "l-endpoint wieġeb". Il-verità hija "kienet it-tweġiba hekk". Il-governanza jimpurtaha mit-tnejn, u r-riskju tal-mudell jinsab fid-distakk ikrah. Tista' jkollok servizz li qatt ma jteptep u xorta jibgħat gidba fluwenti f'ticket tal-klijent. Affidabbli fis-sens SRE. Mhux affidabbli fis-sens "jekk jogħġbok tivvintax politika ta' rifużjoni".

Naħseb li dan huwa ovvju miktub. Mhux ovvju fl-4pm meta t-tweġiba tkun mgħaġġla u l-kju jkun mostruż. Il-veloċità tħossha bħal kompetenza. Il-moderazzjoni kienet tfisser li xi ħadd kien qed jaħseb. Issa l-veloċità hija s-sinjal li ħadd ma qed jaħseb.

Is-sigurtà hija assi ieħor. Mudell li jirrifjuta jailbreak ħażin huwa "affidabbli" b'mod ta' evalwazzjoni tas-sigurtà u xorta jista' jħassar sommarju tan-noti tiegħek stess.

Li titkellem b'mod fluwenti u żbaljat huwa agħar minn dak li tkun goff u dirett

Din hija l-problema tal-kunfidenza, u hija dik li tigdem.

Il-preċiżjoni u l-fluwenza ddivorzjaw u l-fluwenza żammet id-dar. LLM jagħtik ritmu, billi jfittex fil-postijiet it-tajba, forsi forma ta’ ċitazzjoni falza iżda sabiħa. Moħħok jaqra "din il-persuna taf". Ħlief li mhijiex persuna, u l-kalibrazzjoni ħafna drabi tkun terribbli - kunfidenza għolja, verità medjokri, mogħtija bħal diskors ewlieni.

Tweġiba ħażina u goffa ġġiegħlek tissuspetta. Tweġiba ħażina fluwenti ġġiegħlek tieqaf tiċċekkja. Dik mhix differenza żgħira; hija l-istorja kollha f'sentenza waħda kemxejn kerha.

Il-preġudizzju jinsab hemm ukoll, mhux dejjem bħala insult, iżda aktar bħala default dwar min hemm fil-kamra u liema togħma tal-Ingliż tgħodd bħala newtrali. In-nies jiġu mqarrqa għax il-lingwa hija l-eqdem interfaċċja ta’ fiduċja tagħna. Jekk titkellem bħal brief, nittrattawha bħal brief. Nibqa’ nixtieq inkun aktar ċiniku dwar dan. Imbagħad naqra sommarju ċar u spallejja jaqgħu. Meta nidħol f’laqgħa, is-sommarju jidher lest. Dik is-sentenza qed tagħmel wisq xogħol, u xorta waħda: hekk tidħol in-nota żbaljata.

Affidabbiltà skont is-sitwazzjoni, mhux skont il-marka

Il-marki huma distrazzjoni. It-tqabbil li jiswa huwa x-xogħol. Dawk li jargumentaw se jargumentaw ma’ xulxin. Dan huwa tajjeb.

Xorta waħda. Jekk l-għodda favorita tiegħek hija kapaċi tikteb abbozzi u taqbad lilek innifsek titlobha għal kumdità legali f'nofsillejl, dik mhix titjib. Dik hija l-mappa li tgħid li tlaqt minnha.

Alluċinazzjonijiet, drift, u t-tip kwiet ta’ ħażin

L-alluċinazzjoni tikseb l-aħbarijiet għax hija pikkanti: ktieb li ma jeżistix, funzjoni li qatt ma ntbagħtet, klawżola ta’ politika b’numru li jħoss uffiċjali.

Id-drift huwa inqas ċinematiku. Id-dinja tiċċaqlaq. Il-fdalijiet tal-mudell jibqgħu. Tistaqsi mistoqsija li kellha bżonn kuntest ġdid u tikseb tweġiba organizzata sew minn temp preċedenti. Kważi ktibt "minn era oħra" hemmhekk, li hija l-esagerazzjoni li tistieden dan is-suġġett. Mhijiex era oħra. Mhijiex issa biss.

L-iżball kwiet huwa dak li jimpurtani l-aktar. Sommarju li jneħħi l-eċċezzjoni. Parafrażi li ttejjeb "forsi" f'"must". Il-fattwalità tista' tkun "teknikament tajba" filwaqt li t-tifsira tkun niżlet.

Sensittività fil-pront tagħmel dan agħar. Ibdel l-imballaġġ u l-"fatti" jiddu. Staqsi bħala xettiku, ikseb kawżi. Staqsi bħala imgħallem mgħaġġel, ikseb dikjarazzjonijiet esaġerati malajr. Jekk l-evalwazzjoni tiegħek tuża kostum wieħed biss, l-evalwazzjoni tiegħek hija daqsxejn gidba. Skużani.

Il-jailbreaks jinsabu fuq il-limitu, u ma rridx film dwar serqiet. Jekk sistema tista' tiġi konvinta biex tabbanduna l-manjieri tagħha, l-affidabbiltà mhix biss dwar il-verità; hija dwar jekk il-guardrails humiex linja jew poster.

Fdalijiet ta' taħriġ, għarfien mhux aġġornat, u għaliex l-grounding mhuwiex bastun maġiku

Mudelli ġenerattivi huma mħarrġa fuq munzell, imbagħad ippuntati lejn it-Tlieta tiegħek. L-irkupru huwa t-tentattiv adult li jwaħħal il-preżent ma' dak il-munzell. L-ertjar ifisser "tweġiba minn dan, mhux miċ-ċpar". Meta jfalli, ifalli b'edukazzjoni.

Falliment klassiku: min jirkupra jġib dokument li kważi seħħ. Il-ġeneratur jikteb fuqu b'kalma sħiħa. Tara oġġett b'forma ta' sors u l-istint ta' verifika tiegħek jieqaf. Jien nagħmel dan. Probabbilment int tagħmel dan. L-idea taċ-ċitazzjoni hija tajba; l-implimentazzjoni hija tajba daqs kemm hi tajba s-suċċess.

Għarfien mhux aġġornat huwa t-tnixxija l-oħra. Xi kompiti jeħtieġu stat ħaj - prezzijiet, inventarju, il-kliem attwali ta' politika. Xi wħud jeħtieġu sengħa stabbli, bħal kif tistruttura memo. Ħallat dawn u tikseb tweġiba ċerta ħafna dwar dinja li diġà mxiet. Bidla fid-distribuzzjoni hija l-isem adult: id-distribuzzjoni ħajja mhijiex id-distribuzzjoni tat-taħriġ, u l-każijiet tar-riskju jgħixu fid-distakk.

Ħaġa oħra, imsemmija b'sing mhux f'postu għax hekk jidhru n-noti tiegħi: l-grounding huwa art - mhux halo. Jekk ma tistax tispezzjona l-blokka rkuprata, xorta għadek fiċ-ċpar, sempliċement b'dawl aħjar.

Teatru tal-evalwazzjoni: għaliex dimostrazzjoni hija test terribbli

Id-demos huma ħfief. Il-parametri referenzjarji huma daqsxejn aktar sinċieri, u xorta mhux xogħolek.

Prompt nadif u kompitu li l-mudella rat elf kuġin tagħha - ovvjament tidher preċiża. Evalwazzjoni li tkejjel biss dak li qed tkejjel dramm fuq il-palk. Il-flussi tax-xogħol diretti għandhom pejst imħabbel, fajls neqsin, u utent li jaċċetta l-ewwel tweġiba li tnaqqas l-ansjetà tiegħu.

Il-parametri referenzjarji huma importanti. Sempliċement ma jivvjaġġawx tajjeb daqs kemm jippretendu l-gverti. Punteġġ ta' leaderboard mhuwiex kalibrazzjoni fuq il-biljetti tiegħek. Ir-riskju tal-mudell f'kumpanija huwa "x'jiġri meta dan ikun żbaljat fil-volum", mhux "għadda minn sett ta' trivia". It-testijiet li għandek bżonn huma xotti: ibqa' ġewwa l-passaġġ irkuprat; immarka l-inċertezza minflok ma tibbluffa; ibqa' konsistenti meta terġa' tifformula; fall magħluq (irrifjuta, staqsi, iddeferixxi) minflok fall miftuħ (ivvinta).

Rajt nies jittrattaw tlestija waħda impressjonanti bħala prova. Dan huwa bħal li tiddeċiedi li ristorant huwa "affidabbli" għax l-istarter kien sabiħ. Forsi hu. Forsi l-kċina kellha għaxar minuti tajbin.

Kontradizzjoni żgħira li ġejja: Għadni nuża demos biex nieħu idea. Sempliċement ma nimpjegax is-sensazzjoni.

L-IA hija Affidabbli? Biss jekk xi ħadd għadu responsabbli

"Human-in-the-loop" huwa l-uniku disinn li jaqbel mal-modi ta' falliment.

Jekk ħadd ma jkun responsabbli, is-sistema tintuża bħallikieku kienet. Governanza hija l-isem mhux attraenti għal "min jirrevedi, min jista' jwaqqfu, x'jiġi rreġistrat, x'jiġri wara li jkun hemm xi żball". L-aġenti jagħmlu dan aktar preċiż għax jieħdu azzjonijiet, mhux biss paragrafi. Abbozz li ma bgħattx huwa rħis. Sejħa għal għodda li ma kellekx f'moħħok mhijiex.

Semmi min hu responsabbli. Jekk it-tweġiba hija "l-mudella", m'għandekx tweġiba. Il-mudelli ma jmorrux għal-laqgħa wara l-inċident. Persuna tmur, jew persuna oħra tmur u mbagħad avukat.

Agħżel il-verifiki li jaqblu mar-raġġ tal-isplużjoni. Reviżjoni fil-livell ta' spellcheck għal post soċjali. Verifika tas-sors għal kull ħaġa li tiddikjara fatt. Professjonist għal kull ħaġa li għandha x'taqsam mal- mediċina, il-liġi, il-kreditu, operazzjonijiet kritiċi għas-sigurtà. Għal dawk, il-bniedem mhuwiex "fil-linja". Il-bniedem huwa l-linja. Il-mudell huwa stub. Dak mhux xettiċiżmu bħala personalità. Dak huwa l-gosti.

Bħalissa l-moda hi li taħbi ċ-ċekk wara buttuna tleqq ta' tibgħat. Illum il-ġurnata hekk tawtomatizza aċċidentalment xnigħat. Dan l-aħħar kont iktar xott dwar dan, u x-xogħol tjieb.

Kif tistaqsi sabiex taqbad is-sinjorina

Tista' tinterroga dawn is-sistemi mingħajr ma ssir dubji professjonali dwar id-dawl tax-xemx.

• Itlob l-inċertezza apposta. "X'jista' jagħmel dan ħażin?" jegħleb "agħmilha kunfidenti".

• Aqsam l-irkupru mill-ġenerazzjoni meta tkun tista'. Ħares lejn il-passaġġi l-ewwel. Imbagħad itlob ir-rapport.

• Ibdel il-kostum. Erġa’ fformula. Staqsih biex jargumenta l-oppost. Is-sensittività fil-pront hija bħal torċa jekk tużaha b’dak il-mod.

• Restrizzjonijiet tal-forza: "mit-test li waħħalt biss", "jekk nieqes, għid nieqes". Il-mudelli huma sorprendentament ubbidjenti għal dan... sakemm ma jibqgħux. Iċċekkja xorta waħda.

• Ippreferi kompiti b'verifikatur. Kompilaturi, linters, kontrolli tal-iskema, it-tieni par għajnejn. L-affidabbiltà tħobb grader.

• Oqgħod attent għall-indikazzjoni: speċifiċità żejda. Figura li tidher preċiża, każ imsemmi, klawżola numerata pulita - hemmhekk l-alluċinazzjoni tħobb tilbes.

• Żomm il-pass uman viżibbli. Jekk l-UI taħbi ċ-ċekk, in-nies jaqbżu ċ-ċekk. Dik hija għamara, mhux nuqqas morali.

Xejn minn dan ma jagħmel il-mudell "veru". Jagħmel il-linja inqas credula. Li, naħseb, huwa l-prodott.

Fejn il-mappa tħallik

Mela. Il-mistoqsija ta' iva/le taħdem biss bħala bieb.

L-AI hija Affidabbli? Mhux bħala karatteristika. Bħala proprjetà ta' kompitu, sett ta' dejta, ċiklu ta' rkupru, evalwazzjoni li mhijiex demo, u bniedem li xorta jrid ifisserha. Il-fluwenza se tibqa' tqarraq bina għax aħna annimali tal-lingwa u dawn is-sistemi huma magni tal-lingwa. Il-ħin ta' tħaddim se jibqa' jitħawwad mal-verità għax it-tnejn iħossu li "ħadem". Il-kopiloti se jibqgħu jaqilgħu l-għajxien tagħhom fin-nofs imħabbel - abbozzi, sommarji li tista' tgħaddi minn fuqhom, kodiċi li tista' tikkumpila - u mhux siguri meta nħallu l-ġudizzju lil paragrafu li ma jimpurtahx.

Użahom fejn l-iżball ikun irħis jew jista' jinqabad. Naqqas ir-ritmu fejn l-iżball ikun jiswa ħafna flus. Din hija t-tweġiba diretta, u tiswa aktar minn slogan.

Jekk tieħu ħaġa waħda: tieqaf tistaqsi lill-mudell jekk hux ċert. Ara x'jiġri meta tistaqsih kif jista' jkun żbaljat. Imbagħad mur iċċekkja.

Eżempju tad-dinja reali: Il-bini ta' assistent tal-IA b'politika ta' sħubija

Xenarju

Priya tmexxi l-għarfien għal Harbour Membership, korp kummerċjali tar-Renju Unit ta’ 70 persuna għal gyms indipendenti. Tliet persuni jwieġbu l-mistoqsijiet tal-membri. Is-sors tal-verità huwa manwal ta’ 180 paġna, aġġornat kull tliet xhur, flimkien ma’ PDFs qodma f’drive kondiviż li ħadd m’għandu l-qalb li jħassar.

It-tmexxija diġà xtrat kopilota tal-helpdesk. Id-demo kienet sabiħa. Il-ħin ta' attività kien tajjeb. Fit-tieni ġimgħa, abbozz fluwenti jgħid lil membru li jista' jiffriża għal 14-il jum u jieħu rifużjoni sħiħa "bħala standard". Dik mhix il-politika. L-aġent induna biha għax xorta jiftaħ il-manwal meta jkun hemm il-flus involuti. Il-mistoqsija tat-tmexxija, mibgħuta bħallikieku kienet iva jew le, hija: l-AI hija affidabbli?

Priya tirrifjuta l-verdett. Hija tittrattaha bħala mappa. Ix-xogħol mhuwiex "tagħti oraklu lill-membri". Huwa "tabbozza tweġiba mill-manwal attwali, turi l-passaġġ, u tagħlaq meta l-passaġġ ikun nieqes". Jekk il-kopilota ma jistax jagħmel dan, huwa ġugarell tal-abbozzar, mhux skrivanija tal-politika.

Dak li jeħtieġ l-assistent

• Il-manwal ta' April 2026 bħala l-uniku korpus permess, bin-numri tas-sezzjonijiet intatti

• Il-PDF antik tal-2023 li tħalla fid-drajv apposta, sabiex ikunu jistgħu jaraw jekk l-irkupru jaqbadx il-kważi-inċident

• Regola bil-miktub: l-ebda dejta personali tal-klijent fl-għodod tal-konsumatur; l-ebda tibgħat mingħajr bniedem; l-ebda invenzjoni ta' numri, twieqi, jew klawżoli "bħala standard"

• Permess biex jiġu rreġistrati prompts, chunks irkuprati, u l-aħħar tibgħat

• Sid imsemmi (Priya) li se jiskorja sett ta' test u jwaqqaf il-kopilota jekk ifalli, magħluq agħar minn meta titfa' munita fuq mistoqsijiet dwar flus

• Jekk l-għodda tappoġġja l-irkupru, il-biċċa rkuprata trid tkun viżibbli ħdejn l-abbozz. Jekk ma tagħmilx dan, huma jwaħħlu s-sezzjoni bl-idejn. L-art mingħajr passaġġ li jista' jiġi spezzjonat xorta hija ċpar.

Eżempju ta' istruzzjoni

Priya tpoġġi dan f'lingwaġġ ordinarju, mhux f'xi mument ta' dramm teatrali:

Wieġeb biss mill-passaġġi tal-manwal ta' April 2026 li ngħatajt. Ikkwota n-numru tas-sezzjoni. Jekk it-tweġiba mhix f'dawk il-passaġġi, għid "mhux fil-manwal attwali" u waqqaf. Tivvintax twieqi ta' ffriżar, regoli ta' rifużjoni, jew tariffi. Taġġornax "fid-diskrezzjoni tal-ġinnasju" għal "bħala standard". Jekk żewġ passaġġi jkunu f'kunflitt, urihom it-tnejn u għid liema minnhom huwa attwali. Qed tabbozza għal bniedem li jiftaħ is-sors qabel ma xi ħaġa tmur għand membru.

Imbagħad iżżomm it-tieni istruzzjoni għaliha nfisha, għax il-punt tal-artiklu huwa l-linja, mhux il-mudell:

Qabel ma tibgħat, iftaħ is-sezzjoni ċċitata. Staqsi "x'jagħmel dan ħażin?" Jekk l-abbozz fih numru li mhux fil-passaġġ, irrifjutah. Jekk nistaqsi bħal imgħallem mgħaġġel, erġa' staqsi bħal xettiku u qabbel.

Abbozz tajjeb jidher hekk: "Mhux fil-manwal attwali (April 2026, taqsima 4.2). L-iffriżar huwa fid-diskrezzjoni tal-ġinnasju. Ir-rifużjonijiet mhumiex awtomatiċi. Eskala." Abbozz ħażin jidher hekk: "Il-membri jistgħu jiffriżaw għal 14-il jum u jirċievu rifużjoni sħiħa bħala standard. Ikkonfermat fil-manwal." L-istess ton. Waħda minn dawn biss hija politika.

Kif tittestjah

Priya tikteb 20 mistoqsija qabel ma tħares lejn kwalunkwe output tal-kopilota. Dik l-ordni hija importanti. Demo hija dawl. Dan huwa t-test niexef.

Is-sett mhuwiex trivia. Huwa l-iskrivanija diretta:

• Tmien mistoqsijiet li t-tweġibiet tagħhom jinsabu f'taqsima waħda kurrenti (dawk faċli)

• Erba’ każijiet fejn kważi seħħew xi ħaġa, fejn il-PDF tal-2023 huwa aktar qrib fil-kliem mit-test ta’ April

• Tliet mistoqsijiet "mhux fil-manwal" (tilwim dwar il-kontijiet, kwistjoni medika "dan it-taħriġ huwa sikur", bidla fil-kuntratt kwistjoni legali)

• Tliet mistoqsijiet dwar il-flus (iffriżar, rifużjoni, ħlas ta' sħubija)

• Żewġ mistoqsijiet għall-membri ordinarji (ħinijiet tal-ftuħ, assigurazzjoni tat-trejner)

Tnejn minn dawk l-għoxrin ġew mistoqsija mill-ġdid ukoll b'kostum ieħor, darba bħala boxx mgħaġġel u darba bħala xettiku, bħala verifika tas-sensittività fil-pront. Dawk il-mistoqsijiet mill-ġdid ġew irreġistrati, mhux inklużi fil-punteġġ tal-20 mistoqsija.

Rubrika, immarkata minn Priya bil-manwal miftuħ: pass jeħtieġ ir-regola kurrenti t-tajba, numru ta' sezzjoni reali, u l-ebda klawżola ivvintata żejda. Falliment kwiet hija sentenza teknikament tajba li waqqgħet l-eċċezzjoni jew biddlet forsi f'obbligu. Falliment miftuħ huwa numru ivvintat jew PDF kważi miet trattat bħala kurrenti. Il-ħin ta' attività jingħadd separatament, għaliex "wieġeb" mhuwiex "kien hekk".

Aċċettazzjoni li wieħed imur lil hinn: fuq kwistjonijiet ta' flus, fail closed minflok fail open. Jekk il-kopilota jivvinta tieqa ta' rifużjoni, ma jagħżilx biljetti ħajjin. Jekk ħadd ma jiftaħ is-sors, lanqas ma jagħżilx biljetti ħajjin.

Riżultat

Riżultat illustrattiv, minn test ivvintat ta' 20 mistoqsija, mhux ċifra ppubblikata tas-Sħubija fil-Harbour.

Suppożizzjonijiet: kopilota wieħed tal-helpdesk; il-manwal ta' April 2026 flimkien mal-PDF tal-2023 li fadal; Priya kisbet punteġġ kontra r-rubrika ta' hawn fuq; il-ħin kien kronometru tat-telefon mill-mistoqsija mwaħħla sa "Nibgħat dan"; il-ħin tar-reviżjoni huwa inkluż fil-kundizzjoni loop u eskluż f'dik mhux ivverifikata, apposta, sabiex it-tqabbil jibqa' ugwali.

Kopilota mhux verifikat, prompt stil demo: 20 minn 20 mistoqsija rċevew tweġiba fluwenti (il-ħin ta' tħaddim deher perfett). 11 minn 20 laħqu r-rubrika. Ħamsa kienu fallimenti kwieti. Erbgħa kienu fallimenti miftuħa, inkluż l-iffriżar ta' 14-il jum. Tnejn mill-erba' fallimenti miftuħa semmew biċċa forma ta' sors mill-PDF tal-2023. Il-ħin medjan għal abbozz li jidher li jista' jintbagħat kien ta' minuta.

L-istess 20 mistoqsija, struzzjoni ristretta, biċċa miksuba viżibbli: 15 minn 20 kienu kompletament korretti mit-test ta' April. Tlieta qalu b'mod korrett "mhux fil-manwal attwali" (il-punti mediċi u legali, flimkien ma' tilwima waħda dwar il-kontijiet), għalhekk 18 minn 20 kienu aċċettabbli. Tnejn xorta fallew: wieħed kiteb permezz tal-PDF tal-2023 li kważi ntlaħaq, u wieħed ivvinta ċifra ta' ħlas ta' sħubija li ma kinitx fil-passaġġ. Il-ħin medjan għall-abbozzar kien għadu madwar minuta.

L-istess 20, flimkien ma’ Priya li fetħet is-sezzjoni ċċitata qabel ma bgħat simulat: 19 minn 20 kienu jkunu aċċettabbli. Hija qabdet il-PDF li kważi ma rnexxiex. L-iżball li fadal kien li r-reviżur qara paragrafu fluwenti u ma ndunax biċ-ċifra ivvintata tal-ħlas tas-sħubija. Il-ħin medjan, inkluża r-reviżjoni, kien ta’ 3 minuti.

Proċess antik, tfittxija fil-manwal biss, mingħajr kopilota: 20 minn 20 aċċettabbli. Medjan 9 minuti.

F'dan il-kampjun, il-kopilota looped kien 6 minuti aktar mgħaġġel mit-tfittxija tal-manwal (9 nieqes 3), jew 120 minuta fuq 20 mistoqsija, b'19 minn 20 aċċettabbli minflok 20 minn 20. Il-kopilota mhux verifikat kien 8 minuti aktar mgħaġġel (9 nieqes 1) u żbaljat, bil-kwiet jew bil-leħen għoli, fuq 9 minn 20. Dak mhuwiex iffrankar ta' ħin ta' 67% li tpoġġi f'pakkett tal-istering. Hija tnixxija ta' 9 żbalji li kont awtomatizza.

Il-verżjonijiet mgħaġġla tal-imgħallem taż-żewġ mistoqsijiet ripetuti t-tnejn qablu. Il-verżjonijiet xettiċi evitaw. L-istess mudell, l-istess manwal, kostum differenti. Priya rreġistrat dan bħala sejba, mhux bħala personalità.

Dawn iċ-ċifri huma stima ta' eżempju bbażata fuq it-test iddikjarat, sett żgħir, biljetti li kienu aktar faċli minn membru rrabjat, u reviżur wieħed li diġà kien jaf il-ktieb. Ma jurux li l-kopilota huwa "95% affidabbli", jew li Harbour għandu jneħħi persuna fuq l-iskrivanija. Juru li l-ħin ta' attività ma kienx il-kwistjoni, u li l-verifika kienet.

X'jista' jmur ħażin

• It-tmexxija tikkwota l-ħin tal-abbozzar ta' minuta u taqbeż id-9 żbalji. Il-veloċità għadha tħossha bħala kompetenza fl-4pm.

• Il-PDF tal-2023 jibqa' fl-indiċi. Retrieval jibqa' jġibu. Grounding jidher matur u għadu kważi suċċess.

• L-UI taħbi l-blokka rkuprata wara buttuna tleqq ta' tibgħat. In-nies jieqfu jiftħu l-manwal, u dan huwa l-mod kif it-tweġiba ffriżata tasal għand membru.

• Priya tagħti punteġġ biss lit-tmien mistoqsijiet faċli għax jidhru isbaħ fuq slide. Teatru tal-evalwazzjoni, sempliċement b'spreadsheet.

• Tweġiba medika li tgħix fil-qosor dwar "dan it-taħriġ hu sikur" tista' tidher qisha sommarju. Il-mappa kważi qalet qatt. It-ton qal "kompli".

• Il-logs huma mitfija għax "ħassejt li kien żejjed". Wara li xi passaġġ ma jkunx validu, ħadd ma jista' jara liema passaġġ ġie rkuprat.

• Huma jistaqsu lill-mudell jekk hux ċert. Iva, hu. Dik qatt ma kienet it-test.

Konklużjoni prattika

L-affidabbiltà mhijiex karatteristika tal-kopilota li xtara Harbour. Hija proprjetà ta' 20 mistoqsija, manwal aġġornat, passaġġ viżibbli, u persuna li xorta tiftaħ is-sors meta jkun hemm il-flus involuti. Il-fluwenza se tibqa' tgħaddi mit-test tal-ħin ta' tħaddim. Il-linja hija l-unika ħaġa li tgħaddi mit-test tal-politika.

Mistoqsijiet Frekwenti

Xi tfisser affidabbli għall-AI ġenerattiva?

L-affidabbiltà ta' kuljum tfisser li tista' tiddependi fuq xi ħaġa. B'awtomazzjoni li titkellem, grupp sħiħ ta' proprjetajiet jinħeba taħt kelma waħda: fattwalità, konsistenza, kalibrazzjoni, sigurtà, ħin ta' tħaddim, sensittività fil-pront, każijiet ta' limitu, u mġiba wara bidla fid-distribuzzjoni. L-ebda waħda minn dawn ma tfalli flimkien. It-test live huwa affidabbli fuq xiex, għal min, b'liema ċirku madwaru. Inkella tkun qed tivvaluta blender fuq jekk jistax jagħmel it-taxxi.

L-AI hija Affidabbli?

Mhux bħala karatteristika. LLM jista' jkun sod ħafna f'xogħol wieħed u kwiet barra minn postu f'dak ta' wara, xi kultant fl-istess seduta, xi kultant għax iċċaqlaq virgola. L-affidabbiltà hija proprjetà ta' kompitu, sett ta' dejta, ċiklu ta' rkupru, evalwazzjoni li mhijiex demo, u bniedem li xorta jrid ikun sinċier. Użaha fejn żball ikun irħis jew jista' jinqabad. Naqqas ir-ritmu fejn żball ikun jiswa ħafna flus.

Il-ħin ta' tħaddim tal-AI huwa l-istess bħall-verità?

Le. Il-ħin ta' tħaddim huwa jekk l-endpoint wieġebx. Il-verità hija jekk it-tweġiba kinitx hekk. Tista' jkollok servizz li qatt ma jteptep u xorta tibgħat gidba fluwenti f'ticket tal-klijent. Il-veloċità tħossha bħal kompetenza meta l-kju jkun monstruż. Is-sigurtà hija assi ieħor: mudell li jirrifjuta jailbreak xorta jista' jħassar sommarju tan-noti tiegħek stess.

Għaliex l-AI fluwenti tħossha ta' min jafdaha anke meta tkun żbaljata?

L-eżattezza u l-fluwenza ddivorzjaw, u l-fluwenza żammet id-dar. LLM jagħtik ritmu, hedging, forsi forma ta’ ċitazzjoni falza iżda sabiħa, u moħħok jaqra "din il-persuna taf." Il-kalibrazzjoni ħafna drabi tkun terribbli: kunfidenza għolja, verità medjokri, mogħtija bħal diskors ewlieni. Tweġiba ħażina goffa ġġiegħlek suspettuż. Tweġiba ħażina fluwenti ġġiegħlek tieqaf tiċċekkja. Jekk titkellem bħal brief, nittrattawha bħal brief, u hekk tidħol in-nuqqas.

L-AI hija affidabbli għal xogħol mediku, legali, jew ta' appoġġ għall-klijenti?

Jiddependi mix-xogħol, mhux mill-marka. Parir mediku u legali kważi qatt ma jkun tajjeb biżżejjed bħala prodott: il-mudell huwa stub u l-bniedem huwa l-professjonist. L-appoġġ għall-klijenti jista' jabbozza fi ħdan polza stretta, iżda persuna għandha tkun responsabbli għall-flus li tibgħat u tafda, għax polza ivvintata u le edukat ħażin huma l-falliment tas-soltu. Abbozzi u sommarji huma l-ewwel pass fuq test li diġà taf. Iċċekkja l-ismijiet, in-numri, u l-linja li tista' tweġġa'.

Għaliex l-AI għandha alluċinazzjonijiet, titbiegħed, jew tiżbalja bil-kwiet?

L-alluċinazzjoni hija l-iżball pikkanti: ktieb li ma jeżistix, funzjoni li qatt ma ntbagħtet, klawżola ta' politika b'numru li jħossha uffiċjali. Id-drift huwa inqas ċinematiku: id-dinja tiċċaqlaq, il-fdal tal-mudell jibqa', u tikseb tweġiba organizzata sew minn temp preċedenti. Żball kwiet huwa sommarju li jwaqqa' l-eċċezzjoni. Jew parafrażi li ttejjeb forsi f'obbligu. Il-fattwalità tista' tidher teknikament tajba filwaqt li t-tifsira tkun niżlet. Sensittività fil-pront tagħmel il-fatti jiddu meta tbiddel l-imballaġġ.

L-ertjar jew l-irkupru jagħmlu l-AI affidabbli?

L-ertjar ifisser tweġiba minn dan, mhux miċ-ċpar. L-irkupru jitfa’ l-preżent fuq munzell imħarreġ. Meta jfalli, ifalli b’edukazzjoni: dokument li kważi seħħ, kitba miktuba, u l-istint tal-iċċekkjar tiegħek jintemm. L-ertjar huwa art, mhux halo. Jekk ma tistax tispezzjona l-biċċa rkuprata, xorta għadek fiċ-ċpar, biss b’dawl aħjar. Ħallat kompiti ta’ stat ħaj bħal prezzijiet jew kliem tal-politika ma’ sengħa stabbli, u tikseb tweġiba żgura ħafna dwar dinja li diġà mxiet.

Għaliex demo hija test ħażin tal-affidabbiltà tal-AI?

Prompt nadif u kompitu li l-mudell ra elf kuġin tiegħu se jidhru preċiżi. Il-flussi tax-xogħol ħajjin għandhom pejst imħabbel, fajls neqsin, u utent li jaċċetta l-ewwel tweġiba li tnaqqas l-ansjetà tiegħu. Punteġġ ta' leaderboard mhuwiex kalibrazzjoni fuq it-tickets tiegħek. Ir-riskju tal-mudell huwa x'jiġri meta dan ikun żbaljat fil-volum, mhux jekk għaddiex minn sett ta' trivia. It-testijiet li għandek bżonn huma niexfa: ibqa' ġewwa l-passaġġ irkuprat, immarka l-inċertezza minflok ma tibbluffa, ibqa' konsistenti meta terġa' tifformula, u tfalli fl-għeluq minflok ma tivvinta.

L-AI hija affidabbli jekk ħadd ma jkun responsabbli?

Le. Jekk ħadd ma jkun responsabbli, is-sistema tintuża bħallikieku kienet. Human-in-the-loop huwa l-uniku disinn li jaqbel mal-modi ta' falliment: min jirrevedi, min jista' jwaqqfu, x'jiġi rreġistrat, x'jiġri wara li jkun hemm xi falliment. Jekk it-tweġiba hija "l-mudell," m'għandekx tweġiba. Il-mudelli ma jmorrux għal-laqgħa wara l-inċident. Għall-mediċina, il-liġi, il-kreditu, jew operazzjonijiet kritiċi għas-sigurtà, il-bniedem huwa l-linja u l-mudell huwa stub.

Kif nista' nħeġġeġ lill-AI sabiex naqbad l-iżbalji?

Staqsi għall-inċertezza apposta: "X'jagħmel dan ħażin?" jegħleb "agħmilha kunfidenti." Aqsam l-irkupru mill-ġenerazzjoni meta tista'. Ħares lejn il-passaġġi l-ewwel, imbagħad itlob il-kitba. Ibdel il-kostum: ifformula mill-ġdid, jew itlobha targumenta l-oppost. Forza restrizzjonijiet bħal "biss mit-test li waħħalt" jew "jekk nieqes, għid nieqes," u xorta ċċekkja. Ippreferi kompiti b'verifikatur, u oqgħod attent għal speċifiċità żejda, għax hemmhekk l-alluċinazzjoni tħobb tilbes.

Referenzi

1. NIST - nvlpubs.nist.gov

2. NIST - airc.nist.gov

3. NIST - airc.nist.gov

4. ICO - ico.org.uk

5. NCSC - www.ncsc.gov.uk

6. NCSC - www.ncsc.gov.uk

7. OWASP - genai.owasp.org

Sib l-Aħħar AI fil-Ħanut Uffiċjali tal-Assistent tal-AI

Dwarna