X'inhuma l-Mudelli ta' Fondazzjoni fl-AI Ġenerattiva?

X'inhuma l-Mudelli ta' Fondazzjoni fl-AI Ġenerattiva?

Tweġiba qasira: Il-mudelli ta' pedamenti huma mudelli tal-IA kbar u ta' skop ġenerali mħarrġa fuq settijiet ta' dejta vasti u wesgħin, imbagħad adattati għal ħafna impjiegi (kitba, tiftix, kodifikazzjoni, immaġni) permezz ta' prompting, irfinar, għodod, jew irkupru. Jekk teħtieġ tweġibiet affidabbli, għaqqadhom ma' bażi (bħal RAG), restrizzjonijiet ċari, u kontrolli, aktar milli tħallihom jimprovizzaw.

Punti ewlenin:

Definizzjoni : Mudell bażi wieħed imħarreġ b'mod wiesa' li jerġa' jintuża f'ħafna kompiti, mhux kompitu wieħed għal kull mudell.

Adattament : Uża tħeġġiġ, irfinar, LoRA/adapters, RAG, u għodod biex tiggwida l-imġiba.

Tajbin ġenerattiv : Huma jagħtu s-saħħa lill-ġenerazzjoni ta' kontenut ta' test, immaġni, awdjo, kodiċi, u multimodali.

Sinjali ta' kwalità : Agħti prijorità lill-kontrollabbiltà, inqas alluċinazzjonijiet, kapaċità multimodali, u inferenza effiċjenti.

Kontrolli tar-riskju : Ippjana għal alluċinazzjonijiet, preġudizzju, tnixxija tal-privatezza, u injezzjoni fil-pront permezz ta' governanza u ttestjar.

X'inhuma l-Mudelli ta' Fondazzjoni fl-AI Ġenerattiva? Infografika

Artikoli li forsi tixtieq taqra wara dan:

🔗 X'inhi kumpanija tal-AI
Ifhem kif il-kumpaniji tal-AI jibnu prodotti, timijiet, u mudelli ta' dħul.

🔗 Kif jidher il-kodiċi tal-AI
Ara eżempji ta' kodiċi tal-AI, minn mudelli Python għal APIs.

🔗 X'inhu algoritmu tal-IA
Tgħallem x'inhuma l-algoritmi tal-AI u kif jieħdu deċiżjonijiet.

🔗 X'inhi t-teknoloġija tal-AI
Esplora t-teknoloġiji ewlenin tal-AI li jagħtu s-saħħa lill-awtomazzjoni, l-analitika, u l-apps intelliġenti.

1) Mudelli ta' pedamenti - definizzjoni mingħajr ċpar 🧠

Mudell ta' fondazzjoni huwa mudell tal-IA kbir u ta' skop ġenerali mħarreġ fuq dejta wiesgħa (ġeneralment tunnellati minnha) sabiex ikun jista' jiġi adattat għal ħafna kompiti, mhux wieħed biss ( NIST , Stanford CRFM ).

Minflok ma nibnu mudell separat għal:

  • kitba ta' emails

  • tweġib ta' mistoqsijiet

  • sommarju tal-PDFs

  • ġenerazzjoni ta' immaġnijiet

  • klassifikazzjoni tal-biljetti ta' appoġġ

  • traduzzjoni tal-lingwi

  • nagħmlu suġġerimenti dwar il-kodiċi

...tħarreġ mudell bażi wieħed kbir li "jitgħallem id-dinja" b'mod statistiku mhux ċar, imbagħad tadattah għal impjiegi speċifiċi b'prompts, irfinar, jew għodod miżjuda ( Bommasani et al., 2021 ).

Fi kliem ieħor: huwa magna ġenerali li tista' tmexxi.

U iva, il-kelma prinċipali hija “ġenerali.” Dak hu s-sigriet kollu.

2) X'inhuma l-Mudelli ta' Fondazzjoni fl-AI Ġenerattiva? (Kif jaqblu speċifikament) 🎨📝

Allura, x'inhuma l-Mudelli ta' Fondazzjoni fl-AI Ġenerattiva? Dawn huma l-mudelli sottostanti li jagħtu s-saħħa lil sistemi li jistgħu jiġġeneraw kontenut ġdid - test, immaġni, awdjo, kodiċi, vidjow, u dejjem aktar... taħlitiet ta' dawn kollha ( NIST , NIST Generative AI Profile ).

L-AI Ġenerattiva mhix biss dwar it-tbassir ta' tikketti bħal "spam / mhux spam." Hija dwar il-produzzjoni ta' outputs li jidhru qishom saru minn persuna.

  • paragrafi

  • poeżiji

  • deskrizzjonijiet tal-prodotti

  • illustrazzjonijiet

  • melodiji

  • prototipi tal-app

  • vuċijiet sintetiċi

  • u xi kultant bla sens b'kunfidenza mhux plawżibbli 🙃

Il-mudelli tal-pedament huma partikolarment tajbin hawnhekk għaliex:

  • assorbew xejriet wesgħin minn settijiet ta' dejta enormi ( Bommasani et al., 2021 )

  • jistgħu jiġġeneralizzaw għal prompts ġodda (anke dawk mhux tas-soltu) ( Brown et al., 2020 )

  • jistgħu jiġu riutilizzati għal għexieren ta' outputs mingħajr ma jkollhom bżonn taħriġ mill-ġdid mill-bidu ( Bommasani et al., 2021 )

Huma s-“saff bażi” - bħall-għaġina tal-ħobż. Tista’ taħmiha f’baguette, pizza, jew cinnamon rolls… mhux metafora perfetta, imma tifhmuni 😄

3) Għaliex biddlu kollox (u għaliex in-nies mhux se jieqfu jitkellmu dwarhom) 🚀

Qabel il-mudelli fundamentali, ħafna mill-AI kienet speċifika għall-kompitu:

  • taħriġ ta' mudell għall-analiżi tas-sentiment

  • ħarreġ lil ieħor għat-traduzzjoni

  • ħarreġ lil ieħor għall-klassifikazzjoni tal-immaġni

  • ħarreġ lil ieħor għar-rikonoxximent ta' entità msemmija

Dak ħadem, imma kien bil-mod, għali, u tip ta’… fraġli.

Il-mudelli tal-fondazzjoni qalbuha:

Dak l-użu mill-ġdid huwa l-multiplikatur. Il-kumpaniji jistgħu jibnu 20 karatteristika fuq familja waħda ta’ mudelli, minflok ma jivvintaw ir-rota mill-ġdid 20 darba.

Barra minn hekk, l-esperjenza tal-utent saret aktar naturali:

  • ma "tużax klassifikatur"

  • Titkellem mal-mudella bħallikieku hija kollega tax-xogħol li tgħodd biex tgħinek u li qatt ma torqod ☕🤝

Xi kultant ikun ukoll bħal kollega tax-xogħol li b'kunfidenza jifhem ħażin kollox, imma ara. Tkabbir.

4) L-idea ewlenija: taħriġ minn qabel + adattament 🧩

Kważi l-mudelli kollha tal-pedamenti jsegwu mudell ( Stanford CRFM , NIST ):

Pretaħriġ (il-fażi ta' "assorbiment tal-internet") 📚

Il-mudell huwa mħarreġ fuq settijiet ta' dejta massivi u wesgħin bl-użu ta' tagħlim awtosorveljat ( NIST ). Għal mudelli lingwistiċi, dan ġeneralment ifisser li wieħed ibassar kliem nieqes jew it-token li jmiss ( Devlin et al., 2018 , Brown et al., 2020 ).

Il-punt mhux li ngħallmuh kompitu wieħed. Il-punt hu li ngħallmuh rappreżentazzjonijiet ġenerali :

  • grammatika

  • fatti (tip ta')

  • mudelli ta' raġunament (xi kultant)

  • stili ta' kitba

  • struttura tal-kodiċi

  • intenzjoni umana komuni

Adattament (il-fażi ta’ “agħmilha prattika”) 🛠️

Imbagħad tadattah billi tuża waħda jew aktar minn dawn li ġejjin:

  • tħeġġiġ (istruzzjonijiet f'lingwaġġ sempliċi)

  • irfinar tal-istruzzjonijiet (taħriġ biex isegwi l-istruzzjonijiet) ( Wei et al., 2021 )

  • irfinar (taħriġ fuq id-dejta tad-dominju tiegħek)

  • LoRA / adapters (metodi ta' rfinar ħfief) ( Hu et al., 2021 )

  • RAG (ġenerazzjoni miżjuda bl-irkupru - il-mudell jikkonsulta d-dokumenti tiegħek) ( Lewis et al., 2020 )

  • l-użu tal-għodda (sejħa ta' funzjonijiet, browsing ta' sistemi interni, eċċ.)

Huwa għalhekk li l-istess mudell bażi jista' jikteb xena ta' rumanz... imbagħad jgħin biex jiddebuggja query SQL ħames sekondi wara 😭

5) X'jagħmel verżjoni tajba ta' mudell ta' fondazzjoni? ✅

Din hija t-taqsima li n-nies jaqbżuha, u mbagħad jiddispjaċihom aktar tard.

Mudell ta’ pedament “tajjeb” mhux biss “akbar.” Ikbar jgħin, żgur… imma mhix l-unika ħaġa. Verżjoni tajba ta’ mudell ta’ pedament ġeneralment ikollha:

Ġeneralizzazzjoni qawwija 🧠

Jaħdem tajjeb f'ħafna kompiti mingħajr ma jkun hemm bżonn ta' taħriġ mill-ġdid speċifiku għall-kompitu ( Bommasani et al., 2021 ).

Steering u kontrollabilità 🎛️

Jista' jsegwi b'mod affidabbli struzzjonijiet bħal:

  • "kun konċiż"

  • "uża punti ewlenin"

  • "ikteb b'ton ħbiberija"

  • "tiżvelax informazzjoni kunfidenzjali"

Xi mudelli huma intelliġenti imma jiżolqu. Bħal meta tipprova żżomm sapun fid-doċċa. Jgħinu, imma irregolari 😅

Tendenza baxxa ta' alluċinazzjonijiet (jew għall-inqas inċertezza sinċiera) 🧯

L-ebda mudell mhu immuni għall-alluċinazzjonijiet, iżda dawk tajbin:

Abbiltà multimodali tajba (meta meħtieġ) 🖼️🎧

Jekk qed tibni assistenti li jaqraw immaġni, jinterpretaw mapep, jew jifhmu l-awdjo, il-multimodali huwa importanti ħafna ( Radford et al., 2021 ).

Inferenza effiċjenti ⚡

Il-latenza u l-ispiża huma importanti. Mudell li huwa b'saħħtu iżda bil-mod huwa bħal karozza sportiva b'tajer imniġġes.

Imġieba ta' sigurtà u allinjament 🧩

Mhux biss “tirrifjuta kollox,” imma:

  • evita struzzjonijiet ta’ ħsara

  • tnaqqas il-preġudizzju

  • immaniġġja suġġetti sensittivi b'attenzjoni

  • jirreżisti tentattivi bażiċi ta' jailbreak (xi ftit...) ( NIST AI RMF 1.0 , NIST Generative AI Profile )

Dokumentazzjoni + ekosistema 🌱

Dan jinstema' niexef, imma huwa reali:

  • għodda

  • arnessi tal-evalwazzjoni

  • għażliet ta' skjerament

  • kontrolli tal-intrapriża

  • appoġġ għall-irfinar

Iva, “ekosistema” hija kelma vaga. Jien ukoll nobgħodha. Imma hija importanti.

6) Tabella ta' Paragun - għażliet komuni ta' mudelli ta' pedamenti (u għalxiex huma tajbin) 🧾

Hawn taħt hawn tabella ta' tqabbil prattika u xi ftit imperfetta. Mhijiex "l-unika lista vera," hija aktar bħal: dak li n-nies jagħżlu fis-selvaġġ.

tip ta' għodda / mudell udjenza prezzjuż għaliex jaħdem
LLM Proprjetarju (stil ta' chat) timijiet li jridu veloċità + rfinar ibbażat fuq l-użu / abbonament Segwiment tajjeb ħafna tal-istruzzjonijiet, prestazzjoni ġenerali qawwija, ġeneralment l-aħjar "malli toħroġ mill-kaxxa" 😌
LLM b'piż miftuħ (awto-ospitabbli) bennejja li jridu kontroll spiża tal-infrastruttura (u uġigħ ta' ras) Personalizzabbli, favur il-privatezza, jista' jaħdem lokalment... jekk tħobb tesperimenta f'nofsillejl
Ġeneratur tal-immaġni tad-diffużjoni kreattivi, timijiet tad-disinn minn bla ħlas għal imħallas Sintesi eċċellenti tal-immaġni, varjetà ta' stili, flussi tax-xogħol iterattivi (ukoll: is-swaba' jistgħu jkunu barra) ✋😬 ( Ho et al., 2020 , Rombach et al., 2021 )
Mudell multimodali ta' "viżjoni-lingwa" apps li jaqraw immaġni + test ibbażat fuq l-użu Jippermettilek tistaqsi mistoqsijiet dwar stampi, screenshots, dijagrammi - sorprendentament utli ( Radford et al., 2021 )
Inkorporazzjoni tal-mudell tal-pedament tiftix + sistemi RAG spiża baxxa għal kull sejħa Jibdel it-test f'vetturi għal tiftix semantiku, raggruppament, rakkomandazzjoni - enerġija kwieta tal-MVP ( Karpukhin et al., 2020 , Douze et al., 2024 )
Mudell ta' bażi minn diskors għal test ċentri tat-telefonati, kreaturi ibbażat fuq l-użu / lokali Traskrizzjoni veloċi, appoġġ multilingwi, tajjeb biżżejjed għal awdjo storbjuż (ġeneralment) 🎙️ ( Whisper )
Mudell ta' bażi minn test għal diskors timijiet tal-prodott, midja ibbażat fuq l-użu Ġenerazzjoni naturali tal-vuċi, stili tal-vuċi, narazzjoni - jistgħu jsiru realistiċi ħafna ( Shen et al., 2017 )
LLM iffukat fuq il-kodiċi żviluppaturi ibbażat fuq l-użu / abbonament Aħjar fil-mudelli tal-kodiċi, id-debugging, ir-refactoring... xorta mhux qari tal-moħħ għalkemm 😅

Innota kif "mudell ta' fondazzjoni" ma jfissirx biss "chatbot." L-embeddings u l-mudelli tad-diskors jistgħu jkunu wkoll xi ftit jew wisq ta' fondazzjoni, għax huma wesgħin u jistgħu jerġgħu jintużaw f'diversi kompiti ( Bommasani et al., 2021 , NIST ).

7) Ħarsa aktar mill-qrib: kif jitgħallmu l-mudelli tal-pedament tal-lingwa (il-verżjoni vibe) 🧠🧃

Il-mudelli tal-pedament tal-lingwa (spiss imsejħa LLMs) huma tipikament imħarrġa fuq kollezzjonijiet enormi ta’ test. Jitgħallmu billi jbassru tokens ( Brown et al., 2020 ). Dak hu. L-ebda trab tal-fairy sigriet.

Imma l-maġija hi li t-tbassir tat-tokens iġiegħel lill-mudell jitgħallem l-istruttura ( CSET ):

  • grammatika u sintassi

  • relazzjonijiet tematiċi

  • mudelli simili għal raġunament (xi kultant)

  • sekwenzi komuni ta' ħsieb

  • kif in-nies jispjegaw l-affarijiet, jargumentaw, jiskużaw ruħhom, jinnegozjaw, jgħallmu

Huwa bħal li titgħallem timita miljuni ta’ konversazzjonijiet mingħajr ma “tifhem” il-mod kif jagħmlu l-bnedmin. Li jidher li m’għandux jaħdem… iżda xorta jibqa’ jaħdem.

Esaġerazzjoni żgħira: huwa bażikament bħallikieku qed tikkompressa l-kitba umana f'moħħ probabbilistiku ġgant.
Imma għal darb'oħra, dik il-metafora hija xi ftit misħuta. Imma nimxu 'l quddiem 😄

8) Ħarsa aktar mill-qrib: mudelli ta' diffużjoni (għaliex l-immaġnijiet jaħdmu b'mod differenti) 🎨🌀

Il-mudelli tal-pedament tal-immaġni spiss jużaw ta' diffużjoni ( Ho et al., 2020 , Rombach et al., 2021 ).

L-idea ġenerali:

  1. żid storbju mal-immaġini sakemm ikunu bażikament statiċi tat-TV

  2. ħarreġ mudell biex ireġġa' lura dak l-istorbju pass pass

  3. fil-ħin tal-ġenerazzjoni, ibda bl-istorbju u "neħħi l-istorbju" f'immaġni ggwidata minn prompt ( Ho et al., 2020 )

Huwa għalhekk li l-ġenerazzjoni tal-immaġni tħossha bħallikieku qed "tiżviluppa" ritratt, ħlief li r-ritratt huwa dragun liebes żraben sportivi f'korsija ta' supermarket 🛒🐉

Il-mudelli ta' diffużjoni huma tajbin għaliex:

  • jiġġeneraw viżwali ta’ kwalità għolja

  • jistgħu jiġu ggwidati b'mod qawwi mit-test

  • Huma jappoġġjaw ir-raffinament iterattiv (varjazzjonijiet, inpainting, upscaling) ( Rombach et al., 2021 )

Xi kultant isibuha wkoll diffiċli biex:

  • rendering tat-test ġewwa immaġnijiet

  • dettalji fini tal-anatomija

  • identità konsistenti tal-karattri fix-xeni kollha (qed titjieb, imma xorta)

9) Ħarsa aktar mill-qrib: mudelli ta' pedamenti multimodali (test + immaġni + awdjo) 👀🎧📝

Il-mudelli ta' pedament multimodali għandhom l-għan li jifhmu u jiġġeneraw diversi tipi ta' dejta:

Għaliex dan huwa importanti fil-ħajja reali:

  • L-appoġġ għall-klijenti jista' jinterpreta l-iskrins

  • L-għodod tal-aċċessibbiltà jistgħu jiddeskrivu immaġnijiet

  • L-apps edukattivi jistgħu jispjegaw id-dijagrammi

  • il-kreaturi jistgħu jerġgħu jħalltu l-formati malajr

  • L-għodod tan-negozju jistgħu "jaqraw" screenshot tad-dashboard u jagħmlu sommarju tiegħu

Fil-qalba tagħhom, sistemi multimodali spiss jallinjaw ir-rappreżentazzjonijiet:

  • ibdel immaġni f'inkorporazzjonijiet

  • ibdel it-test f'inkorporazzjonijiet

  • tgħallem spazju kondiviż fejn “qattus” jaqbel mal-pixels tal-qattus 😺 ( Radford et al., 2021 )

Mhuwiex dejjem eleganti. Kultant ikun meħjut flimkien bħal kutri. Imma jaħdem.

10) Irfinar vs prompting vs RAG (kif tadatta l-mudell bażi) 🧰

Jekk qed tipprova tagħmel mudell ta' bażi prattiku għal qasam speċifiku (legali, mediku, servizz tal-konsumatur, għarfien intern), għandek ftit lievi:

Tħeġġiġ 🗣️

L-aktar veloċi u sempliċi.

  • vantaġġi: taħriġ żero, iterazzjoni immedjata

  • żvantaġġi: jista' jkun inkonsistenti, limiti tal-kuntest, fraġilità fil-pront

Irfinar 🎯

Ħarreġ il-mudell aktar fuq l-eżempji tiegħek.

  • vantaġġi: imġieba aktar konsistenti, lingwaġġ tad-dominju aħjar, jista' jnaqqas it-tul tal-prompt

  • żvantaġġi: spiża, rekwiżiti tal-kwalità tad-dejta, riskju ta' overfitting, manutenzjoni

Irfinar ħafif (LoRA / adapters) 🧩

Verżjoni aktar effiċjenti ta' rfinar ( Hu et al., 2021 ).

  • vantaġġi: irħas, modulari, aktar faċli biex jinbidel

  • żvantaġġi: għad jeħtieġ sensiela ta' taħriġ u evalwazzjoni

RAG (ġenerazzjoni miżjuda bl-irkupru) 🔎

Il-mudell jiġbor dokumenti rilevanti mill-bażi tal-għarfien tiegħek u jwieġeb billi jużahom ( Lewis et al., 2020 ).

  • vantaġġi: għarfien aġġornat, ċitazzjonijiet internament (jekk timplimentah), inqas taħriġ mill-ġdid

  • żvantaġġi: il-kwalità tal-irkupru tista' tiddetermina jekk hux se jirnexxi jew ma jirnexxix, teħtieġ tqassim tajjeb + embeddings

Veru: ħafna sistemi ta’ suċċess jikkombinaw il-prompting + RAG. L-irfinar huwa qawwi, iżda mhux dejjem neċessarju. In-nies jaqbżu għalih malajr wisq għax jinstema’ impressjonanti 😅

11) Riskji, limiti, u t-taqsima “jekk jogħġbok tużax dan bl-addoċċ” 🧯😬

Il-mudelli ta' pedamenti huma qawwija, iżda mhumiex stabbli bħas-softwer tradizzjonali. Huma aktar bħal... intern talentuż bi problema ta' kunfidenza.

Limitazzjonijiet ewlenin li wieħed għandu jippjana għalihom:

Alluċinazzjonijiet 🌀

Il-mudelli jistgħu jivvintaw:

  • sorsi foloz

  • fatti mhux korretti

  • passi plawżibbli iżda żbaljati ( Ji et al., 2023 )

Mitigazzjonijiet:

  • RAG b'kuntest ibbażat fuq l-art ( Lewis et al., 2020 )

  • outputs ristretti (skemi, sejħiet ta' għodda)

  • istruzzjoni espliċita ta' "taħsebx"

  • saffi ta' verifika (regoli, verifiki inkroċjati, reviżjoni umana)

Preġudizzju u mudelli ta' ħsara ⚠️

Peress li d-dejta tat-taħriġ tirrifletti l-bnedmin, tista' tikseb:

Mitigazzjonijiet:

Privatezza u tnixxija tad-dejta 🔒

Jekk iddaħħal dejta kunfidenzjali f'endpoint ta' mudell, trid tkun taf:

  • kif jinħażen

  • jekk jintużax għat-taħriġ

  • liema qtugħ tas-siġar jeżisti

  • liema kontrolli teħtieġ l-organizzazzjoni tiegħek ( NIST AI RMF 1.0 )

Mitigazzjonijiet:

Injezzjoni fil-pront (speċjalment b'RAG) 🕳️

Jekk il-mudell jaqra test mhux fdat, dak it-test jista' jipprova jimmanipulah:

Mitigazzjonijiet:

Mhux qed nipprova nbeżżgħek. Biss... aħjar tkun taf fejn qed iħossu l-art.

12) Kif tagħżel mudell ta' fondazzjoni għall-każ ta' użu tiegħek 🎛️

Jekk qed tagħżel mudell ta' pedament (jew qed tibni fuq wieħed), ibda b'dawn il-mistoqsijiet:

Iddefinixxi x'qed tiġġenera 🧾

  • test biss

  • immaġini

  • awdjo

  • multimodali mħallta

Issettja l-livell tal-fattwalità tiegħek 📌

Jekk teħtieġ preċiżjoni għolja (finanzi, saħħa, legali, sigurtà):

Iddeċiedi l-mira tal-latenza tiegħek ⚡

Iċ-chat huwa immedjat. Is-sommarju tal-lott jista' jkun aktar bil-mod.
Jekk teħtieġ rispons immedjat, id-daqs tal-mudell u l-hosting huma importanti.

Il-privatezza u l-ħtiġijiet ta' konformità tal-mappa 🔐

Xi timijiet jeħtieġu:

Bilanċ fil-baġit - u paċenzja mal-operazzjonijiet 😅

L-awto-hosting jagħti kontroll iżda jżid il-kumplessità.
L-APIs immaniġġjati huma faċli iżda jistgħu jkunu għaljin u inqas personalizzabbli.

Suġġeriment żgħir u prattiku: agħmel prototip b'xi ħaġa faċli l-ewwel, imbagħad saħħaħha aktar tard. Li tibda bis-setup "perfett" ġeneralment inaqqas ir-ritmu ta' kollox.

13) X'inhuma l-Mudelli ta' Fondazzjoni fl-AI Ġenerattiva? (Il-mudell mentali veloċi) 🧠✨

Ejjew nerġgħu lura. X'inhuma l-Mudelli ta' Fondazzjoni fl-AI Ġenerattiva?

Dawn huma:

Mhumiex arkitettura jew marka waħda. Huma kategorija ta' mudelli li jaġixxu bħal pjattaforma.

Mudell ta' pedament huwa inqas bħal kalkulatur u aktar bħal kċina. Tista' ssajjar ħafna ikliet fih. Tista' wkoll taħraq il-ħobż mixwi jekk ma tkunx qed tagħti kas... imma l-kċina xorta waħda hija pjuttost utli 🍳🔥

14) Sommarju u konklużjoni ✅🙂

Il-mudelli ta' pedamenti huma l-magni li jistgħu jerġgħu jintużaw tal-AI ġenerattiva. Huma mħarrġa b'mod wiesa', imbagħad adattati għal kompiti speċifiċi permezz ta' prompting, irfinar, u rkupru ( NIST , Stanford CRFM ). Jistgħu jkunu tal-għaġeb, diżordinati, qawwija, u xi kultant redikoli - kollox f'daqqa.

Sommarju:

Jekk qed tibni xi ħaġa b'AI ġenerattiva, il-fehim tal-mudelli tal-pedamenti mhuwiex fakultattiv. Huwa l-art kollha li fuqha tinsab il-bini... u iva, xi kultant l-art titriegħed ftit 😅

Mistoqsijiet Frekwenti

Mudelli ta' pedamenti, fi kliem sempliċi

Mudell ta' bażi huwa mudell tal-IA kbir u ta' skop ġenerali mħarreġ fuq dejta wiesgħa sabiex ikun jista' jerġa' jintuża għal ħafna kompiti. Minflok ma tibni mudell wieħed għal kull xogħol, tibda b'mudell "bażi" b'saħħtu u tadattah kif meħtieġ. Dak l-adattament ħafna drabi jseħħ permezz ta' tħeġġiġ, irfinar, irkupru (RAG), jew għodod. L-idea ċentrali hija l-wisa' flimkien mal-manuvrabbiltà.

Kif il-mudelli ta' bażi huma differenti mill-mudelli tradizzjonali tal-IA speċifiċi għall-kompiti

L-AI tradizzjonali spiss tħarreġ mudell separat għal kull kompitu, bħall-analiżi tas-sentiment jew it-traduzzjoni. Il-mudelli ta' bażi jaqilbu dak il-mudell: iħarrġuh minn qabel darba, imbagħad jerġgħu jużawh f'ħafna karatteristiċi u prodotti. Dan jista' jnaqqas l-isforz duplikat u jħaffef il-kunsinna ta' kapaċitajiet ġodda. Il-kompromess huwa li jistgħu jkunu inqas prevedibbli mis-softwer klassiku sakemm ma żżidx restrizzjonijiet u ttestjar.

Mudelli ta' bażi fl-AI ġenerattiva

Fl-AI ġenerattiva, il-mudelli fundamentali huma s-sistemi bażiċi li jistgħu jipproduċu kontenut ġdid bħal test, immaġni, awdjo, kodiċi, jew outputs multimodali. Mhumiex limitati għal tikkettar jew klassifikazzjoni; jiġġeneraw risposti li jixbħu xogħol magħmul mill-bniedem. Minħabba li jitgħallmu mudelli wesgħin waqt it-taħriġ minn qabel, jistgħu jimmaniġġjaw ħafna tipi u formati ta' prompts. Huma s-"saff bażi" wara l-biċċa l-kbira tal-esperjenzi ġenerattivi moderni.

Kif il-mudelli tal-pedament jitgħallmu waqt it-taħriġ minn qabel

Il-biċċa l-kbira tal-mudelli tal-pedament tal-lingwa jitgħallmu billi jbassru tokens, bħall-kelma li jmiss jew kliem neqsin fit-test. Dak l-objettiv sempliċi jimbuttahom biex jinternalizzaw struttura bħall-grammatika, l-istil, u mudelli komuni ta’ spjegazzjoni. Jistgħu wkoll jassorbu ammont kbir ta’ għarfien tad-dinja, għalkemm mhux dejjem b’mod affidabbli. Ir-riżultat huwa rappreżentazzjoni ġenerali b’saħħitha li aktar tard tista’ tiggwida lejn xogħol speċifiku.

Id-differenza bejn l-inkoraġġiment, l-irfinar, LoRA, u RAG

It-tħeġġiġ huwa l-aktar mod mgħaġġel biex tiggwida l-imġiba bl-użu ta' struzzjonijiet, iżda jista' jkun fraġli. L-irfinar iħarreġ il-mudell aktar fuq l-eżempji tiegħek għal imġiba aktar konsistenti, iżda jżid l-ispiża u l-manutenzjoni. LoRA/adapters huma approċċ ta' rfinar eħfef li ħafna drabi jkun irħas u aktar modulari. RAG jirkupra dokumenti rilevanti u jkollu t-tweġiba tal-mudell bl-użu ta' dak il-kuntest, li jgħin biex l-informazzjoni tkun friska u bbażata fuq l-art.

Meta għandek tuża RAG minflok irfinar fin

RAG ħafna drabi hija għażla b'saħħitha meta jkollok bżonn tweġibiet ibbażati fuq id-dokumenti attwali tiegħek jew il-bażi tal-għarfien interna. Tista' tnaqqas l-"ippruvazzjoni" billi tipprovdi lill-mudell b'kuntest rilevanti fil-ħin tal-ġenerazzjoni. L-irfinar huwa aktar adattat meta jkollok bżonn stil konsistenti, frażijiet tad-dominju, jew imġieba li l-prompting ma jistax jipproduċi b'mod affidabbli. Ħafna sistemi prattiċi jikkombinaw il-prompting + RAG qabel ma jużaw l-irfinar.

Kif tnaqqas l-alluċinazzjonijiet u tikseb tweġibiet aktar affidabbli

Approċċ komuni huwa li l-mudell jiġi msejjes fuq l-irkupru (RAG) sabiex jibqa' qrib il-kuntest ipprovdut. Tista' wkoll tirrestrinġi l-outputs bi skemi, teħtieġ sejħiet ta' għodda għal passi ewlenin, u żżid struzzjonijiet espliċiti ta' "don't guess". Is-saffi ta' verifika huma importanti wkoll, bħal kontrolli tar-regoli, cross-checking, u reviżjoni umana għal każijiet ta' użu b'importanza ogħla. Ittratta l-mudell bħala helper probabbilistiku, mhux sors ta' verità awtomatikament.

L-akbar riskji bil-mudelli ta' fondazzjoni fil-produzzjoni

Riskji komuni jinkludu alluċinazzjonijiet, mudelli preġudikati jew ta’ ħsara mid-dejta tat-taħriġ, u tnixxija tal-privatezza jekk id-dejta sensittiva tiġi mmaniġġjata ħażin. Is-sistemi jistgħu wkoll ikunu vulnerabbli għal injezzjoni fil-pront, speċjalment meta l-mudell jaqra test mhux fdat minn dokumenti jew kontenut tal-web. Il-mitigazzjonijiet tipikament jinkludu governanza, red-teaming, kontrolli tal-aċċess, mudelli ta’ prompting aktar sikuri, u evalwazzjoni strutturata. Ippjana għal dawn ir-riskji kmieni aktar milli twaħħalhom aktar tard.

Injezzjoni fil-pront u għaliex hija importanti fis-sistemi RAG

L-injezzjoni fil-pront isseħħ meta test mhux fdat jipprova jegħleb l-istruzzjonijiet, bħal "injora d-direzzjonijiet preċedenti" jew "żvela s-sigrieti." Fir-RAG, id-dokumenti rkuprati jistgħu jkun fihom dawk l-istruzzjonijiet malizzjużi, u l-mudell jista' jsegwihom jekk ma toqgħodx attent. Approċċ komuni huwa li jiġu iżolati l-istruzzjonijiet tas-sistema, jiġi sanitizzat il-kontenut irkuprat, u li wieħed jiddependi fuq politiki bbażati fuq l-għodda aktar milli fuq prompts biss. L-ittestjar b'inputs avversarji jgħin biex jikxef punti dgħajfa.

Kif tagħżel mudell ta' pedament għall-każ ta' użu tiegħek

Ibda billi tiddefinixxi x'għandek bżonn tiġġenera: test, stampi, awdjo, kodiċi, jew outputs multimodali. Imbagħad issettja l-livell tal-fattwalità tiegħek - dominji ta' preċiżjoni għolja spiss jeħtieġu bażi (RAG), validazzjoni, u xi kultant reviżjoni umana. Ikkunsidra l-latenza u l-ispiża, għaliex mudell b'saħħtu li jkun bil-mod jew għali jista' jkun diffiċli biex jitwassal. Fl-aħħar nett, immappja l-ħtiġijiet tal-privatezza u l-konformità mal-għażliet u l-kontrolli tal-iskjerament.

Referenzi

  1. Istitut Nazzjonali tal-Istandards u t-Teknoloġija (NIST) - Mudell ta' Fondazzjoni (Terminu Glossarju) - csrc.nist.gov

  2. Istitut Nazzjonali tal-Istandards u t-Teknoloġija (NIST) - NIST AI 600-1: Profil tal-AI Ġenerattiv - nvlpubs.nist.gov

  3. Istitut Nazzjonali tal-Istandards u t-Teknoloġija (NIST) - NIST AI 100-1: Qafas għall-Ġestjoni tar-Riskju tal-AI (AI RMF 1.0) - nvlpubs.nist.gov

  4. Ċentru ta' Stanford għar-Riċerka dwar Mudelli ta' Fondazzjoni (CRFM) - Rapport - crfm.stanford.edu

  5. arXiv - Dwar l-Opportunitajiet u r-Riskji tal-Mudelli tal-Fondazzjonijiet (Bommasani et al., 2021) - arxiv.org

  6. arXiv - Il-Mudelli Lingwistiċi huma Studenti b'Ftit Skorijiet (Brown et al., 2020) - arxiv.org

  7. arXiv - Ġenerazzjoni Awmentata bl-Irkupru għal Kompiti NLP Intensivi fl-Għarfien (Lewis et al., 2020) - arxiv.org

  8. arXiv - LoRA: Adattament ta' Rank Baxx ta' Mudelli Lingwistiċi Kbar (Hu et al., 2021) - arxiv.org

  9. arXiv - BERT: Taħriġ minn qabel ta' Trasformaturi Bidirezzjonali Profondi għall-Fehim tal-Lingwa (Devlin et al., 2018) - arxiv.org

  10. arXiv - Mudelli Lingwistiċi Finetuned huma Studenti b'Żero Punti (Wei et al., 2021) - arxiv.org

  11. Librerija Diġitali tal-ACM - Stħarriġ dwar l-Alluċinazzjoni fil-Ġenerazzjoni tal-Lingwa Naturali (Ji et al., 2023) - dl.acm.org

  12. arXiv - Tagħlim ta' Mudelli Viżwali Trasferibbli mis-Superviżjoni tal-Lingwa Naturali (Radford et al., 2021) - arxiv.org

  13. arXiv - Mudelli Probabbilistiċi ta' Diffużjoni għat-Tnaqqis tal-Istorbju (Ho et al., 2020) - arxiv.org

  14. arXiv - Sintesi ta' Immaġni b'Riżoluzzjoni Għolja b'Mudelli ta' Diffużjoni Latenti (Rombach et al., 2021) - arxiv.org

  15. arXiv - Irkupru ta' Passaġġi Densi għal Tweġibiet ta' Mistoqsijiet f'Dominju Miftuħ (Karpukhin et al., 2020) - arxiv.org

  16. arXiv - Il-librerija Faiss (Douze et al., 2024) - arxiv.org

  17. OpenAI - Introduzzjoni għal Whisper - openai.com

  18. arXiv - Sintesi TTS Naturali billi jiġi Kondizzjonat WaveNet fuq Previżjonijiet tal-Ispettrogramma Mel (Shen et al., 2017) - arxiv.org

  19. Ċentru għas-Sigurtà u t-Teknoloġija Emerġenti (CSET), Università ta' Georgetown - Il-qawwa sorprendenti tat-tbassir tal-kelma li jmiss: spjegazzjoni ta' mudelli lingwistiċi kbar (parti 1) - cset.georgetown.edu

  20. USENIX - Estrazzjoni ta' Dejta ta' Taħriġ minn Mudelli ta' Lingwa Kbira (Carlini et al., 2021) - usenix.org

  21. OWASP - LLM01: Injezzjoni fil-Pront - genai.owasp.org

  22. arXiv - Aktar milli tlabt: Analiżi Komprensiva tat-Theddid Ġdid ta' Injezzjoni Prompt għal Mudelli Lingwistiċi Kbar Integrati fl-Applikazzjoni (Greshake et al., 2023) - arxiv.org

  23. Serje ta' Folji ta' Qerq tal-OWASP - Folja ta' Qerq għall-Prevenzjoni ta' Injezzjonijiet fil-Pront tal-LLM - cheatsheetseries.owasp.org

Sib l-Aħħar AI fil-Ħanut Uffiċjali tal-Assistent tal-AI

Dwarna

Lura għall-blogg