CLM-8B Għadu Kif Ħareġ: Il-Mudell Ġdid tal-AI Miftuħa li Jsostni li Huwa Sa 9× Aktar Mgħaġġel Minn Jev għall-Aġenti

Tweġiba qasira: CLM-8B huwa Mudell ta' Lingwa Kontrastiva immirat lejn deċiżjonijiet veloċi tal-aġenti, b'dikjarazzjonijiet tal-awtur ta' latency sa madwar 9× aktar baxxa minn sħabhom tal-klassi Jev. Dawk iċ-ċifri jibqgħu mhux ikkonfermati barra mis-setup tar-rilaxx. Jekk tibni aġenti tal-kodifikazzjoni, agħmel A/B fuq il-wajers tiegħek stess qabel ma tafda ċ-ċarts.

Punti ewlenin:

Dikjarazzjonijiet ta' latenza: Ittratta l-aċċelerazzjoni ta' ~9× Jev kif irrappurtata mill-awtur sakemm oħrajn jirriproduċuha.

Ċinturin tal-evalwazzjoni: L-għodda u l-prompts tal-istiva ġew irranġati meta kien qed isir l-ittestjar A/B tas-CLM-8B.

Munzell ibridu: Uża CLM għal hot loops; żomm raġunatur aktar bil-mod għal kompiti ġodda.

Piżijiet miftuħa: Ikkonferma l-fajls tal-liċenzja Apache qabel ma tibgħat forks kummerċjali.

Riskju ta' użu ħażin: Ikkoperja għodod u sigrieti riversibbli meta l-aġenti jiddeċiedu f'millisekondi.

Dak li CLM-8B qed jipprova jkun ⚡

It-taħriġ tal-Mudell tal-Lingwa Kontrastiva, kif deskritt min-nies li jippromwovu dan it-tnaqqis, huwa dwar il-konnessjoni ta' stati u azzjonijiet aktar milli l-massimizzazzjoni tal-probabbiltà tat-token li jmiss b'mod iżolat. F'termini ċari: il-mudell huwa mbuttat biex jimmappa "hawn hi s-sitwazzjoni" ma' "hawn hi l-mossa," aktar bħal kap ta' politika milli rumanzier. Din hija l-analoġija tas-Sistema 1 li r-riċerkaturi jibqgħu jilħqu - veloċi, assoċjattiva, iffurmata minn deċiżjonijiet - għall-kuntrarju tat-tenur tas-Sistema 2 ta' katina twila ta' ħsieb li taħraq it-tokens waqt li taħseb b'leħen għoli.

CLM-8B huwa l-ewwel sett ta' piż pubbliku f'dik il-linja. Huwa pożizzjonat bħala rilaxx ta' riċerka miftuħa b'liċenzjar Apache 2.0 fuq il-kopertura li akkumpanjat it-tnaqqis, li huwa importanti jekk trid tirfina, tibgħat, jew tagħmel fork mingħajr piknik tal-avukat. Jacky Kwok introduċiet ix-xogħol; Azalia Mirhoseini, li hija assoċjata ma' Stanford, amplifikatu; u l-qafas usa' jpinġi Stanford u NVIDIA. Riċerkaturi msemmija, piżijiet pubbliċi, kodiċi miftuħ - mhux tnixxija anonima. Għadu kmieni għal replikazzjoni minn partijiet terzi, għalhekk żomm il-buttuna tax-xettiċiżmu x'imkien bejn "interessanti" u "urini l-bord indipendenti."

Il-klassi tad-daqs hija ta’ tmien biljun parametru, li hija żgħira biżżejjed biex il-laboratorji u l-bennejja indipendenti jkunu jistgħu jospitawha mingħajr ma jbigħu kilwa għal żmien H100. Diġà hemm diskussjoni dwar CLM-35B bħala segwitu. Jekk dak l-aħwa l-kbir iżommx l-istorja tal-latenza jew jiskambjax il-veloċità għall-fond għadu mhux stabbilit, iżda s-sinjal tal-pjan direzzjonali huwa ċar: din hija maħsuba biex tkun familja, mhux kard demo ta’ darba.

•  Fokus: stat → ċikli ta' azzjoni għall-aġenti, mhux kitba ta' esejs
•  Liċenzjar ifframmat bħala Apache 2.0 fir-rappurtaġġ madwar ir-rilaxx
•  Stil: Sistema 1 / storja ta' taħriġ orjentata lejn id-deċiżjonijiet
•  Segwitu: CLM-35B akbar imsemmi bħala pjan

Stil tas-Sistema 1 vs it-Treadmill tas-Soltu bit-Tokens 

Il-biċċa l-kbira tal-LLMs tal-produzzjoni li taf jiġġeneraw test token wieħed kull darba. Dan jaħdem tajjeb ħafna għall-proża, dumps tal-kodiċi, u traċċi ta' raġunament bir-reqqa. Huwa wkoll għaliex aġent li jeħtieġ għoxrin mikro-deċiżjoni kull minuta jista' jħossu kajman anke meta l-mudell ikun "intelliġenti." Kull pass iħallas it-taxxa awtoregressiva.

Il-pitch tal-Mudell tal-Lingwa Kontrastiva jdawwar l-enfasi. Minflok ma titlob lin-netwerk biex jirrakkonta t-triq tiegħu lejn tweġiba, tħarrġu biex jippreferi l-azzjoni t-tajba meta jingħata stat - aħseb f'ġbid kontrastiv bejn mossi tajbin u ħżiena, mhux biss kontinwazzjonijiet fluwidi. Il-bennejja diġà jafu l-mudell: xi kultant m'għandekx bżonn raġuni ta' elf kelma; għandek bżonn il-mudell biex jittajpja pytest minflok rm -rf. Il-loops veloċi jimpurtahom minn dik id-distinzjoni.

Xejn minn dan ma jfissirx li CLM-8B ma jistax joħroġ test. Ifisser li l-objettiv tat-taħriġ u l-istorja tal-evalwazzjoni huma inklinati lejn kontroll aġentiku. Din hija forma ta' prodott differenti minn "mudell ta' chat li jista' wkoll jagħmel sejħa għall-għodda." L-industrija qattgħet snin tagħmel mudelli aħjar biex jitkellmu dwar l-għodda filwaqt li xorta tfixkel id-diskors innifsu. Mudell li jiffoka fuq id-deċiżjoni l-ewwel huwa t-tip ta' moviment laterali li jew jidher ovvju meta wieħed iħares lura jew ifalli meta l-parametri referenzjarji jitħabblu. Iż-żewġ riżultati huma possibbli.

Veloċità Dikjarata u Numri tal-Bank (Ittratta bħala Dikjarazzjonijiet)

Hawn hi l-parti li tmexxi l-postijiet soċjali: il-promoturi jsostnu li huma sa madwar 9× aktar mgħaġġla fl-inferenza mill-mudelli tal-klassi Jev. Wara ftit irfinar, jirrappurtaw ukoll riżultati qawwija ta' kodifikazzjoni aġentika - DeepSWE ta' madwar 81.6% suċċess u Terminal-Bench 2.1 ta' madwar 87.6%. F'xi evalwazzjonijiet, jiddeskrivu l-prestazzjoni ta' zero-shot bħala komparabbli ma' Jev filwaqt li l-latenza tibqa' ħafna aktar baxxa. Sommarju ta' cluster wieħed li jidher mar-rilaxx taċ-chatter iċċita madwar 32 ms ħinijiet ta' rispons fuq setting ta' terminal bench. Ikklikkja dan bir-reqqa: irrappurtat u ddikjarat, mhux awditjat b'mod indipendenti f'dan l-artikolu.

Jekk dawk iċ-ċifri tal-latenza jiġġeneralizzaw, ir-rebħa prattika hija inqas GPUs għal kull aġent konkorrenti, jew aktar aġenti għal kull GPU. L-aġenti tal-kodifikazzjoni li jħabbtu wiċċhom ma' shell huma speċjalment sensittivi għax l-istennija kontinwa hija akkumulata; deċiżjoni ta' 200 ms u deċiżjoni ta' 30 ms iħossuhom bħal prodotti differenti wara ftit mijiet ta' dawriet. L-utenti spiss jagħtu t-tort lil "il-mudell li hu stupidu" meta l-uġigħ l-aktar qawwi jkun id-dewmien interattiv.

Xorta waħda - u dan huwa l-paragrafu dwar is-superviżjoni tal-adulti - il-bankijiet tal-awturi qed jiġu kkummerċjalizzati sakemm xi ħadd ieħor jirriproduċihom fuq ħardwer kondiviż bi prompts kondiviżi. Riżultati ħfief ta' rfinar jistgħu wkoll jaħbu ħafna scaffolding. Numri qawwija ta' DeepSWE u Terminal-Bench huma eċċitanti preċiżament għax dawk is-suites jikkastigaw aġenti fraġli, iżda l-eċċitament mhuwiex replikazzjoni. Żomm nota li twaħħal li tgħid CLAIM fuq id-9× u fuq dik il-figura tal-klassi ta' 32 ms. 

Tabella ta' Paragun: LLMs Token-by-Token vs Framing fl-Istil CLM

It-tabelli jgħinu meta l-lingwaġġ tal-marketing isir diffiċli. Din tqabbel id-drawwiet tipiċi tal-ġenerazzjoni tal-LLM mal-istorja tal-Mudell tal-Lingwa Kontrastiva kif jiddeskrivuha r-riċerkaturi. Iċ-ċelloli huma xi ftit irregolari apposta għax it-tqabbil konkret dejjem ikun hekk.

Uża t-tabella bħala mudell mentali, mhux bħala verdett. It-timijiet tal-prodott xorta jridu jkejlu l-irbit tagħhom stess: l-iskemi tal-għodda, il-politika tat-tentattivi mill-ġdid, u l-istorbju ambjentali se jmexxu ħafna aktar milli jammetti s-slajds.

Min Hemm Wara l-Istorbju 👤

L-attribuzzjoni hija importanti għaliex id-dokumenti miftuħa tal-AI jvarjaw minn rilaxxi bir-reqqa tal-laboratorju għal torrents misterjużi. Din għandha wiċċha. Jacky Kwok introduċiet is-CLM; Azalia Mirhoseini għenet biex timbuttaha f'perspettiva usa'; il-kopertura konsistentement tinkwadra kollaborazzjoni ta' riċerka marbuta ma' Stanford u NVIDIA. Dan ma jagħmilx kull numru veru b'mod maġiku, iżda jpoġġi l-ġilda tar-reputazzjoni fil-logħba. Ir-rilaxxi miftuħa ta' riċerkaturi msemmija għandhom it-tendenza li jiġu ttestjati għall-istress aktar malajr mid-dumps anonimi - il-pari jħobbu mira pubblika.

Għall-bennejja, l-implikazzjoni prattika hija l-aċċess. Piżijiet miftuħa flimkien ma' liċenzja stil Apache 2.0 (kif kopert madwar it-tnedija) ġeneralment ifissru li tista' tesperimenta kummerċjalment b'inqas problemi milli liċenzji ta' riċerka biss. Iċċekkja l-fajls tal-liċenzja attwali fir-rilaxx int stess qabel ma tibgħat xi ħaġa; is-sommarji tal-kopertura mhumiex kuntratt. Dan jista' jinstema' pedanteriku, iżda l-pedanterija tal-liċenzji ssalva l-istartups.

Ix-xejra tal-amplifikazzjoni soċjali hija familjari: post ta' riċerkatur, posts ta' kwotazzjonijiet tal-amplifikatur rispettati, imbagħad mewġa ta' kummenti ta' "aġenti finalment solvuti". Iffiltra għal nies li jaqsmu dettalji dwar il-problema. Screenshots ta' ġirja waħda ta' kodifikazzjoni b'suċċess huma teatru tal-burdata, mhux xjenza. 🛰️

Għaliex iċ-Ċirkwiti Statali għal Azzjoni Jagħmlu Kodifikazzjoni Aġentika Proprja 

Il-kodifikazzjoni aġentika hija ambjent krudili. Il-mudell jara snapshot tar-repo, traskrizzjoni tal-qoxra, forsi test li qed ifalli, u jrid jagħżel editjar jew kmand. Is-suċċess huwa binarju aktar spiss milli ċ-chat. Jew it-test isir aħdar jew le. Dik il-forma ta' premju tiffavorixxi politiki li jagħżlu azzjonijiet b'mod ċar fuq mudelli li jiktbu esejs sbieħ dwar falliment.

Stejjer ta' taħriġ kontrastanti jaqblu ma' dik id-dinja għax jimbuttaw espliċitament in-netwerk lejn azzjonijiet preferuti taħt stat partikolari. Aħseb dwarha bħallikieku qed tgħallem inġinier junior "meta tara din il-klassi ta' żball, fittex dan il-mudell ta' tiswija" minflok "ikteb post fuq blog dwar għaliex il-kumpilaturi huma diffiċli." L-inġinier junior xorta jeħtieġ ġudizzju; is-shortcut sempliċement inaqqas id-dithering.

Il-latenza hawnhekk tikber. Ejja ngħidu li aġent jagħmel medja ta' tmenin pass tal-għodda biex isib soluzzjoni ta' bug medja. Tnaqqas 150 ms għal kull pass u terġa' tikseb lura tnax-il sekonda ta' arloġġ tal-ħajt - li hija d-differenza bejn stat ta' fluss u utent li jagħmel alt-tab biex jiċċekkja l-email. It-timijiet li jħaddmu flotot ta' aġenti jħossu li l-matematika fil-cloud tiswa wkoll. Żieda fil-veloċità tal-inferenza ta' ordni ta' kobor allegata kontra peer tal-klassi Jev, anke jekk tispiċċa bħala "biss" 4× fis-selvaġġ, xorta tirranġa mill-ġdid l-ippjanar tal-kapaċità.

Hemm metafora dgħajfa li nibqa' nuża fil-laqgħat: mudelli ta' chat token-by-token huma bħal dibattitu dwar ir-rotta f'kull intersezzjoni, filwaqt li kontrollur stil System 1 huwa aktar bħal memorja muskolari għas-sewqan fil-belt. Il-memorja muskolari tfalli f'belt ġdida. Hekk ukoll mudell ta' azzjoni aġġustat b'mod ristrett meta l-kultura tar-repo tkun idjosinkratika. Xorta trid modi deliberattivi għal għażliet ta' arkitettura ġodda; trid riflessi għall-ħamsin "irranġa l-importazzjoni u erġa' ħaddem." Stacks ibridi - kontrollur veloċi simili għal CLM flimkien ma' reasoner aktar tqil fuq fergħat iebsa - probabbilment huma fejn jaslu sistemi serji, anke jekk il-postijiet tat-tnedija jbigħu mudell erojku wieħed. 🚦

Ta' min jgħidu wkoll b'leħen għoli: bankijiet ta' kodifikazzjoni aġenti bħal DeepSWE u Terminal-Bench jippremjaw l-iscaffolding. Il-kwalità tal-arness, il-listi ta' permessi tal-għodda, u l-prompts ta' rkupru jistgħu jbiddlu r-rati ta' suċċess b'żewġ ċifri. Meta tara ~81.6% jew ~87.6% wara rfinar ħafif, ħares lejn liema tgeżwir kien hemm madwar il-piżijiet. Dik mhix dell; huwa kif jaħdem il-qasam.

Piżijiet Miftuħa, Irfinar, u d-Dell 35B 

Il-piżijiet miftuħa jibdlu d-dinamika soċjali ta' talba. Mudelli ta' API magħluqa jistgħu juru ċart u jħalluk taħseb dwar il-kontaminazzjoni, tricks ta' dekodifikazzjoni, jew prompts sigrieti tas-sistema. B'parametri li jistgħu jitniżżlu tista' għall-inqas tħawwad il-ħaġa. L-irfinar ta' CLM-8B għall-ambjent intern tal-kodifikazzjoni tiegħek - ir-regoli tal-lint tiegħek, is-CLI tad-deployment tiegħek, it-topoloġija monorepo tiegħek - huwa t-triq realistika għan-numri tleqq tal-bench, mhux maġija ta' żero-shot fl-ewwel jum.

L-istrutturar tal-Apache 2.0 (skont il-kopertura) huwa faċli għall-bennej: lingwaġġ tal-għoti tal-brevetti, normi ċari ta' ridistribuzzjoni, inqas nases ta' "riċerka biss". Għal darb'oħra: aqra l-fajls. Il-kittieba tal-kopertura jagħmlu sommarju; l-avukati jispeċjalizzaw.

Is-CLM-35B ippjanata hija l-iljunfant fil-pjan direzzjonali. Mudelli akbar spiss jerġgħu jiksbu l-ħila deliberattiva u jitilfu ftit mill-karattru "ċkejken u veloċi b'mod feroċi" sakemm id-distillazzjoni jew tricks spekulattivi ma jżommux il-latenza taħt kontroll. Jekk il-varjant ta' tmien biljun huwa l-karozza sportiva u l-ħamsa u tletin biljun huwa s-sedan tat-touring, it-timijiet jistgħu jżommu t-tnejn: 8B għal hot loops, 35B għal ippjanar iebes. Jew il-mudell akbar jista' sempliċement jiddomina jekk il-hardware jibqa' jorqos. Liema futur jasal għadu mhux stabbilit; in-noti tar-rilaxx tal-futur se jiddeċiedu, mhux dan il-paragrafu.

Riskju sottili wieħed bil-mudelli ta' aġenti miftuħa: in-nies se jdaħħluhom fis-CI mingħajr limiti ta' rata u jiskopru injezzjoni fil-pront permezz ta' READMEs malizzjużi. Mudelli veloċi jamplifikaw l-użu ħażin bl-istess mod kif jamplifikaw il-valur prattiku. Il-guardrails mhumiex cosplay fakultattiv; huma prodott. 

• Irfina t-traċċi tiegħek stess qabel ma tiġġudika l-kwalità
• Żomm raġunatur aktar bil-mod bħala mezz ta' ħarba għal kompiti ġodda
• Latenza tal-istrument p50/p95 fl-arness tiegħek, mhux biss preċiżjoni
• Nassumu li l-35B se jċaqlaq il-fruntiera ta' Pareto mill-ġdid

Qari tat-Tqabbil Jev Mingħajr Ma Tiġi Mgħotti bil-Borra 

It-tqabbil mal-mudelli tal-klassi Jev qed jagħmel xogħol retoriku. Huma jistabbilixxu pari fil-livell tal-veloċità aġentika u għalhekk "sa 9× aktar mgħaġġel" għandu referent. Talbiet relattivi jeħtieġu ankra, u dan huwa sod. Il-periklu huwa li tiġġarraf munzell ta' evalwazzjoni sħiħ f'multiplikatur wieħed. Id-daqs tal-lott, il-preċiżjoni, is-settings tad-dekodifikazzjoni, it-tul tal-kuntest, u s-serjalizzazzjoni tas-sejħiet tal-għodda kollha jsawru mill-ġdid xi tfisser "aktar mgħaġġel", u dawk il-buttuni rarament jidhru fl-istess slide.

Meta sommarju ta' cluster jikkwota ~32 rispons ta' klassi ms fuq setting ta' terminal bench, ittratta "rispons" bħala tikketta ambigwa sakemm xi ħadd jispeċifika jekk ifisserx l-ewwel token, JSON ta' azzjoni sħiħa, jew prefiss fil-cache. Dawk id-distinzjonijiet ibiddlu l-millisekondi ta' kummerċjalizzazzjoni f'sigħat ta' inġinerija. Kwalità komparabbli ta' żero-shot b'latenza aktar baxxa hija t-tqabbil tal-ħolm; jekk gruppi indipendenti jikkonfermaw anke nofs dak il-ħolm, it-taħriġ fl-istil CLM jikseb post permanenti fil-laqgħat tal-arkitettura.

Sadanittant, ittratta lil Jev bħala narrattiva ta' rivalità aktar milli bħala klassifika stabbilita. Ir-rivalitajiet ibigħu l-postijiet. Il-KPIs tal-produzzjoni tiegħek ma jimpurtahomx min-narrattiva. Kejjel is-suċċess tal-kompitu, id-dollaru għal kull biljett solvut, u r-rata ta' intervent uman. Jekk fork ta' Mudell ta' Lingwa Kontrastiva tirbaħ dawk, iċċelebra. Jekk tirbaħ biss Twitter, kompli miexi. 🚶

Żmien ta' kontradizzjoni żgħira: in-narrattivi tar-rivalità għadhom jagħmlu differenza. Huma jġiegħlu lill-laboratorji jippubblikaw in-numri minflok atmosfera rilassata. Biss m'għandekx tħawwad it-tabella tal-punteġġ mal-isport.

Dak li Jeħtieġ Dan ir-Rilaxx biex Imur Sewwa 

Biex CLM-8B ikun importanti lil hinn minn ċiklu ta' aħbarijiet, iridu jsiru ftit affarijiet:

• Replikazzjoni: gruppi esterni għandhom ikunu jistgħu jqabblu l-latenza ewlenija u r-rati ta' suċċess tal-kodifikazzjoni ma' riċetti dokumentati.
• Sfrutta t-trasparenza: aqsam id-dettalji tal-wrapper tal-aġent li pproduċew il-punteġġi DeepSWE u Terminal-Bench.
• Dokumenti li ma jassumux telepatija tal-laboratorju: skripts ċari ta' rfinar, kmandi ta' evalwazzjoni, u noti dwar il-ħardwer.
• Modi ta' falliment: uri fejn id-deċiżjonijiet tal-istil tas-Sistema 1 jikkollassaw - APIs ġodda, biljetti ambigwi, operazzjonijiet sensittivi għas-sigurtà.
• Perkors ta' aġġornament: ċċara kif CLM-35B jirrelata sabiex it-timijiet ma jdaħħlux wisq fil-munzell tagħhom għal tmiem ta' 8B.

Jekk dawk il-kaxxi jibqgħu vojta, il-mudell isir piż tal-karti interessanti ieħor. Jekk jimtlew, il-pjattaformi tal-aġenti jiksbu għażla ta’ komponenti konkreti: LLM deliberattiv għal ħsieb iebes, mudell veloċi kontrastanti għal idejn li qed jirtogħdu. Dik id-diviżjoni tax-xogħol tħossha aktar adulta milli tippretendi li megamudell wieħed għandu jagħmel kull xogħol b’kull baġit ta’ latenza.

Punti Prattiċi għall-Bennejja li Jibagħtu Aġenti 

M'għandekx bżonn terġa' tikteb l-istack tiegħek għada. Għandek bżonn pjan għall-evalwazzjoni ta' mudelli li jieħdu deċiżjonijiet malajr. Ibda billi taqta' porzjon kritiku għall-latenza tal-aġent tiegħek - forsi l-mikro-linja tat-terminal jew il-pass "agħżel il-grep li jmiss" - u A/B agħmel irfinar CLM-8B kontra l-ħidma attwali tiegħek. Żomm l-arness kostanti. Irreġistra kollox.

Oqgħod attent għal rigressjonijiet ta' kwalità siekta: mudelli li jwieġbu istantanjament b'azzjonijiet żbaljati kunfidenti huma agħar minn dawk korretti bil-mod f'repożitorji b'riskju għoli. Żid passi ta' verifika. Ippreferi għodod riversibbli. Ibbaġitja t-tieni sejħa tal-mudell meta l-kunfidenza tkun baxxa - iva, dan jiekol parti mir-rebħ tal-veloċità, u dan huwa tajjeb. Veloċità mingħajr brejkijiet hija kif id-demos isiru qtugħ tas-servizz.

Min-naħa tal-organizzazzjoni, aġġorna l-iskedi tal-kapaċità b'kolonna għal "azzjonijiet kull sekonda għal kull GPU" minflok tokens kull sekonda biss. It-tagħbijiet tax-xogħol agentiċi jimpurtahom mid-deċiżjonijiet, mhux mir-rendiment tal-poeżija. Jekk l-istqarrija tal-awturi ta' ~9× tibqa' ħajja anke parzjalment wara kuntatt mal-hardware tiegħek, l-ispreadsheet tiegħek se tidher differenti. Jekk ma tagħmilx hekk, tgħallimt bi prezz irħis.

U jekk jogħġbok, għall-imħabba tal-ops, tippejstjawx sigrieti tal-produzzjoni f'aġent sperimentali għax il-mudell ħassu "sikur." Mudelli miftuħa malajr jagħmluha aktar faċli biex jinbnew sistemi shadow li ħadd ma jirrevedi. Il-proċess xorta waħda huwa importanti. 

Ħjut Miftuħa Għadhom Imdendlin 

Ftit ħjut mhux solvuti jżommuni milli noħroġ fil-modalità promozzjonali sħiħa:

• Kemm mis-suċċess irrappurtat tal-kodifikazzjoni jappartjeni lill-piżijiet kontra d-dejta u l-wrapper tal-irfinar għadu mhux ċar.
• L-istruttura tas-Sistema 1 tista' tirqaq meta l-kompiti jeħtieġu ppjanar fuq orizzont twil aktar milli riflessi lokali tal-qoxra.
• CLM-35B jista' jippreserva l-istorja tal-latenza jew jistabilixxi ruħu f'LLM ieħor ta' daqs medju b'saħħtu.
• Il-preferenzi ta' azzjoni kontrastanti jistgħu jsiru fraġli taħt bidla fid-distribuzzjoni - lingwi ġodda, CLIs ġodda fil-cloud, repositorji avversarji.
• L-istorja tas-sigurtà għad teħtieġ aktar kontenut meta l-azzjonijiet jiġu eżegwiti f'millisekondi.

Dawk mhumiex affarijiet maħsuba biex jiġu skoraġġuti mit-tim. Huma l-verifiki li għandha tagħmel kwalunkwe reviżjoni serja tal-adozzjoni. Ir-rilaxxi miftuħa bikrija jistħoqqilhom skrutinju u frizzjoni bir-reqqa, mhux installazzjonijiet għomja.

Linja ta' Qligħ 

CLM-8B huwa Mudell ta' Lingwa Kontrastiva miftuħ, b'qafas Apache (skont il-kopertura) immirat lejn imġiba rapida minn stat għal azzjoni għall-aġenti, introdott pubblikament minn Jacky Kwok b'amplifikazzjoni minn Azalia Mirhoseini u mfassal bħala riċerka marbuta ma' Stanford/NVIDIA. L-affermazzjonijiet ewlenin - sa madwar 9× aktar mgħaġġla mill-inferenza tal-klassi Jev, riżultati qawwija ta' DeepSWE u Terminal-Bench wara rfinar ħafif, kwalità komparabbli ta' zero-shot b'latenza ħafna aktar baxxa, inkluż chatter ta' madwar ~32 ms-class risponsi tat-terminal - huma rrappurtati mill-awtur u għadhom qed jistennew konferma wiesgħa minn partijiet terzi. CLM-35B akbar jinsab fil-futur qarib.

Jekk tibni sistemi ta' kodifikazzjoni aġentiċi, dan jistħoqqlu evalwazzjoni ffukata, mhux reliġjon. Ittrattah bħala kontrollur tas-Sistema 1 kandidat f'munzell ibridu, kejjel il-wajers tiegħek stess, u żomm l-istiker CLAIM fuq kull ċart sakemm isiru ġirjiet indipendenti. Il-parti interessanti mhix mudell ieħor ta' chat b'logo ġdid. Il-parti interessanti hija jekk it-taħriġ iffurmat b'deċiżjonijiet jistax iġiegħel lill-aġenti jħossuhom immedjati mingħajr ma jagħmilhom żbaljati b'mod traskurat.

Eżempju prattiku: Il-bini ta' evalwazzjoni ta' mikro-linja ta' aġent kritiku għall-latenza għal CLM-8B

Ċarts tal-awtur dwar CLM-8B Għadu Kif Ħareġ: Il-Mudell Ġdid tal-AI Miftuħa Li Jsostni Li Huwa Sa 9× Aktar Mgħaġġel Minn Jev għall-Aġenti jista’ jidher persważiv; l-arness tiegħek huwa l-uniku vot li jgħodd. Ara kif tim ta’ għodda indipendenti mir-Renju Unit ittratta CLM-8B bħala kontrollur tas-Sistema 1 kandidat - mhux sostitut taċ-chat - u kejluh fuq il-mikro-linja tat-terminal tagħhom stess.

Xenarju

Sam iħaddem prodott żgħir li diġà juża aġent ta' kodifikazzjoni itqal għal refactoring b'ħafna fajls. L-iktar parti diffiċli hija l-hot loop: aqra traskrizzjoni ta' test li qed tfalli, agħżel il-qoxra jew l-azzjoni ta' editjar li jmiss, mexxiha, irrepeti. L-utenti jilmentaw inqas dwar tweġibiet matt milli dwar dewmien fil-ħamsin pass tal-għodda. Il-postijiet soċjali qed jamplifikaw il-piżijiet tal-Mudell tal-Lingwa Kontrastiva u aċċelerazzjoni ta' ~9× meta mqabbla ma' sħabhom tal-klassi Jev, flimkien ma' figuri qawwija ta' DeepSWE / Terminal-Bench wara irfinar ħafif. Sam jirrifjuta li jerġa' jikteb il-produzzjoni fuq tabella tal-istampa.

Huma ħolqu mikro-linja waħda kritika għall-latenza: għoxrin traċċa ta' bugfix imsewwija mill-monorepo tagħhom stess. Il-qofol tax-xogħol attwali jibqa' t-triq deliberattiva għal biljetti ta' arkitettura ġdida. CLM-8B - jekk ospitat u rfinut ħafif fuq it-traċċi tiegħu - huwa permess biss li jikkompeti fuq il-pass "agħżel l-azzjoni riversibbli li jmiss", b'raġunatur aktar bil-mod bħala mezz ta' ħarba meta l-kunfidenza tkun baxxa.

L-għan huwa A/B li jżomm il-konnessjoni kostanti: l-istess għodod, l-istess lista ta' permessi, l-istess politika ta' tentattivi mill-ġdid. Irreġistra azzjonijiet kull sekonda, latency p50/p95, suċċess tal-kompitu, u interventi umani - imbagħad iddeċiedi jekk il-piżijiet miftuħa jirbħux post.

Dak li jeħtieġ l-assistent

• Għoxrin traċċa anonimizzata ta' testijiet li fallew minn xogħol reali (inputs + għodod permessi biss)
• Kebbeb tal-aġent fiss: skema tal-għodda, lista permessa, passi massimi, u fergħa ta' "sejħa bil-mod raġunatur"
• Punteġġi bażi fuq il-mudell attwali għall-istess għoxrin kompitu
• Noti dwar il-ħardwer għall-host CLM-8B (klassi GPU, preċiżjoni, batch) għalhekk "aktar mgħaġġel" għandu referent
• Regola ta' stiker CLAIM: awtur DeepSWE / Terminal-Bench / ~9× / ~32 ms il-figuri jibqgħu ttikkettjati sakemm dan l-arness jirriproduċi xi ħaġa
• Sid uman li jirrevedi azzjonijiet żbaljati iżda veloċi qabel kwalunkwe żieda fis-CI

Eżempju ta' istruzzjoni

Qed tgħinni niddisinja A/B ġust għal CLM-8B bħala kontrollur ta' stat veloċi→azzjoni ġewwa l-aġent tal-kodifikazzjoni tagħna. Uża biss il-fatti tal-arness li nwaħħal. Tivvintax multiplikaturi tal-latenza, punteġġi DeepSWE, jew termini tal-liċenzja.

Kompitu: Mill-għoxrin isem ta' kompiti tiegħi u n-noti bażi attwali, abbozza (1) folja tal-punteġġ bil-kolonni Kompitu / Mudell / Passi / Arloġġ tal-ħajt / Suċċess (pass/fail) / Intervent uman (iva/le) / Noti, (2) protokoll b'sitt punti li jżomm il-wrapper identiku fil-mudelli kollha, u (3) regola ta' deċiżjoni fi kliem ċar ta' kuljum għal meta CLM-8B jista' jkollu l-mikro-linja kontra meta neskalaw għar-raġunatur bil-mod.

Restrizzjonijiet: Ingliż tar-Renju Unit. Ittikketta kull numru rrappurtat mill-awtur bħala CLAIM jekk jidher. Ippreferi għodod riversibbli. Ipprojbixxi l-lingwaġġ "aġenti finalment solvuti". Jekk metrika hija nieqsa mill-pejst tiegħi, ikteb [NEED MEASUREMENT] minflok ma taħseb.

Output: l-intestatura tal-iskeda tal-punteġġ u ringiela waħda ta' eżempju mimlija bl-użu ta' placeholders, il-balal tal-protokoll, imbagħad ir-regola eskala/żomm. L-ebda preambolu.

Kif tittestjah

• Mexxi l-istess għaxar traċċi fuq il-magna tax-xogħol attwali u fuq CLM-8B fine-tuning bl-istess wrapper. Ikkonferma li l-arloġġ tal-ħajt u s-suċċess biss huma differenti - mhux il-listi tal-għodda.
• Staqsi: “Liema chart tal-awtur jista’ jibdel il-produzzjoni din il-ġimgħa?” Tweġiba tajba: xejn sakemm dan l-arness juri rebħa fuq is-suċċess u l-latenza flimkien.
• Każ estrem: CLM-8B iwieġeb f'madwar 30 ms b'suġġeriment ta' kmand distruttiv - ikkonferma l-lista permessa u r-reviżjoni umana taqbadha qabel is-CI.
• Każ limite: biljett API ġdid barra l-għoxrin traċċa - ikkonferma li r-raġunatur bil-mod jippossjedih, mhux il-mudell rifless.
• Verifiki ta' aċċettazzjoni: (1) l-ebda talba ivvintata ta' 9× bħala riżultat imkejjel, (2) latency p50 u p95 irreġistrata, (3) id-denominatur tas-suċċess huwa l-għoxrin kompitu, (4) azzjonijiet żbaljati-veloċi magħduda, (5) il-verifika tal-Apache/liċenzja sseħħ offline qabel kwalunkwe pjan ta' vapur kummerċjali.

Riżultat

Riżultat illustrattiv (eżempju ta' stima għal tim wieħed ta' għodda ta' tliet persuni fuq għoxrin traċċa monorepo fissi, mhux tħaddim mill-ġdid f'laboratorju indipendenti tal-bankijiet tal-awturi): Iż-żiemel tax-xogħol bażi lesta 14 minn 20 traċċa mingħajr għajnuna umana; latency medjana tal-pass madwar 180 ms; żewġ traċċi kellhom bżonn bniedem wara editjar żbaljat. Wara aġġustament fin ħafif ta' CLM-8B fuq traċċi interni (l-istess tgeżwir), 15 minn 20 għaddew mingħajr għajnuna; latency medjana tal-pass madwar 45 ms fuq il-host b'GPU waħda tagħhom; azzjoni waħda addizzjonali ta' aġġustament fin-nuqqas ta' veloċità nqabdet mil-lista ta' permessi qabel ma ġiet applikata. L-arloġġ tal-ħajt għas-suite ta' għoxrin traċċa niżel minn madwar 38 minuta għal madwar 22 minuta inklużi l-passi ta' verifika. Fuq lista ta' kontroll tal-iġjene (arness miżmum kostanti, tikketti CLAIM miżmuma fuq iċ-ċarts tal-awtur, raġunatur bil-mod għadu użat għal biljetti ġodda, l-ebda sigrieti tal-produzzjoni fl-aġent sperimentali), 5 minn 5 punti ta' reviżjoni għaddew. Limitazzjonijiet: sett żgħir ta' kompiti, klassi waħda ta' hardware, il-kwalità tal-aġġustament fin tad-dejta tiddomina; Dan ma jivvalidax iċ-ċifri ta' ~9× jew DeepSWE tal-awturi barra minn dan il-qasam ta' ħidma mal-familja.

Biex tkejjel il-verżjoni tiegħek stess: iffriża għoxrin traċċa; agħti punteġġ lill-mudell attwali l-ewwel; ospita CLM-8B bi preċiżjoni/settings dokumentati; erġa' ħaddem bl-istess wrapper; irrapporta suċċess/n, p50/p95, interventi, u jekk xi numru CLAIM ġiex ittrattat bħala fatt.

X'jista' jmur ħażin

• Qima taċ-ċart: Kunsinna fuq slide ta' ~9× mingħajr il-p95 tiegħek.
• Azzjonijiet żbaljati-veloċi: Żbalji kunfidenti immedjati jegħlbu dawk korretti bil-mod f'repos b'riskju għoli.
• Deriva tal-arness: Tibdil tal-prompts tal-għodda bejn il-mudelli u ssejjaħha rebħa tal-mudell.
• Munzell ta' eroj wieħed: It-tneħħija tar-raġunatur deliberattiv għal xogħol ta' arkitettura ġdida.
• Handwaving tal-liċenzja: Il-fiduċja fis-sommarji tal-kopertura minflok fil-fajls attwali tal-liċenzja tar-repo tal-piż.
• Shadow CI: It-twaħħil ta' aġent miftuħ malajr fil-pipelines mingħajr limiti ta' rata jew reviżjoni tal-injezzjoni.

Konklużjoni prattika

CLM-8B jistħoqqlu evalwazzjoni ffukata bħala kandidat għal kontrollur tas-Sistema 1 għall-kodifikazzjoni aġentika - piżijiet miftuħa, storja ffurmata minn deċiżjonijiet, stqarrijiet ta' veloċità rrappurtati mill-awtur. Mhuwiex kredu u mhux 9× ippruvat għall-istack tiegħek sakemm l-arness tiegħek ma jgħidx hekk. Żomm il-wrapper kostanti, irreġistra l-azzjonijiet kull sekonda u r-rata mgħaġġla ħażina, żomm fetħa ta' ħarba aktar bil-mod, u ħalli l-istiker CLAIM fuq kull tabella tal-istampa sakemm jaslu ġirjiet indipendenti (inkluż tiegħek).

Mistoqsijiet Frekwenti

X'inhu CLM-8B, u għaliex il-bennejja tal-aġenti qed jitkellmu dwaru?

CLM-8B huwa l-ewwel sett ta' piż pubbliku fil-linja Contrastive Language Model - rilaxx ta' riċerka miftuħa ppreżentat bħala ċiklu ta' deċiżjonijiet veloċi għall-aġenti, mhux biss moħħ ieħor taċ-chat. L-istorja tat-taħriġ tgħaqqad l-istati ma' azzjonijiet aktar bħal rifless tas-Sistema 1 milli esej bil-mod tat-token li jmiss. Bi tmien biljun parametru huwa żgħir biżżejjed għal ħafna laboratorji u bennejja indipendenti biex jospitawh, bil-liċenzjar tal-Apache 2.0 inkwadrat fil-kopertura madwar it-tnaqqis. In-numri fil-postijiet tat-tnedija huma stqarrijiet irrappurtati mill-awtur, mhux ripetizzjonijiet ta' laboratorji indipendenti.

Kif jgħid CLM-8B li huwa sa 9× aktar mgħaġġel minn Jev għall-aġenti?

Il-promoturi jsostnu li l-inferenza hija sa madwar 9× aktar mgħaġġla mill-mudelli tal-klassi Jev, b'rispons ta' madwar 32 ms tal-klassi chatter fuq setting ta' terminal bench. Wara ftit irfinar, jirrappurtaw ukoll riżultati qawwija ta' kodifikazzjoni aġentika - DeepSWE madwar 81.6% u Terminal-Bench 2.1 madwar 87.6% - u xi kwalità ta' zero-shot komparabbli ma' Jev b'latenza ħafna aktar baxxa. Ittratta ċ-ċifri ta' 9× u millisekondi bħala stqarrijiet sakemm partijiet terzi jirriproduċuhom fuq hardware kondiviż. Il-veloċità relattiva xorta teħtieġ li d-daqs tal-lott, il-preċiżjoni, u s-settings tad-dekodifikazzjoni jkunu spjegati.

Kif it-taħriġ tal-Mudell tal-Lingwa Kontrastiva huwa differenti mill-LLMs tipiċi?

Il-biċċa l-kbira tal-LLMs tal-produzzjoni jiġġeneraw token wieħed kull darba, li jaħdem għall-proża u r-raġunament twil iżda jittassa kull mikro-deċiżjoni li jieħu aġent. It-taħriġ tal-Mudell tal-Lingwa Kontrastiva, kif jiddeskrivuh il-promoturi, iħeġġeġ lin-netwerk biex jimmappa sitwazzjonijiet għal mossi preferuti - aktar bħal kap ta' politika milli rumanzier. Dak l-iffissar tas-Sistema 1 jiffavorixxi linji veloċi minn stat għal azzjoni fuq narrattiva għal dejjem bejn sejħiet ta' għodda. CLM-8B xorta jista' joħroġ test; l-istorja tal-objettiv u tal-evalwazzjoni huma inklinati lejn kontroll aġentiku.

Min ħareġ CLM-8B, u huwa tassew miftuħ?

Jacky Kwok introduċa x-xogħol; Azalia Mirhoseini amplifikatu; il-kopertura tinkwadra sforz ta' tim marbut ma' Stanford u NVIDIA b'riċerkaturi msemmija, piżijiet pubbliċi, u kodiċi miftuħ. Il-liċenzjar madwar ir-rilaxx huwa fformulat bħala Apache 2.0, li huwa importanti għall-irfinar u t-tbaħħir - iżda aqra l-fajls tal-liċenzja fir-repo qabel ma tiddependi fuq sommarji tal-kopertura. Ir-rilaxxi miftuħa msemmija għandhom it-tendenza li jiġu ttestjati għall-istress aktar malajr mid-dumps anonimi. Għadu kmieni għal replikazzjoni wiesgħa minn partijiet terzi.

Għaliex il-linji stat-għal-azzjoni huma daqshekk importanti għall-kodifikazzjoni aġentika?

Il-kodifikazzjoni aġentika ħafna drabi tkun binarja: it-test isir aħdar jew ma jsirx aħdar, għalhekk għażliet ta' azzjoni nadifa jegħlbu esejs sbieħ ta' falliment. Il-latenza tikkumbina f'għexieren ta' passi tal-għodda - tnaqqas il-ħin għal kull pass u l-arloġġ tal-ħajt u l-kontijiet tas-sħab it-tnejn jiċċaqalqu. Żieda ta' veloċità ta' ordni ta' kobor allegata kontra peer tal-klassi Jev, anke jekk tinżel bħala "biss" 4× fis-selvaġġ, xorta tirranġa mill-ġdid l-ippjanar tal-kapaċità. Stacks ibridi - kontrollur veloċi simili għal CLM flimkien ma' raġunatur itqal fuq fergħat iebsin - huma forma realistika fit-tul.

Għandi nafda l-punteġġi ta' DeepSWE u Terminal-Bench għal CLM-8B?

Dawk is-suites jikkastigaw aġenti fraġli, u huwa għalhekk li ~81.6% DeepSWE u ~87.6% Terminal-Bench 2.1 wara rfinar ħafif jidhru eċċitanti. Il-bankijiet tal-aġenti jippremjaw ukoll l-armar: il-kwalità tal-arness, il-listi permessi tal-għodda, u l-prompts ta' rkupru jistgħu jbiddlu s-suċċess b'żewġ ċifri. Ħaffer f'liema pakkett kien hemm madwar il-piżijiet qabel ma tittratta ċ-ċart bħala xjenza stabbilita. Il-bankijiet tal-awturi qed jikkummerċjalizzaw sakemm xi ħadd ieħor jirriproduċihom b'riċetti dokumentati.

X'għandi nkun naf dwar CLM-35B u l-irfinar tal-mudell 8B?

Pjan għal CLM-35B akbar jissemma; mhux ċert jekk iżommx l-istorja tal-latenza jew jibdel il-veloċità għall-fond. L-irfinar ta' CLM-8B fuq ir-regoli tal-lint tiegħek stess, l-użu tas-CLI, u t-traċċi tal-monorepo huwa t-triq realistika għal numri b'saħħithom - mhux maġija ta' żero-shot fl-ewwel jum. It-timijiet jistgħu jżommu ż-żewġ daqsijiet jekk jirnexxilhom: 8B għal hot loops, 35B għal ippjanar iebes. Il-piżijiet miftuħa jagħmlu wkoll l-użu ħażin aktar faċli, għalhekk il-guardrails u l-limiti tar-rata huma prodott, mhux cosplay fakultattiv.

Kif għandi naqra t-tqabbil ta' Jev mingħajr ma nintilef mis-silġ?

It-tqabbil tal-klassi Jev jagħti ankra tal-pari "sa 9× aktar mgħaġġla", li tgħin biex il-pitch jinżel. Il-periklu huwa li d-daqs tal-lott, il-preċiżjoni, it-tul tal-kuntest, u s-serjalizzazzjoni tas-sejħa tal-għodda jiġġarfu f'multiplikatur wieħed. Meta chatter jiċċita ~32 rispons tal-klassi ms, staqsi jekk dan ifisserx l-ewwel token, JSON ta' azzjoni sħiħa, jew prefiss fil-cache. Kejjel is-suċċess tal-kompitu, id-dollaru għal kull biljett solvut, u r-rata ta' intervent uman fuq l-istack tiegħek. In-narrattivi tar-rivalità jġiegħlu lill-laboratorji jippubblikaw in-numri; il-KPIs tal-produzzjoni tiegħek xorta jiddeċiedu.

X'għandhom jagħmlu l-bennejja qabel ma jpoġġu CLM-8B fl-aġenti tal-produzzjoni?

Aqta’ porzjon kritiku għall-latenza - bħall-mikro-linja tat-terminal - u agħmel irfinar A/B kontra ż-żiemel tax-xogħol attwali tiegħek bl-arness miżmum kostanti. Oqgħod attent għal azzjonijiet żbaljati iżda veloċi; żid verifika, ippreferi għodod riversibbli, u ibbaġitja raġunatur aktar bil-mod meta l-kunfidenza tkun baxxa. Traċċa l-azzjonijiet kull sekonda għal kull GPU, mhux biss tokens kull sekonda. Tippejstjax sigrieti tal-produzzjoni f'aġenti sperimentali, u ħalli stiker CLAIM fuq kull tabella tal-istampa sakemm il-ġirjiet tiegħek stess jaslu.

Kif nibni evalwazzjoni ta' mikro-loop b'latenza ġusta għal talbiet CLM-8B Just Dropped?

Iffriża sett żgħir ta' traċċi ta' testijiet li fallew reali, żomm l-istess skema tal-għodda u lista ta' permessi fil-mudelli kollha, u rreġistra l-passi, il-ħin attwali, is-suċċess, u l-interventi umani. Uża CLM-8B biss fuq il-pass "agħżel l-azzjoni riversibbli li jmiss" jekk iżżomm fetħa ta' ħarba deliberattiva għal biljetti ġodda. Ittikketta l-awtur ~9×, DeepSWE, u ċ-ċifri ta' millisekondi bħala CLAIM sakemm dan il-kontroll juri rebħa fuq is-suċċess u l-latenza flimkien. Dak l-evalwazzjoni ffukata tegħleb il-produzzjoni tal-kitba mill-ġdid fuq gverta ta' slides.

Referenzi

1. Wiċċ li Jgħannaq — Mudell ta' Lingwa Kontrastiva (CLM-v0.1-8B) — huggingface.co
2. GitHub — Kontrastiva-LM / CLM — github.com
3. Stanford University — Azalia Mirhoseini — cs.stanford.edu
4. Jacky Kwok — jackyk02.github.io
5. X — Introduzzjoni ta' Jacky Kwok — x.com
6. DeepSWE — deepswe.datacurve.ai
7. Snorkel AI — Terminal-Bench 2.1 — snorkel.ai
8. Jev — jevtypesafeai.com