AutoSynthData ta' ServiceNow Tibdel il-Falimenti tal-Aġenti f'Deheb għat-Taħriġ

Tweġiba qasira: AutoSynthData ta' ServiceNow CoreAI tibdel il-fallimenti tal-aġenti flimkien mas-suċċessi tal-għalliema f'kompiti SFT sintetiċi vvalidati meta l-intrapriżi jeħtieġu kompetenza ambjentali, mhux biss punteġġi ta' riferiment ġenerali. Tisanitizza l-lakuni f'karti tal-ispeċifikazzjoni tal-kapaċità, timmultiplika x-xogħol verifikabbli, imbagħad tillimita l-kwalità qabel ma tirfina. L-awtur irrappurtat li l-EnterpriseOps Gym jirkupra jekk is-saħħa tal-għalliema, il-kwalità tal-verifikatur, u l-fedeltà ambjentali jallinjaw.

Punti ewlenin:

Karti tal-kapaċità: Iddiżinfetta l-ħsarat fil-karti sabiex il-ġeneraturi qatt ma jaraw l-IDs oriġinali.

Awditabilità tal-verifikatur: Ippreferi kontrolli tal-istat finali tal-SQL li jirrifjutaw riżultati żbaljati mutati.

Faxxa ta' diffikultà: Ħarreġ biss kompiti li l-mira rarament issolvi u l-għalliem ġeneralment ineħħihom.

Reviżjoni umana: Żomm ir-reviżjoni umana fuq politika ta' riskju għoli u azzjonijiet irriversibbli qabel ma terġa' titħarreġ.

Nimxu fil-fruntiera: Wara l-SFT, evalwa mill-ġdid u ċċaqlaq il-fażi fil-mira lejn il-lakuni li fadal.

L-aġenti tal-IA tal-intrapriżi rarament ifallu għax ma jkollhomx għarfien ġenerali. Ifallu għax l-ambjent huwa speċifiku: politiki tat-tickets, skemi partikolari, kuntratti tal-għodda, databases imżerżqa, artikli tal-għarfien, u flussi tax-xogħol bejn is-sistemi li ma jidhrux bħal demos minn kotba. Mudell li jikseb punteġġ tajjeb fuq benchmarks miftuħa xorta jista' jieqaf meta l-pass li jmiss irid jirrispetta tieqa ta' bidla, relazzjoni CMDB, jew verifikatur li jivverifika l-istat finali aktar milli chat fluwenti.

ServiceNow CoreAI / ServiceNow-AI ippubblikaw AutoSynthData biex jattakkaw dik il-lakuna direttament. L-awtur imsemmi Esakkivel Esakkiraja jiddeskrivi pipeline li jikkonverti l-fallimenti ta' aġent fil-mira - flimkien mas-suċċessi ta' għalliem aktar b'saħħtu - f'kompiti ta' taħriġ sintetiku vvalidat imfassla apposta għal ambjenti ta' intrapriża. Il-punt mhuwiex li jinġabru aktar logs taċ-chat. Huwa li jiġi mmultiplikat xogħol iebes u verifikabbli li jeżerċita l-istess kapaċità taħt kundizzjonijiet ġodda sabiex l-irfinar sorveljat ikun jista' jagħlaq in-nuqqasijiet speċifiċi għall-ambjent.

Dan l-artiklu jispjega l-idea ewlenija, l-astrazzjoni tal-kompiti, il-ġenerazzjoni u l-linja tal-kontroll tal-kwalità, l-arkitettura kondiviża, u r-riżultati rrappurtati mill-awtur dwar EnterpriseOps Gym f'ambjenti Ibridi u ITSM. Jibqa' ma' dak li tiddeskrivi r-riċerka: kurrikulu li jiċċaqlaq ta' kompiti sintetiċi, mhux affermazzjoni li xi intrapriża tissolva f'daqqa waħda.

Għaliex il-kompetenza ambjentali tegħleb il-kapaċità ġenerali

L-intrapriżi jeħtieġu aġenti li jaħdmu fl-ambjent tagħhom - is-sistemi, ir-regoli u l-istat tad-dejta tagħhom. Il-kapaċità wiesgħa mhijiex l-istess ħaġa bħall-kompetenza fl-ambjent. Aġent jista' jkun jaf kif ġeneralment taħdem il-ġestjoni tas-servizzi tal-IT u xorta jitlef il-politika lokali li tipprojbixxi ċerti tranżizzjonijiet, jew l-għodda li taġġorna tabella relatata biss wara li jkun jeżisti rekord prerekwiżit.

Il-fallimenti individwali huma informattivi iżda rqaq daqs id-dejta tat-taħriġ. Trajettorja waħda miksura turi dgħufija; ma tipprovdix id-dożini ta’ sitwazzjonijiet fil-qrib li jgħallmu lill-mudell jirkupra taħt varjazzjoni. It-timijiet jeħtieġu ħafna kompiti ġodda li jeżerċitaw l-istess kapaċità b’mod differenti, jibqgħu jistgħu jitlestew fl-ambjent, iħossuhom realistiċi hekk kif jitlob l-utent, u jibqgħu verifikabbli kontra l-verifiki tar-riżultati.

Dik hija l-pressjoni tad-disinn wara AutoSynthData. Il-fallimenti jsiru sinjali għal karti tal-kapaċità. Il-karti jsiru ġeneraturi ta’ kompiti ġodda. Għalliem aktar b’saħħtu juri trajettorji ta’ suċċess. Il-filtri u l-verifikaturi jiddeċiedu x’jidħol fis-sett ta’ rfinar sorveljat. Wara t-taħriġ, l-evalwazzjoni ċċaqlaq il-fruntiera lejn il-lakuni li jifdal. Il-linja hija ffurmata minn kurrikulu aktar milli minn dump ta’ dejta f’daqqa.

L-inkwadrar huwa importanti għall-prattikanti. Jekk taħżen biss prompts li ma jirnexxux, tirriskja li taqbel iżżejjed ma' dawk l-entitajiet u l-frażijiet eżatti. Jekk tiġġenera biss mistoqsijiet sintetiċi mhux ristretti, tirriskja kompiti li huma impossibbli, mhux realistiċi, jew mhux verifikabbli. AutoSynthData tinsab bejn dawk l-estremi: tissanitizza dak li falla f'speċifikazzjoni tal-kapaċità, imbagħad tirriġenera kompiti li jżommu l-qalba iebsa filwaqt li jibdlu l-forma tal-wiċċ u d-dimensjonijiet kontrollabbli.

Il-forma prattika tal-kompitu: sistema, prompt, verifikatur

Astrazzjoni li tista' taħdem għal xogħol aġentiku hija: kompitu huwa ugwali għal speċifikazzjoni tas-sistema, prompt tal-utent, u verifikatur. Kull biċċa ġġorr restrizzjonijiet li jżommu d-dejta sintetika msejsa u affidabbli.

L-ispeċifikazzjoni tas-sistema tkopri restrizzjonijiet, politiki, u stat inizjali - pereżempju żrieragħ tad-database u artikli ta' għarfien. Trid tibqa' kompatibbli mal-għodod u l-istat disponibbli. Restrizzjonijiet arbitrarji ta' diffikultà li jinjoraw kuntratti tal-għodod jew realiżmu taż-żerriegħa għandhom it-tendenza li joħolqu kompiti fraġli li jgħallmu l-lezzjoni żbaljata.

Il-kwalità tal-pront għall-utent għandha tliet lentijiet. Il-fattibbiltà tistaqsi jekk teżistix trajettorja valida. Ir-realiżmu jistaqsi jekk utent jitlobx dan b'mod plawżibbli. Id-diffikultà tistaqsi jekk il-kompitu jesponix dgħufija attwali tal-aġent aktar milli xi ħaġa li l-mira diġà ssolvi b'mod affidabbli. Pront li huwa trivijali għall-mira jaħli l-baġit tat-taħriġ; prompt li huwa impossibbli jaħli l-fiduċja fl-evalwazzjoni.

Il-kwalità tal-verifikatur tiddependi fuq il-konsistenza, is-solidità, u l-kompletezza. Trajettorji wisq laxki u dgħajfa jgħaddu. Soluzzjonijiet wisq restrittivi għal trajettorja waħda u alternattivi validi jfallu. L-issettjar tal-intrapriża spiss jippreferu kontrolli tar-riżultati bbażati fuq l-SQL jew fuq l-istat għaliex jikklassifikaw id-dinja wara li jaġixxi l-aġent, mhux it-triq eżatta tat-token li ħa l-aġent.

AutoSynthData tiddependi fuq din it-trijade sabiex ix-xogħol iġġenerat jibqa' msejjes fuq pjan. Il-ġeneraturi ma jivvintawx kwizzijiet li jiċċaqalqu liberament. Huma jipproduċu kompiti li jistgħu jiġu eżegwiti fl-adapter tal-ambjent u ġġudikati minn verifikaturi li jimpurtahom mill-proprjetajiet tal-istat finali meħtieġa.

Minn evalwazzjoni dijanjostika għal karti tal-ispeċifikazzjoni tal-kapaċità

Il-proċess jibda b'evalwazzjoni dijanjostika tal-aġent fil-mira u għalliem aktar b'saħħtu fl-ambjent. It-testijiet paralleli juru fejn il-mira tfalli u fejn l-għalliem jirnexxi. Dawk il-każijiet ta' kuntrast huma l-materja prima għad-disinn tal-kurrikulu.

Imbagħad tiġi d-distillazzjoni f'karti tal-ispeċifikazzjoni tal-kapaċità sanitizzati. Karta taqbad il-kapaċità li qed tiġi ttestjata, l-għodod rilevanti jew il-forma tal-fluss tax-xogħol, fejn il-mira tfalli u l-għalliem jirnexxi, il-proprjetajiet tal-istat finali meħtieġa, u d-dimensjonijiet li jistgħu jvarjaw meta jiġu ivvintati kompiti ġodda. Kritikament, il-ġeneratur ma jirċevix prompts, entitajiet, trajettorji, jew dettalji tal-verifikatur oriġinali - il-karti biss.

Dik is-sanitizzazzjoni hija mossa intenzjonata kontra l-overfit. Kieku l-ġeneratur ra n-numri eżatti tat-tickets li qed ifallu, l-IDs tal-artikoli tal-għarfien, jew it-traċċi tal-għalliema, ikun ittantat li jipparafraża l-istess episodju. Il-karti jġiegħlu l-astrazzjoni: għallem il-kapaċità taħt varjazzjoni kontrollabbli, mhux l-istanza memorizzata.

Wara li l-karti jeżistu, is-sistema tiġġenera kompiti ġodda minnhom. L-għalliem imbagħad juri trajettorji ta’ suċċess għal irfinar sorveljat. Dawk id-dimostrazzjonijiet mhumiex pariri f’forma ħielsa; huma suċċessi bbażati fuq l-ambjent li jgħaddu mill-istess tip ta’ verifika li jimpurtah mill-kurrikulu.

Skala ta' struttura b'żewġ fażijiet. Il-fażi fil-mira tiffoka fuq kampjuni ewlenin ivverifikati madwar lakuni - il-kompiti bl-ogħla sinjal ħdejn fejn l-aġent dgħajjef jinkiser. Il-fażi tal-multiplikazzjoni toħloq varjanti ġodda ta' miri aċċettati. Il-kampjuni mmultiplikati ma jistgħux jiżirgħu aktar rawnds ta' multiplikazzjoni, u dan jillimita d-drift. Dik ir-regola hija żgħira iżda importanti: varjazzjoni rikursiva bla limitu tista' titbiegħed mill-kapaċità li l-karta semmiet.

Kontrollur kondiviż, adapter tal-ambjent, u l-fruntiera li tiċċaqlaq

F'termini ta' arkitettura, AutoSynthData juża kontrollur kondiviż flimkien ma' adapter tal-ambjent. Il-kontrollur jikkoordina d-dijanjosi, il-carding, il-ġenerazzjoni, id-demos tal-għalliema, il-gradi tal-kwalità, u r-reviżjoni tal-lott. L-adapter jgħaqqad dawk il-passi ma' sandbox konkreta tal-intrapriża - għodod, stat, politiki, u verifikaturi - sabiex l-istess linja ta' kontroll tkun tista' timmira lejn oqsma differenti mingħajr ma terġa' tikteb il-loġika tal-kurrikulu mill-bidu.

Wara l-irfinar sorveljat, il-pipeline jerġa' jiġi evalwat. Il-kurrikulu mbagħad jimxi lejn il-lakuni li fadal: fruntiera li tiċċaqlaq aktar milli sett ta' dejta statiku. L-esperimenti deskritti fix-xogħol jiffokaw fuq l-irfinar sorveljat. L-istess linja tista' tappoġġja t-tagħlim ta' rinfurzar aktar tard; dik id-direzzjoni hija nnutata bħala ppjanata, mhux iddikjarata bħala kompluta.

Għat-timijiet tal-intrapriżi, il-lezzjoni arkitettonika hija modulari. Il-kontrolluri m'għandhomx jikkodifikaw skema ta' biljett wieħed. L-adapters għandhom jesponu biżżejjed fedeltà tal-istat u tal-għodda biex il-verifikaturi jkunu jistgħu jkunu sinifikanti. Il-kurrikulu għandu jittratta r-riżultati tal-evalwazzjoni bħala l-input li jmiss, mhux bħala scoreboard ta' darba.

EnterpriseOps Gym huwa l-ambjent fejn ġie illustrat dan l-approċċ. Huwa bank ta' aġenti ta' intrapriża fuq skala kbira b'madwar 1,150 kompitu kkurati minn esperti fi 8 dominji, madwar 512-il għodda, madwar 164 tabella ta' database, eżekuzzjoni f'kontejners, verifika tar-riżultati bbażata fuq SQL, operazzjonijiet immexxija mill-politika, xenarji ibridi bejn id-dominji, ittestjar ta' infattibbiltà u rifjut, u trajettorji stateful fuq orizzont twil. AutoSynthData mhijiex ippreżentata bħala li vvinta dik il-gym; il-gym hija s-sodda tat-test tal-istress għal-linja tas-sintesi.

QC fil-livell tal-kampjun li jżomm il-kompiti sintetiċi affidabbli

Ġenerazzjoni mingħajr bibien hija kif id-dejta tal-aġent sintetiku tmur ħażin. AutoSynthData tiddeskrivi kontroll tal-kwalità fil-livell tal-kampjun b'diversi kontrolli komplementari.

Filtru tad-diffikultà tas-solver jidderieġi s-sett lejn kompiti li huma diffiċli għall-mira u li jistgħu jiġu solvuti mill-għalliem. Il-konfigurazzjoni deskritta tiffavorixxi kompiti li l-mira ssolvi f'massimu ta' waħda minn tliet provi, filwaqt li l-għalliem jirnexxi f'mill-inqas tnejn minn tlieta. Dik il-medda hija fejn id-demos sorveljati jistgħu jgħallmu xi ħaġa li l-mudell dgħajjef diġà ma jippossjedix.

Verifika pożittiva teħtieġ li trajettorja ta' referenza tgħaddi mill-verifikatur. Verifika negattiva teħtieġ li r-riżultati żbaljati mutati jfallu. Flimkien dawn jittestjaw il-pressjoni kemm fuq in-naħa tal-aċċettazzjoni kif ukoll fuq dik taċ-ċaħda tal-verifikatur. Jekk jiġu ċċekkjati biss il-pożittivi, verifikatur permissiv jista' jammetti żball. Jekk jiġu ċċekkjati biss in-negattivi, verifikatur iżżejjed jista' jirrifjuta xogħol validu.

Ċiklu ta' kritika u tiswija, b'limitu ta' tentattivi mill-ġdid, jipprova jirranġa kompiti li jfallu l-bibien minflok ma jarmi kull kważi-inċident immedjatament. Il-limiti ta' tentattivi mill-ġdid huma importanti: tiswija bla tmiem tista' tivvinta restrizzjonijiet dejjem aktar artifiċjali sempliċement biex tgħaddi minn lista ta' kontroll.

Imbagħad, il-meta-reviżjoni fil-livell tal-lott tħares lejn is-sett kollu għall-kopertura, id-diversità, ir-redundanza, u l-miri li qed ifallu. Il-"sample gates" iżżomm l-oġġetti individwali sodi; ir-reviżjoni fil-lott iżżomm il-kurrikulu milli jinġabar f'modalità ta' falliment waħda ristretta jew milli jikklona kważi duplikati.

Dawn il-kontrolli jispjegaw għaliex il-pipeline jista' jqatta' sigħat jipproduċi eluf ta' kampjuni mingħajr ma jittratta l-volum bħala sostitut għall-adattament. Il-veloċità tvarja skont id-dominju u d-daqs tal-għalliem, iżda l-istorja tal-QC hija konsistenti: medda ta' diffikultà, verifika pożittiva u negattiva, tiswija bil-limiti, imbagħad meta-reviżjoni.

Fallimenti mhux ipproċessati vs karti vs settijiet SFT validati

Jgħin biex tqabbel għalxiex huwa tajjeb kull artifatt. Ir-reġistri mhux ipproċessati tal-fallimenti huma dijanjostiċi. Il-karti tal-kapaċità huma kuntratti ġenerattivi. Settijiet ta' rfinar superviżjonati vvalidati huma dak li titħarreġ fuqu fil-prattika.

Fi snapshots ta' Hybrid u ITSM fuq EnterpriseOps Gym, it-tħaddim irrappurtat mill-awtur uża Gemma-4-26B-A4B-it bħala l-mira. Hybrid għaqqad dik il-mira ma' Qwen3.8-27B bħala għalliem u pproduċa madwar 2,000 kampjun ibridu f'madwar 18-il siegħa, bl-aħjar checkpoint fl-epoka 5. Il-medja ta' Pass@1 żdiedet b'7.2 punti perċentwali - madwar 35 fil-mija relattiv - bis-suċċess tal-verifikatur jiċċaqlaq minn 63.01 fil-mija għal 68.55 fil-mija, u b'hekk naqqset madwar 59 fil-mija tad-distakk ta' Pass@1 mal- mudell ta' referenza.

L-ITSM qabbad l-istess mira ma' DeepSeek-V4.1-Flash bħala għalliem u pproduċa madwar 1,994 kampjun f'madwar 66 siegħa, aktar parzjalment minħabba għalliem akbar u minħabba li xi ottimizzazzjonijiet tal-pipeline kienu għadhom ma ġewx fis-seħħ. Il-Medja Pass@1 telgħet minn 18.77 fil-mija għal 27.18 fil-mija.

Aqra dawn in-numri bħala riżultati ta' riċerka tal-kumpanija dwar dan il-ġinnasju għad-dominji ttestjati - mhux bħala replikazzjoni indipendenti minn parti terza, u mhux bħala garanzija universali ta' intrapriża. Il-kisbiet jinsabu fejn is-saħħa tal-għalliema, il-kwalità tal-verifikatur, u l-fedeltà tal-ambjent jaqblu.

Dak li l-prattikanti għandhom jikkopjaw mil-linja

Anke jekk l-istack tiegħek mhuwiex il-pipeline tar-riċerka ta' ServiceNow, il-mudell jittrasferixxi. Ibda b'evalwazzjoni mqabbla ta' mira simili għall-produzzjoni u għalliem aktar b'saħħtu f'sandbox fidila. Ikkonverti l-fallimenti tal-kuntrast f'karti tal-kapaċità li jneħħu l-identifikaturi u t-trajettorji. Iġġenera kompiti li jvarjaw id-dimensjonijiet permessi filwaqt li jippreservaw il-proprjetajiet tal-istat finali meħtieġa. Ħalli l-għalliem juri s-suċċessi. Agħmel gate b'faxex ta' diffikultà, verifika pożittiva u negattiva, tiswija limitata, u reviżjoni tad-diversità tal-lott. Irfina, evalwa mill-ġdid, u ċċaqlaq il-fruntiera.

Oqgħod attent b'mod speċjali għad-disinn tal-verifikatur. Il-verifiki tar-riżultati SQL fl-istil ta' EnterpriseOps Gym u l-operazzjonijiet immexxija mill-politika juru għaliex ir-rubriki taċ-chat waħedhom huma dgħajfa għal xogħol stateful. Jekk il-verifikatur tiegħek ma jistax jiddistingwi riżultati żbaljati mutati minn finali korretti, skala sintetika se tamplifika l-istorbju.

Irrispetta wkoll l-ispirtu tar-regoli multipli: il-varjanti ta' miri aċċettati m'għandhomx iżergħu bla waqfien aktar varjanti mingħajr ma jirritornaw għal qlub ivverifikati. Id-drift huwa kwiet. Kurrikulu li bil-mod jivvinta restrizzjonijiet aktar eżotiċi xorta jista' jgħaddi minn filtri superfiċjali filwaqt li jħalli l-kapaċità oriġinali mhux imħarrġa biżżejjed.

Fl-aħħar nett, ittratta x-xogħol ibridu bejn id-dominji bħala każ ta' stress tal-ewwel klassi. L-utenti ta' kuljum ma jibqgħux f'silo wieħed tal-għodda. Il-kompiti ibridi, it-trajettorji fuq orizzont twil, u l-ittestjar ta' rifjut jew infattibbiltà huma fejn il-kompetenza tal-ambjent tidher - jew tfalli bil-kbir.

Twissijiet, limiti, u qari bir-reqqa tal-qligħ

Ir-riżultati rrappurtati mill-awtur fuq EnterpriseOps Gym huma sinjali informattivi, mhux garanzija ġenerali. Il-qligħ ippubblikat tal-Hybrid u l-ITSM japplika għal dawk id-dominji u l-pari tal-mudelli taħt is-setup deskritt. Dominji oħra, għalliema aktar dgħajfa, verifikaturi aktar storbjużi, jew fedeltà ambjentali aktar baxxa jistgħu jnaqqsu jew iħassru l-benefiċċju.

Il-kwalità tiddependi fuq tliet pilastri li l-ebda glossa tal-marketing ma tista’ tinjora. Is-saħħa tal-għalliem tistabbilixxi l-limitu għad-dimostrazzjonijiet. Il-kwalità tal-verifikatur tistabbilixxi l-affidabbiltà tat-tikketti u l-filtri. Il-fedeltà tal-ambjent tistabbilixxi jekk l-imġieba mgħallma tibqax teżisti f’kuntatt mas-sistemi ta’ produzzjoni, ir-regoli, u l-istat tad-dejta.

L-esperimenti ta' AutoSynthData jenfasizzaw l-irfinar sorveljat. It-tagħlim bir-rinfurzar huwa nnutat bħala użu aktar tard possibbli tal-istess linja, ippjanata aktar milli mwassla fix-xogħol irrappurtat. Il-qarrejja m'għandhomx iħalltu magna tad-dejta lesta għall-kurrikulu ma' talba ta' taħriġ RL lesta.

Lanqas il-qarrejja m'għandhom iħawdu l-pipeline tas-sinteżi mal-bank innifsu. EnterpriseOps Gym jipprovdi l-kompiti, l-għodod, it-tabelli, il-konteniturizzazzjoni, u d-drapp tal-verifika kkurati. AutoSynthData juża dak it-tip ta' ambjent biex ibiddel il-fallimenti f'deheb għat-taħriġ. Agħti kreditu liż-żewġ biċċiet b'mod preċiż: il-ġinnasju jenfasizza l-aġenti; il-pipeline jimmultiplika kompiti li jistgħu jiġu mgħallma minn lakuni dijanjostikati.

M'hemm l-ebda ikla b'xejn fuq il-ħin tal-komputazzjoni u tal-kalendarju ġewwa s-sandbox. Is-sinteżi ibrida tlestiet fl-ordni ta' sigħat għal madwar elfejn kampjun; l-ITSM ħadet aktar żmien b'għalliem itqal u forma ta' pipeline aktar bikrija. It-timijiet għandhom jibbaġitjaw għall-inferenza tal-għalliema, tentattivi mill-ġdid fi kritika jew tiswija, u evalwazzjoni mill-ġdid wara kull pass tal-kurrikulu.

Ħsieb dwar il-kurrikulu għal timijiet ta' aġenti tal-intrapriża

L-idea l-aktar profonda f'AutoSynthData hija kurrikulari aktar milli purament ġenerattiva. Il-fallimenti jiddijanjostikaw. Il-karti jastrattjaw. Il-ġenerazzjoni timmultiplika. Il-QC tivvalida. L-SFT taġġorna l-mira. Ir-rivalutazzjoni ċċaqlaq il-fruntiera. Dik is-sekwenza tittratta t-titjib tal-aġent bħala serje ta' lezzjonijiet ibbażati fuq l-ambjent minflok dump wieħed offline ta' traċċi.

Il-ħsieb dwar il-kurrikulu jibdel il-mod kif il-mexxejja jallokaw l-isforz. ​​Minflok ma titlob biss għal aktar biljetti jew aktar annotazzjonijiet umani, staqsi liema kapaċitajiet xorta jfallu taħt varjazzjoni, jekk dawk il-kapaċitajiet għandhomx proprjetajiet nodfa tal-istat finali, u jekk għalliem aktar b'saħħtu jistax jurihom b'mod affidabbli. Jekk l-għalliem ma jistax jirnexxi biżżejjed spiss, SFT sintetika se tgħallem imġiba mhux affidabbli. Jekk il-proprjetajiet tal-istat finali huma fuzzy, il-verifikaturi se jargumentaw ma' strateġiji validi.

Jibdel ukoll il-mod kif titkellem dwar is-suċċess. L-għeluq ta' parti minn distakk fil-Pass@1 għal mudell ta' referenza fuq Hybrid, jew it-tneħħija tal-ITSM Pass@1 mill-ftit diżastri għal kważi għoxrinijiet f'ġirjiet irrappurtati mill-awtur, huwa progress fuq il-kompetenza ambjentali mkejla. Mhijiex prova li kull fluss tax-xogħol, kull politika, jew kull każ ta' rifjut huwa solvut. Żomm il-lingwaġġ tal-fruntiera li tiċċaqlaq: il-lakuni li jifdal isiru l-fażi li jmiss fil-Mira, mhux slide li tiġi kkunsidrata wara.

Għad-disinn tal-programm, għaqqad dan il-linja mar-reviżjoni umana fejn l-ishma huma għoljin - politiki ta' sigurtà, azzjonijiet irriversibbli, dejta regolata - filwaqt li tħalli l-bibien awtomatizzati jġorru volum fuq kontrolli tal-istat speċifikati sew. Id-dejta sintetika taħdem l-aħjar meta l-ambjent jista' jgħid iva jew le b'ċarezza simili għall-SQL. Tissielet meta s-suċċess huwa togħma suġġettiva.

Noti tad-disinn dwar id-diffikultà, ir-realiżmu, u r-rifjut

L-immirar lejn id-diffikultà jistħoqqlu ħarsa oħra. Li tiffavorixxi kompiti li l-mira ssolvi mhux aktar minn terz tal-ħin iżżomm it-taħriġ 'il bogħod mit-trivia. Li tirrikjedi li l-għalliem jirnexxi mill-inqas żewġ terzi tal-ħin iżżomm id-demos 'il bogħod mit-tfigħ tal-muniti. Dik il-medda hija kompromess prattiku bejn l-isfida u l-faċilità li titgħallem.

Ir-realiżmu jibqa' kriterju aktar artab iżda xorta essenzjali. L-utenti tal-intrapriżi jitolbu affarijiet li jaqblu mar-rwoli u s-sistemi tagħhom. Ġeneraturi mmexxija biss mill-ebusija jistgħu jivvintaw puzzles elaborati b'ħafna restrizzjonijiet li l-ebda operatur ma jitlob. Karti tal-kapaċità li jelenkaw dimensjonijiet varjabbli jgħinu, iżda l-bnedmin jew il-meta-reviżjoni xorta jridu jaqbdu prompts surreali.

It-testijiet tar-rifjut u tal-infattibbiltà, preżenti fid-disinn usa' ta' EnterpriseOps Gym, ifakkru lit-timijiet li l-kompetenza tinkludi li tgħid le. Pipeline ottimizzat biss għal kompiti li jistgħu jitlestew jista' jħarreġ b'mod insuffiċjenti r-rifjut. Meta testendi l-linji tal-istil AutoSynthData, inkludi karti fejn il-proprjetà finali korretta hija tnaqqis sikur taħt il-politika, mhux biss mutazzjoni b'suċċess tal-istat tad-database.

Trajettorji b'orizzont twil b'stateful iqajmu nota oħra tad-disinn. Id-dimostrazzjonijiet tal-għalliema għandhom jibqgħu koerenti f'ħafna sejħiet tal-għodda. Il-verifikaturi li jiċċekkjaw biss l-aħħar ringiela tat-tabella jistgħu jitilfu l-interruzzjonijiet tal-politika. Il-kompletezza fid-disinn tal-verifikatur tfisser li tkopri l-proprjetajiet li verament jiddefinixxu s-suċċess għal dik il-kapaċità - inklużi restrizzjonijiet li għandhom jibqgħu veri matul il-proċess kollu, mhux biss fl-aħħar.

Sommarju tal-għeluq

AutoSynthData, minn ServiceNow CoreAI / ServiceNow-AI u miktuba fil-kitba pubblika minn Esakkivel Esakkiraja, hija pipeline li tibdel il-fallimenti tal-aġent fil-mira flimkien mas-suċċessi tal-għalliema f'kompiti ta' taħriġ sintetiku vvalidat għal ambjenti ta' intrapriża. Din tiġbor fil-qosor il-fallimenti f'karti ta' speċifikazzjoni tal-kapaċità sanitizzati, tiġġenera kompiti ġodda mingħajr ma tnixxi prompts jew trajettorji oriġinali, tiġbor dimostrazzjonijiet tal-għalliema, u tinforza kontroll tal-kwalità fil-livell tal-kampjun u fil-livell tal-lott qabel l-irfinar sorveljat.

Il-mudell mentali prattiku huwa kompitu bħala speċifikazzjoni tas-sistema, prompt għall-utent, u verifikatur - bil-fattibbiltà, ir-realiżmu, u d-diffikultà miżmuma f'tensjoni, u b'verifikaturi li la huma laxki wisq u lanqas imsakkra ma' mogħdija waħda. Il-fażijiet Target then Multiply, regola mingħajr aktar żerriegħa għal kampjuni mmultiplikati, kontrollur kondiviż flimkien ma' adapter tal-ambjent, u evalwazzjoni mill-ġdid wara l-SFT joħolqu fruntiera li tiċċaqlaq fuq il-lakuni li fadal.

Fuq EnterpriseOps Gym, ir-riżultati Hybrid irrappurtati mill-awtur b'Gemma-4-26B-A4B-it u Qwen3.8-27B juru madwar elfejn kampjun f'madwar tmintax-il siegħa u żidiet sinifikanti fil-Pass@1 u s-suċċess tal-verifikatur, u b'hekk jagħlqu sehem kbir mid-distakk ma' mudell ta' referenza. L-ITSM b'DeepSeek-V4.1-Flash bħala għalliem juri li l-Pass@1 jiżdied minn 18.77 fil-mija għal 27.18 fil-mija fuq madwar 1,994 kampjun fuq perjodu itwal. Ittratta dawk iċ-ċifri bħala sinjali riċerkati fuq oqsma speċifiċi, dipendenti fuq l-għalliem, il-verifikatur, u l-fedeltà tal-ambjent - u żomm it-tagħlim bir-rinfurzar bħala estensjoni ppjanata tal-linja, mhux stqarrija lesta.

Jekk tiftakar sentenza waħda: l-aġenti tal-intrapriża jitjiebu meta l-fallimenti jsiru astratti, immultiplikati, lezzjonijiet verifikati fis-sistemi li jridu joperaw kuljum - mhux meta t-timijiet sempliċement jirrepetu l-istess biljett imkisser.

Eżempju prattiku: Espansjoni ta' każijiet ITSM diffiċli minn sett ta' fallimenti ffriżati fl-istil ta' Gym

Xenarju

Tim ta' pjattaforma ta' intrapriża fir-Renju Unit - aħseb f'grupp ta' operazzjonijiet ta' servizzi finanzjarji ta' daqs medju li jħaddem ITSM fl-istil ta' ServiceNow b'twieqi ta' bidla, relazzjonijiet CMDB, u tranżizzjonijiet marbuta mal-politika - għandu aġent simili għall-produzzjoni li jibqa' jitfixkel fuq l-istess klassi ta' xogħol: aġġornamenti bejn it-tabelli li jridu jirrispettaw prerekwiżit ta' approvazzjoni, tfittxijiet ta' artikli ta' għarfien li jikkonfliġġu mal-iffriżar tal-bidliet lokali, u talbiet ibridi li jaqsmu l-ITSM f'għodod tal-operazzjonijiet biswit xulxin.

Huma jiffriżaw suite privata fl-istil ta' EnterpriseOps Gym (sandbox f'kontejners, kontrolli tar-riżultati SQL, tabelli miżrugħa, regoli tal-politika) sabiex il-punteġġi jkunu komparabbli minn ġimgħa għal ġimgħa. It-tħaddim dijanjostiku juri li l-aġent fil-mira jfalli fejn għalliem aktar b'saħħtu jirnexxi. It-tmexxija trid aktar sinjal ta' taħriġ mingħajr ma terġa' tilgħab l-istess numri tat-tickets u IDs tal-entitajiet. AutoSynthData (jew linja ekwivalenti ta' synth-from-failures jekk il-pipeline tar-riċerka jkun magħluq fl-istack tagħhom) hija l-kandidat: tibdel il-fallimenti tal-kuntrast f'karti tal-ispeċifikazzjoni tal-kapaċità sanitizzati, tiġġenera kompiti ġodda, tiġbor demos tal-għalliema, imbagħad - b'mod kritiku - tirrevedi traċċi sintetiċi mill-bniedem qabel kwalunkwe taħriġ mill-ġdid.

Xejn ma jintbagħat fuq Gym Pass@1 waħdu. Id-dejta tas-sinteżi hija trattata bħala kurrikulu kandidat, mhux verità bla ħlas.

Dak li jeħtieġ l-assistent

• Aċċess għall-adapter tal-ambjent iffriżat fl-istil Gym: għodod, stat taż-żerriegħa, politiki, u verifikaturi SQL (jew ekwivalenti bbażati fuq stat).
• Reġistri tal-evalwazzjoni mqabbla: il-fallimenti fil-miri mqabbla mas-suċċessi tal-għalliema fuq l-istess kompiti.
• Skema ta' kard li taqbad il-kapaċità, il-forma tal-għodod/fluss tax-xogħol, il-kuntrast bejn falliment/suċċess, il-proprjetajiet tal-istat finali meħtieġa, u d-dimensjonijiet tal-varjazzjoni permessi - mingħajr prompts oriġinali, entitajiet, trajettorji, jew interni tal-verifikatur.
• Regoli ta' scrub tal-PII u tal-politika (IDs tat-tickets, ismijiet tal-utenti, ismijiet tas-CI, oqsma regolati) qabel ma xi ħaġa titlaq mis-sandbox jew tidħol f'pront tal-ġeneratur.
• Kju ta' reviżjoni umana għal kompiti sintetiċi kampjunati u traċċi tal-għalliema (fattibbiltà, realiżmu, solidità tal-verifikatur, każijiet ta' rifjut/infattibbiltà).
• Kundizzjonijiet ċari ta' waqfien: Mira mbagħad Immoltiplika l-fażijiet; kampjuni mmultiplikati ma jżergħux aktar rawnds ta' multiplikazzjoni.

Eżempju ta' istruzzjoni

Mexxej tal-pjattaforma għall-operatur tal-kurrikulu (jew għal assistent tal-orkestrazzjoni li jabbozza biss karti u pakketti ta' reviżjoni - ma jerġax iħarreġ jew jippromwovi mudelli):

"Mexxi Pass@1 dijanjostiku fuq il-flieli ffriżati tal-ITSM u l-Ibridi kontra l-mira attwali tagħna u l-għalliem magħżul. Għal kull kuntrast fejn il-mira tfalli u l-għalliem jirnexxi mill-inqas tnejn minn tliet provi, abbozza kard tal-ispeċifikazzjoni tal-kapaċità sanitizzata: semmi l-kapaċità, elenka l-għodod rilevanti, iddikjara l-proprjetajiet tal-istat finali meħtieġa, u elenka d-dimensjonijiet kontrollabbli (medda ta' prijorità, klassi CI relatata, bandiera tat-tieqa tal-bidla, tip ta' kunflitt ta' għarfien). Neħħi n-numri tat-tickets, l-identifikaturi tal-utent, l-ismijiet tas-CI, u t-trajettorji mhux ipproċessati. Iġġenera lott ta' kompiti ġodda fil-fażi tal-Mira minn dawk il-kards biss. Ħalli l-għalliem juri s-suċċessi. Applika medda ta' diffikultà (mira ≤1/3, għalliem ≥2/3), verifika pożittiva u negattiva, u kritika/tiswija limitata. Ipproduċi pakkett ta' reviżjoni ta' kampjuni stratifikati ta' 5% flimkien ma' kull kard ta' rifjut/infattibbiltà. Tibdiex SFT sakemm żewġ reviżuri jiffirmaw il-pakkett u l-kontrolli tal-PII jgħaddu. Wara SFT fuq checkpoint kandidat, erġa' evalwa fuq is-suite ffriżata u fuq sett ta' tqabbil eżatt li qatt ma użajna għall-ġenerazzjoni. Irrapporta l-kopertura skont il-klassi ta' falliment u r-rata ta' rigressjoni kontra l-produzzjoni preċedenti." "punt ta' kontroll. Tippromwovix fuq il-punteġġ tal-Gym waħdu."

Kif tittestjah

1. Serratura tal-linja bażi: Irreġistra r-rati ta' Pass@1 u ta' suċċess tal-verifikatur fuq is-suite ffriżata skont il-klassi ta' falliment (ordni ta' prerekwiżiti, rifjut tat-tieqa tal-bidla, għodda ibrida bejn l-għodod, kunflitt ta' għarfien). Żomm is-suite u ż-żerriegħa immutabbli għaċ-ċiklu.
2. Verifika tal-kards: Iċċekkja fuq bażi każwali li l-ġeneraturi qatt ma jirċievu prompts, entitajiet, jew traċċi tal-għalliema oriġinali - karti biss.
3. Kampjun tal-QC: Ikkonferma li t-trajettorji pożittivi jgħaddu mill-verifikaturi u li r-riżultati żbaljati mutati ma jirnexxux. Irrifjuta kompiti li huma trivijali għall-mira jew itfa' l-munita għall-għalliem.
4. Reviżjoni umana: Ir-reviżuri jimmarkaw kull kampjun bħala żomm / issewwi / neħħi fuq il-fattibbiltà, ir-realiżmu, u s-sikurezza tal-politika. Segwi l-qbil bejn ir-reviżuri fuq sottosett kondiviż.
5. Tqabbil eżatt ta' kompiti miżmuma: Wara l-SFT kandidat, agħti punteġġ għal kompiti miżmuma reali (jew li qabel kienu ffriżati) li qatt ma kienu inputs għall-kardjar jew il-ġenerazzjoni. Agħti punteġġ separat għal kważi parafrażi ta' kompiti ta' taħriġ biex tiskopri memorizzazzjoni superfiċjali.
6. Bieb tar-rigressjoni: Kwalunkwe klassi ta' falliment li tiggrava meta mqabbla mal-punt ta' kontroll tal-produzzjoni preċedenti timblokka l-promozzjoni sakemm tiġi spjegata jew irranġata.

Riżultat

Tivvintax perċentwali ta' "bake-off" hawn. Uża pjan ta' kejl u ttikketta ċ-ċifri tar-riċerka ppubblikati bħala "ARTICLE CLAIM" meta tikkwotahom.

Pjan ta' kejl (x'għandu jirrapporta dan it-tim):

• Kopertura tal-klassi ta' falliment: sehem ta' klassijiet ta' diskrepanzi dijanjostikati li pproduċew ≥N kompiti aċċettati tal-Fażi fil-Mira wara l-QC (iddefinixxi N minn qabel, eż. 20 kompitu aċċettat għal kull klassi).
• Tqabbil eżatt tal-holdout: Pass@1 / suċċess tal-verifikatur fuq il-holdout mhux mittiefsa qabel vs wara l-SFT kandidat (l-istess żrieragħ, l-istess verifikatur).
• Rata ta' rigressjoni: għadd ta' klassijiet ta' falliment fejn Pass@1 jaqa' kontra l-punt ta' kontroll tal-produzzjoni preċedenti; imblokka jekk xi klassi kritika għas-sikurezza tirrigressa.
• Rendiment tar-reviżjoni: żomm / issewwi / rati ta' twaqqigħ fuq il-pakkett tar-reviżjoni umana; jekk ir-rata ta' twaqqigħ tiżdied, waqqaf Immoltiplika u rranġa l-karti jew il-verifikaturi.
• Fallimenti ta' scrub: numru ta' kampjuni li ma għaddewx mill-verifiki tal-PII/politika qabel l-approvazzjoni tar-reviżjoni (mira: żero ħarbiet fis-sett SFT).

TALBA TAL-ARTIKLU (irrappurtat mill-awtur fuq EnterpriseOps Gym - mhux ir-riżultat imkejjel ta' dan it-tim): It-tħaddim ibridu b'Gemma-4-26B-A4B-it bħala mira u Qwen3.8-27B bħala għalliem ipproduċa madwar 2,000 kampjun f'madwar 18-il siegħa, bil-medja tal-Pass@1 tiżdied b'madwar 7.2 punti perċentwali u s-suċċess tal-verifikatur jiċċaqlaq minn 63.01% għal 68.55%. L-ITSM b'DeepSeek-V4.1-Flash bħala għalliem mexxa l-medja tal-Pass@1 minn 18.77% għal 27.18% fuq madwar 1,994 kampjun fuq proċess itwal (~66 siegħa). Ittratta dawk bħala sinjali riċerkati fuq dominji u tqabbil speċifiċi, mhux garanzija universali għal stack ta' produzzjoni fir-Renju Unit.

Forma illustrattiva tal-programm (suppożizzjonijiet, mhux qligħ imkejjel): Jekk it-tim jaċċetta ~2,000 kampjun bil-QC gated għal ċiklu ITSM wieħed, jibbaġitja l-inferenza tal-għalliema flimkien mar-reviżjoni b'kampjunar stratifikat ta' 5%, u jippromwovi biss meta l-esklużjoni ma tirrigressax il-klassijiet kritiċi għas-sikurezza, ir-"riżultat" li jistgħu jiddikjaraw b'wiċċ imb'wiċċ huwa l-maturità tal-proċess - kurrikulu awditjat, traċċi mħassra, u deltas komparabbli ta' suite ffriżata - mhux żieda perċentwali mwiegħda.

X'jista' jmur ħażin

• It-trattament tas-sintetizzatur bħala verità ħielsa: Jekk tinqabeż ir-reviżjoni umana jew il-verifika negattiva, il-verifikaturi permissivi jammettu żibel fuq skala kbira.
• Tnixxija ta' entità: L-inseriment ta' IDs oriġinali tat-tickets jew traċċi tal-għalliema fil-ġeneratur jistieden l-użu żejjed ta' parafrażi; jeżistu karti biex jipprevjenu dan.
• Multiplikazzjoni Bla Limitu: Jekk tħalli kampjuni mmultiplikati jiżirgħu aktar rawnds, dan jitbiegħed mill-kapaċità msemmija.
• Tbaħħir tal-punteġġ tal-ġinnasju: Promozzjoni għaliex il-Pass@1 tas-suite ffriżata żdied waqt li t-traffiku shadow tal-waqfien jew tal-produzzjoni mar għall-agħar.
• Limitu dgħajjef tal-għalliem: Jekk l-għalliem ma jistax jgħaddi l-medda ta' suċċess ≥2/3, l-SFT jgħallem demos mhux affidabbli.
• Verifikaturi fuzzy: Rubriki taċ-chat minflok kontrolli bbażati fuq l-istat jikklassifikaw eżamijiet finali fluwenti u żbaljati bħala suċċess.
• Rifjut ta' taħriġ insuffiċjenti: L-ottimizzazzjoni biss għal mutazzjonijiet li jistgħu jitlestew tħalli t-tieqa tal-bidla u t-tnaqqis fil-politika fraġli.
• Ħarba minn PII: Prompts sintetiċi li jintroduċu mill-ġdid CI reali jew ismijiet tal-utenti wara tfittxija ħafifa.

Konklużjoni prattika

Uża loops fl-istil AutoSynthData - jew mudell ekwivalenti synth-from-failures jekk il-pipeline ServiceNow CoreAI mhuwiex disponibbli fil-kera tiegħek - biex timmultiplika każijiet ITSM konkreti u verifikabbli minn lakuni dijanjostikati. Iddiżinfetta f'kards tal-kapaċità, agħmel gate b'diffikultà u verifika pożittiva/negattiva, neħħi l-PII, u l-kampjuni ta' reviżjoni umana qabel l-SFT. Kejjel il-kopertura tal-klassi tal-falliment, żomm il-match eżatt, u r-rata ta' rigressjoni. Ikkwota l-ARTIKLU TALBA Ċ-ċifri tal-Gym biss bħala kuntest ta' riċerka esterna. Id-dejta Synth hija fjuwil tal-kurrikulu, mhux garanzija: awditja l-kampjuni, żomm is-suite ffriżata għal paragun ġust, u qatt ibgħat il-punteġġ tal-Gym waħdu.

Mistoqsijiet Frekwenti

X'inhu AutoSynthData u liema problema jimmira?

AutoSynthData hija pipeline ta' ServiceNow CoreAI / ServiceNow-AI, deskritta minn Esakkivel Esakkiraja, li tgħaqqad il-fallimenti ta' aġent fil-mira flimkien mar-rebħiet ta' għalliem aktar b'saħħtu f'kompiti ta' taħriġ sintetiku vvalidat għal settings ta' intrapriża. Tiffoka fuq il-kompetenza tal-ambjent - politiki lokali, skemi, għodod, u stat - aktar milli fuq għarfien ġenerali wiesa'. Il-punt hu li jiġi mmultiplikat xogħol iebes u li jista' jiġi ċċekkjat sabiex l-irfinar sorveljat ikun jista' jsewwi lakuni speċifiċi għall-ambjent minflok ma jerġa' jintlagħab l-istess biljett imkisser.

Għaliex il-kompetenza ambjentali hija differenti mill-kapaċità ta' mudell wiesa'?

L-aġenti tal-intrapriżi spiss jitfixklu minħabba li l-ambjent innifsu huwa partikolari: politiki tat-tickets, skemi partikolari, kuntratti tal-għodda, databases miżruda, u flussi tax-xogħol bejn is-sistemi. Mudell li jidher b'saħħtu fuq benchmarks miftuħa xorta jista' jiffriża fuq tieqa ta' bidla, relazzjoni CMDB, jew verifikatur li jispezzjona l-istat finali. Il-kapaċità wiesgħa mhijiex l-istess bħal li tkun taf kif is-sistemi, ir-regoli, u l-istat tad-dejta tiegħek iġibu ruħhom taħt tranżizzjonijiet immexxija mill-politiki.

X'inhi l-forma prattika tal-kompitu li juża AutoSynthData?

Forma li taħdem hija kompitu ugwali għal speċifikazzjoni tas-sistema, prompt tal-utent, u verifikatur. L-ispeċifikazzjoni tas-sistema għandha restrizzjonijiet, politiki, u stat inizjali bħal żrieragħ tad-database u artikli ta' għarfien. Il-prompts tal-utent jiġu kklassifikati għall-fattibbiltà, ir-realiżmu, u d-diffikultà. Idealment, il-verifikaturi jiddependu fuq kontrolli tar-riżultati bbażati fuq l-SQL jew fuq l-istat sabiex jikklassifikaw id-dinja wara li jaġixxi l-aġent, mhux biss il-mogħdija eżatta tat-token meħuda.

Kif il-kards tal-ispeċifikazzjoni tal-kapaċità sanitizzati jipprevjenu l-adattament żejjed?

It-tlielaq dijanjostiku jikkuntrasta fejn il-mira tfalli u l-għalliem jirnexxi, imbagħad jiddistilla dawk il-każijiet f'karti sanitizzati tal-ispeċifikazzjoni tal-kapaċità. Karta tirreġistra l-kapaċità, l-għodod jew il-forma tal-fluss tax-xogħol, il-kuntrast bejn falliment/suċċess, il-proprjetajiet tal-istat finali meħtieġa, u d-dimensjonijiet li jistgħu jvarjaw. Il-ġeneratur qatt ma jara prompts, entitajiet, trajettorji, jew dettalji tal-verifikatur oriġinali - il-karti biss - għalhekk kompiti ġodda jagħfsu fuq il-qalba iebsa mingħajr ma jiġi parafrażat episodju memorizzat.

X'inhuma l-fażijiet Target u Multiply fil-pipeline?

Il-fażi fil-mira tikkonċentra fuq kampjuni ewlenin ivverifikati madwar il-lakuni - il-kompiti bl-ogħla sinjal ħdejn fejn l-aġent dgħajjef jinkiser. Il-fażi tal-multiplikazzjoni tintroduċi varjanti ġodda ta' miri aċċettati. Il-kampjuni mmultiplikati ma jistgħux jiżirgħu aktar rawnds ta' multiplikazzjoni, u dan iżomm it-tbegħid 'il bogħod mill-kapaċità msemmija taħt kontroll. Wara rfinar sorveljat, ir-rivalutazzjoni tbiddel il-kurrikulu lejn il-lakuni li fadal bħala fruntiera li tiċċaqlaq aktar milli miżbla statika.

Kif il-kontroll tal-kwalità fil-livell tal-kampjun iżomm il-kompiti sintetiċi affidabbli?

Filtru tad-diffikultà tas-solver jiffavorixxi kompiti li l-mira ssolvi f'massimu ta' waħda minn tliet provi filwaqt li l-għalliem jirnexxi f'mill-inqas tnejn minn tlieta. Il-verifika pożittiva teħtieġ trajettorja ta' referenza biex tgħaddi; il-verifika negattiva teħtieġ riżultati żbaljati mutati biex tfalli. Ċiklu ta' kritika u tiswija b'limitu ta' tentattivi mill-ġdid jipprova jsewwi każijiet fejn kważi seħħew xi fallimenti, u meta-reviżjoni fil-livell tal-lott tiċċekkja l-kopertura, id-diversità, ir-redundanza, u l-miri li jfallu fis-sett kollu.

Liema arkitettura tuża AutoSynthData fid-dominji tal-intrapriża?

Jgħaqqad kontrollur kondiviż ma' adapter tal-ambjent. Il-kontrollur imexxi d-dijanjosi, il-carding, il-ġenerazzjoni, id-demos tal-għalliema, il-gradi tal-kwalità, u r-reviżjoni tal-lott. L-adapter jgħaqqad dawk il-passi ma' sandbox konkreta - għodod, stat, politiki, u verifikaturi - sabiex l-istess linja ta' kontroll tkun tista' tipponta lejn dominji differenti mingħajr ma terġa' tikteb il-loġika tal-kurrikulu mill-bidu.

X'inhu EnterpriseOps Gym f'dan il-kuntest tar-riċerka?

EnterpriseOps Gym huwa l-bank tal-aġenti tal-intrapriżi fuq skala kbira użat bħala s-sodda tat-test tal-istress, b'madwar 1,150 kompitu kkurati minn esperti fi 8 dominji, madwar 512-il għodda, madwar 164 tabella tad-database, eżekuzzjoni f'kontenituri, verifika tar-riżultati bbażata fuq SQL, operazzjonijiet immexxija mill-politika, xenarji ibridi, u trajettorji stateful fuq orizzont twil. AutoSynthData mhuwiex ippreżentat bħala l-invenzjoni ta' dak il-gym; il-gym juri l-linja tas-sintesi fl-azzjoni.

Liema riżultati rrappurtati mill-awtur jidhru għal settings Ibridi u ITSM?

Fuq EnterpriseOps Gym, Hybrid jaħdem b'Gemma-4-26B-A4B-it bħala mira u Qwen3.8-27B bħala għalliem ipproduċa madwar 2,000 kampjun f'madwar 18-il siegħa, bil-medja ta' Pass@1 tiżdied b'madwar 7.2 punti perċentwali u s-suċċess tal-verifikatur jiċċaqlaq minn 63.01% għal 68.55%. ITSM b'DeepSeek-V4.1-Flash bħala għalliem mexxa l-medja ta' Pass@1 minn 18.77% għal 27.18% fuq madwar 1,994 kampjun fuq medda itwal. Ittratta dawk bħala sinjali riċerkati fuq tqabbil speċifiku, mhux garanzija ta' produzzjoni universali.

Liema żbalji għandhom jevitaw it-timijiet meta jużaw loops synth-from-failures?

Tittrattax id-dejta sintetika bħala verità ħielsa jew taqbeż ir-reviżjoni umana u l-verifika negattiva. Evita li ddaħħal l-IDs tat-tickets oriġinali jew it-traċċi tal-għalliema fil-ġeneratur, tħalli kampjuni mmultiplikati jżergħu aktar rawnds, jew tippromwovi fuq Gym Pass@1 waħdu waqt li t-traffiku ta' żamma jew shadow jiggrava. Oqgħod attent ukoll għalliema dgħajfa taħt il-medda ta' suċċess, rubriki taċ-chat mhux ċari minflok kontrolli tal-istat, każijiet ta' rifjut ta' taħriġ insuffiċjenti, u ħarba ta' PII wara skrub superfiċjali.

Referenzi

1. Wiċċ li Jgħanniq — AutoSynthData — huggingface.co
2. EnterpriseOps Gym — enterpriseops-gym.github.io
3. arXiv — arxiv.org
4. GitHub — EnterpriseOps-Gym — github.com