X'inhu Ċentru tad-Data tal-AI? [Vidjo u Kwiżż]

Tweġiba qasira: Ċentru tad-dejta tal-AI huwa ta’ densità għolja fejn l-enerġija, it-tkessiħ, id-drapp, u l-ħażna huma mmirati madwar mudelli ta’ taħriġ u servizz, mhux kamra tas-servers b’GPUs żejda. Iċ-ċipep jieħdu l-fama; il- bini jiddeċiedi jekk jaħdmux. Jekk l-immaġini ma jistgħux jitilqu, immodifika ċella żgħira; ħafna timijiet għandhom jikruha.

Punti ewlenin:

Ċipep vs bini: L-enerġija, it-tkessiħ, id-drapp, u l-ħażna jiddeċiedu jekk l-aċċeleraturi jaħdmux jew le.

Postijiet mhux palazzi: Immodifika żewġ xtilliera meta d-dejta ma tkunx tista' titlaq; tixtrix kampus.

Medja vs medjana: Fuq tmien ġirjiet, il-medjan hid jerġa' jibda; uża l-medja ta' 18-il siegħa.

Reżistenza għall-użu ħażin: Tikkwotax PUE għal żewġ xtillieri f'sala mħallta.

Riżultati illustrattivi: Tmien ġirjiet huma mappa żgħira, mhux iffrankar ta' 50% fil-produzzjoni.

Artikoli li forsi tixtieq taqra wara dan:

🔗 L-AI hija affidabbli? Vidjow u kwizz
Esplora l-affidabbiltà tal-AI permezz ta' vidjow interessanti u kwizz interattiv.

🔗 Kif tuża l-IA fil-ħajja ta’ kuljum
Skopri modi prattiċi kif l-IA tista’ tissimplifika l-kompiti u r-rutini ta’ kuljum.

🔗 Kif tuża l-AI fuq il-post tax-xogħol
Tgħallem modi prattiċi kif tuża l-AI għal produttività aktar intelliġenti fuq il-post tax-xogħol.

🔗 Tista' l-IA taħseb waħedha?
Ifhem jekk l-intelliġenza artifiċjali tistax taħseb b'mod indipendenti jew tirraġuna b'mod ġenwin.

Kif huwa differenti minn ċentru tad-dejta "normali"

Is-swali tradizzjonali jottimizzaw għal ammonti ta' xogħol imħallta u ħin ta' tħaddim f'ħafna servizzi żgħar. Jimpurtak mir-redundanza, żgur, u mill-PUE bħala kunċett - enerġija żejda li l-bini jaħraq biex jagħti watt ta' kompjuterizzazzjoni. Tipikament, ma tiddisinjax kull kuritur madwar rack li jaġixxi bħal razzett ta' ħiters portabbli.

Is-siti tal-AI jaqilbu l-proporzjonijiet. Id-densità tiżdied. In-netwerk isir drapp li x-xogħol ta’ taħriġ ma jistax jimxi mingħajru. Il-ħażna trid iżżomm il-punti ta’ kontroll mexjin jew l-aċċeleraturi jibqgħu wieqfa, bħal żwiemel tat-tiġrija f’konġestjoni tat-traffiku.

Hemm ukoll differenza kulturali. L-operazzjonijiet tal-intrapriża jaħsbu fit-tickets u t-twieqi tal-bidliet. L-operazzjonijiet tal-AI jaħsbu fil-kjuwijiet tax-xogħol u s-sensazzjoni ta' mard meta node jmut tard f'medda twila ta' żmien. Naħseb li xorta tista' ssejjaħ liż-żewġ "ċentri tad-dejta" għax hekk huma. It-tikketta taħbi biss il-plumbing.

Mhux klassifikazzjoni morali. Magni differenti, l-istess kunjom.

GPUs, aċċeleraturi, u r-rack li jikkonsma l-enerġija

Imxi fuq art tradizzjonali mqajma u l-ixkafef jidhru kważi edukati. Imxi fuq ringiela tal-AI u jidhru qishom iridu jibilgħu l-bini kollu.

Il-ħardwer li jispikka mhuwiex CPU intelliġenti. Huwa t-trej tal-aċċeleratur: GPUs jew ċipep oħra tal-AI, ippakkjati f'servers, imbagħad xtillieri, imbagħad ringieli li jaqsmu drapp b'bandwidth għoli. L-interkonnessjonijiet tal-GPU jgħaqqdu ċ-ċipep f'xi ħaġa li tista' tippretendi li hija aċċeleratur ġgant wieħed; id-drapp tal-cluster jagħmel l-istess trick fuq skala ta' ringieli. It-taħriġ parallel jaħdem biss jekk dawk il-links jibqgħu ħoxnin u prevedibbli. Jekk titlef dan, il-"cluster" tiegħek ikun munzell ta' workstations għaljin li jaqsmu l-istess kodiċi postali.

Il-qawwa ssegwi ċ-ċipep. Mhux PDU tal-uffiċċju goffi. Megawatts ta’ tagħbija tal-IT ladarba sala timtela - mhux se nivvinta numru. Id-densità għal kull rack hija l-istorja. Inqas racks. Kull wieħed forn żgħir. Il-fattur limitanti ħafna drabi huwa s-sottostazzjoni, mhux il-lista tax-xewqat tal-GPUs. Tafu kif inhi: l-akkwist irid aktar aċċeleraturi; l-utilità trid konverżazzjoni twila u ċekk kbir ħafna.

Metafora waħda kemxejn iblah li ma nistax inwarrabha: l-ixkaffa hija annimal bil-ġuħ. Tista’ trabbi wieħed aktar mgħaġġel. Xorta trid titmagħha, u xorta trid tneħħi s-sħana. Aqbeż waħda minn dawn u ssir pressa tal-karti li tiswa ħafna flus.

Il-problema tal-enerġija, tas-sħana, u tat-tkessiħ

Elettriku ġewwa. Sħana barra. Dik hija r-reliġjon kollha.

Xkafef b'densità għolja jarmu s-sħana b'mod li l-arja qatt ma kienet mitluba timmaniġġjaha. Tista' timbotta l-arja aktar - skambjaturi tas-sħana tal-bieb ta' wara, passaġġi aktar sħan, konteniment intelliġenti - u dan jaħdem sa ċertu punt. Imbagħad jidher il-likwidu:

• Tkessiħ dirett lejn iċ-ċippa

• Ċirkwiti tat-tkessiħ li jagħmlu l-kamra tal-impjanti tidher qisha impjant kimiku

• Immersjoni f'xi disinji, li għadha xxokkja lin-nies li jaħsbu li l-ilma u s-servers m'għandhomx jaqsmu sentenza

Xejn minn dan mhu glamoruż. Kollox huwa l-prodott, għax aċċeleratur li jrażżan il-veloċità huwa wieħed li diġà ħallast għalih u ma tistax tużah bis-sħiħ.

Il-PUE għadu importanti. Huwa proporzjon, mhux personalità. L-operaturi jiġru warajh għax kull watt li jintefaq fuq fannijiet u pompi huwa watt li ma marx għal GPU. Mhux se nikkwota ċifra "tipika"; il-klima u kif tfassal il-konfini jċaqalquha, u l-preċiżjoni falza hija agħar minn xejn. L-ilma wkoll jinsab fl-istorja. Xi pjanti jixorbu. Xi wħud jibilgħu. It-tkessiħ evaporattiv huwa effiċjenti sakemm ix-xmara jew nixfa jagħmluh politiku.

Netwerking: għaliex id-drapp huwa importanti daqs iċ-ċipep

In-nies jieħdu ritratti tal-GPUs. Għandhom jieħdu ritratti tas-swiċċijiet.

It-taħriġ huwa konverżazzjoni. Eluf ta' aċċeleraturi jiskambjaw gradjenti, parametri, frammenti ta' mudell, f'sinkronizzazzjoni mill-qrib. Jekk id-drapp jitter, ix-xogħol kollu jistenna l-iktar qabża bil-mod. Huwa għalhekk li s-swali tal-AI huma ossessjonati b'netwerking b'bandwidth għoli, latency baxxa, u topoloġiji li ma jintwewx min-nofs meta konnessjoni tfalli. Drappijiet simili għal InfiniBand, Ethernet fl-istess rwol, interkonnessjonijiet tal-GPU ġewwa l-kaxxa, kejbils li jridu jkunu tajbin l-ewwel darba.

L-inferenza hija konverżazzjoni differenti. Is-servizz tal-mudell jimpurtah mil-latenza tad-denb - it-tweġiba bil-mod, mhux dik medja. Il-lott vs. il-ħin reali jaqsam il-personalità. Raggruppament ta' taħriġ irid moviment oħxon, kollettiv, u kważi-kollox. Flotta ta' servizz trid ħafna talbiet iżgħar u iżolament, mingħajr konġestjoni tat-traffiku fil-bilanċjatur tat-tagħbija.

In-nuqqas, waqt li jien hawn: in-nies jittrattaw in-netwerk bħala plumbing u l-patata moqlija bħala r-ristorant. F'dan il-bini l-plumbing huwa r-ristorant. Jekk titlef dan, tixtri kċina li ma tistax taċċetta kunsinna.

Taħriġ vs inferenza: żewġ bini, xi kultant litteralment

It-taħriġ huwa kampanja. Tiġbor raggruppament, titmagħh dejta, tagħmel checkpoints b'mod reliġjuż, taħdem għal sigħat jew ġimgħat, u titlob li l-istruttura tibqa' mingħajr problemi. Tqil fil-lottijiet, bil-ġuħ għall-bandwidth, paċenzjuż bil-kwiet - sakemm node fallut jieħu gidma mit-tħaddim. Aċċeleratur wieħed mejjet f'xogħol imqabbad sew jista' jwaqqaf il-kor kollu.

L-inferenza hija vetrina. Mudelli diġà mħarrġa, issa jwieġbu mistoqsijiet, jikklassifikaw immaġini, jiġġeneraw test. Il-latenza hija importanti. Aċċeleratur kemxejn eqdem ħdejn il-klijent jista' jegħleb wieħed glamoruż kontinent 'il bogħod.

Allura ikollok qasma. Il-kampusijiet tat-taħriġ jiġru wara l-poter, l-art, u d-densità. Is-siti ta' inferenza jiġru wara l-latenza u l-preżenza. Jeżistu wkoll swali ibridi, għax il-kapital mhux infinit. Ukoll - mhux dejjem żewġ bini. Kultant sala waħda b'ħabel tal-bellus u żewġ linji tat-tkessiħ.

Hawnhekk ukoll fejn jidħlu l-kolokazzjoni, il-kampusijiet iperskalabbli, u l-furketta on-prem. L-iperskallers jibnu fuq skali li jagħmlu lill-bqija minna jidhru qisna qed nirranġaw l-għamara. Il-kolos ibigħu d-densità bir-rack. L-on-prem xorta jseħħ meta d-dejta ma tkunx tista' titlaq.

Produzzjoni tal-ħażna, punti ta' kontroll, u ċipep bil-ġuħ

Ħadd ma jpoġġi s-sistema ta' fajls paralleli fuq il-qoxra tal-brochure.

Id-dejta tat-taħriġ trid tasal malajr biżżejjed biex il-GPUs ma jkunux qed iħabbtu saqajhom. Il-punti ta' kontroll iridu jaslu sabiex kraxx ma jħallix ġimgħa tgħaddi. Il-piżijiet tal-mudell iridu jitgħabbew qabel ma replika li tkun qed isservi tkun attiva. Ir-rata tat-throughput tal-ħażna - mhux biss il-kapaċità - hija l-konġestjoni kwieta. Tista' tonfoq fortuna fuq aċċeleraturi u tħallihom bil-ġuħ b'firxa edukata ddisinjata għal magni virtwali.

Il-mudell huwa familjari: raggruppament tleqq, kju tax-xogħol, u stennija I/O tħares lura bħal fattura rude. Il-clustering tal-komputazzjoni mingħajr ma l-passaġġ tad-dejta jiġi raggruppat huwa kif tikseb inattività għalja ħafna. Żomm iċ-ċipep mitmugħa jew ammetti li xtrajt skultura.

Softwer, orkestrazzjoni, u s-saff tal-operazzjonijiet mhux glamoruż

Il-ħardwer huwa ċ-ċelebrità. L-iskedaturi jagħmlu x-xogħol.

Ċentru tad-dejta tal-AI huwa inutli jekk ix-xogħlijiet ma jistgħux isibu GPUs, jekk żewġ timijiet ma jistgħux jaqsmu cluster mingħajr ġlieda, jekk rank li falla ma jistax jiġi sostitwit, jekk il-firmware jiċċaqlaq sakemm id-drapp ifalli bil-mod. Orkestrazzjoni, osservabbiltà, limitu tal-qawwa - is-saff tal-operazzjonijiet mhux glamoruż, li huwa kif taf li huwa importanti.

Għandi dgħufija għal dan is-saff. Ukoll, fejn NIC ikkonfigurata ħażin timponi problema ta' tkessiħ għal waranofsinhar sħiħ... dan issir taf bl-esperjenza.

Meta nodu jmut f'nofs it-tħaddim

Nodu jmut. It-twieqi tal-bidla xorta jaħbtu ma' ġirjiet ta' taħriġ li ma jimpurtahomx mill-kalendarju tiegħek. Tiskeda xogħlijiet kbar f'grupp, tagħlaq pools ta' inferenza, tikteb runbooks għal fallimenti li jidhru qishom "ix-xogħol huwa bil-mod" sakemm jidhru qishom "ix-xogħol huwa mejjet." Ir-redundanza għadha importanti - l-enerġija, it-tkessiħ, il-mogħdijiet, il-ħażna - iżda l-mod ta' falliment huwa inqas pulit mill-islajd antik tad-disgħa ta' ħin ta' attività. Inferenza: replika, ixxotta n-nodu marid, ibqa' twieġeb. It-taħriġ irid checkpoints, mhux ottimiżmu.

Il-post, l-ilma, in-netwerk, u l-ġirien

Ma twaqqax waħda minn dawn ħdejn xi dar żgħira għall-veduta.

Il-konnessjoni mal-grilja ħafna drabi hija l-proċess reali tal-għażla tas-sit. L-art hija faċli meta mqabbla ma' substation u utilità li għandha klijenti oħra. L-ilma għat-tkessiħ, jekk tużah, isir kwistjoni tal-ġirien hekk kif ix-xita tkun ħażina. Storbju. Għoqda viżwali. Sħana f'ċint ta' konfini. Il-kumitati tal-ippjanar jiskopru opinjonijiet dwar "is-sħaba" fil-mument li teħtieġ għalqa u xmara.

Il-latenza tiġbed in-naħa l-oħra. L-inferenza tħobb tkun qrib l-utenti u l-interkonnessjonijiet. It-taħriġ jista' jinħeba fi swieq tal-enerġija irħas u klimi aktar kesħin. L-industrija titkellem bħallikieku hemm sit perfett wieħed. M'hemmx. Hemm kompromess bi stqarrija għall-istampa.

Is-sħana li fadal u l-forn mhux mistieden

Il-brochures iħobbu din il-parti. Ippakkja s-sħana mormija fid-djar, fil-pixxini, fis-serer; hija sentenza sabiħa. Kultant iċ-ċirku tad-distrett ikun ġenwin. Kultant il-kampus ikun fil-post ħażin u s-sħana xorta tmur fl-arja. Jien xettiku dwar il-verżjoni tal-brochure; m’iniex xettiku dwar il-fiżika.

Min għandu bżonn wieħed (u min għandu jikri minflok)

Ħafna nies m'għandhomx għalfejn ikollhom waħda minn dawn is-swali.

Il-lista diretta:

• Hyperscalers, għax il-prodott huwa l-flotta

• Laboratorji, meta l-ħin tal-kju jkun il-konġestjoni, jew id-dejta ma tkunx tista' titlaq

• Bank, grupp ta' sptarijiet, gvern, jew manifattur b'sett ta' dejta sigriet - fuq il-post jew f'gaġġa privata tal-kolo jista' jkun razzjonali, anke jekk ikun diffiċli

Kulħadd għandu jikri. Kolokazzjoni b'densità lesta għall-AI. Riżervazzjoni tas-sħab. Kluster ġestit. Ikollok l-aċċeleraturi mingħajr ma ssir ukoll operatur ta' impjant tal-enerġija. Ir-rumanz jisparixxi l-ewwel darba li xi ħadd jistaqsi min hu on call għal-linja tat-tkessiħ fit-3am.

Hemm ħaġa ta' kburija, nammetti. Li tkun is-sid tal-cluster iħossok bħallikieku s-sid tal-mezzi ta' tbassir. Imbagħad tasal il-kont tad-dawl, u l-kburija toqgħod bilqiegħda.

Għalxiex hi l-binja

Allura, X'inhu Ċentru tad-Data tal-AI? Kampus speċjalizzat u b'densità għolja fejn l-aċċeleraturi, l-enerġija, it-tkessiħ, id-drapp, u l-ħażna huma organizzati madwar mudelli ta' taħriġ u servizz - mhux IT għal skopijiet ġenerali b'GPU fil-kantuniera. Jidher qisu maħżen. Jaġixxi bħal power station li tagħmel il-matematika.

Jekk ma tiftakar xejn aktar: iċ-ċipep jieħdu l-fama; is-substation, il-likwidu li jkessaħ, u n-netwerk jiddeċiedu jekk dawk iċ-ċipep kinux idea tajba. It-taħriġ u l-inferenza jistgħu jaqsmu saqaf; xorta jridu manjieri differenti. Il-biċċa l-kbira tal-organizzazzjonijiet għandhom jikru. Ftit għandhom jibnu. Il-ġirien se jinnutaw b'xi mod jew ieħor.

Is-sħaba dejjem kellha bini. Illum il-ġurnata l-bini għandu opinjonijiet.

Eżempju tad-dinja reali: Ċellula ta' taħriġ b'żewġ xtilliera meta l-immaġini ma jistgħux jitilqu

Xenarju

Tomos huwa l-kap tal-infrastruttura f'Kestrel Precision, manifattur b'400 persuna fil-West Midlands. Diġà għandhom sala żgħira on-premise: ERP, kondiviżjoni ta' fajls, magni virtwali, il-viċinat imħallat li beda bih dan l-artiklu. Tkessiħ bl-arja. Ethernet ordinarju. SAN li huwa perfettament edukat għad-diski tal-uffiċċju.

It-tim tal-viżjoni bil-magna jeħtieġ li jħarreġ mudell ta' spezzjoni fuq stampi tal-fabbrika. L-istampi ma jistgħux jitilqu mis-sit. Juru proċess li l-kumpanija mhux se tpoġġi fuq cloud disk, lanqas wieħed privat. Is-soluzzjoni tal-Akkwist hija erba' servers b'aċċeleratur doppju u slide bit-titlu "iċ-ċentru tad-dejta tal-AI tagħna". Is-servers jidħlu f'żewġ xtillieri eżistenti, għax hemm spazju, u l-ispazju ħassejtu bħala r-restrizzjoni.

Mhuwiex. Fi żmien ġimagħtejn il-GPUs jinstemgħu okkupati u mbagħad jonqsu bil-kwiet. L-impjiegi jitkaxkru meta checkpoint jolqot is-SAN. Node jmut fil-ħdax-il siegħa u t-tħaddim ikun sempliċement... spiċċa. Tomos ma naqasx milli jixtri ċipep. Huwa xtara munzell ta' workstations għaljin li jaqsmu l-istess kodiċi postali. Il-bini kien għadu sala ta' intrapriża.

Ma jeħtiġux kampus, sottostazzjoni ġdida, jew xmara. Jeħtieġu ċellula żgħira li taġixxi bħal ċentru tad-dejta tal-AI f'minjatura: enerġija li r-racks jistgħu fil-fatt iżommu, sħana li titlaq mingħajr ma ssajjar iċ-ċipep, drapp li x-xogħol tat-taħriġ jista' jitkellem fuqu, ħażna li tista' tieħu checkpoint, u runbook għal meta node jmut. Minħabba li l-immaġini ma jistgħux jitilqu, il-kiri ta' colo cage erbgħin minuta 'l bogħod mhijiex is-soluzzjoni. Ir-rinnovazzjoni ta' żewġ racks hija.

Dak li teħtieġ iċ-ċellula

• Baġit tal-enerġija mkejjel fuq dik ir-ringiela, mill-PDUs, mhux mil-lista tax-xewqat tal-GPU. Jekk il-kapaċità żejda ma tistax titma' l-erba' servers b'tagħbija ta' taħriġ, il-konverżazzjoni tieqaf hemm u jħarsu lejn kulur aktar dens, mhux miraklu

• It-tkessiħ tal-arja qatt ma ntalab biex jiġi mmaniġġjat b'din id-densità: skambjaturi tas-sħana tal-bieb ta' wara jekk is-sala tista' taċċettahom, jew linja żgħira tal-likwidu jekk tista' taċċetta dak minflok. Jekk l-ebda waħda minnhom, is-servers ma jidħlux

• Drapp dedikat b'bandwidth għoli bejn l-erba' nodi, mhux l-Ethernet tal-uffiċċju. Jekk il-bejjiegħ għandu biss swiċċ ta' 10 Gb fil-katalgu, dak mhuwiex cluster

• Ħażna lokali veloċi għal checkpoints u shards ta' taħriġ, mhux is-SAN tal-VM

• Skedatur, intervall ta' checkpoint, u mogħdija ta' restart bil-miktub. Il-ħardwer huwa ċ-ċelebrità. Dan is-saff huwa x-xogħol

• Kaxxa ta' inferenza magħluqa għal-linja tal-fabbrika, separata miċ-chatter tat-taħriġ, għax is-servizz irid latency tad-denb u iżolament, mhux kollettiv

• Permess biex jiġu rreġistrati l-enerġija, l-arloġġi tal-GPU, l-avvenimenti tat-throttle, u l-arloġġ tax-xogħol fuq il-ħajt. Jekk ma jistgħux jispezzjonawhom, se jieħdu ritratti tal-GPUs u jitilfu s-swiċċijiet

Eżempju ta' istruzzjoni

Tomos ipoġġi dan fil-qosor tal-faċilitajiet, f'lingwaġġ ordinarju:

Tsejħilx dan kampus tal-AI. Ibni ċella ta' taħriġ b'żewġ rack fis-sala eżistenti għal erba' servers b'aċċeleratur doppju. L-immaġnijiet tal-fabbrika jibqgħu fuq il-post. Is-suċċess huwa: l-erba' nodi jlestu riċetta ta' spezzjoni-taħriġ ta' 12-il epoka mingħajr throttle termali, jiktbu checkpoint f'minuti mhux għexieren ta' minuti, u jerġgħu jibdew minn dak il-checkpoint meta noqtlu rank apposta. It-tkessiħ irid iżomm il-GPUs fil-livell ta' taħriġ tagħhom. In-netwerking irid ikun drapp li dawk l-erba' kaxxi jaqsmu, mhux mogħdija mill-istack tal-uffiċċju. Il-ħażna trid titma' ċ-ċipep. Jekk l-iskambjaturi tas-sħana tal-bieb ta' wara ma jidħlux, għid hekk u waqqaf. Tikkwotax PUE għal żewġ racks f'sala mħallta. Dak in-numru jkun teatru.

Imbagħad ipoġġi dan fix-xogħol ta' taħriġ innifsu:

Checkpoint kull 30 minuta għall-fast pool lokali. Jekk rank imut, erġa' ibda mill-aħħar checkpoint komplut. Tistenniex fuq is-SAN. Tibqax tħarreġ waqt li l-arloġġi jkunu waqgħu mis-sħana. Irreġistrah u waqqaf biex inkunu nistgħu naraw l-istallazzjoni.

Siegħa tajba tidher hekk: it-tmien GPUs kollha fuq arloġġi ta' taħriġ, il-fajl tal-punt ta' kontroll ikun wasal, ix-xogħol għadu għaddej. Siegħa ħażina tidher hekk: il-fannijiet jaħdmu b'qawwa sħiħa, l-arloġġi ma jaħdmux, il-punt ta' kontroll 2% miktub wara għaxar minuti, u xi ħadd fl-uffiċċju jgħid "il-cluster huwa attiv". Mhuwiex taħriġ.

Kif tittestjah

Huma jiktbu t-test qabel ir-retrofit, u dan huwa l-punt ewlieni li ma tafdax demo.

• L-istess riċetta ta' 12-il epoka, l-istess 120,000 stampa ta' spezzjoni, tmien ġirjiet

• Il-ħin huwa preċiż għal riċetta lesta, inkluż kwalunkwe bidu mill-ġdid, imkejjel mis-sottomissjoni tax-xogħol sal-aħħar checkpoint tal-epoka 12

• Pass on heat: L-arloġġi tal-GPU jibqgħu fil-mira tat-taħriġ għat-tħaddim. Avveniment ta' throttle huwa falliment anke jekk ix-xogħol eventwalment jintemm

• Ħażna mgħoddija: ħin tal-kitba tal-punt ta' kontroll, medjan u l-agħar, mir-reġistru tax-xogħol

• Trasferiment fuq id-drapp: ix-xogħol ma jibqax jistenna kollettivament waqt li rank ikun f'saħħtu. Jekk ma jistgħux jaraw dik l-istennija, l-istrumentazzjoni ma tkunx lesta

• Tnejn mit-tmien ġirjiet iwasslu biex rank jinqatel f'pass fiss, apposta, biex jiġi ttestjat it-triq tar-restart

• L-inferenza hija test separat ta' 200 immaġni mil-linja tal-fabbrika sal-kaxxa tas-servizz magħluqa. Is-suċċess fit-taħriġ ma jgħoddx bħala suċċess fis-servizz

• Huma jirreġistraw l-enerġija tar-rack mill-PDUs f'kampjuni ta' 15-il minuta sabiex ħadd ma jkollu għalfejn jivvinta megawatt

Aċċettazzjoni biex iċ-ċella tissejjaħ "lesta għall-AI": 8 minn 8 riċetti jispiċċaw; 0 minn 8 juru throttle termali; iż-żewġ ġirjiet mejta jerġgħu jibdew; il-punti ta' kontroll jibqgħu f'minuti. Jekk jitilfu dan, xorta jkollhom kamra tas-servers b'kards grafiċi sofistikati.

Riżultat

Riżultat illustrattiv, minn test ivvintat ta' tmien ġirjiet, mhux figura Kestrel ippubblikata.

Suppożizzjonijiet: erba' servers b'aċċeleratur doppju f'żewġ xtillieri; mudell ta' spezzjoni wieħed; 120,000 immaġni; tmien ġirjiet ta' riċetta fissa ta' 12-il epoca; arloġġ tal-ħajt jinkludi restarts sakemm ir-riċetta titlesta; throttle tfisser tnaqqis illoggjat mill-arloġġ tat-taħriġ; il-ħin tal-punt ta' kontroll huwa l-kitba, mhux ix-xewqa; l-enerġija tar-rack hija kampjuni tal-PDU, mhux PUE tal-kampus.

Qabel ir-retrofit, il-GPUs f'racks ordinarji mkessħin bl-arja fuq l-Ethernet tal-uffiċċju u s-SAN tal-VM:

• 5 minn 8 ġirjiet lesti fl-ewwel tentattiv. Arloġġ tal-ħajt medjan fost dawk il-ħamsa: 14-il siegħa

• 3 minn 8 kellhom jerġgħu jibdew wara waqfien madwar is-siegħa 11 (tnejn wara li node miet b'checkpoint skadut, wieħed wara li checkpoint imla s-SAN). Tentattiv mill-ġdid immedjat, mingħajr stennija matul il-lejl fl-arloġġ: 11-il siegħa moħlija flimkien ma' tentattiv ieħor ta' 14-il siegħa, jew 25 siegħa għal riċetta lesta fuq dawk it-tlieta

• Ħin medju biex riċetta titlesta għat-tmienja kollha, inklużi l-istartjar mill-ġdid: 18-il siegħa. (Ħamsa fl-14, tlieta fil-25. Il-medjan tat-tmienja kollha għadu 14, li jaħbi l-istartjar mill-ġdid. Huwa għalhekk li l-medja hija l-linja bażi hawnhekk.)

• Throttle termali rreġistrat f'7 minn 8 ġirjiet. Ħin medjan b'arloġġ imnaqqas: 3 sigħat f'tentattiv ta' 14-il siegħa

• Kitba fil-punt ta' kontroll: medjan ta' 22 minuta

• Il-qtil fil-livell ta' klassifikazzjoni ma kienx test li setgħu jgħaddu minnu. Ma kellhomx runbook. Iż-żewġ imwiet aċċidentali kienu s-sejba

• L-ogħla tagħbija tal-IT fuq iż-żewġ xtillieri waqt it-taħriġ: madwar 18 kW. Ir-ringiela kellha l-watts. Ma kellhiex it-tkessiħ jew id-drapp

Wara skambjaturi tas-sħana tal-bieb ta' wara fuq dawk iż-żewġ xtillieri, drapp dedikat bejn l-erba' nodi, pool żgħir ta' NVMe għal checkpoints, checkpointing ta' 30 minuta, u runbook tar-restart:

• 8 minn 8 lesti fl-ewwel tentattiv. Arloġġ tal-ħajt medjan: 9 sigħat

• Throttle termali: 0 minn 8

• Kitba fil-punt ta' kontroll: medjan ta' 90 sekonda. L-agħar fis-sett: 3 minuti

• Iż-żewġ qtil intenzjonat ta' rank-kills it-tnejn komplew mill-aħħar checkpoint ta' 30 minuta. Arloġġ tal-ħajt żejjed fuq dawk iż-żewġ ġirjiet: madwar 40 minuta kull wieħed, inkluża d-dijanjosi, allura dawk it-tnejn qagħdu qrib id-9 sigħat u 40 minuta. Il-medja fuq tmien rawnds fissi għal 9 sigħat

• It-tagħbija massima tal-IT għadha madwar 18 kW. L-istess ċipep. Imġieba differenti tal-bini

F’dan il-kampjun, il-ħin medju biex riċetta tkun lesta niżel minn 18-il siegħa għal 9 sigħat, jew 9 sigħat kull waħda, 72 siegħa fi tmien ġirjiet. “Lest-first-time” niżel minn 5 minn 8 għal 8 minn 8. “Throttle” niżel minn 7 minn 8 għal 0 minn 8. Dak l-aħħar numru huwa dak li jgħid jekk xtrawx aċċeleraturi jew paperweights. Mhux se jsejħu l-bidla fil-ħin iffrankar ta’ 50% fil-produzzjoni. Tmien ġirjiet huwa sett żgħir u faċli.

Dawn iċ-ċifri huma stima ta' eżempju bbażata fuq it-test iddikjarat, kampjun żgħir, mudell wieħed, u sala mħallta waħda. Mhumiex PUE, mhux megawatt tal-kampus, u mhux prova li Kestrel għandha tibni sit ta' taħriġ f'għalqa. Reviżjoni tal-logs kienet tinsab ġewwa d-9 sigħat; ma ħbewhiex. Iċ-ċifra ta' 18 kW hija qari arrotondat tal-PDU, mhux fattura ta' utilità. Ma kkonvertewx it-72 siegħa fi spiża, għax ir-rata mħallta tal-elettriku tal-fabbrika kienet tagħmel każ ta' negozju falz.

Il-verifika tas-servizz kienet separata u iżgħar: 200 immaġni ta' linja għall-kaxxa magħluqa, kollha fuq il-post. Dik hija inferenza, mhux taħriġ. It-taħlit tat-tnejn kien ikun l-iżball żgħir tas-sala ibrida.

X'jista' jmur ħażin

• L-akkwist jibqa’ jsejjaħ erba’ servers “iċ-ċentru tad-dejta tal-AI”. It-tikketta taħbi l-plamberija, u x-xiri li jmiss huwa aktar GPUs għall-istess passaġġ tal-mard

• L-iskambjaturi tal-bieb ta’ wara jidħlu u ħadd ma jikkummissjona n-naħa tal-ilma. Il-fannijiet għadhom jgħajtu. L-arloġġi għadhom jaqgħu

• Id-drapp huwa swiċċ wieħed mingħajr mogħdija żejda. Link wieħed li falla u l-"cluster" huwa erba' workstations għal darb'oħra

• Il-punti ta' kontroll jibqgħu fuq is-SAN għax il-pool tal-NVMe kien "fażi tnejn". It-tieni fażi ma tasalx qabel in-nodu mejjet li jmiss

• Huma jikkwotaw PUE għal żewġ xtillieri f'sala mħallta. Il-klima, il-konfini, u l-bqija tar-ringiela tal-ERP jagħmlu dak il-proporzjon kostum

• It-taħriġ u s-servizz jaqsmu l-materjal. Għargħar fil-punti ta' kontroll iġiegħel il-linja tal-fabbrika tistenna. Il-latenza tad-denb hija l-prodott hemmhekk, mhux id-densità

• Nodu jmut u xi ħadd jittrattah bħala biljett ta' uptime minflok restart ta' checkpoint. L-operazzjonijiet tal-intrapriża u l-operazzjonijiet tal-AI jitkellmu ma' xulxin għal waranofsinhar sħiħ

• Setgħu jikru gaġġa, ħlief li x-xbihat ma jistgħux jitilqu. Jekk jinsew dik ir-restrizzjoni, se jkollhom jirrilassaw

Konklużjoni prattika

Dak li hu Ċentru tad-Data tal-AI, f'din il-forma, mhuwiex maħżen u lanqas fattura tal-GPU. Hija ċ-ċellula li tħalli lill-aċċeleraturi jlestu l-ġirja: enerġija li jistgħu jżommu, sħana li titlaq, drapp, checkpoint, u xi ħadd responsabbli meta rank imut. Kestrel ma kellux bżonn kampus. Kellhom bżonn żewġ xtillieri biex jieqfu jippretendu. Ħafna timijiet għandhom jikru dak l-imġieba. Ftit, b'dataset sigriet u sala li tista' tiflaħ is-sħana, għandhom jibnu ċellula u jirrifjutaw iż-żliq.

Mistoqsijiet Frekwenti

X'inhu Ċentru tad-Data tal-AI?

Sit ta' komputazzjoni b'densità għolja fejn l-enerġija, it-tkessiħ, in-netwerking, u l-ħażna huma ddedikati għal taħriġ parallel u servizz ta' mudelli, mhux ringieli puliti ta' servers għal skopijiet ġenerali. Huwa ddisinjat sabiex għadd kbir ta' aċċeleraturi jkunu jistgħu jħarrġu u jservu mudelli mingħajr ma jdubu, jieqfu fuq in-netwerk, jew jistennew fuq id-diska. Sala ta' intrapriża ordinarja hija viċinat imħallat. Sala tal-AI hija monokultura li l-unità ta' valur tagħha hija l-aċċeleratur, bħal GPUs jew ċipep stil TPU. Jidher qisu maħżen u jaġixxi bħal power station li tagħmel il-matematika.

Kif ċentru tad-dejta tal-AI huwa differenti minn ċentru tad-dejta normali?

Is-swali tradizzjonali jottimizzaw għal ammonti ta' xogħol imħallta u ħin ta' attività f'ħafna servizzi żgħar. Is-siti tal-AI jaqilbu l-proporzjonijiet: id-densità tiżdied, in-netwerk isir drapp li x-xogħol ta' taħriġ ma jistax jitlef mingħajru, u l-ħażna trid iżżomm il-punti ta' kontroll mexjin jew l-aċċeleraturi jibqgħu wieqfa. L-operazzjonijiet tal-intrapriżi jaħsbu fit-tickets u t-twieqi tal-bidliet. L-operazzjonijiet tal-AI jaħsbu fil-kjuwijiet tax-xogħol u s-sensazzjoni ta' mard meta node jmut tard f'medda twila ta' żmien. Xorta tista' ċċempel liż-żewġ ċentri tad-dejta. It-tikketta taħbi biss il-plumbing.

Għaliex iċ-ċentri tad-dejta tal-AI jużaw daqshekk enerġija?

Il-ħardwer li jispikka mhuwiex CPU intelliġenti. Huwa t-trej tal-aċċeleratur: GPUs jew ċipep oħra tal-AI, ippakkjati f'servers, imbagħad xtillieri, imbagħad ringieli li jaqsmu drapp b'bandwidth għoli. Id-densità għal kull rack hija l-iżvolġiment tal-plott: inqas xtillieri, kull wieħed forn żgħir. Megawatts ta' tagħbija tal-IT jidhru ladarba sala timtela, għalkemm l-invenzjoni ta' ċifra tipika mhix ta' min. Il-fattur limitanti ħafna drabi huwa s-sottostazzjoni, mhux il-lista tax-xewqat tal-GPUs.

Kif jitkessħu ċ-ċentri tad-dejta tal-AI?

Xtillieri ta’ densità għolja jarmu s-sħana b’mod li l-arja qatt ma kienet mitluba timmaniġġja. Tista’ timbotta l-arja aktar b’skambjaturi tas-sħana fuq wara, passaġġi aktar sħan, u konteniment intelliġenti. Imbagħad jidher il-likwidu: tkessiħ dirett għaċ-ċippa, linji tal-likwidu li jkessaħ, u immersjoni f’xi disinji. Aċċeleratur li jrażżan huwa wieħed li diġà ħallast għalih u ma tistax tużah bis-sħiħ. Il-PUE għadu importanti għaliex kull watt minfuq fuq fannijiet u pompi huwa watt li ma marx għal GPU. L-ilma jinsab fl-istorja wkoll: xi pjanti jixorbu, oħrajn jibilgħu.

Għaliex in-netwerking huwa importanti daqs il-GPUs?

It-taħriġ huwa konverżazzjoni: eluf ta' aċċeleraturi jiskambjaw gradjenti, parametri, u frammenti ta' mudell f'sinkronizzazzjoni mill-qrib. Jekk id-drapp jitterja, ix-xogħol kollu jistenna l-iktar qabża bil-mod. Huwa għalhekk li s-swali tal-AI huma ossessjonati b'netwerking b'bandwidth għoli, latency baxxa, drappijiet InfiniBand-ish jew Ethernet fl-istess rwol, u topoloġiji li ma jintwewx min-nofs meta konnessjoni tfalli. L-inferenza tieħu ħsieb il-latency tad-denb, ħafna talbiet iżgħar, u l-iżolament. F'dan il-bini l-plaming huwa r-ristorant.

Għal xiex jintuża Ċentru tad-Data tal-AI: għat-taħriġ jew għall-inferenza?

It-taħriġ huwa kampanja: iġbor raggruppament, agħtih dejta, agħmel checkpoints b'mod reliġjuż, u kompli għal sigħat jew ġimgħat. L-inferenza hija vetrina: mudelli diġà mħarrġa, issa jwieġbu, b'latenza li hija importanti. Il-kampusijiet tat-taħriġ jiġru wara l-poter, l-art, u d-densità. Is-siti tal-inferenza jiġru wara l-latenza u l-preżenza. Is-swali ibridi jeżistu għaliex il-kapital mhuwiex infinit, xi kultant sala waħda b'żewġ linji ta' tkessiħ. Aċċeleratur kemxejn eqdem ħdejn il-klijent jista' jegħleb wieħed glamoruż kontinent 'il bogħod.

Għaliex il-ħażna hija importanti f'ċentru tad-dejta tal-AI?

Id-dejta tat-taħriġ trid tasal malajr biżżejjed biex il-GPUs ma jkunux qed iħabbtu saqajhom. Il-punti ta' kontroll iridu jaslu sabiex kraxx ma jħallix ġimgħa tgħaddi. Il-piżijiet tal-mudell iridu jitgħabbew qabel ma replika li tkun qed isservi tkun attiva. Ir-rata tat-throughput tal-ħażna, mhux biss il-kapaċità, hija l-konġestjoni kwieta. Tista' tonfoq fortuna fuq aċċeleraturi u tħallihom bil-ġuħ b'firxa edukata ddisinjata għal magni virtwali.

X'jiġri meta node jmut f'nofs it-tħaddim?

Aċċeleratur wieħed mejjet f'xogħol ta' taħriġ akkoppjat sew jista' jwaqqaf il-kor kollu. It-taħriġ irid checkpoints, mhux ottimiżmu. L-inferenza tbattal in-nodu marid, iżżomm replika twieġeb, u tibqa' attiva. It-twieqi tal-bidla xorta jaħbtu ma' ġirjiet ta' taħriġ li ma jimpurtahomx mill-kalendarju tiegħek. Ir-redundanza xorta hija importanti għall-enerġija, it-tkessiħ, il-mogħdijiet, u l-ħażna, iżda l-modalità ta' falliment hija inqas pulita mill-islajd antik tad-disgħa ta' ħin ta' attività.

X'inhu l-impatt ta' Ċentru tad-Data tal-AI fuq il-grid, l-ilma, u l-ġirien?

Il-konnessjoni mal-grilja ħafna drabi hija l-proċess reali tal-għażla tas-sit. L-art hija faċli meta mqabbla ma' substation u utilità li għandha klijenti oħra. L-ilma għat-tkessiħ, jekk tużah, isir kwistjoni tal-ġirien hekk kif ix-xita tkun ħażina, flimkien mal-istorbju, il-massa viżwali, u s-sħana f'ċint ta' konfini. It-taħriġ jista' jinħeba fi swieq tal-enerġija irħas u klimi aktar kesħin. Inference tħobb tkun qrib l-utenti. M'hemm l-ebda sit perfett wieħed. Hemm kompromess bi stqarrija għall-istampa.

Għandi bżonn li jkolli ċentru tad-dejta tal-AI, jew għandi nikrih?

Ħafna nies m'għandhomx bżonn li jkollhom waħda minn dawn is-swali. L-iperskalers jibnu għax il-prodott huwa l-flotta. Il-laboratorji jibnu meta l-ħin tal-kju jkun l-ostaklu jew id-dejta ma tistax titlaq. Bank, sptar, gvern, jew manifattur b'sett ta' dejta sigriet jista' jagħmel il-kolokazzjoni on-prem jew privata razzjonali. Kulħadd għandu jikri: kolokazzjoni lesta għall-AI, riżervazzjoni fuq il-cloud, jew raggruppament ġestit. Ikollok l-aċċeleraturi mingħajr ma ssir operatur ta' impjant tal-enerġija.

Referenzi

1. IEA - www.iea.org

2. LBNL - datacenters.lbl.gov

3. Il-Grid l-Aħdar - www.thegreengrid.org

4. LBNL - datacenters.lbl.gov

5. LBNL - datacenters.lbl.gov

6. Uptime Institute - journal.uptimeinstitute.com

7. NVIDIA - żviluppatur.nvidia.com

8. NVIDIA - docs.nvidia.com

9. NVIDIA - docs.nvidia.com

10. NVIDIA - docs.nvidia.com

11. Google Cloud - docs.cloud.google.com

Sib l-Aħħar AI fil-Ħanut Uffiċjali tal-Assistent tal-AI

Dwarna