Kemm tuża Enerġija l-AI?

Kemm tuża Enerġija l-AI?

Tweġiba: L-AI tista’ tuża ftit ħafna elettriku għal kompitu sempliċi ta’ test, iżda ħafna aktar meta l-prontijiet ikunu twal, l-outputs ikunu multimodali, jew is-sistemi joperaw fuq skala massiva. It-taħriġ ġeneralment ikun l-akbar piż tal-enerġija inizjali, filwaqt li l-inferenza ta’ kuljum issir sinifikanti hekk kif it-talbiet jakkumulaw.

Punti ewlenin:

Kuntest: Iddefinixxi l-kompitu, il-mudell, il-ħardwer, u l-iskala qabel ma tikkwota kwalunkwe stima tal-enerġija.

Taħriġ: Ittratta t-taħriġ tal-mudell bħala l-avveniment ewlieni tal-enerġija meta tippjana l-baġits.

Inferenza: Oqgħod attent għall-inferenza ripetuta mill-qrib, għaliex l-ispejjeż żgħar għal kull talba jiżdiedu malajr fuq skala kbira.

Infrastruttura: Inkludi t-tkessiħ, il-ħażna, in-netwerks, u l-kapaċità mhux użata fi kwalunkwe stima realistika.

Effiċjenza: Uża mudelli iżgħar, prompts iqsar, caching, u batching biex tnaqqas l-użu tal-enerġija.

Kemm Enerġija tuża l-AI? Infografika

Artikoli li forsi tixtieq taqra wara dan:

🔗 Kif l-AI taffettwa l-ambjent
Tispjega l-impronta tal-karbonju tal-AI, l-użu tal-enerġija, u l-kompromessi bejn is-sostenibbiltà.

🔗 L-AI hija ħażina għall-ambjent?
Jiżvela l-ispejjeż ambjentali moħbija tal-mudelli tal-IA u ċ-ċentri tad-dejta.

🔗 L-AI hija tajba jew ħażina? Vantaġġi u żvantaġġi
Ħarsa bbilanċjata lejn il-benefiċċji, ir-riskji, l-etika u l-impatti reali tal-IA.

🔗 X'inhi l-IA? Gwida sempliċi
Tgħallem il-bażiċi tal-AI, it-termini ewlenin, u eżempji ta' kuljum fi ftit minuti.

Għaliex din il-mistoqsija hija aktar importanti milli jaħsbu n-nies 🔍

L-użu tal-enerġija mill-IA mhuwiex biss suġġett ta' diskussjoni ambjentali. Jittratta ftit affarijiet reali ħafna:

  • L-ispiża tal-elettriku - speċjalment għal negozji li jħaddmu ħafna talbiet tal-AI

  • Impatt tal-karbonju - skont is-sors tal-enerġija wara s-servers

  • Stress fil-ħardwer - ċipep qawwija jiġbdu qawwa serja

  • Deċiżjonijiet ta' skalar - prompt wieħed irħis jista' jinbidel f'miljuni ta' oħrajn għaljin

  • Disinn tal-prodott - l-effiċjenza ħafna drabi hija karatteristika aħjar milli n-nies jirrealizzaw (Google Cloud, Green AI)

Ħafna nies jistaqsu “Kemm tuża Enerġija l-IA?” għax iridu numru drammatiku. Xi ħaġa enormi. Xi ħaġa li tista’ ssir fl-aħbarijiet. Imma l-aħjar mistoqsija hija din: Dwar liema tip ta’ użu tal-IA qed nitkellmu? Għax dan ibiddel kollox. (IEA)

Suġġeriment wieħed ta' awtokompletar? Pjuttost żgħir.
Taħriġ ta' mudell frontier fuq gruppi massivi? Ħafna, ħafna akbar.
Fluss tax-xogħol tal-AI tal-intrapriża dejjem mixgħul li jmiss lil miljuni ta' utenti? Iva, dan jakkumula malajr... bħal ċenteżmi li jinbidlu f'ħlas tal-kera. (DOE, Google Cloud)

Kemm tuża Enerġija l-AI? It-tweġiba qasira ⚡

Hawn hi l-verżjoni prattika.

L-IA tista’ tuża minn frazzjoni żgħira ta’ watt-siegħa għal kompitu ħafif sa ammonti vasti ta’ elettriku għal taħriġ u skjerament fuq skala kbira. Dik il-firxa tinstema’ wiesgħa b’mod komiku għax hija wiesgħa. (Google Cloud, Strubell et al.)

Fi kliem sempliċi:

  • Kompiti sempliċi ta' inferenza - ħafna drabi relattivament modesti fuq bażi ta' kull użu

  • Konversazzjonijiet twal, outputs kbar, ġenerazzjoni ta' immaġni, ġenerazzjoni ta' vidjows - konsiderevolment aktar intensivi fl-enerġija

  • Taħriġ ta' mudelli kbar - iċ-champion heavyweight tal-konsum tal-enerġija

  • Tħaddim tal-IA fuq skala kbira l-ġurnata kollha - fejn "żgħir għal kull talba" jsir "kont totali kbir" (Google Cloud, DOE)

Regola ġenerali tajba hija din:

  • It-taħriġ huwa l-avveniment ġgant tal-enerġija minn qabel 🏭

  • L-inferenza hija l-kont tad-dawl u l-ilma li għaddej bħalissa 💡 (Strubell et al., Google Research)

Għalhekk, meta xi ħadd jistaqsi, Kemm tuża Enerġija l-AI?,it-tweġiba diretta hija, “Mhux ammont wieħed - iżda biżżejjed biex l-effiċjenza tkun importanti, u biżżejjed biex l-iskala tbiddel l-istorja kollha.” (IEA, Green AI)

Naf li mhux daqshekk attraenti daqs kemm iridu n-nies. Imma huwa veru.

X'jagħmel verżjoni tajba ta' stima tal-enerġija tal-AI? 🧠

Stima tajba mhix biss numru drammatiku mqiegħed fuq grafika. Stima prattika tinkludi kuntest. Inkella tkun bħal li tiżen iċ-ċpar b'miżien tal-kamra tal-banju. Qrib biżżejjed biex tinstema' impressjonanti, mhux qrib biżżejjed biex tafdah. (IEA, Google Cloud)

Stima deċenti tal-enerġija tal-AI għandha tinkludi:

  • It-tip ta' kompitu - test, immaġni, awdjo, vidjo, taħriġ, irfinar

  • Id-daqs tal-mudell - mudelli akbar ġeneralment jeħtieġu aktar komputazzjoni

  • Il-ħardwer użat - mhux iċ-ċipep kollha huma effiċjenti bl-istess mod

  • Tul tas-sessjoni - prompts qosra u flussi tax-xogħol twal b'ħafna passi huma differenti ħafna

  • Użu - sistemi inattivi xorta jikkunsmaw l-enerġija

  • Tkessiħ u infrastruttura - is-server mhuwiex il-kont kollu

  • Il-post u t-taħlita tal-enerġija - l-elettriku mhux nadif bl-istess mod kullimkien (Google Cloud, IEA)

Huwa għalhekk li żewġ persuni jistgħu jargumentaw dwar l-użu tal-elettriku mill-AI u t-tnejn li huma jidhru kunfidenti waqt li jitkellmu dwar affarijiet totalment differenti. Persuna waħda tfisser tweġiba waħda ta' chatbot. L-oħra tfisser ġirja ta' taħriġ ġganteska. It-tnejn jgħidu "AI," u f'daqqa waħda l-konverżazzjoni tiżloq barra mill-binarji 😅

Tabella ta' Paragun - l-aħjar modi biex tistma l-użu tal-enerġija tal-AI 📊

Hawn tabella prattika għal kull min qed jipprova jwieġeb il-mistoqsija mingħajr ma jibdilha f'arti ta' prestazzjoni.

Għodda jew metodu L-aqwa udjenza Prezz Għaliex jaħdem
Stima sempliċi b'regola ġenerali Qarrejja kurjużi, studenti B'xejn Veloċi, faċli, ftit imċajpar - iżda tajjeb biżżejjed għal paraguni mhux preċiżi
Miter tal-watt fuq in-naħa tal-apparat Bennejja individwali, dilettanti Baxx Ikejjel il-ġibda attwali tal-magna, li hija konkreta b'mod iġjeniku
Dashboard tat-telemetrija tal-GPU Inġiniera, timijiet tal-ML Medju Dettall aħjar fuq kompiti li jeħtieġu ħafna komputazzjoni, għalkemm jista' jitlef l-ispiża akbar tal-faċilità
Kontijiet tal-Cloud + reġistri tal-użu Startups, timijiet tal-operazzjonijiet Medju għal għoli Jgħaqqad l-użu tal-AI mal-infiq reali - mhux perfett, xorta pjuttost siewi
Rappurtar tal-enerġija taċ-ċentru tad-dejta Timijiet tal-intrapriża Għoli Jagħti viżibilità operattiva usa', it-tkessiħ u l-infrastruttura jibdew jidhru hawn
Valutazzjoni taċ-ċiklu tal-ħajja sħiħ Timijiet tas-sostenibbiltà, organizzazzjonijiet kbar Qawwija, xi kultant bl-uġigħ L-aħjar għal analiżi serja għax tmur lil hinn miċ-ċippa nnifisha... imma hija bil-mod u tip ta' bhima

M'hemm l-ebda metodu perfett. Dik hija l-parti kemxejn frustranti. Imma hemm livelli ta' valur. U ġeneralment, xi ħaġa li tista' tintuża hija aħjar minn perfetta. (Google Cloud)

L-akbar fattur mhuwiex il-maġija - huwa l-kompjuter u l-ħardwer 🖥️🔥

Meta n-nies jimmaġinaw l-użu tal-enerġija mill-IA, ħafna drabi jimmaġinaw il-mudell innifsu bħala l-ħaġa li tikkonsma l-enerġija. Iżda l-mudell huwa loġika tas-softwer li taħdem fuq il-hardware. Il-hardware huwa fejn tidher il-kont tad-dawl. (Strubell et al., Google Cloud)

L-akbar varjabbli ġeneralment jinkludu:

Sistema ottimizzata ħafna tista' tagħmel aktar xogħol b'inqas enerġija. Sistema traskurata tista' taħli l-elettriku b'kunfidenza tal-għaġeb. Taf kif inhi - xi setups huma karozzi tat-tlielaq, oħrajn huma karretti tax-xiri b'rokits imwaħħlin b'tejp 🚀🛒

U iva, id-daqs tal-mudell huwa importanti. Mudelli akbar għandhom it-tendenza li jeħtieġu aktar memorja u aktar komputazzjoni, speċjalment meta jiġġeneraw outputs twal jew jimmaniġġjaw raġunament kumpless. Iżda l-ħiliet tal-effiċjenza jistgħu jibdlu l-istampa: (Intelliġenza Artifiċjali Ekoloġika, Kwantizzazzjoni, Batching, u Strateġiji ta' Servizz fl-Użu tal-Enerġija tal-LLM)

Għalhekk il-mistoqsija mhix biss "Kemm hu kbir il-mudell?" Hija wkoll "Kemm qed jitħaddem b'mod intelliġenti?"

Taħriġ vs inferenza - dawn huma annimali differenti 🐘🐇

Din hija l-firda li tħawwad kważi lil kulħadd.

Taħriġ

It-taħriġ huwa meta mudell jitgħallem mudelli minn settijiet ta' dejta enormi. Jista' jinvolvi ħafna ċipep li jaħdmu għal perjodi twal, billi jużaw volumi ġganteski ta' dejta. Dan l-istadju jeħtieġ ħafna enerġija. Kultant b'mod esaġerat. (Strubell et al.)

L-enerġija tat-taħriġ tiddependi fuq:

  • daqs tal-mudell

  • daqs tas-sett tad-dejta

  • numru ta' ġirjiet ta' taħriġ

  • esperimenti falluti

  • passes ta' rfinar fin

  • effiċjenza tal-ħardwer

  • tkessiħ overhead (Strubell et al., Google Research)

U hawn hi l-parti li n-nies spiss jitilfu - il-pubbliku spiss jimmaġina ġirja waħda kbira ta' taħriġ, magħmula darba, tmiem l-istorja. Fil-prattika, l-iżvilupp jista' jinvolvi ġirjiet ripetuti, irfinar, taħriġ mill-ġdid, evalwazzjoni, u l-iterazzjonijiet prosaiċi iżda għaljin kollha madwar l-avveniment prinċipali. (Strubell et al., Green AI)

Inferenza

L-inferenza hija l-mudell li jwieġeb għat-talbiet attwali tal-utent. Talba waħda tista’ ma tidhirx ħafna. Iżda l-inferenza sseħħ darba wara l-oħra. Miljuni ta’ drabi. Kultant biljuni. (Google Research, DOE)

L-enerġija tal-inferenza tikber ma':

Allura t-taħriġ huwa t-terremot. L-inferenza hija l-marea. Waħda hija drammatika, waħda hija persistenti, u t-tnejn jistgħu jsawru mill-ġdid il-kosta ftit. Hija metafora mhux tas-soltu, forsi, imma żżomm flimkien... aktar jew inqas.

L-ispejjeż moħbija tal-enerġija li n-nies jinsew 😬

Meta xi ħadd jistma l-użu tal-enerġija tal-AI billi jħares biss lejn iċ-ċippa, ġeneralment ikun qed jgħodd inqas milli mistenni. Mhux dejjem b'mod diżastruż, iżda biżżejjed biex ikun importanti. (Google Cloud, IEA)

Hawn huma l-biċċiet moħbija:

Tkessiħ ❄️

Is-servers jiġġeneraw sħana. Ħardwer qawwi tal-AI jiġġenera ħafna minnha. It-tkessiħ mhuwiex fakultattiv. Kull watt ikkunsmat mill-komputazzjoni għandu t-tendenza li jistieden aktar użu tal-enerġija sempliċement biex iżżomm it-temperaturi sani. (IEA, Google Cloud)

Moviment tad-dejta 🌐

Iċ-ċaqliq tad-dejta bejn il-ħażna, il-memorja, u n-netwerks jeħtieġ ukoll l-enerġija. L-AI mhix biss "ħsieb." Hija wkoll li tħawwad l-informazzjoni kontinwament. (IEA)

Kapaċità inattiva 💤

Sistemi mibnija għal domanda massima mhux dejjem jaħdmu fid-domanda massima. Infrastruttura wieqfa jew mhux użata biżżejjed xorta tikkonsma l-elettriku. (Google Cloud)

Redundanza u affidabbiltà 🧱

Backups, sistemi ta' failover, reġjuni duplikati, saffi ta' sigurtà - kollha siewja, kollha parti mill-qafas akbar tal-enerġija. (IEA)

Ħażna 📦

Dejta tat-taħriġ, embeddings, logs, checkpoints, outputs iġġenerati - dawn kollha jgħixu x'imkien. Il-ħażna hija irħas mill-komputazzjoni, żgur, iżda mhux b'xejn f'termini ta' enerġija. (IEA)

Huwa għalhekk li l-mistoqsija Kemm Enerġija tuża l-AI? ma tistax tiġi mwieġba tajjeb billi wieħed iħares lejn tabella ta' riferiment waħda. L-istack sħiħ huwa importanti. (Google Cloud, IEA)

Għaliex prompt wieħed tal-AI jista' jkun żgħir - u l-ieħor jista' jkun monstruż 📝➡️🎬

Mhux il-prompts kollha huma maħluqa bl-istess mod. Talba qasira għal kitba mill-ġdid ta' sentenza mhijiex komparabbli ma' talba għal analiżi twila, sessjoni ta' kodifikazzjoni b'ħafna passi, jew ġenerazzjoni ta' immaġni b'riżoluzzjoni għolja. (Google Cloud)

Affarijiet li għandhom it-tendenza li jżidu l-użu tal-enerġija għal kull interazzjoni:

Tweġiba ħafifa bit-test tista’ tkun relattivament irħisa. Fluss tax-xogħol multimodali ġgantesk jista’ jkun, sew, mhux irħis. Huwa daqsxejn bħal meta tordna kafè kontra l-catering ta’ tieġ. It-tnejn li huma jgħoddu bħala “servizz tal-ikel,” teknikament. Wieħed mhuwiex bħall-ieħor ☕🎉

Dan huwa importanti speċjalment għat-timijiet tal-prodott. Karatteristika li tidher li ma tagħmilx ħsara b'użu baxx tista' ssir għalja fuq skala kbira jekk kull sessjoni tal-utent issir itwal, aktar rikka, u aktar tqila fil-komputazzjoni. (DOE, Google Cloud)

L-AI tal-konsumatur u l-AI tal-intrapriża mhumiex l-istess ħaġa 🏢📱

Persuna medja li tuża l-AI b'mod każwali tista' tassumi li l-prompts okkażjonali tagħha huma l-problema l-kbira. Normalment, mhux hemmhekk li tinsab l-istorja ewlenija tal-enerġija. (Google Cloud)

L-użu fl-intrapriża jbiddel il-matematika:

  • eluf ta’ impjegati

  • kopiloti dejjem mixgħula

  • ipproċessar awtomatizzat ta' dokumenti

  • sommarju tas-sejħiet

  • analiżi tal-immaġni

  • għodod ta' reviżjoni tal-kodiċi

  • aġenti fl-isfond li jaħdmu kontinwament

Dak hu fejn l-użu aggregat tal-enerġija jibda jimporta ħafna. Mhux għax kull azzjoni hija apokalittika, iżda għax ir-ripetizzjoni hija multiplikatur. (DOE, IEA)

Fir-reviżjonijiet tiegħi stess tat-testijiet u l-fluss tax-xogħol, hawnhekk in-nies jissorprendu ruħhom. Huma jiffokaw fuq l-isem tal-mudell, jew id-demo attraenti, u jinjoraw il-volum. Il-volum ħafna drabi huwa x-xprun veru - jew is-salvataġġ, skont jekk intix qed tħallas il-kontijiet lill-klijenti jew tħallas il-kont tal-utilità 😅

Għall-konsumaturi, l-impatt jista’ jħossu astratt. Għan-negozji, dan isir konkret malajr ħafna:

  • kontijiet akbar tal-infrastruttura

  • aktar pressjoni biex jiġi ottimizzat

  • ħtieġa aktar qawwija għal mudelli iżgħar fejn possibbli

  • rappurtar intern dwar is-sostenibbiltà

  • aktar attenzjoni għall-caching u r-routing (Google Cloud, Green AI)

Kif tnaqqas l-użu tal-enerġija tal-AI mingħajr ma tabbanduna l-AI 🌱

Din il-parti hija importanti għaliex l-għan mhuwiex "li tieqaf tuża l-AI." Normalment dan mhux realistiku, u lanqas biss neċessarju. Użu aħjar huwa r-rotta aktar intelliġenti.

Hawn huma l-akbar lievi:

1. Uża l-iżgħar mudell li jagħmel ix-xogħol

Mhux kull kompitu jeħtieġ l-għażla heavyweight. Mudell eħfef għall-klassifikazzjoni jew is-sommarju jista' jnaqqas l-iskart malajr. (Green AI, Google Cloud)

2. Tqassar il-prompts u l-outputs

Verbożità 'l ġewwa, verbożità 'l barra. Tokens żejda jfissru komputazzjoni żejda. Kultant it-tnaqqis tal-pront huwa l-aktar rebħa faċli. (Strateġiji ta' Kwantizzazzjoni, Batching, u Servizz fl-Użu tal-Enerġija LLM, Google Cloud)

3. Aħżen ir-riżultati ripetuti fil-cache

Jekk l-istess mistoqsija tibqa' tidher, tirriġenerahiex kull darba. Dan huwa kważi offensivament ovvju, iżda xorta ma jiġix osservat. (Google Cloud)

4. Xogħol f'lottijiet meta jkun possibbli

It-tħaddim ta' kompiti f'lottijiet jista' jtejjeb l-użu u jnaqqas l-iskart. (Strateġiji ta' Kwantizzazzjoni, Batching, u Servizz fl-Użu tal-Enerġija tal-LLM)

5. Irrotta l-kompiti b'mod intelliġenti

Uża mudelli kbar biss meta l-kunfidenza tonqos jew il-kumplessità tal-kompitu tiżdied. (Green AI, Google Cloud)

6. Ottimizza l-infrastruttura

Skedar aħjar, ħardwer aħjar, strateġija ta' tkessiħ aħjar - affarijiet prosaiċi, riżultat kbir. (Google Cloud, DOE)

7. Kejjel qabel ma tassumi

Ħafna timijiet jaħsbu li jafu fejn sejra l-enerġija. Imbagħad ikejlu, u hemm hi - il-parti l-aktar għalja tinsab xi mkien ieħor. (Google Cloud)

Ix-xogħol effiċjenti mhuwiex glamoruż. Rarament jirċievi applaws. Iżda huwa wieħed mill-aqwa modi biex l-IA ssir aktar affordabbli u aktar difendibbli fuq skala kbira 👍

Miti komuni dwar l-użu tal-elettriku mill-AI 🚫

Ejja nneħħu ftit miti għax dan is-suġġett jitħabbel malajr.

Mit 1 - Kull mistoqsija tal-AI hija ħela kbira ta' flus

Mhux neċessarjament. Xi wħud huma modesti. L-iskala u t-tip ta' kompitu huma importanti ħafna. (Google Cloud)

Mit 2 - It-taħriġ huwa l-unika ħaġa li tgħodd

Le. L-inferenza tista' tiddomina maż-żmien meta l-użu jkun kbir ħafna. (Google Research, DOE)

Mit 3 - Mudell akbar dejjem ifisser riżultat aħjar

Xi kultant iva, xi kultant assolutament le. Ħafna kompiti jaħdmu tajjeb b'sistemi iżgħar. (AI Ekoloġika)

Mit 4 - L-użu tal-enerġija awtomatikament ifisser impatt tal-karbonju

Mhux eżattament. Il-karbonju jiddependi wkoll mis-sors tal-enerġija. (IEA, Strubell et al.)

Mit 5 - Tista' tikseb numru universali wieħed għall-użu tal-enerġija tal-AI

Ma tistax, għall-inqas mhux f'forma li tibqa' sinifikanti. Jew tista', imma se tkun tant medjata li ma tibqax ta' valur. (IEA)

Huwa għalhekk li l-mistoqsija Kemm Enerġija tuża l-AI? hija intelliġenti - iżda biss jekk tkun lest għal tweġiba f'saffi minflok slogan.

Allura... kemm Enerġija tuża l-AI, tassew? 🤔

Hawn hi l-konklużjoni msejsa fuq il-bażi.

L-IA tuża:

  • ftit, għal xi kompiti sempliċi

  • ħafna aktar, għal ġenerazzjoni multimodali tqila

  • ammont kbir ħafna, għal taħriġ ta' mudelli fuq skala kbira

  • ammont enormi b'kollox, meta miljuni ta' talbiet jakkumulaw maż-żmien (Google Cloud, DOE)

Dik hija l-għamla tagħha.

L-importanti hu li ma nnaqqsux il-kwistjoni kollha f'numru wieħed tal-biża' jew f'tgħajjir wieħed ta' disprezz. L-użu tal-enerġija tal-IA huwa reali. Huwa importanti. Jista' jittejjeb. U l-aħjar mod kif nitkellmu dwaru huwa bil-kuntest, mhux b'mod teatrali. (IEA, Green AI)

Ħafna mill-konverżazzjoni pubblika titbandal bejn l-estremi - "L-AI hija bażikament bla ħlas" fuq naħa waħda, "L-AI hija apokalissi elettrika" fuq l-oħra. Ir-realtà hija aktar ordinarja, u dan jagħmilha aktar informattiva. Hija problema tas-sistemi. Ħardwer, softwer, użu, skala, tkessiħ, għażliet ta' disinn. Prosajku? Ftit. Importanti? Importanti ħafna. (IEA, Google Cloud)

Punti ewlenin ⚡🧾

Jekk ġejt hawn tistaqsi, Kemm Enerġija tuża l-AI?,hawn hu l-punt ewlieni:

  • M'hemm l-ebda numru wieħed li jaqbel lil kulħadd

  • It-taħriġ ġeneralment jikkonsma l-aktar enerġija minn qabel

  • L-inferenza ssir fattur ewlieni fuq skala kbira

  • Id-daqs tal-mudell, il-ħardwer, l-ammont ta' xogħol, u t-tkessiħ kollha huma importanti

  • Ottimizzazzjonijiet żgħar jistgħu jagħmlu differenza sorprendentament kbira

  • L-aktar mistoqsija intelliġenti mhix biss "kemm," iżda wkoll "għal liema kompitu, fuq liema sistema, fuq liema skala?" (IEA, Google Cloud)

Mela iva, l-AI tuża enerġija reali. Biżżejjed biex tistħoqqilha attenzjoni. Biżżejjed biex tiġġustifika inġinerija aħjar. Imma mhux b'mod kartuniku, b'numru wieħed.

Eżempju tad-dinja reali: Kejl tal-ispiża tal-enerġija ta' assistent ta' appoġġ tal-AI

Xenarju

Immaġina kumpanija żgħira tas-SaaS li tuża assistent tal-AI biex tabbozza tweġibiet għal talbiet għall-appoġġ tal-klijenti. Dan huwa eżempju fittizju iżda realistiku, mhux studju ta' każ ta' kumpanija.

It-tim jittratta madwar 500 talba ta' appoġġ kull ġimgħa. Ħafna minnhom huma sempliċi: reset tal-passwords, mistoqsijiet dwar il-kontijiet, spjegazzjonijiet tal-karatteristiċi, u soluzzjoni bażika tal-problemi. Il-kumpanija ma tridx li l-assistent jibgħat it-tweġibiet awtomatikament. Hija tabbozza t-tweġibiet biex aġent tal-appoġġ uman jirrevedihom.

Il-kwistjoni tal-enerġija mhijiex, "Kemm tuża l-AI b'mod ġenerali?" Hija aktar prattika:

"Kemm qed noħolqu kompjuter żejjed billi nżidu l-AI ma' dan il-fluss tax-xogħol, u nistgħu nnaqqsuh mingħajr ma nħassru l-kwalità?"

Dak li jeħtieġ l-assistent

It-tim jibda b’dan li ġej:

Bażi ta' għarfien taċ-ċentru tal-għajnuna nadifa

Lista ta' regoli approvati dwar ir-rifużjoni, il-privatezza, u l-eskalazzjoni

20-30 eżempju ta' tweġibiet ta' appoġġ qawwija fil-passat

Istruzzjoni ċara li l-assistent irid jabbozza, mhux jibgħat

Reġistri tal-użu tal-cloud jew Reġistri tal-użu tal-API tal-mudell

Spreadsheet sempliċi biex issegwi t-tip ta' biljett, it-tul tal-prompt, it-tul tal-output, il-ħin tar-reviżjoni, u jekk it-tweġiba ġietx aċċettata

L-importanti huwa l-kejl. Mingħajr logs, it-tim ikun qed jissupponi biss.

Eżempju ta' istruzzjoni

Inti assistent tal-abbozzar tal-appoġġ għal prodott SaaS. Uża biss il-kontenut approvat taċ-ċentru tal-għajnuna u n-noti tal-politika pprovduti. Abbozza tweġiba ċara u edukata f'inqas minn 180 kelma. Jekk il-klijent jitlob rifużjoni, tħassir ta' kont, parir legali, dettalji ta' sigurtà, jew xi ħaġa li mhix koperta fid-dokumenti, twieġebx direttament. Immarkaha għal reviżjoni umana u spjega liema informazzjoni hija nieqsa.

Qabel ma tikteb it-tweġiba, ikklassifika t-talba bħala: sempliċi, sensittiva għall-politika, teknika, jew meħtieġa eskalazzjoni.

Kif tittestjah

It-tim seta' jittestja l-assistent fuq 50 biljett tal-passat qabel ma jużah live.

Sett ta' test sempliċi jista' jinkludi:

10 biljetti tal-password jew tal-login

10 biljetti tal-kontijiet

10 biljetti għas-soluzzjoni ta' problemi tekniċi

10 messaġġi vagi jew mhux kompluti lill-klijenti

10 biljetti sensittivi għall-politika li jinvolvu rifużjonijiet, privatezza, jew għeluq ta' kont

Għal kull biljett, it-tim għandu jirreġistra:

L-abbozz kien fattwalment korrett?

Uża biss informazzjoni approvata?

Baqa' taħt il-limitu ta' kliem?

Immarkat każijiet sensittivi b'mod korrett?

Kemm dam l-aġent uman jeditjah?

Kemm uża tokens jew talbiet il-fluss tax-xogħol?

Dan jagħti lit-tim xi ħaġa konkreta biex iqabbel minflok ma jiddependi fuq preżunzjonijiet.

Riżultat

Riżultat illustrattiv: Abbażi tal-kalkolu tal-ħin ta' 50 biljett kampjun qabel u wara l-użu tal-fluss tax-xogħol, it-tim jistma li l-ħin medju tal-ewwel abbozz jonqos minn 6 minuti għal kull biljett għal 2 minuti għal kull biljett.

Għal 500 biljett fil-ġimgħa, dan jiffranka madwar 2,000 minuta, jew bejn wieħed u ieħor 33 siegħa ta' ħin ta' tfassil.

Iżda l-logs juru wkoll xi ħaġa siewja: 38% tat-tickets huma sempliċi ripetizzjonijiet. Billi jaħżen fil-caching tweġibiet approvati għal dawn il-mistoqsijiet ripetuti minflok ma jirriġenera kull abbozz mill-bidu, it-tim inaqqas it-talbiet tal-AI minn 500 fil-ġimgħa għal 310 fil-ġimgħa.

Dak huwa tnaqqis ta' 38% fis-sejħiet ta' inferenza ta' kull ġimgħa għal dan il-fluss tax-xogħol, mingħajr ma titneħħa l-karatteristika tal-AI.

It-tim jista' jivverifika dan billi jqabbel:

Total ta' talbiet tal-AI kull ġimgħa qabel u wara l-caching

Tul medju tal-pront u tal-output

Rata ta' aċċettazzjoni umana

Numru ta' eskalazzjonijiet maqbuda b'mod korrett

Punteġġi tal-kwalità ta' appoġġ jew għadd ta' reviżjonijiet

L-iffrankar eżatt tal-elettriku xorta jiddependi fuq il-mudell, il-ħardwer, il-fornitur, u l-infrastruttura. Iżda t-tnaqqis fl-ammont ta' xogħol innifsu jista' jitkejjel.

X'jista' jmur ħażin

L-assistent jista' jwieġeb iżżejjed mistoqsijiet dwar il-politika jekk ir-regoli tal-eskalazzjoni jkunu vagi.

Dokumenti twal taċ-ċentru tal-għajnuna jistgħu jkabbru t-tul tal-pront jekk is-setup tal-irkupru ma jkunx strutturat sew.

L-aġenti jistgħu jafdaw abbozzi fluwenti malajr wisq u jinjoraw żbalji sottili.

Il-caching jista' jsir riskjuż jekk politiki qodma ta' rifużjoni, prezzijiet, jew privatezza jibqgħu fiċ-ċirkolazzjoni.

It-tim jista' jottimizza għal inqas tokens filwaqt li aċċidentalment jipproduċi tweġibiet inqas utli.

L-aktar verżjoni sikura żżomm lill-bnedmin infurmati, tkejjel it-tweġibiet aċċettati, u tirrevedi t-tweġibiet fil-cache kull meta jinbidlu l-politiki.

Konklużjoni prattika

Stima soda tal-enerġija tal-AI tibda b'fluss tax-xogħol konkret. Għodd it-talbiet, aqsar il-prompts, żomm fil-cache tweġibiet ripetuti, u kejjel il-kwalità tar-reviżjoni. Dan ibiddel "Kemm tuża enerġija l-AI?" minn dibattitu vag għal mistoqsija prattika tal-inġinerija b'numri li tim jista' jtejjeb fil-prattika.

Mistoqsijiet Frekwenti

Kemm enerġija tuża l-AI għal prompt wieħed?

M'hemm l-ebda numru universali għal prompt wieħed, għaliex l-użu tal-enerġija jiddependi fuq il-mudell, il-ħardwer, it-tul tal-prompt, it-tul tal-output, u kwalunkwe użu ta' għodda żejda involuta. Tweġiba qasira ta' test tista' tkun relattivament modesta, filwaqt li kompitu multimodali twil jista' jikkonsma notevolment aktar. L-aktar tweġiba sinifikanti mhix ċifra ewlenija waħda, iżda l-kuntest madwar il-kompitu.

Għaliex l-istimi tal-użu tal-enerġija tal-AI jvarjaw daqshekk?

L-istimi jvarjaw għaliex in-nies spiss iqabblu affarijiet differenti ħafna taħt it-tikketta waħda ta' AI. Stima waħda tista' tiddeskrivi tweġiba ħafifa ta' chatbot, filwaqt li oħra tista' tkopri l-ġenerazzjoni ta' immaġni, vidjow, jew taħriġ ta' mudelli fuq skala kbira. Biex stima tkun sinifikanti, teħtieġ kuntest bħat-tip ta' kompitu, id-daqs tal-mudell, il-ħardwer, l-użu, it-tkessiħ, u l-post.

It-taħriġ tal-AI jew it-tħaddim tal-AI kuljum huwa l-akbar spiża tal-enerġija?

It-taħriġ ġeneralment huwa l-avveniment ewlieni tal-enerġija, għax jista' jinvolvi ħafna ċipep li jaħdmu għal perjodi twal fuq settijiet ta' dejta enormi. L-inferenza hija l-ispiża kontinwa li tidher kull darba li l-utenti jibagħtu talbiet, u fuq skala kbira tista' wkoll issir kbira ħafna. Fil-prattika, it-tnejn huma importanti, għalkemm huma importanti b'modi differenti.

X'jagħmel talba waħda tal-AI ħafna aktar intensiva fl-enerġija minn oħra?

Twieqi ta' kuntest itwal, outputs itwal, passaġġi ta' raġunament ripetuti, sejħiet ta' għodda, passi ta' rkupru, u ġenerazzjoni multimodali kollha għandhom it-tendenza li jżidu l-użu tal-enerġija għal kull interazzjoni. Il-miri ta' latenza huma importanti wkoll, għaliex ir-rekwiżiti ta' rispons aktar mgħaġġel jistgħu jnaqqsu l-effiċjenza. Talba żgħira ta' kitba mill-ġdid u fluss tax-xogħol twil ta' kodifikazzjoni jew immaġni sempliċement mhumiex komparabbli.

Liema spejjeż moħbija tal-enerġija ma jarawx in-nies meta jistaqsu kemm enerġija tuża l-AI?

Ħafna nies jiffokaw biss fuq iċ-ċippa, iżda dan jinjora t-tkessiħ, il-moviment tad-dejta, il-ħażna, il-kapaċità inattiva, u s-sistemi ta' affidabbiltà bħal backups jew reġjuni ta' failover. Dawn is-saffi ta' appoġġ jistgħu jbiddlu materjalment l-impronta totali. Huwa għalhekk li benchmark waħdu rarament jaqbad l-istampa sħiħa tal-enerġija.

Mudell tal-AI akbar dejjem juża aktar enerġija?

Mudelli akbar ġeneralment jeħtieġu aktar komputazzjoni u memorja, speċjalment għal outputs twal jew kumplessi, għalhekk ħafna drabi jikkunsmaw aktar enerġija. Iżda akbar ma jfissirx awtomatikament aħjar għal kull xogħol, u l-ottimizzazzjoni tista' tbiddel l-istampa konsiderevolment. Mudelli speċjalizzati iżgħar, kwantizzazzjoni, batching, caching, u routing aktar intelliġenti jistgħu kollha jtejbu l-effiċjenza.

L-użu tal-IA għall-konsumatur huwa l-problema ewlenija tal-enerġija, jew l-IA għall-intrapriżi hija l-akbar kwistjoni?

L-użu każwali tal-konsumatur jista' jkun ta' piż żejjed, iżda l-istorja tal-enerġija akbar spiss tidher fl-iskjeramenti tal-intrapriżi. Kopiloti dejjem mixgħula, l-ipproċessar tad-dokumenti, is-sommarju tas-sejħiet, ir-reviżjoni tal-kodiċi, u l-aġenti tal-isfond joħolqu domanda ripetuta fuq bażijiet kbar ta' utenti. Il-kwistjoni ġeneralment hija inqas dwar azzjoni drammatika waħda u aktar dwar volum sostnut maż-żmien.

Kemm tuża enerġija l-AI meta tinkludi ċ-ċentri tad-dejta u t-tkessiħ?

Ladarba tiġi inkluża s-sistema usa', it-tweġiba ssir aktar realistika u ġeneralment tkun akbar milli jissuġġerixxu l-istimi taċ-ċippa biss. Iċ-ċentri tad-dejta jeħtieġu l-enerġija mhux biss għall-komputazzjoni, iżda wkoll għat-tkessiħ, in-netwerking, il-ħażna, u ż-żamma tal-kapaċità żejda. Huwa għalhekk li d-disinn tal-infrastruttura u l-effiċjenza tal-faċilità huma kważi daqs id-disinn tal-mudell.

X'inhu l-aktar mod prattiku biex jitkejjel l-użu tal-enerġija tal-AI f'fluss tax-xogħol reali?

L-aħjar metodu jiddependi fuq min qed ikejjel u għal liema skop. Regola ġenerali tista' tgħin f'paraguni rapidi, filwaqt li l-watt meters, it-telemetrija tal-GPU, il-logs tal-kontijiet tal-cloud, u r-rappurtar taċ-ċentru tad-dejta jipprovdu għarfien operattiv progressivament aktar b'saħħtu. Għal xogħol serju ta' sostenibbiltà, ħarsa aktar sħiħa lejn iċ-ċiklu tal-ħajja hija saħansitra aktar b'saħħitha, għalkemm hija aktar bil-mod u aktar impenjattiva.

Kif jistgħu t-timijiet inaqqsu l-użu tal-enerġija tal-AI mingħajr ma jirrinunzjaw karatteristiċi utli tal-AI?

L-akbar qligħ ġeneralment jiġi mill-użu tal-iżgħar mudell li xorta jagħmel ix-xogħol, it-tqassir tal-prontijiet u l-outputs, il-caching tar-riżultati ripetuti, ix-xogħol f'lottijiet, u r-rottaġġ biss tal-kompiti aktar diffiċli għal mudelli akbar. L-ottimizzazzjoni tal-infrastruttura hija importanti wkoll, speċjalment l-iskedar u l-effiċjenza tal-ħardwer. F'ħafna pipelines, il-kejl l-ewwel jgħin biex jipprevjeni lit-timijiet milli jottimizzaw il-ħaġa ħażina.

Referenzi

  1. Aġenzija Internazzjonali tal-Enerġija (IEA) - Id-domanda għall-enerġija mill-IA - iea.org

  2. Dipartiment tal-Enerġija tal-Istati Uniti (DOE) - Id-DOE tippubblika rapport ġdid li jevalwa ż-żieda fid-domanda għall-elettriku fiċ-ċentri tad-dejta - energy.gov

  3. Google Cloud - Kejl tal-impatt ambjentali tal-inferenza tal-AI - cloud.google.com

  4. Google Research - Aħbar tajba dwar l-impronta tal-karbonju tat-taħriġ fit-tagħlim awtomatiku - research.google

  5. Google Research - L-impronta tal-karbonju tat-taħriġ fit-tagħlim awtomatiku se tillivella u mbagħad tonqos - research.google

  6. arXiv - AI Ekoloġika - arxiv.org

  7. arXiv - Strubell et al. - arxiv.org

  8. arXiv - Strateġiji ta' Kwantizzazzjoni, Batching, u Servizz fl-Użu tal-Enerġija tal-LLM - arxiv.org

Sib l-Aħħar AI fil-Ħanut Uffiċjali tal-Assistent tal-AI

Dwarna

Lura għall-blogg

Mistoqsijiet Frekwenti Addizzjonali

  • Kif nista' nistma b'mod preċiż il-konsum tal-enerġija tas-sistemi tal-IA?

    Stima preċiża tal-konsum tal-enerġija tal-IA tinvolvi l-konsiderazzjoni ta' fatturi bħat-tip ta' kompitu li qed jitwettaq, id-daqs tal-mudell, il-ħardwer użat, u t-tul tas-sessjonijiet. Huwa importanti li wieħed iħares lejn l-infrastruttura usa' inkluż it-tkessiħ u l-moviment tad-dejta peress li dawn ukoll jikkontribwixxu b'mod sinifikanti għall-użu totali tal-enerġija.

  • X'inhuma l-fatturi ewlenin li jikkontribwixxu għal użu għoli ta' enerġija fl-IA?

    L-użu għoli tal-enerġija fl-AI jista' jiġi attribwit għad-daqs tal-mudell, il-kumplessità tal-kompitu, u l-ħtieġa għal ipproċessar estensiv tad-dejta. Barra minn hekk, elementi tal-infrastruttura bħat-tkessiħ, il-ħażna, u t-traffiku tan-netwerk iżidu mad-domanda għall-enerġija kemm waqt it-taħriġ kif ukoll waqt l-inferenza.

  • L-użu tal-AI huwa aktar effiċjenti fl-enerġija mill-informatika tradizzjonali?

    L-effiċjenza enerġetika tal-AI meta mqabbla mal-informatika tradizzjonali tvarja ħafna skont l-applikazzjoni. Kompiti sempliċi jistgħu jikkunsmaw inqas enerġija bl-AI, iżda kompiti kumplessi tal-AI li jeħtieġu ħafna riżorsi jistgħu jaqbżu l-użu tal-enerġija tal-informatika tradizzjonali. Huwa essenzjali li jiġi analizzat il-konsum tal-enerġija każ b'każ.

  • Kif il-konsum tal-enerġija tal-AI jaffettwa l-ambjent?

    Il-konsum tal-enerġija tal-IA jista' jkollu impatti ambjentali sinifikanti, partikolarment skont is-sors tal-elettriku li jħaddem iċ-ċentri tad-dejta. Dipendenza akbar fuq il-fjuwils fossili tista' żżid l-impronta tal-karbonju. L-użu effiċjenti tal-enerġija permezz tal-ottimizzazzjoni u l-għażla ta' sorsi ta' enerġija aktar nodfa jista' jgħin biex jittaffa dan l-effett.

  • X'inhuma xi strateġiji biex jitnaqqas l-użu tal-enerġija tal-AI?

    L-istrateġiji biex jitnaqqas l-użu tal-enerġija tal-AI jinkludu l-użu ta' mudelli iżgħar meta jkun possibbli, it-tqassir tal-pront u l-outputs, il-caching tar-riżultati biex tiġi evitata r-redundanza, u l-proċessi ta' batching għall-effiċjenza. L-ottimizzazzjoni tal-infrastruttura u l-kejl tal-użu tal-enerġija jistgħu jwasslu wkoll għal titjib fil-konsum tal-enerġija.

  • L-iskala tal-iskjerament tal-AI taffettwa l-konsum tal-enerġija tagħha?

    Iva, l-iskala tal-użu tal-IA taffettwa ħafna l-konsum tal-enerġija. Filwaqt li kompiti individwali jistgħu jużaw enerġija minima, l-effett kumulattiv tal-immaniġġjar ta' miljuni ta' talbiet jista' jwassal għal spejjeż sostanzjali tal-enerġija. Dan huwa partikolarment rilevanti f'kuntesti ta' intrapriżi fejn l-IA tintuża kontinwament minn bosta utenti.

  • L-użu tal-IA mill-konsumatur jista' jkollu impatt sinifikanti fuq il-konsum totali tal-enerġija?

    Filwaqt li l-użu individwali tal-konsumatur jista' jidher minimu, jista' jammonta għal ammont konsiderevoli minħabba użu ripetut. It-tħassib ewlieni ħafna drabi jinsab f'applikazzjonijiet tal-IA tal-intrapriżi fejn attivitajiet sostnuti fuq bażijiet kbar ta' utenti jistgħu jamplifikaw il-konsum ġenerali tal-enerġija.