De enorme strømbehovene til AI-systemer setter søkelyset på bærekraft i halvlederøkosystemet. Brikkeindustrien må kunne produsere mer effektive halvledere med lavere effekt. Men kravene om økt behandlingshastighet øker med den utbredte bruken av store språkmodeller og den samlede økningen i mengden data som må behandles. Gartner anslår at 50 % av organisasjonene vil ta i bruk bærekraftsaktivert overvåking innen 2026 for å administrere energiforbruk og karbonfotavtrykk for deres hybride skymiljøer. Dette er nødvendig, gitt at 40 % av datasentrene sannsynligvis vil være strømbegrenset innen 2027, ifølge firmaet.
Halvledere kan hjelpe med bærekraft hvis de er utformet riktig. Det gjelder selv for AI/ML-brikker designet for maksimal ytelse, forutsatt at de kan få beregninger gjort raskere ved hjelp av sparsomme algoritmer. Det resulterer i en generell reduksjon i mengden energi som forbrukes. Det er her tilpassede akseleratorer kommer inn i bildet. De kan gi betydelige forbedringer sammenlignet med prosessorer for generell bruk, som ofte jobber sammen.
AIs voksende fotavtrykk
Databehandling skjer overalt, og alt må være mer effektivt. Smarte byer, smart infrastruktur og smart transport er ikke mulig uten smart teknologi, og det aktiveres i økende grad av AI. Etter hvert som AI blir mer forankret, prøver halvlederøkosystemet å minimere innvirkningen på ressursene.
Dagens datasentre bruker allerede enorme mengder strøm. Globalt trengs det 460 terawatt-timer (TWh) strøm årlig. Det tilsvarer hele mengden energi produsert av Tyskland. I USA var strømforbruket til datasenteret 2,5 % av USAs totale (~130 TWh) i 2022, og det forventes å tredobles til 7,5% (~390 TWh) innen 2030, ifølge Boston Consulting Group. Det tilsvarer elektrisiteten som brukes av rundt 40 millioner amerikanske hus, eller nesten en tredjedel av de totale husene i USA
"AI har potensialet til å overgå alle de transformative innovasjonene som ble skapt i det siste århundret," sa Imran Yusuf, direktør for maskinvareøkosystemer i Arm's Infrastructure Group. "Men kraftkravene til AI-databehandling er betydelige, og ettersom selskaper skynder seg å bygge ut sine AI-evner, risikerer de å overgå sine egne bærekraftsmål. Fremtidige AI-modeller vil fortsette å bli større og smartere, noe som gir næring til behovet for mer databehandling, noe som øker etterspørsel etter strøm som en del av en god syklus Enkelt sagt, ingen elektrisitet, ingen AI. Hvordan balanserer vi behovet for strøm med behovet for å fortsette å drive AI-revolusjonen AI databehandlingssystemer."
Andre er enige. "Det kommer ned til å være mer effektiv i designet," sa Neil Hand, markedsdirektør i Siemens EDA. "Du kan se på hvilken som helst algoritme. Det er rekkefølger av effektivitet. Den mest ineffektive tilnærmingen fra et strømperspektiv er å kjøre råkoden på en generell prosessor og la den sveive unna - og riste noen marshmallows over CPU-en fordi den går å bli veldig varm."
Et rack med servere basert på NVIDIA Grace Blackwell GPUer krever 120 kilowatt. Men de er også 1,000 ganger mer kapable enn tidligere generasjoner, noe som tilsvarer 500 ganger mer beregning per kraftenhet, ifølge Rich Goldman, direktør i Ansys. "Hvis du bygger et datasenter med prosessorer, og ønsker å gjøre mye med databehandling, kan du erstatte CPU-ene med de nyeste GPU-ene og få ned strømmen for de samme datamulighetene. Vi kommer fortsatt til å ha store strømproblemer, fordi med AI gjør vi mer databehandling, men det vil hjelpe."
Hand ser den spesialiserte Grace Blackwell-typen spesialbygd maskinvare for AI som neste trinn i utviklingen, men han legger til at mye mer kan gjøres fordi disse fortsatt er generelle brikker. Han sa at det er mulig å bygge mer effektive AI-brikker som er ment å klassifisere og jobbe med en bred klassifisering.
"Dette er hva vi ser NVIDIA gjøre, dette er hva vi ser Google og mange av skyleverandørene gjøre," bemerket Hand. "Det er effektivitetsnivåer vi kan gjøre for å gjøre det mulig for disse brikkene å produseres mer effektivt, og for å muliggjøre alt rundt bærekraft som følger med det. Deretter kan du gå et skritt videre med nye teknologier som tar en fullt trent AI-modell og konvertere det til maskinvare Det kommer til å være det mest effektive du kan være, og det kommer til å bruke en brøkdel av kraften og endrer seg så raskt. Hvor mye kan du låse ned? uansett hvilket nevrale nettverk du vil ha på brikken, og det kommer bare til å være det kontinuumet."
Steve Roddy, markedssjef i Quadric, var enig. "Krftene som driver eksplosjonen av AI/ML-modeller er enorme i omfang. Generativ AI-bølge endrer måten enkeltpersoner og selskaper jobber på; muligens påvirker millioner av jobber rundt om i verden. Halvleder/EDA/IP-økosystemet kan ikke med rimelighet bøye kurven til fremgang i utviklingen av massive AI-modeller som drives frem av hundrevis av milliarder dollar i investeringer fra teknologiske titaner årlig. -daglig slutningsbruk."
Den største bærekraftutfordringen for GenAI-slutning er konvertering av moduser til heltalls kvantiserte formater med lavere strømforbruk. "Datavitenskapsteam som lager GenAI-modeller er tilsynelatende uvitende om det faktum at referansemodellene de publiserer i flyttallformat bruker 10 ganger energien per slutning sammenlignet med den samme modellen konvertert til heltallsformater (sammenligning av en 32b flyttalls multiplikasjonsakkumuler versus en 8 x 8 eller 4 x 8 heltall MAC),» sa Roddy. "Enten slutninger skjer i datasenteret eller på enheten, er energibesparelsene – og de resulterende fordelene for bærekraft – fra konvertering til heltallsformater med lavere effekt. Dette gapet eksisterer i dag fordi dataforskerne som lager nye GenAI-modeller er matematikere, ikke innebygde ingeniører."
Teknologien går fremover
Når designteamet bestemmer seg for at det er på tide å gå til maskinvare, selv om AI-algoritmer går så raskt fremover, vil det være en viss grad av stabilitet, sa Hand. "Det er litt som da vi gikk inn i utviklingen av TPU-er, NPU-er, XPU-er. Generelt var de ikke veldig levedyktige på en stund fordi kjernebyggesteinene endret seg mer regelmessig. Men i løpet av de siste årene har disse kjernefunksjonene har stabilisert seg slik at du nå kan lage mer energieffektiv maskinvare. Det kommer alltid til å være nye innovasjoner som trenger ny maskinvare. Vil sannsynligvis alltid ende opp med å bruke mer enn vi sier fordi datasentrene er en stor energiforbruker, men hva oppveier de hele spørsmålet fra et produktivitetsperspektiv. Tillater de oss å gjøre ting vi ellers ikke ville vært i stand til Men mye av det er om det er en kompleks AI-brikke. EDA-aspektene er omtrent de samme. Vi forbedrer ytelsen, reduserer kraften.
En annen vurdering er hvordan man kan generere nok strøm til datasenteret. Hvordan plasserer du disse datasentrene på steder der det ikke er nok strøm? "Du vil se datasentre oftere på steder som har overskudd av kraft, og land som har overskudd av kraft vil bli datasenterknutepunkter," sa Goldman. "De vil lokalisere datasenteret der, og deretter sende ut kunnskapen du får fra den kraften."
Det vil bli ledsaget av nye og nye kraftkilder. "Vi har hørt snakk om mini atomkraftverk for å drive individuelle datasentre, og applikasjoner som å sette dem på toppen av oljebrønner slik at metanet som nå går ut i luften og forurenser luften, vi kan brenne det og skape kraft ut av de som skal drive datasentrene," sa Goldman. "Vi må få en slik roman for å drive disse datasentrene."
En del av diskusjonen om AI-bærekraft er datasentereffektivitet, der det er en pågående konflikt mellom kraften som trengs for å flytte data og hvor langt disse dataene faktisk må flyttes. "Vi ser folk bygge veldig store prosessorer av brikker, og noe av det er fordi selv om de vet at de kunne bygge et tilsvarende system av to brikker som er koblet sammen over en buss, men å flytte dataene mellom dem vil koste mye av makt," forklarte Steven Woo, stipendiat og fremtredende oppfinner ved Rambus. "Jo mer du samler ting, jo mindre avstand må dataene reise, jo mindre strøm bruker du på å flytte data. Men så er problemet at strømtettheten øker. Du må levere mer kraft, og du må avkjøl tingen Så, dragkampen er, hvordan kan jeg avkjøle denne tingen. må avkjøle det. Det er dragkampen som arkitekter på systemnivå står overfor nå.»
På datasenternivå er det økende bruk av avanserte kjøleteknikker i servere. "Flere snakker om flytende kjøling, inkludert kalde plater," sa Woo. "Google har gjort dette, og NVIDIA har snakket om det for Grace Blackwell. Det er teknologien som noen av superdatamaskinene bruker i dag, og det er ikke en fremmed eller en ny teknologi. Det er bare et spørsmål om tid før vi ser det som gjennomgripende Det vil sannsynligvis være noen systemer som er luftkjølte i overskuelig fremtid, men du vil se flere systemer som tar i bruk en slags pumpet væske med et tofaset kjølesystem."
I den ytterste enden av denne tilnærmingen er nedsenkingskjøling. "Dette er kanskje ikke en levedyktig løsning for kjøling av datasenterservere snart, men det kan være hvis vi går tom for rullebane på væsker i rørene," la han til. "Når du er i stand til å håndtere varmen med en væske, eller noe sånt, så kan du begrense temperaturområdet som en brikke går gjennom, noe som betyr at hvis den går termisk, kan det hende at den ikke treffer de ekstreme temperaturene. Det er bra. , for da har du ikke den termiske ekspansjonen og sammentrekningen over dette større området, og noen av de andre pålitelighetsrelaterte feilene blir lettere."
Big data-analyse spiller også en rolle i bærekraft ved å identifisere trender i chipdesign basert på datasenterbruk. "Det er et helt tog av makt," sa Adam Cron, en fremtredende arkitekt ved Synopsys. "Bekymringene er på terningsnivået. Så har du brettet den er på, stativet den er i, gården den er i, og så går den helt tilbake til overføringslinjene. Og det datasenterledere liker å se er en fin jevn kjøl. Ikke vugg båten for mye, for hvis du vil ha mye her, så må du kanskje slippe ned der borte, eller omvendt."
Ideelt sett ville kraften reduseres overalt. "Datasentre bruker mellom 1 og 2% av verdens elektrisitet, og de er på et lynkurs for å bruke alt," sa Cron.
Utbytte, produksjonsmuligheter
Det er en interessant sammenheng mellom innsatsen for å lage bærekraftige halvledere og utbytte og produksjonsevne, bemerket Siemens' Hand. "Disse brikkene blir større. Derfor blir utbytte mer et problem. Jo mer vi kan gjøre med utbytte, jo bedre kan vi være for bærekraft, fordi en død die er sløsing med ressurser. En god die er alltid en bedre ting . Hva kan vi gjøre der. Det er mye arbeid vi gjør i EDA-halvlederøkosystemet. Ironisk nok bruker noen av det AI for å få bedre utbytte. bærekraftskostnadene til AI og bærekraftsmulighetene til AI og hvordan de fungerer sammen. Generelt sett er det en positiv måte å måle det på sier hva det koster å trene disse modellene. Det er dyrt å bruke dem. og AI-teknologier kan utnyttes her. Det er bare EDA som gjør sin EDA-ting."
Termisk analyse og aldring vil også spille inn i AI-datasenterets bærekraft. Dette er ikke unikt for AI, selvfølgelig. Det gjelder for alle sjetonger," sa Hand. "Du kan begynne å forstå hva som er termikken på dysnivået, på sub-die-nivået, for å forstå implikasjonene. Kan jeg nå sette sammen en 3D-stabel og få den til å være pålitelig? Kan jeg kjøre disse tingene på et tilstrekkelig kraftnivå til at jeg ikke fremskynder deres død? Disse egenskapene vil tillate oss å gå enda lenger. Når vi begynner å utvide definisjonen av den digitale tvillingen og begynner å utvide det som er inkludert i det, kan du begynne å se virkningene på systemnivå. Og selv om det ikke er spesifikt for AI og bærekraft, er det her vi vil begynne å se store hopp i effektivitet fordi hvor mye er overkonstruert for øyeblikket? Hvor mye er det for mye avfall inni? Når vi kan begynne å ha en mer konsistent design på produktnivå og problemnivå, er det fordeler der også. For å bringe det tilbake til AI spesifikt, for å komme til ekte multi-domener omfattende digitale tvillinger, vil AI være nødvendig fordi AI kommer til å gjøre kryssdomeneanalysen for deg og surrogatmodellutvinningen og den automatiske troskapstilpasningen. Det vil være alle disse. Jo mer AI vi trenger, jo mer AI bruker vi."
Konklusjon
Bærekraft er ikke et nytt tema, men det har alltid vært et tema for fremtidig diskusjon. Det er ikke lenger tilfelle.
"Maskinvare- og programvareleverandører har i årevis forstått at dataskalering og bærekraft kan være på kollisjonskurs med virkeligheten, men de trenger ikke å være det hvis industrien utnytter sine økosystemevner," sa Arms Yusuf. "Ta for eksempel Arm Total Design, som er et økosystem av ledende selskaper fra hele halvlederindustrien som er dedikert til å muliggjøre effektive, tilpassede silisiumløsninger for AI/ML-bruk. Som sådan gir det partnere fortrinnsrett tilgang til Arm Neoverse Compute Subsystems (CSS), forhåndsintegrerte IP- og EDA-verktøy, designtjenester, støperistøtte og kommersiell programvarestøtte Det representerer også et nytt tankesett som fremmer samarbeid, fleksibilitet og innovasjon, samtidig som man forstår at AI-alderen må eksistere side om side. med globale bærekraftsmål."
Det som har endret seg er at bærekraft har flyttet seg fra «nice to have» til «må ha». Fra sitt perspektiv som industrileder har Intel laget syv tips for bruk av AI uten de høye miljøkostnadene. I tillegg mener Intel at det å være bevisst med hvordan AI implementeres for å designe er nøkkelen til å oppnå bærekraftsmål. Med intensjonalitet kan de som utfører AI-initiativer høste fordelene av optimaliserte arbeidsbelastninger (se her for mer), og en proaktiv tilnærming til prosjektdesign og IT-styring er avgjørende for å maksimere effekten av AI-initiativer og minimere karbonavtrykk (se her for mer brukstilfeller).
I bunn og grunn vil det å redusere AIs innvirkning på bærekraft komme ned til selve teknologien. Quadrics Roddy sa at halvlederøkosystemet kan hjelpe ved å "øke generell bevissthet om nødvendigheten av å bruke dataformater med lavere presisjon, samt bygge mer automatisert verktøy for å bygge bro mellom matematiker og innebygd ingeniør."
