Het tekort aan AI-chips gaat door, maar er kan een einde in zicht zijn.

De adoptie van generatieve kunstmatige intelligentie (AI) blijft toenemen, maar de benodigde infrastructuur om deze groei te ondersteunen, kampt met een groot gat tussen vraag en aanbod. Volgens een analyse van IDC zal 66% van de bedrijven wereldwijd binnen de komende 18 maanden in deze technologie investeren. In 2024 zal de infrastructuur 46% van de totale uitgaven uitmaken. Echter, een cruciaal stuk hardware dat nodig is voor de bouw ervan, kampt met schaarste.

De snelle adoptie van AI in de afgelopen twee jaar heeft de industrie zijn vermogen op de proef gesteld om de benodigde speciale high-performance chips te leveren voor de intensieve proces operaties. Veel aandacht ging naar de toenemende vraag naar Nvidia’s GPU’s en alternatieven van chipontwerpers zoals AMD en Intel, alsook de exploitanten van hyperscale datacenters, volgens Benjamin Lee, professor aan de afdeling Informatica en Informatiewetenschappen van de Universiteit van Pennsylvania. “Veel minder aandacht is besteed aan de explosie van de vraag naar high-bandwidth geheugenchips, die geproduceerd worden in gieterijen in Korea, geleid door SK Hynix”.

Vraag naar HBM-geheugen

Vorige week meldde SK Hynix dat hun high-bandwidth memory (HBM) producten, die nodig zijn naast high-performance GPU’s om de AI-verwerkingsvereisten aan te kunnen, bijna volledig zijn volgeboekt tot 2025 door de hoge vraag. De prijs van HBM is recent gestegen tussen 5% en 10%, gedreven door belangrijke premies en toenemende capaciteitsbehoeften voor AI-chips, volgens TrendForce.

Verwacht wordt dat HBM-chips meer dan 20% van de totale DRAM-marktwaarde zullen uitmaken vanaf 2024, en mogelijk vanaf 2025 meer dan 30%, volgens Avril Wu, senior vicepresident van onderzoek bij TrendForce. “Niet alle belangrijke leveranciers hebben de klantenkwalificaties voor [high-performance HBM] overtroffen, wat kopers ertoe leidt hogere prijzen te accepteren om een stabiele en kwalitatieve toevoer te verzekeren”.

Het belang van high-bandwidth geheugen

Volgens Lee zou zonder de HBM-chips het geheugensysteem van een datacenter server niet kunnen bijblijven met een high-performance processor, zoals een GPU. HBM levert de gegevens die GPU’s verwerken. “Iedereen die een GPU koopt voor AI-berekeningen zal ook high-bandwidth geheugen nodig hebben”.

“Met andere woorden, high-performance GPU’s zouden slecht gebruikt worden en zouden vaak inactief blijven in afwachting van gegevensoverdrachten. De hoge vraag naar SK Hynix geheugenchips komt door de hoge vraag naar Nvidia GPU-chips en in mindere mate, de vraag naar alternatieve AI-chips, zoals die van AMD, Intel en anderen”, legt Lee uit.

Gaurav Gupta, analist bij Gartner, voegt toe dat HBM relatief nieuw is en een sterke impuls krijgt vanwege wat het biedt: meer bandbreedte en capaciteit. “Het is anders dan wat Nvidia en Intel verkopen. Afgezien van SK Hynix, is de situatie voor HBM vergelijkbaar voor andere geheugenfabrikanten. Voor Nvidia zijn er meer beperkingen geassocieerd met het vermogen om hun chips te verpakken bij de gieterijen”.

Toekomstperspectieven

Hoewel SK Hynix zijn bevoorradingslimieten bereikt, verhogen Samsung en Micron de productie van HBM en zouden in staat moeten zijn om aan de vraag te voldoen naarmate de markt meer verspreid raakt, volgens Lee. Het huidige tekort aan HBM is voornamelijk te wijten aan de verpakkingen van TSMC (dat wil zeggen, chip-on-wafer-on-substrate of CoWoS), die de exclusieve leverancier van de technologie is. Lee merkt op dat TSMC zijn SOIC-capaciteit meer dan verdubbelt en de capaciteit voor CoWoS met meer dan 60% verhoogt. “Ik verwacht dat het tekort tegen het einde van dit jaar zal afnemen”.

Tegelijkertijd zijn meer verpakking- en gieterijleveranciers zich aan het aansluiten en kwalificeren van hun technologie om Nvidia, AMD, Broadcom, Amazon en anderen die gebruik maken van de chipverpakkingstechnologie van TSMC te ondersteunen, volgens Lee.

Er wordt verwacht dat Nvidia, wiens productie ongeveer 70% van de wereldwijde chiplevering voor AI-servers uitmaakt, dit jaar 40 miljard dollar aan inkomsten zal genereren uit de verkoop van GPU’s, volgens analisten van Bloomberg. Daarentegen wordt verwacht dat concurrenten Intel en AMD respectievelijk 500 miljoen dollar en 3,5 miljard dollar zullen genereren. Maar alledrie zijn ze hun productie zo snel mogelijk aan het verhogen.

De reactie van de industrie

Volgens TrendForce is Nvidia de GPU-levertekort aan het aanpakken door de productiecapaciteiten van CoWoS en HBM te vergroten. “Er wordt verwacht dat deze proactieve aanpak de huidige gemiddelde levertijd van 40 weken voor het tweede kwartaal [van 2024] zal halveren, naarmate nieuwe capaciteiten online komen”, zegt het TrendForce rapport.

Shane Rau, vicepresident van onderzoek naar computende halfgeleiders bij IDC, merkt op dat, hoewel de vraag naar AI-chipcapaciteit zeer hoog is, de markten zich aanpassen. “In het geval van servertype GPU’s, zijn ze de aanbod van wafers, verpakkingen en geheugens aan het verhogen. Het toenemen van het aanbod is essentieel omdat, vanwege hun prestaties en programmeerbaarheid, GPU’s van serverklasse het gekozen platform zullen blijven voor het trainen en draaien van grote AI-modellen”.

Er wordt verwacht dat de wereldwijde uitgaven aan AI-gerichte chips dit jaar de 53 miljard dollar zullen bereiken en in de komende vier jaar meer dan verdubbelen, volgens Gartner. De chipfabrikanten lanceren nieuwe processors zo snel als ze kunnen.

Intel heeft zijn plannen aangekondigd voor chips bedoeld om AI-functies mogelijk te maken met zijn Gaudi 3 en Xeon 6 processoren. Ondertussen heeft AMD zijn MI300 GPU geaccentueerd voor datacenter AI-werklasten, die ook goede tractie op de markt heeft. Daarnaast zijn meer dan 80 halfgeleiderleveranciers gespecialiseerde AI-chips aan het ontwikkelen.

Op het gebied van software ontwikkelen LLM-makers kleinere modellen die ontworpen zijn voor specifieke taken, wat minder verwerkingsbronnen vereist. Intel’s strategie zoekt ook naar het mogelijk maken van generatieve AI in allerlei computerapparaten, van laptops tot smartphones.

Echter, zonder de HBM zouden deze processors waarschijnlijk moeite hebben om bij te blijven met de hoge prestatie-eisen van generatieve AI.