Blog

May 13, 2023

Meta scommette molto sull'intelligenza artificiale con chip personalizzati

At a virtual event this morning, Meta lifted the curtains on its efforts to

Durante un evento virtuale questa mattina, Meta ha alzato il sipario sui suoi sforzi per sviluppare un'infrastruttura interna per i carichi di lavoro di intelligenza artificiale, inclusa l'intelligenza artificiale generativa come quella alla base dei suoi strumenti di progettazione e creazione di annunci recentemente lanciati.

È stato un tentativo di proiezione di forza da parte di Meta, che storicamente è stata lenta nell’adottare sistemi hardware compatibili con l’intelligenza artificiale, ostacolando la sua capacità di tenere il passo con rivali come Google e Microsoft.

"Costruire le nostre capacità [hardware] ci dà il controllo su ogni livello dello stack, dalla progettazione del data center ai framework di formazione", ha dichiarato a TechCrunch Alexis Bjorlin, vicepresidente delle infrastrutture di Meta. "Questo livello di integrazione verticale è necessario per ampliare i confini di Ricerca sull’intelligenza artificiale su larga scala."

Negli ultimi dieci anni circa, Meta ha speso miliardi di dollari reclutando i migliori data scientist e costruendo nuovi tipi di intelligenza artificiale, inclusa l’intelligenza artificiale che ora alimenta i motori di scoperta, i filtri di moderazione e i consiglieri di annunci presenti nelle sue app e servizi. Ma l’azienda ha faticato a trasformare molte delle sue più ambiziose innovazioni nella ricerca sull’intelligenza artificiale in prodotti, in particolare sul fronte dell’intelligenza artificiale generativa.

Fino al 2022, Meta gestiva in gran parte i suoi carichi di lavoro di intelligenza artificiale utilizzando una combinazione di CPU – che tendono ad essere meno efficienti per questo tipo di attività rispetto alle GPU – e un chip personalizzato progettato per accelerare gli algoritmi di intelligenza artificiale. Meta ha staccato la spina dal lancio su larga scala del chip personalizzato, previsto per il 2022, e ha invece effettuato ordini per miliardi di dollari di GPU Nvidia che hanno richiesto importanti riprogettazioni di molti dei suoi data center.

Nel tentativo di cambiare le cose, Meta ha pianificato di iniziare a sviluppare un chip interno più ambizioso, previsto per il 2025, in grado sia di addestrare modelli di intelligenza artificiale sia di eseguirli. E questo è stato l'argomento principale della presentazione di oggi.

Meta chiama il nuovo chip Meta Training and Inference Accelerator, o MTIA in breve, e lo descrive come parte di una "famiglia" di chip per accelerare l'addestramento dell'intelligenza artificiale e l'inferenza dei carichi di lavoro. ("Inferenza" si riferisce all'esecuzione di un modello addestrato.) Il MTIA è un ASIC, un tipo di chip che combina diversi circuiti su una scheda, consentendone la programmazione per eseguire uno o più compiti in parallelo.

Un chip AI Meta progettato su misura per i carichi di lavoro AI.Crediti immagine:Meta

"Per ottenere migliori livelli di efficienza e prestazioni nei nostri importanti carichi di lavoro, avevamo bisogno di una soluzione su misura che fosse co-progettata con il modello, lo stack software e l'hardware del sistema", ha continuato Bjorlin. "Ciò fornisce un'esperienza migliore ai nostri utenti attraverso una varietà di servizi."

I chip IA personalizzati sono sempre più la parola d'ordine tra i giocatori di Big Tech. Google ha creato un processore, il TPU (abbreviazione di "unità di elaborazione tensore"), per addestrare grandi sistemi di intelligenza artificiale generativa come PaLM-2 e Imagen. Amazon offre chip proprietari ai clienti AWS sia per la formazione (Trainium) che per l'inferenza (Inferentia). E Microsoft, secondo quanto riferito, sta lavorando con AMD per sviluppare un chip AI interno chiamato Athena.

Meta afferma di aver creato la prima generazione di MTIA – MTIA v1 – nel 2020, costruita su un processo a 7 nanometri. Può scalare oltre i 128 MB di memoria interna fino a 128 GB, e in un test benchmark progettato da Meta - che, ovviamente, deve essere preso con le pinze - Meta afferma che il MTIA ha gestito "basse complessità" " e modelli AI di "media complessità" in modo più efficiente di una GPU.

Resta ancora da lavorare nelle aree di memoria e di rete del chip, afferma Meta, che presentano colli di bottiglia man mano che le dimensioni dei modelli di intelligenza artificiale crescono, richiedendo la suddivisione dei carichi di lavoro su più chip. (Non a caso, Meta ha recentemente acquisito un team con sede a Oslo che costruisce tecnologia di rete AI presso l'unicorno di chip britannico Graphcore.) E per ora, l'attenzione del MTIA è strettamente sull'inferenza - non sulla formazione - per "carichi di lavoro di raccomandazione" nella famiglia di app di Meta.

Ma Meta ha sottolineato che il MTIA, che continua a perfezionare, aumenta "notevolmente" l'efficienza dell'azienda in termini di prestazioni per watt durante l'esecuzione di carichi di lavoro di raccomandazione, consentendo a sua volta a Meta di funzionare "più avanzato" e "all'avanguardia" (apparentemente) Carichi di lavoro dell'intelligenza artificiale.