Cos'è un Data Center per l'IA? [Video e quiz]

In breve: un data center per l'IA è un ad alta densità in cui alimentazione, raffreddamento, infrastrutture e storage sono ottimizzati per l'addestramento e la distribuzione dei modelli, non una sala server con GPU aggiuntive. I chip sono i protagonisti; è l' edificio a decidere se funzionano. Se le immagini non possono essere trasferite, si può allestire una piccola cella; la maggior parte dei team dovrebbe optare per l'affitto.

Punti chiave:

Chip contro infrastruttura: alimentazione, raffreddamento, infrastruttura e archiviazione determinano il funzionamento degli acceleratori.

Luoghi, non palazzi: adatta due rack quando i dati non possono essere trasferiti; non comprare un campus.

Media contro mediana: su otto serie, la mediana ha nascosto i riavvii; utilizzare la media su 18 ore.

Resistenza all'uso improprio: non indicare un PUE per due rack in una sala mista.

Risultati illustrativi: otto esecuzioni rappresentano una mappa piccola, non un risparmio di produzione del 50%.

Articoli che potrebbero interessarti dopo questo:

🔗 L'IA è affidabile? Video e quiz:
scopri l'affidabilità dell'IA attraverso un video coinvolgente e un quiz interattivo.

🔗 Come usare l'IA nella vita di tutti i giorni
Scopri modi pratici in cui l'IA può semplificare le attività e le routine quotidiane.

🔗 Come utilizzare l'IA sul lavoro
Scopri metodi pratici per utilizzare l'IA e aumentare la produttività sul posto di lavoro.

🔗 L'IA può pensare da sola?
Scopri se l'intelligenza artificiale è davvero in grado di pensare o ragionare in modo indipendente.

In cosa si differenzia da un data center "normale"?

Le sale server tradizionali sono ottimizzate per carichi di lavoro misti e per garantire la disponibilità di numerosi piccoli servizi. Certo, la ridondanza è importante, così come il concetto di PUE (Power Usage Effectiveness), ovvero l'energia extra consumata dall'edificio per fornire un watt di potenza di calcolo. Ma, di solito, non si progetta ogni corridoio attorno a un rack che si comporta come una centrale termica portatile.

I siti di IA ribaltano i rapporti. La densità aumenta. La rete diventa un tessuto senza il quale il processo di addestramento non può funzionare. Lo storage deve mantenere i checkpoint in movimento, altrimenti gli acceleratori restano inattivi, come cavalli da corsa bloccati nel traffico.

C'è anche una differenza culturale. Le operazioni aziendali ragionano in termini di ticket e finestre di modifica. Le operazioni di IA pensano in termini di code di lavoro e alla brutta sensazione quando un nodo si blocca verso la fine di una lunga esecuzione. Immagino che si possano comunque definire entrambi "data center", perché lo sono. L'etichetta nasconde solo l'infrastruttura di base.

Non si tratta di una questione di moralità. Macchine diverse, stesso cognome.

GPU, acceleratori e il rack che consuma energia

Camminando su un pavimento sopraelevato tradizionale, le scaffalature sembrano quasi discrete. Camminando su una fila di scaffalature con intelligenza artificiale, invece, sembra che vogliano inghiottire l'intero edificio.

L'elemento hardware di spicco non è una CPU particolarmente sofisticata. È il modulo acceleratore: GPU o altri chip per l'intelligenza artificiale, assemblati in server, poi in rack e infine in file che condividono una rete ad alta larghezza di banda. Le interconnessioni delle GPU collegano i chip in un unico sistema in grado di simulare un gigantesco acceleratore; la rete del cluster fa la stessa cosa a livello di singola riga. L'addestramento parallelo funziona solo se questi collegamenti rimangono efficienti e prevedibili. Se ciò viene a mancare, il "cluster" si riduce a un ammasso di costose workstation che condividono lo stesso indirizzo.

La potenza segue i chip. Non un'ingombrante PDU da ufficio. Megawatt di carico IT una volta che una sala è piena - non inventerò un numero. La densità per rack è il colpo di scena. Meno rack. Ognuno di essi una piccola fornace. Il fattore limitante è spesso la sottostazione, non la lista dei desideri di GPU. Sapete com'è: l'ufficio acquisti vuole più acceleratori; l'azienda elettrica vuole una lunga conversazione e un assegno molto consistente.

Una metafora un po' sciocca che non riesco a togliermi dalla testa: la rastrelliera è un animale affamato. Puoi allevarne una più veloce, ma devi comunque nutrirla e pulire il suo ambiente caldo. Se trascuri anche solo uno di questi aspetti, diventa un fermacarte molto costoso.

Energia, calore e il problema del raffreddamento

Elettricità in entrata. Calore in uscita. Questa è tutta la filosofia.

Le scaffalature ad alta densità dissipano il calore in un modo per cui l'aria non è mai stata realmente progettata. Si può spingere l'aria più a fondo - scambiatori di calore sul retro, corridoi più caldi, sistemi di contenimento intelligenti - e questo funziona fino a un certo punto. Poi entra in gioco il liquido:

• Raffreddamento diretto al chip

• Circuiti di raffreddamento che fanno sembrare la sala macchine un impianto chimico

• Immersione in alcuni progetti, che ancora sconvolgono le persone che pensano che acqua e server non dovrebbero condividere una frase

Niente di tutto questo è affascinante. Tutto dipende dal prodotto, perché un acceleratore che si strozza è un acceleratore che hai già pagato e che non puoi sfruttare appieno.

Il PUE è ancora importante. È un rapporto, non una personalità. Gli operatori lo ricercano perché ogni watt speso per ventole e pompe è un watt che non viene utilizzato da una GPU. Non citerò una cifra "tipica"; il clima e il modo in cui si tracciano i confini lo modificano, e una precisione fittizia è peggio di nessuna. Anche l'acqua gioca un ruolo importante. Alcune piante ne hanno bisogno, altre ne consumano in abbondanza. Il raffreddamento evaporativo è efficiente finché un fiume o una siccità non lo rendono un problema politico.

Reti: perché la struttura è importante quanto i chip

La gente fotografa le GPU. Dovrebbero fotografare gli switch.

L'addestramento è una conversazione. Migliaia di acceleratori si scambiano gradienti, parametri, frammenti di un modello, in perfetta sincronia. Se la rete vacilla, l'intero processo si ferma sul nodo più lento. Ecco perché nei centri di intelligenza artificiale si dà tanta importanza alle reti ad alta larghezza di banda, alla bassa latenza e alle topologie che non si interrompono in caso di guasto di un collegamento. Reti simili a InfiniBand, Ethernet con la stessa funzione, interconnessioni GPU all'interno del dispositivo, cablaggi che devono essere perfetti fin da subito.

L'inferenza è un discorso a parte. La gestione dei modelli si preoccupa della latenza di coda, ovvero della risposta lenta, non di quella media. La distinzione tra elaborazione batch e in tempo reale crea una spaccatura. Un cluster di training desidera un movimento massiccio, collettivo e quasi completo. Un gruppo di server, invece, preferisce molte richieste più piccole e l'isolamento, senza ingorghi sul bilanciatore di carico.

L'errore, già che ci sono, è questo: la gente considera la rete come l'impianto idraulico e le patatine come il ristorante. In questo edificio, invece, l'impianto idraulico è il ristorante. Se non lo capite, vi ritrovate con una cucina che non può ricevere consegne.

Addestramento vs inferenza: due edifici, a volte letteralmente

L'addestramento è una vera e propria campagna. Si assembla un cluster, lo si alimenta con i dati, si impostano checkpoint con regolarità, lo si lascia in esecuzione per ore o settimane, e si prega che la rete rimanga intatta. Un'elaborazione batch intensiva, un'elevata richiesta di larghezza di banda, una pazienza silenziosa, finché un nodo guasto non interrompe l'esecuzione. Un acceleratore guasto in un processo strettamente interconnesso può bloccare l'intero sistema.

L'inferenza è una vetrina. Modelli già addestrati, ora pronti a rispondere a domande, classificare immagini e generare testo. La latenza è importante. Un acceleratore leggermente più vecchio, vicino al cliente, può battere uno all'avanguardia a un continente di distanza.

Quindi si ottiene una divisione. I campus di formazione puntano su potenza, terreno e densità. I ​​siti di inferenza puntano su latenza e presenza. Esistono anche edifici ibridi, perché il capitale non è infinito. Beh, non sempre due edifici. A volte un unico edificio con una corda di velluto e due circuiti di raffreddamento.

È qui che si biforcano anche il colocation, i campus hyperscale e le soluzioni on-premise. Gli hyperscaler costruiscono su una scala tale da far sembrare noi comuni mortali alle prese con l'arredamento di piccole strutture. I colocation vendono densità a rack. Le soluzioni on-premise rimangono valide quando i dati non possono essere spostati.

Velocità di trasferimento dello storage, checkpoint e chip affamati

Nessuno mette il file system parallelo sulla copertina della brochure.

I dati di training devono arrivare abbastanza velocemente da non costringere le GPU a rimanere inattive. I checkpoint devono essere eseguiti correttamente, altrimenti un crash potrebbe compromettere una settimana di lavoro. I pesi del modello devono essere caricati prima che una replica di server sia attiva. Il collo di bottiglia silenzioso è la velocità di trasmissione dello storage, non solo la capacità. Si può spendere una fortuna in acceleratori e poi non riuscire a gestirli adeguatamente con un array progettato per macchine virtuali.

Lo schema è familiare: un cluster scintillante, una coda di processi e un'attesa I/O che ti fissa come una fattura sgarbata. Clusterizzare il calcolo senza clusterizzare il percorso dei dati è il modo in cui si ottiene un'inattività molto costosa. Bisogna alimentare i chip o ammettere di aver comprato una scultura.

Software, orchestrazione e il livello operativo, spesso trascurato,

L'hardware è la star. Chi si occupa della pianificazione fa il lavoro.

Un data center per l'IA è inutile se i processi non riescono a trovare GPU, se due team non possono condividere un cluster senza litigare, se un nodo guasto non può essere sostituito, se il firmware si deteriora fino a causare un guasto progressivo dell'infrastruttura. Orchestrazione, osservabilità, limitazione della potenza: il livello operativo meno appariscente, ma che dimostra la sua importanza.

Ho un debole per questo strato. Inoltre, quando una scheda di rete configurata male simula un problema di raffreddamento per un intero pomeriggio... lo si scopre a proprie spese.

Quando un nodo si arresta durante l'esecuzione

Un nodo si blocca. Le finestre di modifica continuano a sovrapporsi alle esecuzioni di training che non tengono conto del tuo calendario. Pianifichi in gruppo i lavori più complessi, isoli i pool di inferenza, scrivi manuali operativi per i guasti che sembrano "il lavoro è lento" finché non sembrano "il lavoro è bloccato". La ridondanza è ancora importante - alimentazione, raffreddamento, percorsi, storage - ma la modalità di guasto è meno definita rispetto alla vecchia diapositiva del nove per cento di uptime. Inferenza: replica, svuota il nodo malato, continua a rispondere. Il training richiede checkpoint, non ottimismo.

Posizione, acqua, rete elettrica e vicini

Non si posiziona una di queste cose accanto a un cottage per godersi il panorama.

Spesso, il vero fattore determinante nella scelta del sito è l'allacciamento alla rete elettrica. Il terreno è facile da reperire rispetto a una sottostazione e a un impianto di servizio che ha altri clienti. L'acqua per il raffreddamento, se la si utilizza, diventa un problema per i vicini non appena inizia a piovere forte. Il rumore. L'ingombro visivo. Il calore generato dalla recinzione di confine. Le commissioni urbanistiche scoprono le opinioni sulla "nuvola" nel momento in cui questa richiede un campo e un fiume.

La latenza tira nella direzione opposta. L'inferenza predilige la vicinanza agli utenti e alle interconnessioni. L'addestramento può nascondersi in mercati energetici più economici e climi più freddi. Il settore parla come se esistesse un unico sito perfetto. Non esiste. C'è un compromesso con un comunicato stampa.

Calore residuo e fornace indesiderata

Le brochure adorano questa parte. Convogliare il calore di scarto nelle case, nelle piscine, nelle serre: è una frase accattivante. A volte il circuito di teleriscaldamento funziona davvero. Altre volte il campus si trova nel posto sbagliato e il calore si disperde comunque nell'aria. Sono scettico riguardo alla versione delle brochure; non lo sono riguardo ai principi fisici.

Chi ne ha bisogno (e chi dovrebbe invece noleggiarne uno)

La maggior parte delle persone non ha bisogno di possedere una di queste sale.

In breve:

• Hyperscaler, perché il prodotto è la flotta

• Laboratori, quando il tempo di attesa è il collo di bottiglia o i dati non possono uscire

• Una banca, un gruppo ospedaliero, un governo o un produttore con un dataset segreto - in locale o in una gabbia di colocation privata - può essere razionale, anche se è una seccatura

Tutti gli altri dovrebbero affittare. Colocation con densità ottimizzata per l'IA. Una prenotazione cloud. Un cluster gestito. Avrete gli acceleratori senza dover diventare anche gestori di una centrale elettrica. Il romanticismo svanisce la prima volta che qualcuno chiede chi è di turno per il circuito di raffreddamento alle 3 del mattino.

Devo ammettere che c'è una questione di orgoglio. Possedere il cluster dà la sensazione di possedere il mezzo per fare previsioni. Poi arriva la bolletta della luce e l'orgoglio svanisce.

A cosa serve l'edificio

Quindi, cos'è un Data Center per l'IA? È un campus specializzato ad alta densità in cui acceleratori, alimentazione, raffreddamento, infrastruttura e storage sono organizzati attorno all'addestramento e alla distribuzione dei modelli, non un centro IT generico con una GPU in un angolo. Ha l'aspetto di un magazzino. Si comporta come una centrale elettrica che esegue calcoli matematici.

Se non ricordate altro: i chip si prendono la fama; la sottostazione, il refrigerante e la rete decidono se quei chip sono stati una buona idea. Formazione e inferenza possono condividere lo stesso tetto; tuttavia, richiedono modi diversi. La maggior parte delle organizzazioni dovrebbe affittare. Alcune dovrebbero costruire. I vicini se ne accorgeranno in entrambi i casi.

La nuvola ha sempre avuto un edificio. Oggi l'edificio ha delle opinioni.

Esempio concreto: una cella di addestramento a due rack quando le immagini non possono uscire

Scenario

Tomos è responsabile dell'infrastruttura presso Kestrel Precision, un'azienda manifatturiera con 400 dipendenti nelle West Midlands. Hanno già una piccola sala server in loco: ERP, condivisione file, macchine virtuali, il variegato ambiente da cui è partito questo articolo. Raffreddamento ad aria. Ethernet standard. Una SAN perfettamente adatta ai dischi da ufficio.

Il team di visione artificiale deve addestrare un modello di ispezione su campioni di produzione. I campioni non possono essere portati fuori dallo stabilimento. Essi mostrano un processo che l'azienda non intende caricare su un disco cloud, nemmeno privato. La soluzione dell'ufficio acquisti consiste in quattro server con doppio acceleratore e una diapositiva intitolata "il nostro data center per l'IA". I server vengono installati in due rack esistenti, perché c'è spazio, e lo spazio era percepito come il principale vincolo.

Non è così. Nel giro di due settimane le GPU sembrano occupate e poi rallentano silenziosamente. I processi procedono a rilento quando un checkpoint raggiunge la SAN. Un nodo si blocca dopo undici ore e l'esecuzione è semplicemente... finita. Tomos non ha mancato di acquistare chip. Ha acquistato un mucchio di costose workstation che condividono lo stesso codice postale. L'edificio era ancora una sala riunioni aziendale.

Non hanno bisogno di un campus, di una nuova sottostazione o di un fiume. Hanno bisogno di una piccola cella che si comporti come un data center per l'IA in miniatura: una potenza che i rack possano effettivamente sopportare, un calore che si disperda senza danneggiare i chip, un'infrastruttura su cui il processo di addestramento possa comunicare, uno spazio di archiviazione in grado di gestire un checkpoint e un manuale operativo per quando un nodo si guasta. Poiché le immagini non possono essere trasferite altrove, affittare un box di colocation a quaranta minuti di distanza non è la soluzione. La soluzione è riadattare due rack.

Di cosa ha bisogno la cellula

• Un budget energetico misurato su quella riga, ricavato dalle PDU, non dalla lista dei desideri delle GPU. Se la capacità di riserva non è sufficiente ad alimentare i quattro server a pieno carico, la discussione si ferma lì e si valuta una soluzione di colocation più densa, non un miracolo

• Il raffreddamento dell'aria non è mai stato richiesto di gestire a questa densità: scambiatori di calore sulla porta posteriore se la sala lo consente, oppure un piccolo circuito di liquido se invece è possibile. In caso contrario, i server non entrano

• Una rete dedicata ad alta larghezza di banda tra i quattro nodi, non la rete Ethernet dell'ufficio. Se il fornitore ha in catalogo solo uno switch da 10 Gb, non si tratta di un cluster

• Archiviazione locale veloce per checkpoint e shard di training, non la SAN della macchina virtuale

• Uno scheduler, un intervallo di checkpoint e un percorso di riavvio scritto. L'hardware è la celebrità. Questo livello è il lavoro

• Una scatola di inferenza recintata per la linea di produzione, separata dal chiacchiericcio di addestramento, perché il servizio richiede latenza di coda e isolamento, non un collettivo

• Autorizzazione a registrare la potenza, la frequenza della GPU, gli eventi di throttling e il tempo di esecuzione dei processi. Se non possono ispezionarli, fotograferanno le GPU e non noteranno gli interruttori

Esempio di istruzione

Tomos lo spiega nel brief relativo alle infrastrutture, in un linguaggio semplice:

Non chiamatelo un campus di IA. Costruite una cella di training a due rack nell'edificio esistente per quattro server con doppio acceleratore. Le immagini di fabbrica restano in loco. Il successo si misura in questo modo: i quattro nodi completano un ciclo di training di ispezione di 12 epoche senza throttling termico, scrivono un checkpoint in pochi minuti e non in decine di minuti, e riprendono da quel checkpoint quando interrompiamo intenzionalmente un processo. Il raffreddamento deve mantenere le GPU alle loro frequenze di training. La rete deve essere un'infrastruttura condivisa da questi quattro server, non un percorso attraverso la pila di computer dell'ufficio. Lo storage deve alimentare i chip. Se gli scambiatori di calore posteriori non sono adatti, ditelo e fermatevi. Non fornite un valore PUE per due rack in un edificio misto. Quel numero sarebbe pura fantasia.

Poi inserisce questo nel lavoro di formazione vero e proprio:

Effettua un checkpoint ogni 30 minuti presso la piscina veloce locale. Se un rango muore, ricomincia dall'ultimo checkpoint completato. Non aspettare il SAN. Non continuare l'allenamento se i tempi sono calati a causa del calore. Registralo e interrompilo in modo che possiamo vedere il problema.

Un'ora positiva si presenta così: tutte e otto le GPU alla frequenza di training, il file di checkpoint è stato caricato, il job è ancora sincronizzato. Un'ora negativa si presenta così: le ventole girano al massimo, la frequenza di training è al minimo, il checkpoint è al 2% dopo dieci minuti e qualcuno in ufficio dice "il cluster è attivo". Attivo non significa addestrare.

Come testarlo

Eseguono il test prima dell'intervento di ammodernamento, che è il punto fondamentale per non fidarsi di una demo.

• La stessa ricetta di 12 ere, gli stessi 120.000 alambicchi di ispezione, otto cicli

• Il tempo viene calcolato dal momento in cui il lavoro viene inviato all'ultimo checkpoint dell'epoca 12, includendo eventuali riavvii

• Superato il test di surriscaldamento: la frequenza della GPU rimane al valore target impostato per l'esecuzione. Un evento di throttling è considerato un errore anche se il processo viene completato

• Un passaggio sull'archiviazione: tempo di scrittura del checkpoint, mediana e peggiore, dal registro del lavoro

• Un passaggio sul tessuto: il lavoro non rimane in attesa collettiva finché un rango è sano. Se non riescono a vedere quell'attesa, la strumentazione non è fatta

• In due delle otto esecuzioni, un giocatore viene eliminato intenzionalmente a un punto fisso per testare il percorso di riavvio

• L'inferenza è un test separato di 200 immagini che va dalla linea di produzione alla zona di servizio recintata. Il successo dell'addestramento non è considerato un successo del servizio

• Registrano la potenza dei rack dalle PDU in campioni di 15 minuti, quindi nessuno deve inventare un megawatt

Accettazione per definire la cella "pronta per l'IA": 8 ricette su 8 completate; 0 su 8 mostrano strozzatura termica; entrambe le esecuzioni interrotte riprendono; i checkpoint rimangono in minuti. Se non lo fanno, hanno comunque una sala server con schede grafiche sofisticate.

Risultato

Risultato illustrativo, ottenuto da un test simulato di otto prove, non da un dato pubblicato da Kestrel.

Presupposti: quattro server con doppio acceleratore in due rack; un modello di ispezione; 120.000 immagini fisse; otto cicli di una ricetta fissa di 12 epoche; il tempo di esecuzione include i riavvii fino al completamento della ricetta; la limitazione della velocità indica una riduzione registrata del tempo di addestramento; il tempo di checkpoint è quello di scrittura, non quello desiderato; la potenza del rack è misurata dai campioni PDU, non da un PUE di campus.

Prima dell'aggiornamento, le GPU erano installate in normali rack raffreddati ad aria, collegate alla rete Ethernet dell'ufficio e alla SAN delle macchine virtuali:

• 5 delle 8 prove sono state completate al primo tentativo. Il tempo medio impiegato per queste cinque prove è stato di 14 ore

• 3 su 8 hanno dovuto ricominciare dopo un blocco a circa 11 ore (due dopo che un nodo si è bloccato con un checkpoint obsoleto, uno dopo che un checkpoint ha riempito la SAN). Riprova immediata, senza attesa notturna nel timer: 11 ore sprecate più un secondo tentativo di 14 ore, ovvero 25 ore per una ricetta finita su quei tre

• Tempo medio di completamento di una ricetta su tutte e otto, riavvii inclusi: 18 ore. (Cinque a 14 ore, tre a 25. La mediana di tutte e otto è ancora 14, il che nasconderebbe i riavvii. Ecco perché la media è il valore di riferimento qui.)

• Il surriscaldamento dovuto al surriscaldamento è stato rilevato in 7 delle 8 prove. Tempo mediano a velocità ridotta: 3 ore in un tentativo di 14 ore

• Checkpoint scrittura: mediana 22 minuti

• L'uccisione di rango non era un test che potevano superare. Non avevano un manuale operativo. Le due morti accidentali furono la scoperta

• Carico IT di picco sui due rack durante l'allenamento: circa 18 kW. Il vogatore aveva i watt. Non aveva il raffreddamento né il tessuto

Dopo gli scambiatori di calore posteriori su quei due rack, un fabric dedicato tra i quattro nodi, un piccolo pool NVMe per i checkpoint, checkpoint ogni 30 minuti e un runbook di riavvio:

• 8 su 8 completati al primo tentativo. Tempo medio impiegato: 9 ore

• Sovralimentazione termica: 0 su 8

• Scrittura del checkpoint: mediana 90 secondi. Peggior risultato nel set: 3 minuti

• Le due uccisioni deliberate di rango sono entrambe riprese dall'ultimo checkpoint di 30 minuti. Tempo extra impiegato per queste due partite: circa 40 minuti ciascuna, diagnosi inclusa, quindi il totale si aggira intorno alle 9 ore e 40 minuti. La media su otto partite si aggira comunque intorno alle 9 ore

• Il carico IT di picco è ancora di circa 18 kW. Stessi chip. Comportamento dell'edificio diverso

In questo campione, il tempo medio per completare una ricetta è sceso da 18 ore a 9 ore, ovvero 9 ore ciascuna, per un totale di 72 ore su otto prove. La percentuale di successo al primo tentativo è passata da 5 su 8 a 8 su 8. L'utilizzo dell'acceleratore è passato da 7 su 8 a 0 su 8. Quest'ultimo dato è quello che dice se hanno acquistato acceleratori o fermacarte. Non definiranno certo la variazione di tempo un risparmio del 50% nella produzione. Otto prove rappresentano un campione piccolo e facile da gestire.

Questi dati sono una stima esemplificativa basata sul test dichiarato, su un piccolo campione, su un modello e su una sala mista. Non rappresentano un PUE, né un megawatt di campus, né la prova che Kestrel dovrebbe costruire un sito di addestramento in un campo. L'analisi dei registri è stata effettuata entro le 9 ore; non l'hanno nascosto. Il dato di 18 kW è una lettura arrotondata del PDU, non una bolletta elettrica. Non hanno convertito le 72 ore in un costo, perché la tariffa elettrica combinata della fabbrica avrebbe creato un falso business case.

Il controllo di servizio era separato e più piccolo: 200 immagini in linea per la scatola recintata, tutto in loco. Questa è inferenza, non addestramento. Mescolare le due cose sarebbe stato l'errore della sala ibrida in miniatura.

Cosa può andare storto?

• L'ufficio acquisti continua a definire quattro server "il centro dati per l'IA". L'etichetta nasconde l'impianto idraulico, e il prossimo acquisto saranno altre GPU per lo stesso reparto malato

• Entrano gli scambiatori di calore posteriori e nessuno mette in funzione il lato acqua. I tifosi continuano a urlare. Gli orologi continuano a scendere

• La rete è costituita da un singolo switch senza percorsi di riserva. Un collegamento guasto e il "cluster" torna a essere composto da quattro postazioni di lavoro

• I checkpoint rimangono sulla SAN perché il pool NVMe era in "fase due". La fase due non arriva prima del prossimo nodo non funzionante

• Citano un PUE per due rack in una sala mista. Clima, confine e il resto della riga ERP rendono quel rapporto un costume

• Formazione e servizio condividono lo stesso tessuto. Un'inondazione al checkpoint fa aspettare la catena di montaggio. La latenza della coda è il prodotto lì, non la densità

• Un nodo si blocca e qualcuno lo considera un ticket di uptime invece di un riavvio da checkpoint. Le operazioni aziendali e le operazioni di IA non si capiscono per un intero pomeriggio

• Avrebbero potuto affittare una gabbia, se non fosse che le immagini non possono uscire. Dimenticando questo vincolo, si ritrovano in una conversazione tra nuvole che dovranno poi interrompere

Da portare via in modo pratico

Un Data Center per l'IA, in questa forma, non è un magazzino né una fattura per una GPU. È la cella che permette agli acceleratori di completare la loro esecuzione: potenza che possono gestire, calore che viene dissipato, un'infrastruttura, un punto di controllo e qualcuno pronto a intervenire quando un processo si blocca. Kestrel non aveva bisogno di un campus. Aveva bisogno di due rack per smettere di fingere. La maggior parte dei team dovrebbe adottare questo approccio. Alcuni, con un dataset segreto e una sala in grado di sopportare il calore, dovrebbero costruire una cella e rifiutare la soluzione alternativa.

Domande frequenti

Che cos'è un Data Center per l'IA?

Un centro di calcolo ad alta densità in cui alimentazione, raffreddamento, rete e archiviazione sono ottimizzati per l'addestramento parallelo e la distribuzione dei modelli, anziché per file ordinate di server generici. È progettato in modo che un numero elevato di acceleratori possa addestrare e distribuire modelli senza surriscaldarsi, bloccarsi sulla rete o attendere il caricamento del disco. Un normale edificio aziendale è un ambiente eterogeneo. Un centro di calcolo per l'intelligenza artificiale è una monocultura la cui unità di valore è l'acceleratore, come ad esempio le GPU o i chip in stile TPU. Ha l'aspetto di un magazzino e si comporta come una centrale elettrica che esegue calcoli matematici.

In che cosa si differenzia un data center per l'intelligenza artificiale da un data center tradizionale?

Le sale server tradizionali sono ottimizzate per carichi di lavoro misti e per garantire la disponibilità di numerosi piccoli servizi. I siti dedicati all'IA ribaltano questi rapporti: la densità aumenta, la rete diventa un'infrastruttura indispensabile per il processo di addestramento e lo storage deve mantenere attivi i checkpoint, altrimenti gli acceleratori rimangono inattivi. Le operazioni aziendali ragionano in termini di ticket e finestre di modifica. Le operazioni relative all'IA ragionano in termini di code di lavoro e della spiacevole sensazione che si prova quando un nodo si blocca a fine ciclo. Entrambi i tipi di data center sono comunque definibili. L'etichetta nasconde solo la struttura interna.

Perché i data center per l'intelligenza artificiale consumano così tanta energia?

L'elemento hardware di spicco non è una CPU particolarmente sofisticata. È il vassoio degli acceleratori: GPU o altri chip per l'intelligenza artificiale, stipati in server, poi in rack e infine in file che condividono una rete ad alta larghezza di banda. La vera particolarità sta nella densità per rack: meno rack, ognuno dei quali rappresenta una sorta di piccola fornace. Una volta che una sala è piena, si raggiungono megawatt di carico IT, anche se non vale la pena inventare una cifra tipica. Il fattore limitante è spesso la sottostazione elettrica, non la lista dei desideri di GPU.

Come vengono raffreddati i data center per l'intelligenza artificiale?

I rack ad alta densità dissipano il calore in un modo che l'aria non è mai stata realmente progettata per gestire. È possibile spingere l'aria più a fondo con scambiatori di calore posteriori, corridoi più caldi e sistemi di contenimento intelligenti. Poi entra in gioco il liquido: raffreddamento diretto al chip, circuiti di raffreddamento e, in alcuni progetti, immersione. Un acceleratore che limita le prestazioni è un acceleratore che hai già pagato e che non puoi sfruttare appieno. Il PUE (Power Usage Effectiveness) è ancora importante perché ogni watt speso per ventole e pompe è un watt che non viene utilizzato dalla GPU. Anche l'acqua gioca un ruolo fondamentale: alcune piante assorbono, altre ingoiano.

Perché la rete è importante quanto le GPU?

L'addestramento è una conversazione: migliaia di acceleratori si scambiano gradienti, parametri e frammenti di un modello in perfetta sincronia. Se la rete vacilla, l'intero processo si ferma sul nodo più lento. Ecco perché nei centri di intelligenza artificiale si dà tanta importanza alle reti ad alta larghezza di banda, alla bassa latenza, alle reti simili a InfiniBand o Ethernet, e alle topologie che non si interrompono in caso di guasto di un collegamento. L'inferenza, invece, si preoccupa della latenza di coda, delle numerose richieste di piccole dimensioni e dell'isolamento. In questo contesto, l'impianto idraulico è il ristorante.

A cosa serve un Data Center per l'IA: all'addestramento o all'inferenza?

L'addestramento è una campagna: si assembla un cluster, lo si alimenta con i dati, si effettuano checkpoint con regolarità e si continua a lavorare per ore o settimane. L'inferenza è una vetrina: modelli già addestrati, ora pronti a rispondere, con una latenza che conta. I campus di addestramento inseguono potenza, spazio e densità. I ​​siti di inferenza inseguono latenza e presenza. Le sale ibride esistono perché il capitale non è infinito, a volte una sala con due circuiti di raffreddamento. Un acceleratore leggermente più vecchio vicino al cliente può battere uno più prestigioso a un continente di distanza.

Perché lo spazio di archiviazione è importante in un data center per l'intelligenza artificiale?

I dati di training devono arrivare abbastanza velocemente da non costringere le GPU a rimanere inattive. I checkpoint devono essere eseguiti correttamente, altrimenti un crash non compromette una settimana di lavoro. I pesi del modello devono essere caricati prima che una replica di server sia attiva. Il collo di bottiglia silenzioso non è solo la capacità di archiviazione, ma anche la velocità di trasmissione. Si può spendere una fortuna in acceleratori e non riuscire a gestirli adeguatamente con un array progettato per macchine virtuali.

Cosa succede quando un nodo si arresta durante l'esecuzione?

Un acceleratore guasto in un processo di addestramento strettamente interconnesso può bloccare l'intero sistema. L'addestramento richiede checkpoint, non ottimismo. L'inferenza scarica il nodo malato, mantiene una replica funzionante e rimane attiva. Le finestre di modifica si sovrappongono ancora alle esecuzioni di addestramento che non tengono conto del calendario. La ridondanza è ancora importante per alimentazione, raffreddamento, percorsi e archiviazione, ma la modalità di guasto è meno definita rispetto alla vecchia diapositiva del nove per cento di uptime.

Qual è l'impatto di un Data Center basato sull'intelligenza artificiale sulla rete elettrica, sull'acqua e sui residenti della zona?

Spesso, il vero fattore determinante nella scelta del sito è la connessione alla rete elettrica. Il terreno è facile da ottenere rispetto a una sottostazione e a un'azienda di servizi pubblici che ha altri clienti. L'acqua per il raffreddamento, se utilizzata, diventa un problema per i vicini non appena le piogge si fanno intense, così come il rumore, l'ingombro visivo e il calore generato dalla recinzione di confine. La formazione può trovare rifugio in mercati energetici più economici e climi più freschi. Inference preferisce essere vicino agli utenti. Non esiste un sito perfetto. Si tratta di un compromesso, da comunicare tramite comunicato stampa.

Ho bisogno di possedere un data center per l'intelligenza artificiale o mi conviene affittarlo?

La maggior parte delle persone non ha bisogno di possedere una di queste sale. Gli hyperscaler costruiscono perché il prodotto è la flotta. I laboratori costruiscono quando il tempo di attesa è il collo di bottiglia o i dati non possono uscire. Una banca, un ospedale, un ente governativo o un'azienda manifatturiera con un set di dati riservato possono giustificare una soluzione on-premise o un data center privato. Tutti gli altri dovrebbero noleggiare: colocation predisposta per l'IA, una prenotazione cloud o un cluster gestito. Si ottengono gli acceleratori senza diventare gestori di centrali elettriche.

Riferimenti

1. IEA - www.iea.org

2. LBNL - datacenters.lbl.gov

3. La Griglia Verde - www.thegreengrid.org

4. LBNL - datacenters.lbl.gov

5. LBNL - datacenters.lbl.gov

6. Uptime Institute - journal.uptimeinstitute.com

7. NVIDIA - developer.nvidia.com

8. NVIDIA - docs.nvidia.com

9. NVIDIA - docs.nvidia.com

10. NVIDIA - docs.nvidia.com

11. Google Cloud - docs.cloud.google.com

Trova l'ultima intelligenza artificiale nello store ufficiale di AI Assistant

Chi siamo