La competizione sull’infrastruttura per l’intelligenza artificiale si sposta dall'hardware all'ecosistema software. Google Cloud ha reso open source TorchTPU, uno stack per eseguire applicazioni PyTorch sulle proprie Tensor Processing Unit (TPU) con modifiche minime al codice. Questa mossa strategica mira a ridurre la dipendenza degli sviluppatori dalle GPU Nvidia, offrendo un'alternativa concreta. Google si allinea ad Amazon, che con TorchNeuron porta workload PyTorch sui chip Trainium e su AWS, erodendo il vantaggio di piattaforma di Nvidia, basato su librerie e strumenti consolidati nell'AI.
TorchTPU: PyTorch nativo sulle TPU
Sviluppato con il team PyTorch di Meta, TorchTPU consente di usare API standard, eager mode per il debug e torch.compile per ottimizzare l’esecuzione sulle TPU. L’obiettivo è rendere le TPU una destinazione nativa per PyTorch, affiancandole a CPU e GPU, senza richiedere adattamenti profondi. Questa compatibilità è cruciale, poiché PyTorch è un framework centrale per ricerca, training e inferenza AI. Google cita integrazioni con strumenti diffusi tra sviluppatori, tra cui vLLM, SGLang, Hugging Face e LiteRT, mirando a ridurre la distanza tra sperimentazione, training cloud e deployment in produzione.
La sfida al dominio Nvidia
L’annuncio è interpretato come un attacco coordinato alla posizione di Nvidia presso gli sviluppatori AI.
Non si tratta di sostituire rapidamente le GPU Nvidia, ma di semplificare la valutazione di alternative. In un mercato dove capacità, costi e disponibilità degli acceleratori sono critici, la portabilità del codice è una leva competitiva. Google, a differenza di Amazon, amplia il messaggio legando TorchTPU a un ecosistema più esteso, dalle collaborazioni con Meta e Hugging Face al supporto per motori di inferenza open source. È una battaglia sulla developer experience, non solo sulle prestazioni grezze dei chip.
Inferenza e ottimizzazione nell'ecosistema
La parte più rilevante dell’annuncio riguarda l’inferenza dei modelli linguistici, oggi uno dei maggiori costi operativi per chi porta l’AI in produzione.
Google indica integrazioni di TorchTPU con motori open source come vLLM e SGLang, pensati per migliorare efficienza e prestazioni. L'obiettivo è fornire agli sviluppatori soluzioni per gestire workload complessi e ridurre i costi operativi nell'implementazione di modelli AI su larga scala.
