Nel panorama in rapida evoluzione del computing per l'intelligenza artificiale, la sfida cruciale consiste nell'identificare i chip più idonei a gestire le complesse esigenze dell'inferenza. General Compute, una nuova neocloud specializzata proprio in questo campo, sta introducendo soluzioni innovative che promettono di ridefinire il futuro del calcolo nell'AI.
La scelta strategica dei chip per l'inferenza
La crescente domanda di potenza di calcolo per l'AI ha evidenziato i limiti delle GPU tradizionali, spingendo il settore verso la ricerca di alternative più performanti.
General Compute ha stretto una collaborazione con SambaNova, un produttore di chip supportato da Intel, interamente focalizzato sull'inferenza. Questi chip specializzati sono progettati per superare le prestazioni non solo delle GPU, ma anche di altre soluzioni avanzate offerte da aziende come Groq e Cerebras.
Le nuove architetture sviluppate da SambaNova garantiscono una maggiore flessibilità e una superiore capacità di memoria per la gestione del contesto durante i calcoli di inferenza. Si prevede un throughput di 600-700 token al secondo, un netto miglioramento rispetto ai circa 250 token al secondo delle GPU. Con un ordine di circa 300 milioni di dollari di chip SN50, General Compute si posiziona come la prima neocloud a implementare questa tecnologia all'avanguardia.
Vantaggio competitivo nei data center esistenti
Un ulteriore punto di forza di General Compute risiede nella facilità di installazione di questi chip, che non richiede significative modifiche infrastrutturali nei data center già operativi. Essendo raffreddati ad aria e caratterizzati da un minore consumo energetico, possono essere integrati senza ingenti investimenti in nuove strutture. La strategia di collocazione, promossa dal CEO Finn Puklowski, prevede accordi per l'installazione dell'hardware presso strutture di terzi, inclusi gli operatori di mining di criptovalute, offrendo loro un'opportunità di riutilizzo per infrastrutture che potrebbero essere diventate meno efficienti nel contesto attuale.
L'innovazione di General Compute per gli agenti AI
General Compute ha lanciato la sua offerta cloud basata su ASIC (Application-Specific Integrated Circuit), specificamente progettata per la prossima generazione di strumenti di sviluppo di AI autonomi. A differenza delle piattaforme cloud convenzionali, che si concentrano sugli operatori umani, questa neocloud tratta gli agenti AI come utenti di prima classe. Ciò consente agli agenti di completare autonomamente l'intero processo di onboarding, dalla creazione dell'account al recupero della chiave API funzionante, eliminando la necessità di intervento manuale da parte degli sviluppatori.
Attraverso l'ottimizzazione del silicio, del runtime e della superficie API per l'inferenza, General Compute mira a ridurre sia la latenza del primo token sia il throughput sostenuto di token.
Questo approccio migliora significativamente l'esperienza degli sviluppatori e l'economia delle unità nel lungo periodo, un fattore chiave per le applicazioni agent-to-agent.
Prospettive future nell'AI computing
Con la continua evoluzione dei modelli di intelligenza artificiale, la velocità e i costi dell'inferenza stanno diventando variabili competitive fondamentali. General Compute scommette su un futuro caratterizzato da molteplici modelli e agenti che operano in un ecosistema vasto e diversificato, posizionandosi per soddisfare le crescenti esigenze di efficienza operativa ed economica. Il settore dell'AI computing è destinato a una trasformazione radicale, e General Compute si sta affermando come uno dei protagonisti principali grazie alle sue scelte strategiche e alle innovative soluzioni tecnologiche.
