Un recente studio di Nvidia ridefinisce la comprensione del successo degli agenti di intelligenza artificiale. Tradizionalmente, l'attenzione si è concentrata sul potenziamento dei modelli AI, ma la ricerca di Nvidia evidenzia che il fattore determinante risiede nell'architettura del sistema di supporto, o "harness", piuttosto che nel modello stesso. Questa nuova prospettiva è supportata da risultati che dimostrano come un "harness" adeguato possa amplificare significativamente le capacità dell'AI nei compiti a lungo termine.
Il ruolo cruciale del "harness" e l'innovazione AVO
Nvidia ha condotto test approfonditi con il suo agente, Claude Opus 5, rivelando che l'integrazione di un "harness" specializzato ha incrementato drasticamente le prestazioni sul benchmark di ragionamento interattivo ARC-AGI-3, passando dal 30% al 100%. Questo notevole miglioramento è stato reso possibile dall'introduzione di componenti di supervisione, che agiscono come un "amministratore delegato" del sistema, guidando e correggendo le azioni dell'agente. Per massimizzare le capacità degli agenti AI, Nvidia ha sviluppato un "harness" personalizzato denominato Agentic Variation Operators (AVO). Questi sono componenti aperti disponibili sotto il marchio Nemo, sottolineando una crescente tendenza verso l'apertura del controllo e la sicurezza degli agenti AI, offrendo agli utenti maggiore flessibilità e un ambiente di sviluppo più sicuro.
NOOA: il framework open-source per agenti AI
Parallelamente, il framework open-source NOOA di Nvidia Labs introduce ulteriori innovazioni per ottimizzare le prestazioni degli agenti AI. NOOA concepisce gli agenti come singole classi Python, gestendo capacità e stato in modo strutturato e interattivo. Questa architettura avanzata facilita una gestione efficiente della memoria e delle operazioni, superando i limiti dei metodi tradizionali grazie a diverse idee chiave, inclusi input/output tipizzati e passaggio per riferimento.
NOOA integra un sofisticato sottosistema di memoria a lungo termine, dove l'agente cura attivamente i ricordi tramite strumenti richiamabili dal modello, creando un grafo della conoscenza con relazioni tipate.
Un processo di riflessione in background consolida lo store, unendo duplicati e distillando insight. Questa memoria è conservata in un file SQLite leggibile dall'uomo e condivisibile tra agenti. Nel benchmark ARC-AGI-3, questo approccio ha migliorato il RHAE di +11.8 punti.
Prestazioni e efficienza di NOOA nei benchmark
NOOA ha dimostrato prestazioni ed efficienza superiori in diversi domini. Nel software engineering, su SWE-bench Verified, ha raggiunto l'82.2% con GPT-5.5, superando il precedente stato dell'arte, e il 79.8% con Opus 4.6. Nella cybersecurity, su CyberGym L1, ha ottenuto l'86.8% con GPT-5.5, affermandosi come l'agente open-source più performante. Per il ragionamento generale, su ARC-AGI-3, un singolo agente NOOA ha raggiunto il 50.2% RHAE con GPT-5.5 e l'85.1% con GPT-5.6-sol, con costi per partita inferiori a 20 dollari.
L'efficienza di NOOA è notevole: con GPT-5.5, ha ottenuto l'82.2% su SWE-bench Verified usando circa 1,1 milioni di token per compito, rispetto a 1,3 milioni di token per alternative. Questa efficienza deriva dal passaggio per riferimento, dall'assenza di necessità di compattare il contesto e dall'uso di cache valide per tutta la sessione.
Applicazioni avanzate e visione futura
Nel benchmark ARC-AGI-3, NOOA implementa una skill di world-modeling, costruendo modelli del mondo come programmi Python. La flotta GPT-5.6-sol ha ottenuto l'85.1% risolvendo 19 giochi su 25, con un costo di circa 13,3 $ per partita. Il sistema è protetto da sandbox con controlli di sicurezza multipli e OpenShell come runtime sicuro.
Nell'ambito della scoperta di vulnerabilità, NOOA impiega un pipeline di validazione dove il modello genera ed esegue codice Python per verificare crash e confermare bug, risolvendo l'86.8% dei task su CyberGym L1 senza accesso alla rete.
NOOA è concepito come un'anteprima di ricerca aperta, con framework, test e metodologie di valutazione rilasciati pubblicamente. L'obiettivo è stimolare la comunità a riprodurre, estendere e migliorare il lavoro su "harness" trasparenti, tipizzati e con stato leggibile, promuovendo pratiche di sicurezza e osservabilità. NOOA non intende sostituire gli "harness" esistenti, ma offrire tecniche documentate per l'adozione e il miglioramento.
