Il dibattito sulla sicurezza dell'AI si fa operativo. Satya Nadella invita le aziende a ripensare l'architettura di fiducia dei modelli avanzati, proponendo un freno di emergenza per l'AI. L'idea richiede di poter osservare, delimitare e interrompere le azioni di un modello mentre opera, non solo valutarne le risposte. Per Microsoft, che integra modelli in prodotti come Copilot e vende infrastrutture AI, la questione è di rilevanza industriale.
Il Freno di Emergenza per l'AI: La Proposta di Nadella
Nadella propone di trattare i modelli potenti come sistemi potenzialmente compromessi fin dall'origine.
Ciò implica la separazione modello/strumenti di orchestrazione, controlli e salvaguardie esterni, e la possibilità per un autorizzato di mettere in pausa o spegnere un agente AI in attività. Il freno di emergenza per l'AI sposta l'attenzione dalla fiducia dei fornitori alla verificabilità dell'intero sistema. L'intelligenza del modello non deve mai coincidere con il controllo sulle sue azioni.
Questa distinzione è cruciale per gli agenti AI, sistemi capaci di eseguire compiti, usare strumenti, scrivere codice, navigare servizi e prendere decisioni operative. Quando un modello passa dal suggerire al fare, il rischio non è più solo l'accuratezza del testo, ma la possibilità che un'azione sia eseguita senza adeguata supervisione.
Registri Inalterabili e Audit Indipendenti
Un elemento chiave della proposta di Nadella è la richiesta di registri inalterabili e leggibili dagli esseri umani per ogni azione significativa del modello. Oltre al logging tecnico, serve una catena di evidenze per capire chi ha autorizzato un processo, quali strumenti sono stati usati, quali limiti erano attivi e dove si è verificato un errore. In contesti aziendali, sanitari, finanziari o pubblici, questa tracciabilità è una condizione minima di responsabilità.
L'impostazione include audit indipendenti e la condivisione degli incidenti. L'obiettivo è evitare che ogni azienda impari dai propri guasti in modo isolato. Se un modello manifesta un comportamento imprevisto, la comunicazione tempestiva può aiutare altri operatori a rafforzare controlli, policy e test di sicurezza. È una logica simile alla cybersecurity: gli incidenti non sono solo fallimenti privati, ma segnali utili per l'intero ecosistema.
