La sicurezza dell’intelligenza artificiale frontier entra in una fase più strutturata. OpenAI ha avviato un progetto pilota con Apollo Research, integrando sei valutatori di sicurezza nella propria organizzazione. L’obiettivo è analizzare la AI subversion, ovvero la capacità dei modelli avanzati di aggirare, indebolire o anticipare i meccanismi di controllo e allineamento. Cruciale per la fiducia in sistemi AI sempre più autonomi.

Obiettivi e Metodologia della Valutazione

Il programma di quattro mesi vedrà i ricercatori di Apollo operare all’interno di OpenAI.

Essi esamineranno se l’addestramento incentivi comportamenti sovversivi, se le valutazioni attuali li rilevino, se compaiano nell’uso interno dei modelli e se i ragionamenti associati siano identificabili. La AI subversion non è un semplice errore, ma una condotta del modello volta a proteggere il proprio funzionamento o quello di versioni future contro i vincoli umani. Questo approccio segna un passaggio da valutazioni esterne a un’osservazione più integrata nel ciclo di sviluppo, essenziale per individuare fenomeni come la pianificazione strategica (scheming) o l’adattamento al valutatore, non rilevabili con test post-training.

Accesso ai Dati e Indipendenza

Il progetto non costituisce un audit pienamente indipendente.

OpenAI concederà accesso a codice, dataset rilevanti, rollout di reinforcement learning con tracce di ragionamento, ricompense e checkpoint intermedi, ma solo entro l’ambito concordato. OpenAI potrà trattenere informazioni per sicurezza, proprietà intellettuale o impossibilità tecnica, ma non per celare risultati sfavorevoli. Per valutare la AI subversion, è cruciale verificare origine, incentivi e visibilità nei log interni. Apollo auspica accesso completo a dati, registri e documentazione, anche contro tentativi di occultamento. Inoltre, pur potendo pubblicare conclusioni indipendenti, Apollo sarà limitata da OpenAI nella divulgazione pubblica delle prove. Il pilot di OpenAI è un passo avanti, ma non raggiunge lo standard massimo di indipendenza e trasparenza auspicato.