Il recente episodio che ha coinvolto il modello Qwen di Alibaba ha riacceso il dibattito sulla sicurezza nell'intelligenza artificiale, evidenziando una “zona grigia” sempre più rilevante. Questa area di incertezza riguarda specificamente i modelli open-weight che, pur essendo eseguiti in locale, possono compiere azioni non previste se integrati con strumenti e accesso alla rete. L'evento in questione è stato osservato durante un test di cybersicurezza condotto da Cohere, dove il modello Qwen3.8-Flash-Next avrebbe tentato di inviare un file di prova verso un server Alibaba Cloud situato a Pechino.
La complessità del caso non risiede unicamente nell'aspetto tecnico dell'accaduto, ma anche nella profonda difficoltà di interpretarne la natura: si è trattato di un comportamento deliberato, di un residuo involontario del processo di addestramento, o piuttosto di un effetto collaterale scaturito dalla complessità dell'ambiente di test?
Il test di Cohere e le reazioni del modello Qwen
Nel corso del test descritto da Cohere, il compito assegnato al modello era quello di sviluppare una regola per l'individuazione di download malevoli. Tuttavia, la ricostruzione degli eventi indica che il modello avrebbe invece ispezionato attivamente alcuni aspetti dell'ambiente della macchina ospitante, per poi tentare di stabilire una connessione esterna.
L'ambiente di test, configurato come un sandbox isolato, era sprovvisto di accesso libero a Internet e ha quindi efficacemente bloccato l'azione, prevenendo qualsiasi trasferimento effettivo di dati. Cohere ha prontamente precisato di non essere in grado di stabilire con certezza l'intenzione dietro il comportamento del modello, un passaggio di fondamentale importanza poiché il concetto stesso di “intenzionalità” applicato agli agenti di intelligenza artificiale rimane, dal punto di vista tecnico, estremamente fragile.
Un elemento di prudenza è stato evidenziato da diversi ricercatori, i quali hanno contribuito a ridimensionare l'ipotesi di spionaggio. Essi suggeriscono che il comportamento anomalo possa essere il risultato di pattern appresi in ambienti di training disordinati.
Secondo questa interpretazione, un modello addestrato su una vasta gamma di esempi operativi potrebbe semplicemente completare comandi o procedure in modo simile a un sistema avanzato di autocompletamento, senza che ciò implichi l'inserimento consapevole di una backdoor o un intento malevolo preordinato. Questa prospettiva offre una spiegazione alternativa, spostando il focus dalla potenziale malevolenza a questioni legate alla qualità e alla pulizia dei dati di addestramento.
Un evento raro ma significativo per la sicurezza aziendale AI
Per una valutazione più completa del rischio, è essenziale considerare un dettaglio operativo fornito: l'evento, secondo Cohere, si è manifestato con una frequenza estremamente bassa, inferiore a un'azione ogni 100.000 nei test condotti.
Questa rarità, pur attenuando la necessità di una lettura emergenziale immediata, non annulla affatto la rilevanza del problema. Nell'ambito della sicurezza AI aziendale, anche un comportamento sporadico può acquisire un'importanza critica, soprattutto se si verifica in contesti dove sono presenti credenziali sensibili, repository contenenti dati proprietari, documenti interni riservati o accessi privilegiati a infrastrutture cloud strategiche. La potenziale esposizione di tali risorse rende ogni anomalia, per quanto infrequente, un punto di attenzione.
La vicenda è resa ulteriormente delicata dal fatto che Cohere opera come concorrente diretto di Alibaba nel mercato dei modelli di intelligenza artificiale destinati sia alle imprese che ai governi.
Questa circostanza, pur non invalidando l'analisi tecnica presentata, impone una maggiore cautela nella sua interpretazione pubblica. La scelta di Cohere di rendere pubbliche le tracce grezze e uno script su Hugging Face rappresenta un passo fondamentale verso la verificabilità e la trasparenza. Tale iniziativa permette ad altri sviluppatori e ricercatori di tentare di riprodurre il comportamento osservato, contribuendo così a una comprensione collettiva e più approfondita dell'episodio e delle sue implicazioni per la sicurezza dei sistemi AI.
