Le valutazioni dell'intelligenza artificiale (AI) stanno emergendo come un terreno sempre più delicato e cruciale nella governance tecnologica. Non servono unicamente a confrontare le prestazioni dei modelli, ma sono impiegate con crescente frequenza per avvalorare dichiarazioni fondamentali su sicurezza, affidabilità e superiorità commerciale. Le posizioni di Irene Solaiman, chief policy officer di Hugging Face, come evidenziato in un articolo su TechCrunch, chiariscono un punto essenziale: il benchmarking dell'AI è ancora una scienza in evoluzione, lontana da standard pienamente condivisi e da metodologie facilmente verificabili.
Il Ruolo Chiave della Riproducibilità nelle Valutazioni AI
Secondo Solaiman, la fiducia nei risultati di una valutazione non può dipendere unicamente dal nome del laboratorio che la pubblica. Una valutazione AI è credibile solo se altri soggetti possono riprodurla, comprenderne le condizioni operative e accedere in modo sufficiente al modello. È qui che il tema degli open weights assume un'importanza strategica: senza un accesso adeguato ai pesi o alle componenti tecniche necessarie, la verifica resta parziale e il risultato rischia di trasformarsi in una metrica opaca.
La complessità non si ferma all'esecuzione del singolo test, ma si estende al confronto tra valutazioni diverse. Fattori come benchmark, harness, prompt, agenti e interfacce possono modificare radicalmente l'esito finale.
Per questa ragione, le valutazioni AI non possono più essere considerate come semplici misurazioni neutre e isolate; devono essere interpretate come veri e propri esperimenti socio-tecnici, dove l'ambiente di prova incide in maniera significativa quanto il modello stesso.
Embedded Evaluators: Accesso Interno e Dilemmi sull'Indipendenza
Gli embedded evaluators, ovvero valutatori terzi inseriti direttamente all'interno delle organizzazioni che sviluppano sistemi di intelligenza artificiale, sono stati concepiti per rispondere a questa crescente complessità. L'idea di base è offrire a soggetti indipendenti un accesso più profondo a modelli, dati, strumenti e processi aziendali, permettendo così di produrre analisi più informate e dettagliate rispetto a quelle condotte dall'esterno.
Tuttavia, questa stretta vicinanza con l'azienda valutata introduce un'ambiguità strutturale. Chi finanzia, ospita o concede l'accesso può potenzialmente influenzare i tempi, il perimetro e persino la pubblicazione dei risultati. Solaiman sottolinea come il settore mostri una forte domanda per questo tipo di ecosistema, ma manchino ancora criteri sufficientemente standardizzati per definire chi sia realmente qualificato, neutrale ed efficace nello svolgimento di specifici compiti di valutazione.
Le Proposte dell'AI Evaluator Forum
Il dibattito sulle valutazioni AI è ulteriormente arricchito da una lettera pubblica dell’AI Evaluator Forum, pubblicata il 18 settembre 2026. Il documento espone condizioni minime essenziali per rendere credibili le valutazioni.
