A partire dalla scoperta di George Miller, gli scienziati informatici hanno tentato di progettare algoritmi, circuiti e reti neurali per replicare un processo noto come variable binding (variabile vincolante), che descrive la capacità di comprendere i componenti di una frase e d'immagazzinare dati di lunghezze diverse. L'architettura di Alex Graves e colleghi progetta e potenzia questo lavoro con la Macchina Neurale Turing. "Eravamo curiosi di vedere se una rete addestrata a copiare sequenze di lunghezza fino a 20 potesse copiare una sequenza di lunghezza 100 senza ulteriore addestramento" riferisce Graves.
Il compito dei ricercatori di DeepMind è quello di ridefinire la natura di una rete neurale grazie ad un importante elemento supplementare: una memoria esterna.
Nella famosa descrizione del computer da parte di Turing (da cui la Macchina Neurale prende il nome), la memoria è la telescrivente che interagisce con il computer e che immagazzina i simboli di vari tipi per poi trattarli.
Questo tipo di memoria scrivibile e leggibile è assente in una rete neurale convenzionale: può immagazzinare variabili nella sua memoria e tornarvi in seguito per usarle durante un calcolo. Ciò somiglia al sistema attraverso cui un computer ordinario può mettere il numero 3 ed il numero 4 all'interno di registri e poi aggiungerli per arrivare a 7.
La differenza sta nel fatto che la rete neurale di Graves può immagazzinare modelli di variabili più complessi.
Visto che questa forma di calcolo differisce notevolmente da una rete neurale convenzionale, Graves ed i suoi colleghi le hanno conferito il nuovo nome di Macchina Neurale Turing, la prima mai costruita di questo genere.
La Macchina Neurale Turing apprende come una rete neurale convenzionale usando gli input che essa riceve dal mondo esterno ma impara anche come immagazzinare queste informazioni e quando recuperarle.
Gli esperimenti della start-up DeepMind consistono in un certo numero di prove per vedere se, dopo aver addestrato una Macchina Neurale Turing per svolgere un determinato compito, questa potrebbe poi estendere tale capacità a compiti più ampi e complessi.
Risulta che la Macchina Neurale Turing impara a copiare sequenze di lunghezze fino a 20 più o meno perfettamente; copia poi sequenze di lunghezze 30 e 50 con errori minimi; per una sequenza di lunghezza 120, gli errori cominciano a farsi notare.
Il team di DeepMind ha previsto altri compiti per la Macchina Neurale Turing; tra questi, la possibilità di copiare. Il compito è copiare una sequenza e poi ripeterla per un determinato numero di volte e terminare con un marker predefinito. Ancora una volta, la Macchina Neurale Turing supera notevolmente una rete neurale convenzionale.
Questo progetto è un importante passo in avanti, che ha il potenziale di rendere le macchine di calcolo molto più simili al cervello umano di quanto sia mai stato concepito e sperimentato. Ma c'è tanto lavoro ancora da fare.
Fonte: sito web technologyreview.com
