Qualche giorno fa leggevo su New Scientist di una ricerca condotta negli Stati Uniti sugli elettrocardiogrammi di 400.000 persone con lo scopo di prevederne la probabilità di morte a un anno. I ricercatori hanno immesso come input i dati grezzi degli ECG a un sistema di AI; i risultati hanno fornito previsioni con una precisione intorno all’85%, maggiore di quella di altri metodi utilizzati dai cardiologi. L’AI ha anche scoperto casi sfuggiti all’analisi dei medici. Il problema è che anche a posteriori i medici stessi non sono riusciti a individuare quali anomalie dell’ECG avessero permesso di identificare questi casi a rischio.
Se da un lato quindi l’AI può aiutare a “rileggere” dati, scoprendo schemi nascosti agli occhi umani, dall’altro sorge il problema di capire i “ragionamenti” che sono dietro l’individuazione di questi pattern. Semplici forme di machine learning usano algoritmi trasparenti, come alberi di decisione o classificatori bayesani. Ma altre, come le reti neurali, sacrificano trasparenza e comprensibilità per potenza, velocità e accuratezza.
Oggi si pensa che la “scatola nera” di una rete neurale e di tutti i sistemi di AI dovrebbe essere resa più trasparente. Insieme all’output si dovrebbe avere una spiegazione di come tali dati sono stati generati. L’AI dovrebbe essere in grado di spiegare le proprie ragioni per far sì che gli utenti umani possano fidarsi, riconoscendo capacità e limiti del sistema.
La Explainable AI (XAI) è un campo di ricerca relativamente nuovo che si propone di sviluppare tecniche e metodi per rendere i risultati ottenuti da tecnologie di Intelligenza Artificiale comprensibili dagli umani.
Pensiamo ai sistemi di guida autonoma, alle applicazioni di AI utilizzate in medicina, nel comparto finanziario, legale o in quello militare. In questi casi è facile capire che per fidarsi delle decisioni e dei dati ottenuti occorre capire come il partner artificiale abbia “ragionato”.
È necessario sapere perché è stata fatta una scelta invece che un’altra e se il sistema è in grado di riconoscere un suo errore (magari ponendovi rimedio). Sapere, in definitiva, quando potersi fidare completamente delle decisioni dell’AI.
Il tema è importante per diverse ragioni. Far adottare tecnologie AI nelle aziende è più facile se si possono tradurre in linguaggio umano i passi compiuti da un algoritmo per giungere a un risultato.
In molte attività la trasparenza può essere un obbligo legale, fiscale o etico. Meno un sistema appare “magico”, più saranno le possibilità che venga adottato.
Un altro problema legato alla necessità di avere intelligenze digitali “spiegabili” è legato alla delicata questione dei “bias”, dei pregiudizi (di genere, di razza o di altro tipo) che possono contagiarle: i cattivi dati di training nel machine learning sono una delle cause di questi effetti collaterali. Come ultimo esempio di una lista sempre più lunga si può citare quello dei pazienti di colore discriminati da sistemi decision-making negli ospedali americani. Con l’utilizzo di tecniche XAI queste anomalie potrebbero essere individuate o prevenute più facilmente.
Esiste poi il diritto sociale alla trasparenza e alla spiegazione degli algoritmi, riconosciuto in maniera esplicita dall’Unione Europea nel General Data Protection Right (GDPR): “L’esistenza di un processo decisionale automatizzato, compresa la profilazione di cui all’articolo 22, paragrafi 1 e 4, richiede informazioni significative sulla logica utilizzata, nonché l’importanza e le conseguenze previste di tale trattamento per l’interessato.”
Ci sono due considerazioni da fare a questo punto.
In primo luogo è importante sapere a chi sono destinate le spiegazioni. Possono essere richieste spiegazioni tecniche per gli esperti, spiegazioni di altro genere per le autorità di controllo oppure, in generale, spiegazioni semplici per tutti (che dovrebbero essere evidenziate e adattate al contesto).
Inoltre, in generale, si dovrebbe ragionare su diversi livelli di trasparenza. Le scelte di un sistema di raccomandazione come quello di Netflix possono essere proposte all’utente senza troppe spiegazioni. Maggiori spiegazioni potrebbe richiedere un sistema di domotica basato su IoT. Sistemi per la concessione di crediti e prestiti necessitano di un livello ancora più elevato di trasparenza. Nel settore delle diagnosi mediche il livello dovrebbe essere massimo.
Vista l’importanza del tema aziende, organizzazioni e ricercatori ne stanno approfondendo lo studio e proponendo soluzioni.
La DARPA, l’agenzia governativa del Dipartimento della Difesa degli Stati Uniti, ha aperto un programma dedicato alla XAI. Il suo scopo è arrivare a “nuovi sistemi di machine learning che avranno la capacità di spiegare le loro motivazioni, caratterizzarne i punti di forza e di debolezza e trasmettere una comprensione di come si comporteranno in futuro”.
Molte grandi compagnie (tra cui IBM, Accenture e Microsoft) e startup ICT stanno sperimentando e già promuovendo strumenti e sistemi di XAI. Alcuni esperti sono scettici e sostengono che allo stato attuale parlare di sistemi XAI sia solo un espediente di marketing non esente da rischi, come quello di alimentare una falsa sensazione di sicurezza in contesti delicati.
I ricercatori, dal canto loro, stanno studiando a fondo l’argomento, focalizzandosi sui vari aspetti e sulle difficoltà che sorgono nel rendere trasparenti gli ora opachi sistemi di AI e ML. Si sono riuniti in una comunità globale, la FAT/ML, che organizza incontri annuali sullo stato dell’arte della nascente disciplina.
In Italia il Knowledge Discovery and Data Mining Laboratory (KDD Lab), gruppo di ricerca congiunto tra l’ ISTI del CNR e il Dipartimento di Informatica dell’ Università di Pisa, ha appena avviato un progetto quinquennale finanziato dalla Commissione Europea.
Il progetto si compone di tre linee di ricerca. La prima vuole creare un framework “local-to-global” (dal caso particolare al caso generale) per la spiegazione di ciò che avviene in una scatola nera AI, con algoritmi in grado di ottimizzare qualità e comprensibilità di questo processo di generalizzazione. La seconda intende creare modelli per spiegazioni causali, indagando sia le relazioni tra variabili (interne ed esterne) e decisioni sia modelli che catturino il comportamento dettagliato della generazione di dati in reti di deep learning. Infine si intende creare un sistema di valutazione di questi e altri metodi di XAI da parte degli utenti oltre che un contesto etico-legale per conformare i metodi agli standard legali come il GDPR.
Queste e altri studi in giro per il mondo fanno della XAI un campo di ricerca non solo stimolante ma imprescindibile; come spiega Dino Predeschi del KDD Lab “senza una tecnologia in grado di spiegare la logica delle black box, però, il diritto alla spiegazione è destinato a rimanere lettera morta, oppure a mettere fuorilegge molte applicazioni del machine learning opaco.”
Originariamente pubblicato su Medium
Riferimenti
Costabello L., Giannotti. F. et al. On Explainable AI:
From Theory to Motivation, Applications and Limitations (una corposa serie di slides che entrano nel dettaglio tecnico delle ricerche sulla XAI)
Ron Schmelzer, Understanding Explainable AI
Mark Stefik, Explainable AI: An Overview of PARC’s COGLE Project with DARPA
Hubert Guillaud, De l’explicabilité des systèmes : les enjeux de l’explication des décisions automatisées
Jeremy Kahn, Artificial Intelligence Has Some Explaining to Do
Cade Metz, We Teach A.I. Systems Everything, Including Our Biases