Il Consiglio di Stato affronta un caso di decisione amministrativa automatizzata per mezzo di un algoritmo il cui esito risulta del tutto illogico. La Corte, in particolare, mostra un atteggiamento di apertura nei confronti degli algoritmi, come strumento tipico dell’e-government, e al contempo ne delimita il perimetro di utilizzo, individuando importanti principi per tutelare i cittadini da eventuali decisioni irrazionali e prive di motivazione.
Sulla base del principio “digital first” la pubblica amministrazione considera la tecnologia e la digitalizzazione come fattori chiave per trasformare i propri modelli decisionali e gestionali. In tale ambito si ascrive l’utilizzo sempre più frequente degli algoritmi come strumento per automatizzare i procedimenti amministrativi.
La diffusione di decisioni amministrative algoritmiche, tuttavia, non è stata accompagnata da un intervento legislativo volto a tutelare i cittadini dai possibili rischi derivanti dall’utilizzo dell’intelligenza artificiale; ciò ha portato la magistratura amministrativa ad elaborare in via pretoria alcuni importanti principi tesi ad assicurare un corretto utilizzo degli algoritmi da parte della pubblica amministrazione.
Fra le diverse pronunce, la sentenza del Consiglio di Stato n. 2270 del 2019 affronta il tema delle decisioni interamente automatizzate per mezzo di un algoritmo, di cui però non è possibile conoscere la formula e i criteri posti alla base della decisione.
Nel caso di specie si tratta di una procedura di assunzione di insegnanti di scuola secondaria interamente gestita attraverso un sistema informatico a mezzo di un algoritmo, che ha portato ad un esito del tutto illogico: i destinatari sono stati nominati in classi di concorso in cui non avevano mai lavorato; la nomina risultava non conforme rispetto alla preferenza espressa; e, infine, tutti gli appellanti sono stati destinati in province lontane, rispetto a quella di provenienza.
In ragione di ciò i ricorrenti lamentano che l’intera procedura sia stata gestita per mezzo di un algoritmo il cui funzionamento sarebbe rimasto sconosciuto, sfociando in provvedimenti privi di alcuna motivazione e senza l’individuazione di un funzionario amministrativo che abbia valutato le singole situazioni ed abbia correttamente esternato le relative determinazioni provvedimentali.
Il Consiglio di Stato accoglie nel merito il ricorso proposto per due ordini di motivi: in primo luogo, risultano violati i principi di imparzialità, pubblicità e trasparenza, poiché non è possibile comprendere le modalità e le ragioni con le quali sono state assegnate le posizioni in graduatoria; in secondo luogo, gli esiti della procedura risultano illogici e irrazionali, date le situazioni paradossali che si sono verificate nelle assegnazioni.
A supporto della decisione, il Consiglio di Stato afferma alcuni importanti principi in tema di utilizzo di algoritmi come strumento per automatizzare il procedimento amministrativo.
In primo luogo, la Corte chiarisce la propria posizione di favore nei confronti della digitalizzazione della pubblica amministrazione; il c.d. e-governement, ossia l’introduzione di modelli decisionali e di forme gestionali innovative, che si avvalgano delle tecnologie informatiche ed elettroniche, migliora la qualità dei servizi offerti ai cittadini: ciò risulta particolarmente evidente nel caso dell’utilizzo di algoritmi per automatizzare un processo decisionale amministrativo caratterizzato da un elevato tasso di standardizzazione. L’uomo determina le regole secondo cui classificare le domande, mentre la mera attività di elaborazione viene svolta dall’algoritmo. Ciò appare conforme ai canoni di efficienza ed economicità dell’azione amministrativa previsti dalla legge 241/90 e al principio di buon andamento dell’azione amministrativa sancito dall’art. 97 della costituzione.
Per questa ragione l’utilizzo di una procedura informatica che conduca direttamente alla decisione finale non deve essere stigmatizzata, ma anzi, in linea di massima, incoraggiata: essa comporta infatti numerosi vantaggi quali, ad esempio, la notevole riduzione della tempistica procedimentale per operazioni meramente ripetitive e prive di discrezionalità, l’esclusione di interferenze dovute a negligenza (o in alcuni casi anche anche dolo) del funzionario (essere umano) e la conseguente maggior garanzia di imparzialità della decisione automatizzata.
Con queste parole, quindi, il Consiglio di Stato mostra una prima apertura nei confronti dell’utilizzo degli algoritmi per le decisioni amministrative, in contrasto con precedenti pronunce dei Tar, che guardavano con sospetto l’utilizzo dell’intelligenza artificiale (a titolo esemplificativo T.A.R. Lazio-Roma, sez. III-bis, sentenze 10 settembre 2018, nn. 9224-9230).
Al contempo il ricorso all’algoritmo viene incoraggiato entro un perimetro ben preciso: la decisione automatizzata può essere ammessa nel caso di un procedimento amministrativo standardizzato; mentre è da escludersi nel caso vi siano margini di discrezionalità amministrativa. La valutazione degli interessi in gioco, infatti, non può essere affidata ad un algoritmo.
Vi è da chiedersi come debba essere considerato il caso in cui l’attività nasce come discrezionale, ma una volta esercitato il potere l’amministrazione esaurisca il proprio margine di valutazione, circostanza che rende la decisione di fatto vincolata.
L’utilizzo delle procedure automatizzate tuttavia non può comportare l’elusione dei principi che regolano l’attività amministrativa, poiché la regola algoritmica alla base della procedura resta pur sempre una regola ammnistrativa generale definita dall’uomo e non dalla macchina.
La regola algoritmica assume una piena valenza giuridica e quindi deve rispettare i principi generali dell’attività amministrativa di pubblicità, trasparenza, ragionevolezza e proporzionalità.
Inoltre, tale regola deve prevedere una soluzione definita per tutti i casi possibili, senza alcun margine di discrezionalità, che invece spetta all’amministrazione nel momento dell’elaborazione dello strumento digitale.
Infatti, spetta all’amministrazione compiere la mediazione degli interessi coinvolti, anche per mezzo di test e aggiornamenti continui dell’algoritmo. Mentre, il giudice è chiamato a valutare in un secondo momento la correttezza del processo automatizzato in tutti i suoi elementi.
Il Consiglio di Stato, quindi, in questo passaggio individua una serie di garanzie per tutelare il cittadino dinnanzi alla decisione automatizzata.
In primo luogo estende l’applicabilità dei principi dell’azione amministrativa, come già affermato in precedenti sentenze. Vi è da chiedersi, tuttavia, se e in che modo i principi pensati per l’attività amministrativa “tradizionale” possano attagliarsi a quella “algoritmica”; sorge il dubbio che sia più opportuno individuare diverse e nuove garanzie sulla base delle specificità della decisione automatizzata.
In un certo senso la Corte sembra anticipare questa esigenza, identificando una forma di controllo ex ante, in sede di progettazione del software, momento in cui l’amministrazione è chiamata a svolgere test e aggiornamenti continui. La fase inziale di individuazione dei dati e di definizione della regola algoritmica diventa un passaggio fondamentale per garantire i diritti dei cittadini. La decisione automatizzata, infatti, dipende dall’output finale dell’algoritmo, quindi da come è stato costruito, sulla base di quali dati, da come è stato addestrato. È in questo momento che deve essere tutelata la sfera di interessi e di diritti del cittadino: per esempio, i controlli in sede di progettazione potrebbero ridurre i rischi di bias causati da un algoritmo che si affida ad una base dati incompleta (per una trattazione più ampia del tema si veda qui).
La Corte, dunque, sembra indicare al legislatore una possibile soluzione per disciplinare i rischi legati alle decisioni automatizzate, mediante controlli procedimentali a valle della decisione automatizzata.
In definitiva l’algoritmo deve essere considerato a tutti gli effetti come un “atto amministrativo informatico” e ciò porterebbe a due corollari.
Innanzitutto l’algoritmo deve essere conoscibile secondo una declinazione rafforzata del principio di trasparenza: tutti gli aspetti della formula tecnica devono essere tradotti nella regola giuridica ad essa sottesa in modo da renderla leggibile e comprensibile sia ai cittadini che al giudice. La conoscibilità, infatti, consente di verificare che la procedura automatizzata sia conforme a quanto stabilito dalla legge o dalla stessa amministrazione, in questo modo possono essere verificate le modalità e le regole poste alla base della decisione.
Il Consiglio di Stato, quindi, compie un passo ulteriore rispetto alle precedenti pronunce che hanno riconosciuto il diritto di accesso al codice sorgente sotteso al software, in quanto richiede anche la piena conoscibilità della regola algoritmica.
Il cittadino non solo deve poter accedere al linguaggio informatico utilizzato per impostare l’algoritmo, bensì deve poter comprendere il processo logico seguito, la formula, i criteri. L’algoritmo deve essere tradotto in un linguaggio pienamente comprensibile e conoscibile.
Il principio di conoscibilità è il presupposto fondamentale per poter indagare le motivazioni della decisione, garanzia fondamentale per il cittadino destinatario del provvedimento, onde evitare situazioni come quelle verificate nel caso in esame, ossia decisioni del tutto illogiche delle quali non è dato conoscere le ragioni.
La conoscibilità dell’algoritmo, peraltro, implica un ulteriore principio, ossia l’attribuzione della responsabilità della decisione non al software, bensì all’amministrazione. Quest’ultima, infatti ha stabilito la regola posta alla base della decisione, che poi è stata automatizzata dall’algoritmo.
Alla base dei due principi soggiace l’idea che l’amministrazione non possa abdicare al proprio ruolo affidando per intero la decisione ad un algoritmo, comportando un’irreparabile violazione del principio democratico.
Al contempo, i principi di conoscibilità e di attribuibilità della decisione all’amministrazione potrebbero vacillare nel caso dell’utilizzo delle tecnologie di machine learning e deep learning. Questi algoritmi sono in grado di definire in autonomia la regola alla base del risultato finale, così da diventar inesplicabile e imprevedibile; inoltre sembrano escludere la responsabilità dell’amministrazione per la decisione finale.
Il caso in esame non tratta questo specifica tipologia di algoritmi, che invece verranno analizzati in una pronuncia successiva (Consiglio di Stato, sentenza n. 7891 del 2021, qui).
La regola algoritmica non solo deve essere conoscibile bensì deve poter essere sottoposta alla piena cognizione e al sindacato del giudice.
Ciò consente al giudice di verificare con quali modalità concrete è stata assunta una decisione che si ripercuote nella sfera giuridica del singolo; ciò configura una diretta declinazione del diritto di difesa del singolo cittadino, che postula una piena verifica della legittimità della decisione in modo analogo a quanto avviene nel caso di esercizio del potere in modo tradizionale.
In questo modo il giudice può compiere un duplice vaglio: in primo luogo viene valutata la correttezza del processo informatico in tutte le sue componenti, dalla sua costruzione, all’inserimento dei dati, alla loro validità, alla loro gestione; in secondo luogo, viene considerata la logicità e ragionevolezza della decisione amministrativa robotizzata, ovvero della “regola” che governa l’algoritmo.
La Corte, quindi, afferma la piena sindacabilità della decisione algoritmica in tutti suoi elementi, ciò implica un approccio necessariamente multidisciplinare, giuridico, informatico, ingegneristico, che richiede uno sforzo di non poco conto per il giudice. Sorge così l’esigenza di definire le modalità per garantire un effettivo sindacato, le quali potranno essere gradualmente individuate nei diversi casi concreti, che seguiranno la pronuncia in esame.
La pronuncia, dunque, segna l’apertura della giurisprudenza nei confronti delle decisioni algoritmiche e indica alcuni importanti principi per tutelare le garanzie dei cittadini, poi approfonditi in una sentenza successiva (Consiglio di Stato, sez. VI, sentenza 4 febbraio 2020, n. 881).
L’elemento ispiratore sembra essere il principio human in the loop: il rapporto fra uomo e macchina deve seguire un approccio antropocentrico, l’intervento umano deve essere garantito in ogni momento del ciclo di decisione, dalla progettazione alla fase finale.
Tuttavia rimangono ancora alcune questioni aperte, in quanto le decisioni amministrative algoritmiche rappresentano un fenomeno complesso ed eterogeneo, che non può essere disciplinato in modo definitivo e sistematico dalle pronunce della giurisprudenza. È necessario l’intervento del legislatore che individui un quadro normativo organico, basato su principi che assicurino un utilizzo etico e affidabile degli algoritmi.
Quest’opera è distribuita con Licenza Creative Commons Attribuzione 4.0 Internazionale