Equità algoritmica

Negli ultimi anni, un numero sempre maggiore di soggetti privati e pubblici, usano sistemi decisionali autonomi per incrementare l’efficienza e l’agilità delle loro scelte. Difatti, attraverso le svariate innovazioni tecnologiche, gli individui sono in grado di produrre un enorme numero i dati. Questi dati, risultano difficilmente analizzabili senza strumenti che permettano di farlo in autonomia. Tuttavia, numerosi studi hanno mostrato come i sistemi decisionali autonomi possano creare problematiche rilevanti sul piano dell’equità, per tale motivo si parla si equità algoritmica. E’ dunque rilevante focalizzarsi su questo argomento molto attuale, e riflettere su alcune evidenze che sono state pubblicate.

L’automatizzazione e l’amplificazione delle Disuguaglianze 

L’universo digitale, nato alla metà del Novecento con l’invenzione del calcolatore elettronico, ha alterato profondamente i nostri modi di vivere, di agire, persino di pensare¹. A partire dagli anni Duemila, gran parte della popolazione mondiale è stata lentamente inondata dalle innovazioni tecnologiche, entrate nel giro di vent’anni nelle nostre case. Ad oggi, gran parte della popolazione mondiale possiede e usa assiduamente uno smartphone. D’altronde è molto soddisfacente avere la possibilità, quando si vuole, di sfogliare i propri ricordi, cercare curiosità su internet…

Non a caso, una caratteristica tipica dei media digitali rispetto a quelli analogici è la convergenza. La convergenza consiste nel far coincidere l’utilizzo dei media con attività un tempo svolte diversamente, o in ogni caso con l’ausilio di diverse strumentazioni. Difatti, i media di massa, come la televisione e la radio, avevano un uso limitato allo svago e all’informazione; i nuovi vengono invece usati per lavorare, studiare, informarsi, comunicare, intrattenersi, ed altro… Sono diventati dunque molto influenti sulla nostra vita culturale, professionale e sociale. Per alcune generazioni le tecnologie possono risultare molto frustranti, ma le più giovani fanno fatica a muoversi senza. Con la nascita dei media digitali, sono emersi nuovi canali di trasmissione delle disuguaglianze. Pertanto, così come il mondo in cui viviamo è stato digitalizzato, anche le disuguaglianze e i loro canali hanno subito un processo di digitalizzazione. 

Big data e automatizzazione delle decisioni 

Con le svariate tecnologie che ci circondano, l’uso incessante che se ne fa, e con la crescente digitalizzazione di archivi di ogni genere, ci si trova di fronte ad un numero di dati spaventosamente grande, ovvero i big data. E’ diventato, dunque necessario processare in maniera semplice moli di dati grezzi e privi di informazione con strumenti creati per comprenderli e trasformarli in informazioni utilizzabili.

Per questo motivo, stiamo assistendo a una crescente automatizzazione delle procedure; che sia in grado di elaborare i big data attraverso l’utilizzo di diverse tipologie di algoritmi. Le informazioni che fuoriescono da questi processi automatizzati, spesso vengono utilizzate da terzi  per fare previsioni e prendere decisioni. Grazie alle informazioni raccolte, una qualunque azienda potrebbe indentificare le tue preferenze e presentarti pubblicità ad hoc. Ma potrebbe anche decidere se risulti essere o no un buon pagatore, e decidere di conseguenza se concedere un mutuo/prestito o meno. Dunque, per svariate motivazioni, principalmente economiche e di marketing, aziende e individui hanno iniziato a mostrare sempre più interesse verso i dati e verso le preziose informazioni che nascondono. Difatti, oggi si richiede una massimizzazione della produttività e misurabilità dei dati. Ciò che si evince dai dati necessita di validità ed affidabilità, ma talvolta vengono con frequenza misurate in termini puramente economici².

Pertanto i processi decisionali vengono automatizzati, e dunque controllati tramite algoritmi di varie tipologie; divengono così dei sistemi procedurali, in cui le decisioni vengono inizialmente, in parte o del tutto, delegate a un ente o a un’azienda, che a sua volta utilizza algoritmi per compiere un’azione³. Questa delega – non della decisione stessa, ma dell’esecuzione – prevede un modello decisionale, dunque, un algoritmo che traduce questo modello in codice calcolabile. E a partire da una serie di dati (input) che questo codice utilizza, si otterranno determinati output.

Gli algoritmi, pertanto, nascerebbero dopo aver formalizzato un problema e tradotto gli obiettivi in termini computazionali³. Particolari tecnologie sono quelle di machine learning. Machine learning è un termine ombrello, che comprende una serie di modi per istruire un computer a svolgere determinati compiti, senza indicare in modo esplicito alla macchina come debba farlo⁴. Questa tipologia di algoritmi ha lo scopo di imparare e acquisire informazioni ed esperienza da set di dati preesistenti; e successivamente, dai suoi stessi output, ottimizzando i propri risultati. La macchina guarda dunque ai suoi dati passati, col fine di prevederne il futuro, sviluppando una crescente “fame per i dati” ⁴.

Oggettività delle decisioni automatizzate 

I sistemi decisionali automatizzati citati vengono spesso elogiati per la loro neutralità e oggettività. Ciò accade perché si pensa che gli algoritmi siano frutto esclusivamente di calcoli matematici. Dunque, maggiormente imparziali rispetto alla mente umana provvista anche inconsciamente di preconcetti. La neutralità degli algoritmi è sicuramente auspicabile, ma troppo spesso non pervenuta per diverse motivazioni, innescate volontariamente e non. 

Vista la massiccia presenza degli algoritmi nelle tecnologie da noi utilizzate quotidianamente, frequentemente essi si intrecciano con pratiche sociali e materiali che hanno una propria natura culturale, storica e istituzionale³, influenzando e influenzati dal contesto in cui vengono impiegati. In questa visione socio-tecnica, l’azione decisionale compiuta dagli algoritmi viene interpretata come parte di assemblaggi molto più ampi, in cui sistemi di pensiero, conoscenze pregresse, economia, politica, infrastrutture, istituzioni e relazioni interpersonali si intrecciano profondamente su più livelli³. Sulla base di queste premesse, Aragona parla degli studi che sono stati avviati a supporto dell’amplificazione di bias e disuguaglianze create dalle decisioni automatizzate. Questi studi prendono il nome di Critical Algorithm Studies e sostengono con fermezza che gli algoritmi, e i dati su cui vengono iterati, non siano strumenti obiettivi, imparziali ribadendo che gli algoritmi: 

• non prendono decisioni, ma eseguono decisioni;  
• e i dati che elaborano, non sono neutri;  
• gli algoritmi, e i dati che elaborano, non sono oggettivi. 

Questo perché dietro ogni algoritmo e dietro ogni scelta fatta, bisogna ricordare che ci sono degli esseri umani. Pertanto è necessario far chiarezza sui compiti svolti dalle persone fisiche, poiché hanno il compito di sviluppare, addestrare e calibrare il lavoro svolto dagli algoritmi. Inoltre, spesso gli algoritmi vengono addestrati su dati che vengono scelti e selezionati con leggerezza.

Un esempio di queste tipologie di comportamento è stato riscontrato in un algoritmo utilizzato da Google, ovvero il Vision Cloud. Questo esperimento è stato condotto da Kayser-Bril (2020) e illustrato da Aragona nel suo articolo. L’algoritmo in questione offre un servizio di classificazione automatica delle immagini. Durante l’esperimento, è stato chiesto all’algoritmo di classificare un’immagine che ritraeva una mano che impugnava un termometro palmare. Ciò che ha sorpreso, è stata la classificazione delle immagini. Il classificatore produceva risultati differenti in base al colore della pelle del soggetto presente in foto. Difatti, nel momento in cui il termometro palmare veniva impugnato da un individuo bianco, veniva classificato come “strumento elettronico”, se veniva invece impugnato da un individuo nero, l’algoritmo lo classificava come “pistola”.

Secondo l’ipotesi di Kayser-Bril, in questo caso è probabile che l’algoritmo sia stato addestrato con modelli corrotti. In questi modelli corrotti, probabilmente gli individui neri erano rappresentati con maggiore frequenza in scene di violenza. L’atto stesso di classificare non fa altro che reiterare visioni del mondo di parte, ben poco oggettive, portando così al riciclaggio forme di disuguaglianze preesistenti⁴. I bias e le disuguaglianze presenti all’interno delle nostre società vengono codificate dagli algoritmi, riportate in vita e amplificate. Inoltre spesso coloro che sviluppano gli algoritmi non tengono conto di quanto sia complessa la realtà umana e i suoi processi.

Accade dunque che nella strutturazione degli algoritmi si decida di usare indicatori che anziché essere significativi, risultano utili. Questo accade perché non si è sempre in possesso di dati relativi ai comportamenti d’interesse. Questi dati vengono sostituiti attraverso l’uso dei cosiddetti proxy data, dati ricavati indirettamente e spesso usati per stabilire correlazioni statistiche. Può capitare, ad esempio, che il codice di avviamento postale sia correlato alla probabilità che ha una persona di restituire un prestito⁵. Dunque, il codice di avviamento postale potrebbe essere usato per dire molto sulla situazione economica degli individui e sulla loro affidabilità. Queste tipologie di dati se non usate con cautela possono portare dunque a una distribuzione diseguale di risorse e privilegi posseduti. 

Algoritmi nelle pubbliche amministrazioni

 Diverse tipologie di algoritmo hanno conseguenze diverse in base al contesto di utilizzo. In particolare, oggi gli algoritmi vengono utilizzati soprattutto da privati. Il loro principale scopo è quello di elaborare prodotti mediali su misura per noi, prendere decisioni in modo più efficace, effettuare valutazioni, ed altro…

Ciò che preoccupa è l’uso di questi algoritmi non solo da parte di privati, ma anche dalle pubbliche amministrazioni, come avviene con frequenza negli USA, ma anche in altre parti del mondo. Difatti, i sistemi di decisione automatizzata sono impiegati sempre più spesso dalla pubblica amministrazione; a volte con buoni risultati, a volte con risultati ben poco incoraggianti, ponendo inquietanti interrogativi sul piano dell’equità ³.

Eubanks nel suo libro “Automating Inequality” racconta come negli Stati Uniti d’America molte richieste per aiuti sanitari, alimentari o economici siano state negate a causa di sistemi automatizzati. Secondo Eubacks ciò è accaduto poichè sono stati utilizzati indici di disagio inaffidabili e indicatori non validi. Uno dei casi descritti riguarda l’assegnazione dei posti letto ai senza fissa dimora della città di Los Angeles. L’algoritmo andava a contare le notti passate in prigione come housing. Questo portava ad una diminuzione dell’indice di vulnerabilità di coloro che venivano arrestati, riducendo così la possibilità di un individuo di accedere in futuro ai pochi posti letto disponibili . 

Questo porta alla creazione di un circolo vizioso, poiché i meccanismi algoritmici contribuiscono a creare le condizioni che ne giustificano i presupposti⁵. Caso simile è accaduto in Italia pochi anni fa ed è stato illustrato da Aragona³ nel suo articolo. Nel 2016, il MIUR ha deciso di affidare a un algoritmo l’assegnazione delle sedi ai docenti per l’anno scolastico 2016/2017.

L’algoritmo ha assegnato un punteggio in base agli anni di servizio in ruolo, alle sedi preferite dal candidato e ai reali posti disponibili, dando priorità a coloro che possedevano un punteggio più alto in graduatoria. Il risultato? In svariati casi l’algoritmo non si basò su punteggi e graduatorie, e inviò insegnanti pugliesi e docenti di Catanzaro in provincia di Milano, quando avrebbero dovuto essere destinati alle loro regioni; inoltre spedì a Prato due professori calabresi con figli autistici. Dopo l’avvio di una perizia, l’Università di Tor Vergata definì l’algoritmo: «confuso, lacunoso, ridondante, elaborato in due linguaggi di programmazione differenti, di cui uno risalente alla preistoria dell’informatica, costruito su dati di input organizzati e gestiti in maniera sbagliata». I ricorsi fatti hanno portato allo svolgimento di sentenze, grazie alle quali l’algoritmo usato è stato reso pienamente conoscibile. Le sentenze del Tar hanno dichiarato le scelte algoritmiche non giustificabili.

Grazie a queste sentenze la giurisprudenza ha deciso che le pubbliche amministrazioni possono fare uso di sistemi di decisioni automatizzata, solo nel momento in cui l’algoritmo utilizzato sia reso conoscibile. Sfortunatamente, la trasparenza non sempre la fa da padrona: le ingiustizie compiute dagli algoritmi non vengono sempre individuate, al contrario di quanto avvenuto nell’ultima casistica. In svariate occasioni gli algoritmi usati risultano delle scatole nere, imperscrutabili. Ciò avviene perché molti di questi algoritmi sono protetti da brevetti. Per tale motivo, le metodologie e i passaggi alla base della progettazione sono segreti e non conoscibili. L’influenza di questi strumenti di decisione automatizzata non è dunque da sottovalutare. Poiché spesso viene data a questi algoritmi l’autorità di decidere di quali/quanti vantaggi o svantaggi un individuo debba godere. Questo può accadere a causa di metodologie non accurate, che portano a calcoli efficienti a livello monetario, ma iniqui sul piano umano. 

Come è possibile che ciò accada? Quali sono le cause? In generale sono di svariato genere, e stesso collegate tra loro, vediamo di seguito alcune…

1.Pregiudizi e distorsioni nei dati 

Possiamo dire che, attualmente la nostra società produce ogni giorno un numero inimmaginabile di dati. Data la grande disponibilità, la letteratura conferma che negli ultimi anni stiamo assistendo a una crescente automatizzazione delle procedure. Per tal motivo, oggi più che mai, è importante che i dati utilizzati siano qualitativamente affidabili. Poiché se prima l’automatizzazione era una prerogativa di pochi settori, ora si sta assistendo ad un’espansione degli ambiti di utilizzo. Dunque, il vasto utilizzo di sistemi decisionali autonomi si sta lentamente facendo spazio in numerosi aspetti della nostra vita, dalla finanza alla sanità, acquistando così sempre maggior rilievo. A prescindere dalla tecnologia di decisione automatica che si sta utilizzando, le decisioni che questa prenderà si baseranno sui dati. Difatti, i motori di inferenza utilizzati dai sistemi decisionali, utilizzano dati ed esperienza per acquisire conoscenza e prendere decisioni, esattamente come gli umani.

Dunque, essendo i dati molto importanti nel processo decisionale, si dovrebbe prestare particolare attenzione al momento della loro raccolta, selezione e processamento. Nel momento in cui non vengono adottate particolari accortezze, il sistema decisionale prenderà le sue decisioni su dati potenzialmente distorti (che presentano bias). Provocando, potenzialmente, anche la distorsione dei suoi risultati. 

Cause della presenza di pregiudizi nei dati 

All’interno della letteratura vengono individuate diverse possibili fonti che comportano la presenza di distorsioni, le quali verranno elencate di seguito: 

1. Dati mancanti: durante la raccolta dei dati, diversi dati potrebbero non essere presenti. Questo può accadere per motivi differenti, in base all’ambito a cui si fa riferimento. Ad esempio, in ambito sanitario, alcuni pazienti potrebbero aver ricevuto cure frammentate in diversi istituti, oppure i pazienti meno esperti potrebbero non essere in grado di accedere ai portali online⁶; 

2. Dimensioni del campione: durante la decisione delle dimensioni del campione, alcuni sottogruppi di individui potrebbero non essere rappresentati. La sottovalutazione dei sottogruppi, può portare ad approssimare le tendenze medie per evitare il fenomeno dell’overfitting, e questo porterebbe a previsioni poco formative⁶; 

3. Selezione delle features: durante la selezione delle features bisognerebbe assicurarsi che quelle selezionate non rappresentino problemi dal punto di vista dell’equità. Difatti, a volte vengono inserite delle features che migliorano l’accuratezza di una previsione, tuttavia il loro utilizzo potrebbe ledere alcuni gruppi di individui ⁷;

4. Proxy: alcuni attributi discriminatori possono essere dedotti anche se non utilizzati in maniera diretta. Ad esempio, Amazon ha dedotto il genere utilizzando gli istituti scolastici elencati nei curriculum dei candidati (ad esempio, tutte le università femminili o college maschili)⁷. Inoltre, può accadere che si verifichi il così detto paradosso di Simpson, ovvero una situazione in cui il corpus dei dati evidenzia una tendenza, ma se lo stesso viene suddiviso in sottogruppi, in ciascuno di essi si osserva la tendenza opposta^5.

Tutte le seguenti fonti di distorsione possono essere dovute ad errori di natura tecnica, ma possono essere anche il riflesso di pregiudizi sociali involontari, “quali riflesso di più ampi valori culturali o organizzativi”⁸ 

Conseguenze 

La presenza, o lo sviluppo di pregiudizi all’interno dei dati potrebbero riflettersi nei risultati, che a loro volta saranno distorti, parzialmente corretti e poco equi. E dato il forte utilizzo di queste tecnologie, non è difficile pensare che tutti noi probabilmente subiremo l’effetto dei pregiudizi contenuti nei dati. Dunque, la letteratura vuole evidenziare come i sistemi decisionali basati su dati distorti, possono perpetuare le pratiche discriminatorie e le disuguaglianze presenti nell’attuale società. Di conseguenza, i modelli algoritmici intrisi di pregiudizi possono avere impatti significativi sulle ricompense e sulle opportunità economiche e sociali degli individui; soprattutto di coloro che appartengono a minoranze o gruppi svantaggiati ⁹. A dimostrazione di ciò, vi propongo un esempio di dataset contenente distorsioni e pregiudizi, e di come questo influisca sui risultati del sistema. 

All’interno di un loro studio, Straw e Callison-Burch¹⁰, mostrano le distorsioni e i pregiudizi presenti nei modelli di programmazione neurolinguistica, utilizzati in psichiatria per diagnosticare malattie. Gli attuali modelli di PNL utilizzano gli algoritmi Word embeddings. Questi algoritmi, analizzando set di dati di linguaggio, sono capaci di mostrare quali parole sono semanticamente più simili tra loro. Dunque, per evidenziare l’influenza che l’identità gioca sulle cure che un paziente riceve, Straw e Callison-Burch hanno posto alcune domande all’algoritmo, che ha restituito i seguenti risultati: “L’uomo è un programmatore, come la donna è? Ha restituito “casalinga”; ” Il britannico è depresso, come l’irlandese è? Ha restituito “alcolista”; “Il bianco sta alla depressione, come il nero sta a?” ha restituito “sottoposto a elettroshock terapia”. Risulta dunque, agevolmente osservabile la presenza di stereotipi e pregiudizi all’interno di questo algoritmo. 

2 Quantificazione di concetti complessi e sottovalutazione degli aspetti qualitativi

 I sistemi di decisione automatizzata, e i dati su cui si basano, vengono utilizzati per generare previsioni, e di conseguenza prendere decisioni. Tuttavia, vista la complessità della realtà, i sistemi decisionali autonomi necessitano di semplificazioni per la loro realizzazione⁵, con l’obiettivo di rendere la realtà misurabile, stimabile. In particolare, possiamo dire che dalla letteratura emergono due tipi di comportamenti nella costruzione dei sistemi decisionali autonomi:

– la quantificazione di concetti complessi

-la sottovalutazione degli aspetti qualitativi.

Per quantificazione di concetti complessi, si intende quel processo, durante la costruzione dei sistemi decisionali autonomi, nel quale i concetti complessi vengono frammentati e sostituiti da più valori affinché questi diventino misurabili, stimabili. Ad esempio, uno dei contributi selezionati illustra l’utilizzo di sistemi algoritmici all’interno dei sistemi di protezione dei minori. Nel seguente studio, l’autrice ha voluto evidenziare come il concetto stesso di “abuso” comprendesse variabili socio-tecniche troppe complesse per essere semplificate e apprese a pieno da una macchina¹¹. Inoltre, le variabili selezionate a  rappresentanza del concetto di abuso, se non valutate attentamente, potrebbero essere fonte di discriminazione indiretta. 

Il secondo tipo di comportamento individuato nella letteratura consiste nella sottovalutazione degli aspetti qualitativi. Difatti, in alcuni sistemi decisionali autonomi si preferisce soddisfare i requisiti di accuratezza, a discapito degli aspetti qualitativi, dei quali viene tenuto poco conto. Un esempio tangibile di questo modus operandi è rappresentato dall’approccio del Market Value Analysis (MVA), ovvero una tecnologia basata su algoritmo, utilizzata per guidare lo sviluppo cittadino nella città di Detroit. Il progetto realizzato dall’approccio MVA divise la città in zone in base al loro valore e potenziale di mercato, facendo riferimento ad una serie di strategie per investimenti, e disinvestimenti, e per la distribuzione di fondi e servizi comunali¹².

In particolare, l’algoritmo divise la città, basandosi su indicatori del valore della proprietà (come i prezzi di vendita di abitazioni, immobili con violazioni del codice edilizio, alloggi vacanti, punteggi di credito) e indicatori sociali (inclusi razza, etnia, occupazione, redditi locali, dati sulla criminalità, rendimento scolastico)¹². La decisione dell’algoritmo è stata quella di “staccare la spina” ad interi quartieri ritenuti meno abbienti. Il seguente modello risulta, dunque, poco qualitativo, poiché gli indicatori scelti considerano i quartieri in termini puramente economici, ignorando ad esempio la ricchezza sociale da loro posseduta.

Ad esempio, l’autore mette in evidenza come molti abitanti delle zone considerate non redditizie, si impegnino collettivamente a prendersi cura dei propri quartieri curando gli edifici, creando aree verdi, spazi comuni e difendendo i loro quartieri da sfratti e speculazioni¹². Tuttavia, queste forme di valorizzazione della comunità sono ignorate dal sistema, ed è proprio questa capacità degli algoritmi di astrarre e semplificare il caos che li rende così preziosi per lo Stato come nuovi strumenti per la pianificazione urbana .

Questi aspetti analizzati emergono in particolare, in tutti quegli ambiti influenzati da complesse variabili socio-tecniche, difficili da modellare, standardizzare. Ne sono un esempio l’ambito sociale, lavorativo, giudiziario e finanziario, ma li si può applicare anche all’ambito sanitario. Le conseguenze di questi aspetti si riflettono anche questa volta nei risultati dei sistemi decisionali, i quali possono risultare scorretti sul piano dell’equità, e/o pianificati a tavolino. 

3 Accuratezza o equità? 

Il terzo aspetto rilevante è il trade-off tra accuratezza ed equità, difatti i risultati algoritmici risultano particolarmente sensibili al disvalore. Questo argomento è considerevole di attenzione poiché, durante la costruzione e la valutazione dei sistemi decisionali autonomi, il valore dell’accuratezza di un modello risulta rilevante ai fini del risultato. Van de Poel e Steen¹³,  definiscono l’accuratezza come: “… il grado di vicinanza del suo valore v a un valore v ‘nel dominio degli attributi considerato corretto per l’entità e all’attributo a … Se il valore del dato v è uguale al valore corretto v’, il dato si dice accurato o corretto”.

Dunque l’accuratezza è una proprietà dei dati di addestramento, di input e di output”; . Tuttavia, una maggiore accuratezza non è necessariamente migliore. Questo argomento è stato affrontato da Desiere e Struyven¹⁴, i quali hanno analizzato diversi approcci di profiling utilizzati per classificare le persone in cerca di lavoro. In particolare, l’obiettivo del loro documento è illustrare come i modelli di profilazione basati sull’intelligenza artificiale possono migliorare l’accuratezza nell’identificazione di persone in cerca di lavoro vulnerabili, ma a costo di “discriminare” gli individui appartenenti a gruppi svantaggiati .

In questo caso, gli autori definiscono un modello “ingiusto” se le persone in cerca di lavoro appartenenti a gruppi svantaggiati (i quali hanno trovato un lavoro ex-post) hanno maggiori probabilità di essere classificati erroneamente come persone in cerca di lavoro ad alto rischio¹⁴. 

Per mostrare il trade-off tra equità e accuratezza, nello studio vengono confrontati tre approcci di profiling¹⁴: 

-Il primo classifica in modo casuale le persone in cerca di lavoro come ad alto rischio; 

-Il secondo classifica tutte le persone in cerca di lavoro poco qualificate come ad alto rischio;

-Il terzo è il VDAB model, si basa sull’ AI, e classifica le persone con un punteggio di profilazione inferiore al 45% come ad alto rischio. 

Nel confronto dei tre approcci emerge che la maggiore accuratezza del modello induce una discriminazione statistica. Ad esempio il secondo approccio rispetto al primo risulta essere più accurato, ma le persone in cerca di lavoro di origine straniera, hanno più probabilità di essere etichettate erroneamente ad “alto rischio” (43% contro 23%)¹⁴. Il terzo approccio, basato su AI, allo stesso modo risulta essere più accurato rispetto al secondo, ma anche in questo caso le probabilità che le persone in cerca di lavoro di origine straniera siano etichettate erroneamente ad “alto rischio” sale (39% contro 15%)¹⁴. Questo studio ci mostra come la percentuale di accuratezza di un modello non sempre equivalga a un modello giusto, di qualità, poiché l’aumento dell’accuratezza può creare problemi sul piano dell’equità. Tuttavia il valore di accuratezza di un modello, in fase di vendita, può essere ritenuto più importante di quello dell’equità dell’uguaglianza. 

4 Necessità di trasparenza 

Dati i precedenti punti, un altro aspetto rilevante che emerge dalla letteratura è la necessità di trasparenza, che riguarda tutti gli ambiti d’utilizzo. La scrutabilità dei risultati algoritmi, valutata in termini di trasparenza od opacità degli algoritmi, difatti si è rivelato uno dei principali timori legati all’utilizzo dei sistemi di decisioni automatizzati⁸. Tale requisito, si rivela di fondamentale importanza poiché gli algoritmi, poco prevedibili o spiegabili, sono difficili da controllare, monitorare e correggere.

Dunque, la trasparenza diventa necessaria per comprendere i processi e le logiche utilizzate dai sistemi decisionali, affinché i sistemi siano utilizzati in modo efficace, legale ed etico ⁸. L’opacità risulta essere rilevante anche dal punto di vista dei dati, poiché impedisce l’accesso e il controllo di questi ultimi. Tuttavia ,al momento, la trasparenza di queste tecnologie risulta essere poco diffusa, difatti, le logiche che si nascondono dietro ai sistemi autonomi sono delle scatole nere per il mondo esterno, invisibili e non comprese⁹, per questo si parla di opacità algoritmica. 

Hayes, van de Poel e Steen⁹ hanno individuato all’interno del loro contributo i diversi tipi di opacità che caratterizzano i sistemi decisionali autonomi e le motivazioni alla base di questa scelta. 

Il primo tipo di opacità è l’opacità intenzionale, in questo caso la segretezza viene mantenuta con il fine di preservare la proprietà intellettuale. In particolare, si vuole preservare il suo “vantaggio competitivo”, poiché la conoscenza degli input e della logica alla base del modello, potrebbero renderlo vulnerabile a manipolazione, duplicazione. 

Il secondo tipo di opacità è quella involontaria, che sorge nel momento in cui i responsabili dei sistemi decisionali autonomi non rivelano informazioni potenzialmente importanti sulla progettazione, sull’implementazione e sulla distribuzione di un algoritmo. Questo avviene perchè semplicemente non sono consapevoli della richiesta o della necessità di divulgazione.

 Il terzo tipo è l’opacità analfabeta, dovuta alla mancanza di abilità tecniche possedute da parte dei membri della società, per capire quali siano le logiche alla base degli algoritmi .

Il quarto, e ultimo tipo di opacità è l’opacità intrinseca, ed è dovuta alla mancanza di interpretabilità dei sistemi decisionali autonomi complessi come quelli costruiti tramite la tecnologia del deep learning.

 In particolare, il deep learning prevede un apprendimento non supervisionato, dunque è più difficoltoso comprendere come si sono evolute determinate decisioni all’interno dei cicli.

 La mancanza di trasparenza rende le ipotetiche contestazioni inefficaci e ne impedisce una potenziale correzione. C’è, dunque il rischio che sistemi decisionali autonomi continuino ad operare, talvolta, prendendo decisioni discutibili sul piano dell’equità. In tutto ciò, un numero sempre maggiore di individui decide di adottare questi sistemi decisionali per rendere le loro attività più efficienti ed oggettive, tuttavia pregiudizi e discriminazioni potrebbero venire automatizzate all’interno dei modelli, all’interno dei quali operano indisturbati⁷, minacciando così i diritti alla non discriminazione¹¹. 

Qui, ho reso noti alcuni degli aspetti più comuni che riguardano l’utilizzo di sistemi decisionali autonomi, i quali risultano coincidere con le maggiori problematiche legate al loro utilizzo. Seppure gli aspetti emersi siano stati separati analiticamente tra loro ai fini dell’analisi, bisogna precisare che questi sono, in realtà, strettamente collegati, e concorrono insieme nella creazione di una preoccupante realtà algoritmica. Difatti, la letteratura mostra particolare preoccupazione, poiché il verificarsi di situazione patologiche causate dai sistemi decisionali autonomi, non rappresenta un evento isolato. In particolare, il vasto utilizzo di questi sistemi, potrebbe avere delle ripercussioni negative a lungo termine, in modo diretto o indiretto, sulle vite di diversi individui.

Nello specifico, si fa riferimento alla possibile automatizzazione delle disuguaglianze e alla loro perpetuazione e amplificazione attraverso i sistemi decisionali autonomi. Difatti, gli algoritmi, in particolare quelli che utilizzano tecnologie di machine learning, tendono per natura ad imparare dall’esperienza e in particolare dai loro risultati passati. Tuttavia, a causa delle problematiche elencate, c’è la possibilità che questi sistemi apprendano e compiano cicli su dati viziati e distorti. Imparando inavvertitamente a riflettere i pregiudizi nascosti nelle informazioni elaborate, i quali confluiscono negli output e nei modelli prodotti. Portando così ad una automatizzazione delle attuali disparità economiche, sociali, di salute, di genere, ed altre ancora.

Di seguito approfondirò ulteriormente la tematica, focalizzandomi su gli algoritmi utilizzati da alcuni social network e sulle informazioni che rilasciamo inconsapevolmente in rete.

Algoritmi, visibilità online impronte “digitali”

Gli individui, durante la navigazione, troveranno di fronte a loro diversi contenuti a seconda del social che viene utilizzato. I colossi dei social media come Facebook, Instagram, YouTube, TikTok, utilizzano sistemi decisionali autonomi per scegliere e analizzare i contenuti da presentare agli individui, in base alle caratteristiche ritenute rilevanti dall’algoritmo. Pertanto, gli algoritmi decisionali, basandosi sui dati a loro disposizione e sulle indicazioni impartite dai privati, hanno il potere di decidere la visibilità dei contenuti, e dunque possono influenzare la partecipazione degli individui all’interni delle piattaforme online, scegliendone i termini e le condizioni¹⁵. In più, in queste piattaforme, simbolo del web 2.0, i contenuti vengono realizzati dagli utenti (o meglio creators), i quali, per avere maggiore visibilità, tendono a manipolare i loro contenuti affinchè questi vengano premiati dall’algoritmo.

Questo aspetto emerge solamente nell’ambito dei social media, poiché rappresenta un comportamento fisiologico di questi ultimi, basati su bacheche e presentazione di contenuti. Dalla letteratura, spicca la tesi sostenuta da Bishop¹⁷, che riferendosi alla piattaforma di YouTube, illustra come le forme di processo decisionale automatizzato possano creare gerarchie di visibilità discriminatoria. Difatti, questi favoriscono determinati utenti, i quali realizzano contenuti di genere, profondamente intrecciati con il consumo, e dunque allineati alle richieste e ai bisogni degli inserzionisti. Pertanto, secondo l’autrice, l’algoritmo utilizzato da YouTube sceglie intenzionalmente di pubblicare, e dare maggiore visibilità, a video coerenti con i propri obiettivi commerciali, punendo i contenuti non commercialmente validi attraverso l’oscuramento ¹⁷. 

Dunque, le pratiche algoritmiche possono contribuire alla creazione di ordini gerarchici di visibilità online, basati spesso sugli interessi economici delle piattaforme. Pochi anni dopo la globale diffusione dei social media, questi erano considerati una nuova opportunità. Poichè dava a tutti gli individui la possibilità di far sentire la propria voce, incrementando le possibilità di apertura e partecipazione, politica e sociale. Tuttavia, apprese le potenzialità economiche di queste piattaforme, la presentazione dei contenuti, e dunque la partecipazione degli utenti finisce per essere dettata, in molti casi, dalla redditività dei contenuti che si intende pubblicare. Dunque, la partecipazione degli utenti è parziale e diseguale. Si creano così, nuove gerarchie e disparità, meno visibili, ma rilevanti tanto quanto quelle che si verificano nella realtà analogica. 

I big data e i sistemi decisionali autonomi, vengono sempre più spesso utilizzati dagli istituti di credito, poiché promettono di facilitare l’accesso al credito. Recentemente sono emerse numerose società che forniscono prestiti, facendo molto affidamento sui big data raccolti online, elaborati interamente da algoritmi di apprendimento automatico¹⁸.

 Le seguenti società, avendo a disposizione un grandissimo numero di dati, non richiedono dunque il tradizionale punteggio di affidabilità. In particolare, si focalizzano sulle “impronte online” dei consumatori, e tracciano correlazioni tra il comportamento online e la capacità di rimborsare i prestiti¹⁸.

Esempi di impronte online possono essere le informazioni sui social network dei consumatori, o il tempo speso per leggere i termini e le condizioni. Un ulteriore esempio di impronta digitale può essere il corretto utilizzo delle lettere maiuscole durante la compilazione di una domanda, il quale, ha particolarmente a che fare con il livello di istruzione, il quale a sua volta è correlato allo status sociale, alla razza e alla nazionalità¹⁸. Dunque, le decisioni eque in ambito creditizio sono fondamentali. Poiché l’opportunità di ottenere un prestito, rappresenta una possibilità di accumulazione di ricchezza. L’accumulazione di ricchezza può essere particolarmente significativa per tutti quei soggetti che si trovano in una posizione di svantaggio. 

Conclusioni finali 

Dopo aver analizzato la letteratura riguardo le disuguaglianze e i sistemi decisionali autonomi, possiamo dire che l’utilizzo di sistemi decisionali autonomi può:  influenzare in modo disuguale le risorse e le opportunità degli individui, poichè possiedono la facoltà di prendere decisioni che andranno ad influire sulla qualità della vita degli individui. Difatti questi possono:

•  influenzare in modo disuguale la mobilità sociale: poiché, un algoritmo potrebbe decidere se si è meritevoli di ricevere un prestito. Questo può rappresentare una valida occasione per tenere gli individui lontani della povertà, e dare loro la possibilità di migliorare la loro mobilità sociale attraverso un investimento; 
•  contribuire alla stratificazione sociale: poiché i risultati diseguali possono contribuire alla strutturazione e alla trasmissione delle disuguaglianze negli anni; 
•  amplificare uno scorretto immaginario collettivo: poiché, un algoritmo di personalizzazione dei contenuti, mostrando contenuti coerenti con il proprio pensiero, potrebbe amplificare e confermare pregiudizi e ideologie. Andando ad amplificando o creando nuove discriminazioni verso alcuni gruppi/individui;  
• portare ad una situazione di cumulazione degli svantaggi: poiché, le categorie più svantaggiate nella realtà analogica tendono ad esserlo anche all’interno degli algoritmi. Ad esempio, una minoranza etnica sottorappresentata nelle cartelle cliniche elettroniche, a causa della poca accessibilità delle cure, potrebbe essere indicata come meno vulnerabile rispetto ad altri, portando a diagnosi errate. 

Possono dunque, portare a casi di discriminazione indiretta, poiché i criteri e le regole presenti negli algoritmi, apparentemente neutri, possono ripercuotersi negativamente sugli individui, in virtù di variabili, che di norma non dovrebbero influire sulla quantità di risorse possedute.

Pertanto, nonostante i risultati algoritmici possano colpire diversi aspetti nella nostra vita, in tutti casi possono causare la creazione di nuove gerarchie, le quali portano alcuni individui in posizioni di svantaggio o vantaggio; difatti, nelle casistiche presentate dalla letteratura, gli individui hanno ricevuto trattamenti differenziati in base alle risorse e agli attributi da loro posseduti, al ruolo da loro occupato, o in base a tutte quelle differenze socialmente rilevanti. 

Tuttavia, le tecnologie che fanno uso dei sistemi di AI, eseguono correttamente il loro compito, ovvero quello di riprodurre la realtà. La quale in molti casi si rivela più crudele del dovuto nei confronti di alcuni individui e gruppi. Per tali motivazioni, risulta necessario fissare degli standard, prima che i risultati algoritmi possano influire in maniera negativa sull’attuale società e sui diritti di migliaia di individui. Dunque, gli algoritmi hanno la possibilità di scrivere il futuro e le sorti degli individui. Per tale motivazione, il loro sviluppo dovrebbe sempre essere responsabile e consapevole, in modo da garantire dei risultati equi e giusti. 

Immagine da shutterstock.com

Fonti e citazioni 

1. Talia D., La società calcolabile e i big data: Algoritmi e persone nel mondo digitale, 2018, Soveria Mannelli, Rubbettino.
2. Airoldi M., 2020 Lo spettro dell’algoritmo e le scienze sociali. Prospettive critiche su macchine intelligenti e automazione delle disuguaglianze, in il Mulino, p.113.
3. Aragona B., 2020, Sistemi di decisione algoritmica e disuguaglianze sociali: le evidenze della ricerca, il ruolo della politica, in la Rivista delle Politiche Sociali, pp.3-10.
4. Fourcade M.  & Johns F., 2020, Loops, ladders and links: the recursivity of social and machine learning, in Theory and Society pp. 4-15.
5.  O’Neil C., Armi di distruzione matematica. Come i big data aumentano la disuguaglianza e minacciano la democrazia, 2017, Firenze, Giunti Editore.
6. Gianfrancesco M. et al., 2020, Potential Biases in Machine Learning Algorithms Using Electronic Health Record Data, in JAMA Internal Medicine, pp.1-4.
7. Mujtaba D. F., Mahapatra R. N., 2019, Ethical Considerations in AI-Based Recruitment, in 2019 IEEE International Symposium on Technology in Society (ISTAS) Proceedings, pp.1-4.
8. Perego B., 2020, Predictive policing: trasparenza degli algoritmi, impatto sulla privacy e risvolti discriminatori, in BioLaw Journal, pp.447-465.
9. Hayes P., van de Poel I., Steen M., 2020, Algorithms and values in justice and security, in AI and Society, pp.533-552.
10. Straw I. e Burch C., 2020, Artificial Intelligence in mental health and the biases of language-based models, in PLOS ONE, pp. 1-15.
11. Keddell, E., 2019, Algorithmic Justice in Child Protection: Statistical Fairness, Social Justice and the Implications for Practice, in Social Science, pp.1-17.
12.  Safransky S., 2020, Geographies of Algorithmic Violence: Redlining the Smart City, in INTERNATIONAL JOURNAL OF URBAN AND REGIONAL RESEARCH, pp.1-17.
13. Hayes P., van de Poel I., Steen M., 2020, Algorithms and values in justice and security, in AI and Society, pp.533-552.
14. Desiere S., Struyven L., 2020, Using Artificial Intelligence to classify Jobseekers: The Accuracy-Equity Trade-off, in Cambridge University Press, pp.1-16.
15. Semenzin, TEDxLakeComo, 2019
16. Hertza V. A., 2018, Fighting unfair classifications in credit reporting: should the United States adopt GDPR-inspired rights in regulating consumer credit? In New York University Law Review, pp.1708-1725.