Domanda: se un algoritmo è solo matematica, come può essere ingiusto?

Perché i sistemi di IA ereditano i bias dei dati

Lo squilibrio non nasce nel calcolo. Entra prima e dopo: nei dati raccolti, nelle etichette, nell'obiettivo scelto e nel modo in cui si usa il risultato.

Dati ed eticaPubblicato il Lettura di 5 minutiA cura della redazione di leggereigrafici.com

Da ricordare

  • Un modello riproduce gli squilibri presenti nei dati con cui è addestrato.
  • Togliere una variabile sensibile non basta: altre variabili possono sostituirla.
  • Non esiste una sola definizione di equità; ogni scelta va dichiarata.

"Il computer non ha pregiudizi." È una frase che si sente spesso, e in un senso stretto è vera: un calcolo è un calcolo. Il problema è che un sistema di apprendimento automatico non inventa le sue regole dal nulla. Le ricava dai dati, e i dati raccontano il mondo com'era, con tutti i suoi squilibri. Vediamo dove entrano e perché è difficile farli uscire.

Domanda: di quale bias stiamo parlando?

Che cosa intendiamo per bias

In statistica il bias è uno scostamento sistematico: un errore che va sempre nella stessa direzione. Nel dibattito sull'IA il termine indica soprattutto gli errori che colpiscono in modo diverso gruppi diversi di persone. Un sistema di riconoscimento vocale che sbaglia più spesso con alcuni accenti regionali, per esempio, ha un bias anche se la sua precisione media è alta.

Il punto chiave è proprio questo: una buona media può nascondere differenze forti tra i gruppi. Per vederle bisogna misurare le prestazioni separatamente, gruppo per gruppo.

Domanda: in quali momenti lo squilibrio entra nel sistema?

Quattro porte d'ingresso

Dati raccolti
Se alcuni gruppi sono poco presenti, il modello impara poco su di loro e sbaglia di più.
Etichette
Le risposte "corrette" sono spesso decisioni umane del passato, con i loro pregiudizi.
Obiettivo
Il modello ottimizza ciò che gli si chiede. Se l'obiettivo è una misura indiretta, eredita le sue distorsioni.
Uso del risultato
Lo stesso punteggio può essere usato con cautela o applicato in automatico, con effetti molto diversi.
I quattro punti in cui uno squilibrio può entrare in un sistema di apprendimento automatico.

Un esempio molto citato riguarda la selezione del personale. Alla fine degli anni Dieci un grande gruppo tecnologico ha sperimentato un sistema per ordinare i curriculum, addestrato sulle assunzioni dei dieci anni precedenti. Poiché in quel periodo erano stati assunti soprattutto uomini, il modello aveva imparato a penalizzare elementi associati alle candidate donne. Il progetto è stato abbandonato. Il modello aveva fatto esattamente ciò per cui era stato addestrato: imitare le decisioni passate.

Un altro caso, documentato in uno studio pubblicato sulla rivista Science nel 2019, riguarda un algoritmo sanitario statunitense che usava la spesa medica passata come misura del bisogno di cure. Poiché alcuni gruppi avevano avuto meno accesso alle cure, e quindi spese più basse, il sistema sottostimava il loro bisogno reale. Qui il problema era nell'obiettivo.

Domanda: basta togliere i dati sensibili?

Le variabili indirette

Sembra la soluzione più semplice: se non vuoi che il modello tenga conto del genere o dell'origine, non dargli quelle informazioni. Purtroppo non funziona così. Altre variabili possono essere fortemente correlate a quelle escluse e farne le veci. Il codice postale può riflettere la composizione sociale di un quartiere. Il tipo di corso di studi può riflettere il genere. Lo storico di acquisti può riflettere l'età.

Queste sono le variabili indirette, dette anche variabili sostitutive. Il modello non "sa" di usarle in modo discriminatorio: trova semplicemente che sono utili a prevedere l'etichetta. Per scoprirle servono analisi specifiche, e a volte proprio i dati sensibili che si volevano evitare, raccolti e trattati con le tutele previste dalla legge, per misurare le differenze tra i gruppi.

Domanda: che cosa succede quando il tema è il denaro?

Un caso di studio: il credito

La valutazione del merito creditizio è uno degli usi dell'IA più discussi, al punto che il regolamento europeo sull'intelligenza artificiale la include tra i casi ad alto rischio quando riguarda persone fisiche. Il motivo è chiaro: un punteggio può decidere se una famiglia ottiene un prestito.

I dati storici sul credito riflettono chi in passato ha ricevuto prestiti e a quali condizioni. Chi non ha una storia creditizia, per esempio un giovane o una persona arrivata da poco in un paese, è poco rappresentato. Il modello rischia di trattare l'assenza di dati come un segnale negativo. Per questo i regolatori europei chiedono che questi sistemi siano documentati, controllati nel tempo e spiegabili, e che la persona interessata possa chiedere un intervento umano.

Nota bene: qui stiamo descrivendo come funzionano questi sistemi, non come ottenere un punteggio migliore né come scegliere un prodotto finanziario.

Domanda: che cosa puoi fare, da utente o da cittadino?

Che cosa si può chiedere

Eliminare del tutto il bias non è possibile, anche perché esistono più definizioni di equità e spesso non si possono soddisfare tutte insieme. Per esempio, avere lo stesso tasso di errore in ogni gruppo e avere la stessa percentuale di esiti positivi in ogni gruppo sono obiettivi che, in molti casi, si escludono a vicenda. Si può però rendere il problema visibile e gestito.

  • Chiedere su quali dati è stato addestrato il sistema e se sono rappresentativi della popolazione a cui si applica.
  • Chiedere se le prestazioni sono state misurate separatamente per gruppi diversi.
  • Chiedere quale definizione di equità è stata scelta, e perché.
  • Sapere se una persona può rivedere la decisione e come contestarla.

Sono domande che chiunque può porre. Non richiedono competenze tecniche, solo la consapevolezza che un modello impara dal passato. E il passato non è neutrale.

Torna a tutte le letture