Quando una previsione diventa un intervento

Una predizione sembra descrivere qualcosa che non è ancora accaduto: domanda, abbandono, incidenti, malattia o insolvenza. Se un’organizzazione sa leggere il futuro con precisione, può indirizzare persone e denaro scarsi nei luoghi giusti. I modelli predittivi sono quindi valutati prima di tutto per l’accuratezza. Molte organizzazioni trattano ancora un aumento di accuratezza dopo l’introduzione come una lettura più chiara di un futuro indipendente. Una volta che la predizione alloca personale, credito, sostegno o controllo, non è più indipendente dal proprio oggetto. Il quadro più preciso è un ciclo decisionale: la previsione muove risorse, poi viene giudicata rispetto al mondo che quelle risorse hanno contribuito a produrre. La domanda non è soltanto se il futuro è stato letto correttamente. È quale futuro è diventato più facile da far accadere.

Si entra nel ciclo in più di un modo. Aumentare le scorte dove la domanda è prevista alta crea più occasioni di acquisto. Rafforzare il personale in un distretto rende più probabile che il disagio entri nei registri. Sottrarre lavoro importante a una persona giudicata propensa a andarsene cambia le sue ragioni per restare. L’intervento cambia l’oggetto stesso. L’osservazione cambia ciò che si può misurare. La risposta cambia le ragioni umane. Ripiegati in un unico ciclo, nascondono dove l’accuratezza sta fabbricando la propria prova.

Un ciclo che produce le proprie evidenze

Si consideri un comune immaginario che alloca il personale di sostegno sociale in base al volume previsto di consultazioni. I distretti con molte consultazioni registrate l’anno precedente ricevono più personale; quelli con meno ne ricevono meno, e il disagio entra meno facilmente nei registri. Non è la descrizione di un comune o di un programma reale. Ciò che cambia per primo non è il disagio in sé, ma la capacità di scoprirlo. Quando il modello successivo apprende dai nuovi registri, le aree che hanno ricevuto più sostegno sembrano contenere più domanda. Chiamare domanda le consultazioni registrate è già una decisione sul significato. Il problema trattato in Il significato prima dell’automazione si presenta anche qui: se quel significato resta implicito, il modello successivo non toglie la confusione; ne fa la premessa dell’allocazione. Il modello riutilizza dati in parte prodotti dal proprio impiego come se fossero evidenze indipendenti sul mondo.

Sul percorso dell’osservazione, l’errore non è l’unico pericolo. Un modello può restare accurato nel mondo creato dopo l’allocazione e al tempo stesso mancare in modo persistente bisogni che un’altra allocazione avrebbe rivelato. Il futuro non visto non lascia etichette. L’intervento conta come successo l’esito che ha contribuito a creare. La risposta conta come conferma il comportamento che ha contribuito a indurre. Adattarsi al futuro che si è verificato non è lo stesso che confrontare i futuri che erano possibili.

L’accuratezza dopo che il mondo risponde

L’accuratezza successiva all’introduzione mescola due effetti: il modello ha rappresentato bene il mondo, e il mondo è stato cambiato per assomigliare al modello. Il secondo dipende da quale tra intervento, osservazione o risposta si è mosso. Se si riporta soltanto l’aumento di accuratezza, l’istituzione conta la propria influenza come prova di correttezza. Costruire aziende che imparano poneva qui il criterio: un’organizzazione impara solo quando decisione, autorità, esecuzione ed esito osservato restano collegati. Se l’esito che torna è stato prodotto dall’allocazione, quel collegamento non chiude l’apprendimento. Chiude una memoria di intervento.

Quando le predizioni sostengono le decisioni, possono cambiare la distribuzione che mirano a prevedere. Quel fenomeno è stato formalizzato come predizione performativa.[1] Riaddestrare adatta allora il modello successivo a una realtà che il precedente ha contribuito a produrre. La convergenza verso una predizione stabile non stabilisce, di per sé, che lo stato sociale risultante sia desiderabile. Un modello matematico di polizia predittiva mostra come il crimine scoperto possa tornare come input, inviando ripetutamente la polizia negli stessi quartieri indipendentemente dal vero tasso di criminalità.[2] Il risultato non può essere generalizzato a ogni istituzione. Rende però chiara una struttura: l’accuratezza può contare l’aver reso visibile qualcosa come l’aver letto il mondo.

Quando la predizione può restare vicina all’osservazione

Non ogni predizione cambia in modo sostanziale la quantità rispetto alla quale viene valutata. Una previsione meteorologica a breve termine non fa piovere. Se a essere valutata è la pioggia stessa, il percorso dell’intervento può essere quasi vuoto. La stessa previsione cambia però se le persone viaggiano o acquistano, quindi un altro oggetto può ancora muoversi sul percorso della risposta. Una previsione di domanda di un solo partecipante in un mercato sufficientemente ampio può non muovere né l’oggetto a livello di mercato, né ciò che si può osservare, né le ragioni di nessuno per agire. L’accuratezza convenzionale resta utile quando intervento, osservazione e risposta sono tutti deboli per la quantità valutata.

La predizione può restare utile quando l’intervento è reale, lo scopo è chiaro, gli esiti si possono confrontare e un errore si può riparare. Dare priorità alle ispezioni in base al rischio di guasto soddisfa spesso queste condizioni. Allocare risorse mediche scarse in base all’urgenza può avere uno scopo chiaro e lasciare tuttavia una perdita irreversibile sul lato non visto. Non è una ragione per rifiutare la predizione. È una ragione per non contare l’accuratezza successiva all’allocazione come osservazione di un futuro indipendente. Dove i tre percorsi sono deboli e gli effetti sono reversibili, l’accuratezza può restare centrale. Dove gli effetti sono grandi e si auto-rafforzano, è necessaria un’altra forma di valutazione.

Strumenti dopo l’allocazione

Una predizione che si auto-rafforza richiede progetti che recuperino i confronti perduti quando un futuro si realizza. Registrare quali allocazioni sono cambiate a causa di quale predizione, e misurare accesso, scoperta e recupero insieme all’accuratezza. Parte dell’allocazione può essere tenuta indipendente dalla predizione per cercare le etichette che l’osservazione ha perso. Quella misura non è gratuita. Assottiglia o sospende il trattamento per qualcuno, al fine di vedere che cosa il modello avrebbe mancato. Dove quel trattamento più sottile è esso stesso il danno, l’identificabilità non può essere comprata dalle persone tenute fuori. Quando sospendere non è lecito, il confronto che resta è tra rendere più precisa la selezione e allargare la possibilità di essere selezionati.[3] Migliorare la predizione non è sempre la via migliore verso l’obiettivo.

Una predizione che alloca osserva il futuro? Solo quando intervento, osservazione e risposta sono tutti deboli per la quantità valutata. Se uno di quei percorsi si è mosso, la risposta è no: l’accuratezza è un registro del ciclo decisionale, non la lettura di un futuro indipendente. L’autorità umana nell’epoca degli agenti è la tesi complementare: l’autorità non si conserva con un pulsante di approvazione. Ciò che va assunto non è il rapporto secondo cui il modello aveva ragione, ma quali evidenze sono state contate e quale allocazione è stata resa irreversibile. Questo futuro è accaduto in parte perché era stato predetto? E l’organizzazione ha conservato spazio perché un altro futuro potesse diventare possibile?

Note

  1. Juan Perdomo, Tijana Zrnic, Celestine Mendler-Dünner e Moritz Hardt, «Performative Prediction», Proceedings of Machine Learning Research 119, 2020. https://proceedings.mlr.press/v119/perdomo20a.html
  2. Danielle Ensign, Sorelle A. Friedler, Scott Neville, Carlos Scheidegger e Suresh Venkatasubramanian, «Runaway Feedback Loops in Predictive Policing», Proceedings of Machine Learning Research 81, 2018. https://proceedings.mlr.press/v81/ensign18a.html
  3. Juan Carlos Perdomo, «The Relative Value of Prediction in Algorithmic Decision Making», Proceedings of Machine Learning Research 235, 2024. https://proceedings.mlr.press/v235/perdomo24a.html
Torna agli scritti