Dove vive l’intelligenza

La maggior parte delle discussioni sull’IA nelle organizzazioni comincia dalla scelta di un modello: quale ragiona meglio, quale costa meno, su quale l’azienda dovrebbe uniformarsi. La domanda è ragionevole, e la risposta continuerà a cambiare. Un modello adottato quest’anno verrà sostituito, aggiornato o combinato con altri, spesso più di una volta, prima che le decisioni che ha contribuito a prendere abbiano prodotto tutti i loro effetti.

Questa velocità di cambiamento solleva una domanda che viene prima: dove dovrebbe vivere l’intelligenza di un’organizzazione? Non la capacità di generare una risposta, che si può prendere in affitto, ma ciò che rende una risposta propria di questa organizzazione: che cosa significano le sue parole, chi è autorizzato a decidere che cosa, che cosa è stato fatto prima e che cosa ne è derivato. Se tutto questo vive dentro un modello particolare, l’intelligenza dell’organizzazione viene sostituita ogni volta che lo è il modello.

La mia risposta è che lo strato durevole non è il modello, ma qualcosa di più simile a un sistema operativo: uno strato che conserva significato, causalità, autorità e memoria attraverso i modelli. Non è un argomento a favore della costruzione di un proprio modello di base. È un argomento su che cosa non dovrebbe essere preso in affitto.

I modelli generano, gli agenti agiscono

Conviene separare tre ruoli che si confondono facilmente. Un modello genera: dato un contesto, produce testo, codice, un piano, una classificazione. Un agente agisce: riceve un obiettivo, usa strumenti e cambia qualcosa nel mondo. Nessuno dei due, di per sé, conserva ciò di cui un’organizzazione ha bisogno per restare sé stessa nel tempo: l’identità delle cose di cui si occupa, il contesto in cui una scelta è stata fatta e le conseguenze che ne sono seguite.

Per il terzo ruolo l’analogia del sistema operativo è utile, purché la si prenda con precisione. Un sistema operativo non calcola la risposta di un programma. Offre ai programmi un ambiente stabile: identità, permessi, una memoria che persiste dopo la fine di un processo e interfacce che permettono all’hardware e ai programmi di cambiare senza riscrivere tutto il resto. Il suo valore sta in ciò che mantiene costante mentre i componenti cambiano.

La stessa divisione vale qui. I modelli somigliano ai processori: indispensabili, in rapido miglioramento e, in linea di principio, intercambiabili. Gli agenti somigliano ai programmi. Ciò che manca alla maggior parte delle organizzazioni è lo strato sotto entrambi, quello che dice che cosa sono le cose, chi può fare che cosa e che cosa è accaduto. Senza di esso, ogni nuovo modello e ogni nuovo agente parte da un prompt, e il prompt diventa silenziosamente il luogo in cui è custodito il significato dell’organizzazione.

La prova della sostituzione

Una prova semplice mostra dove vive oggi l’intelligenza di un’organizzazione. Immaginiamo che domani il modello alla base di ogni flusso di lavoro venga sostituito con un altro di capacità simile. Che cosa sopravvivrebbe senza cambiamenti? Le definizioni dei termini chiave, i confini dell’autorità, la registrazione delle decisioni passate e dei loro esiti? Oppure tutto questo andrebbe riscoperto a partire dal comportamento del nuovo modello?

Consideriamo un’azienda immaginaria che usa un agente per preparare i rinnovi dei contratti. Nel corso di un anno, che cosa significhi «pronto per il rinnovo», quali sconti un responsabile possa approvare da solo e quali sconti passati abbiano preceduto la perdita di un cliente finiscono tutti scritti in un lungo prompt, messo a punto per tentativi su un unico modello. Poi il modello viene sostituito. Il nuovo modello legge lo stesso prompt e interpreta la regola sugli sconti in modo leggermente diverso. Niente si rompe in modo evidente. Le proposte cambiano, le approvazioni continuano, e nessuno sa dire quale significato si sia spostato, perché il significato non era mai stato conservato altrove che nell’interazione tra un prompt e un modello.

Supponiamo invece che la stessa azienda avesse conservato quegli elementi come registrazioni che l’agente consulta, anziché come istruzioni che assorbe: uno stato definito per la prontezza al rinnovo, un confine esplicito di autorità sugli sconti e una storia collegata dei rinnovi passati con i loro esiti. Sostituire il modello diventa un esperimento, non un azzeramento. La domanda non è più se il nuovo modello possa essere indotto a comportarsi come il vecchio, ma se, con lo stesso significato e la stessa autorità, proponga rinnovi migliori. L’organizzazione può confrontare, perché ciò che sa non si è spostato insieme al modello.

Che cosa custodisce lo strato operativo

Lo strato deve custodire quattro cose, e ciascuna è stata l’oggetto di un saggio in questo sito. La prima è il significato: le entità, le relazioni, gli stati e le evidenze che hanno conseguenze operative. Il significato prima dell’automazione sosteneva che debba trattarsi di un accordo piccolo e vivo, non di un’ontologia perfetta. Nello strato operativo quell’accordo diventa l’ambiente da cui ogni modello legge, invece di un paragrafo che ogni prompt ripete.

La seconda è l’autorità: quali azioni possono essere osservate, preparate, eseguite in modo reversibile o soltanto autorizzate da una persona nominata. L’autorità umana nell’epoca degli agenti sosteneva che l’autorità è un sistema, non un pulsante. Un sistema di autorità non può essere ricavato di nuovo dal modello che in quel momento è in funzione: deve stare fuori da ogni modello e valere per tutti. La terza è la memoria: le decisioni con le loro ragioni, il loro responsabile, la loro esecuzione e il loro esito, comprese le domande che restano aperte. In Costruire aziende che imparano l’ho chiamata una memoria che produce conseguenze.

La quarta è la causalità: non soltanto che cosa è accaduto, ma dopo quale azione, e come quell’azione possa aver modellato ciò che è stato osservato. Una predizione che alloca osserva il futuro? mostrava come un’allocazione possa fabbricare proprio l’evidenza che poi viene contata come accuratezza. Un modello non può distinguerlo soltanto dai dati di addestramento o dal proprio contesto. Lo strato operativo può almeno registrare quale decisione abbia cambiato quale allocazione, così che il modello successivo non venga addestrato sull’intervento del precedente come se fosse il mondo.

Quando il modello basta

L’obiezione più forte è che i fornitori di modelli assorbiranno questo strato. I modelli dispongono già di contesti più lunghi, memoria persistente e strumenti integrati. Se la tendenza continua, uno strato operativo separato può sembrare un’infrastruttura duplicata: costosa da costruire e destinata a restare indietro rispetto a ciò che i fornitori rilasciano.

In alcuni casi l’obiezione vince. Quando il lavoro ha conseguenze modeste, quando i significati in gioco sono generici e non propri di una sola organizzazione, quando cambiare modello è improbabile o gli errori si correggono a basso costo, il modello e la sua memoria integrata bastano. Costruire lì uno strato operativo sarebbe una cerimonia.

Ma l’argomento non riguarda dove siano conservati i dati. Riguarda chi possiede i significati e se questi possano essere ispezionati, corretti e portati altrove. Se la memoria di un fornitore permette a un’organizzazione di vedere che cosa contiene, di modificarla deliberatamente, di collegarvi l’autorità e di portarla con sé quando se ne va, allora quella memoria funziona già come strato operativo: semplicemente, è ospitata da qualcun altro. La domanda da porre a qualsiasi piattaforma non è quanto ricordi, ma se ciò che ricorda resti proprio dell’organizzazione.

Uno strato che si può correggere

Anche uno strato operativo può fallire, a modo suo. Può irrigidirsi in un’ontologia burocratica che nessuno aggiorna, così che i significati ufficiali dell’organizzazione si allontanano dal lavoro reale. Può diventare una nuova forma di dipendenza, semplicemente spostata dal fornitore del modello allo strato. E, centralizzando il significato, può cancellare le differenze locali attraverso cui le persone notano ciò che le definizioni condivise non vedono. L’evoluzione delle macchine e il futuro umano descriveva un terreno comune che rende possibile l’unicità invece di pretendere uniformità; uno strato che impone un solo significato a ogni gruppo va nella direzione opposta.

Per questo lo strato va costruito per essere corretto. Ogni significato dovrebbe registrare da dove viene e chi può cambiarlo. I disaccordi dovrebbero restare visibili come disaccordi, invece di essere risolti da un valore predefinito. Dove le conseguenze differiscono, dovrebbero essere ammesse varianti locali. E lo strato stesso dovrebbe essere osservabile, così da poterlo mettere alla prova e sostituire con la stessa onestà con cui si sostituisce un modello.

I modelli continueranno a migliorare, e le organizzazioni che li usano dovrebbero accogliere ogni miglioramento. È proprio per questo che la parte che non deve cambiare con loro va costruita deliberatamente. Che cosa un’organizzazione intende, chi può decidere, che cosa ha fatto e che cosa ne è derivato non sono funzioni di un modello. Sono l’intelligenza propria dell’organizzazione, e meritano uno strato che duri più a lungo di qualsiasi modello vi giri sopra.

Torna agli scritti