Vai al contenuto

Prometeo

Responsabilità e limiti

Dire prima a quali condizioni un modello funziona.

Che cosa succede se un modello sbaglia

Nel mondo della tecnologia circola una promessa implicita, raramente detta e quasi sempre suggerita: funzionerà. Nei sistemi complessi questa promessa non è una garanzia, è una superstizione. Questa pagina spiega come affrontiamo l'errore, i limiti e la possibilità che un progetto non riesca, perché è da queste cose, più che dai successi, che si capisce di chi fidarsi.

Ogni modello matematico nasce da una rappresentazione della realtà e conserva la propria validità soltanto entro determinate condizioni. Per Prometeo, la responsabilità consiste nel rendere esplicite queste condizioni, verificare la qualità dei risultati e riconoscere i limiti della conoscenza disponibile. È un impegno che attraversa l’intero progetto, dalla formulazione delle ipotesi fino alle conseguenze delle decisioni che ne derivano.

La responsabilità comincia dalle condizioni di validità

Il funzionamento di un modello non è una proprietà che appartiene allo strumento indipendentemente da tutto ciò che lo circonda, ma il risultato di una relazione tra il contesto nel quale viene applicato, i dati di cui dispone, le ipotesi sulle quali è stato costruito, le persone che lo utilizzano e il modo in cui viene mantenuto nel tempo. Un modello può descrivere con grande precisione un determinato fenomeno e perdere progressivamente la propria capacità di rappresentarlo quando cambiano le condizioni che ne avevano reso possibile la costruzione, senza che questo implichi necessariamente un errore nella sua formulazione matematica.

È proprio questa distinzione a determinare il nostro modo di intendere la responsabilità professionale. Quando affrontiamo un problema non ci limitiamo a stabilire se disponiamo delle competenze e degli strumenti necessari per costruire una soluzione, ma cerchiamo di comprendere entro quali condizioni quella soluzione potrà effettivamente produrre risultati affidabili, come sarà possibile verificarli e quali segnali dovranno essere osservati per riconoscere un eventuale deterioramento delle prestazioni. Non promettiamo quindi un funzionamento indipendente dalle circostanze, perché una promessa di questo genere sarebbe incompatibile con la natura stessa dei sistemi che studiamo.

Quattro impegni per rendere operativa la responsabilità

La responsabilità, per Prometeo, non è una qualità che si possa semplicemente attribuire alle persone o dichiarare attraverso una formulazione di principio. Deve trovare una propria espressione nell’organizzazione del lavoro, nelle procedure di verifica e nei rapporti tra chi sviluppa un modello e chi sarà chiamato a utilizzarlo. Per questa ragione abbiamo individuato quattro impegni che accompagnano ogni progetto e che permettono di tradurre un orientamento culturale e scientifico in comportamenti concretamente osservabili.

Dichiarare i confini

Ogni modello possiede un campo di applicabilità determinato dalla natura del problema, dalle caratteristiche del sistema osservato, dalle ipotesi adottate e dalle informazioni disponibili. Conoscere questi confini è indispensabile per interpretare correttamente i risultati, soprattutto quando vengono utilizzati per prendere decisioni che producono conseguenze economiche, organizzative o operative. Una previsione può essere sufficientemente affidabile in determinate condizioni e diventare progressivamente meno significativa quando quelle condizioni vengono meno, così come una relazione individuata tra alcune variabili può non conservare lo stesso valore in un contesto differente.

Per questo consideriamo parte integrante del nostro lavoro rendere esplicite le condizioni di validità, le incertezze e gli elementi che il modello non è in grado di rappresentare. Non si tratta di accompagnare una soluzione con una serie di avvertenze destinate a limitarne formalmente la responsabilità, ma di fornire a chi la utilizza le conoscenze necessarie per comprenderne il funzionamento e riconoscere le circostanze nelle quali sarà opportuno sottoporla a una nuova verifica.

Rendere misurabile ciò che promettiamo

La valutazione di un progetto richiede che gli obiettivi siano definiti attraverso criteri comprensibili e condivisi, perché concetti apparentemente semplici come miglioramento, efficienza o affidabilità possono assumere significati molto diversi a seconda delle caratteristiche dell’organizzazione e del problema affrontato. Una riduzione dei tempi di produzione, per esempio, può apparire desiderabile fino a quando non si considerano i suoi effetti sulla qualità, sui consumi energetici o sulla stabilità degli altri processi coinvolti.

La scelta delle metriche non può quindi essere considerata un’attività secondaria, da affrontare soltanto quando il modello è già stato realizzato. Richiede una riflessione preliminare su ciò che l’organizzazione intende effettivamente ottenere, sulle relazioni tra i diversi obiettivi e sulle condizioni che rendono significativo il confronto tra la situazione iniziale e i risultati raggiunti. Rendere misurabile una promessa significa costruire, insieme al cliente, un criterio di valutazione che rappresenti il problema reale, evitando di privilegiare indicatori facilmente disponibili ma poco pertinenti rispetto alle decisioni che devono essere sostenute.

Assumerci le conseguenze

Un modello matematico non esaurisce la propria funzione nel momento in cui restituisce un risultato, perché quel risultato entra in un processo decisionale che può incidere sull’impiego delle risorse, sull’organizzazione del lavoro, sulle strategie industriali e, in alcuni casi, sulla sicurezza delle persone. La distanza tra chi sviluppa uno strumento e chi ne utilizza le indicazioni non elimina la relazione tra il modello e le conseguenze che il suo impiego può produrre.

Questo non significa confondere le responsabilità. La decisione appartiene a chi possiede l’autorità, le informazioni di contesto e il compito di assumerla, mentre a noi compete la responsabilità relativa alla qualità metodologica, alla validazione, alla trasparenza e alla corretta rappresentazione dei limiti dello strumento che abbiamo costruito. Le due dimensioni devono rimanere distinte, ma non possono diventare estranee l’una all’altra. Il nostro lavoro comprende anche la capacità di spiegare quali implicazioni derivano dai risultati e in quali condizioni questi possono sostenere ragionevolmente una decisione, senza lasciare al cliente l’onere di interpretare autonomamente aspetti che appartengono alla nostra competenza scientifica e tecnica.

Costruire governance

La competenza e la buona fede delle persone sono condizioni importanti, ma non sufficienti per garantire che un sistema continui a funzionare correttamente nel tempo. I dati cambiano, i processi si modificano, le organizzazioni evolvono e le persone che hanno partecipato alla costruzione di un modello possono essere sostituite da altre che non ne conoscono necessariamente tutte le premesse. Affidare la continuità di un progetto esclusivamente alla memoria e all’attenzione individuale significa introdurre una fragilità che potrebbe manifestarsi proprio quando il sistema diventa più importante per l’organizzazione.

Per questo la responsabilità deve essere incorporata in una struttura di governance fatta di ruoli, regole, controlli e procedure di revisione, capace di stabilire chi verifica la qualità dei dati, chi monitora le prestazioni, quali modifiche possono essere introdotte e secondo quali criteri diventa necessario riconsiderare le ipotesi iniziali. Una struttura di questo genere permette di mantenere il controllo sul modello anche quando cambiano le persone o le condizioni operative, rendendo la sua affidabilità meno dipendente dalle circostanze individuali e più radicata nell’organizzazione che lo utilizza.

Comprendere perché un progetto può non riuscire

La possibilità di un insuccesso appartiene alla natura dei progetti che affrontano problemi complessi e non può essere eliminata attraverso una promessa commerciale, per quanto rassicurante. Può essere invece studiata, circoscritta e affrontata attraverso un metodo che consenta di riconoscerne le cause prima che le conseguenze diventino difficili da gestire. Distinguere le differenti origini di un possibile fallimento è particolarmente importante, perché non tutte dipendono dalla tecnologia e non tutte possono essere risolte intervenendo sul modello.

Limiti tecnici e conoscitivi

Un progetto può incontrare difficoltà perché i dati disponibili sono insufficienti, incompleti o raccolti secondo criteri incoerenti, oppure perché alcune variabili decisive non possono essere osservate con la precisione necessaria. In altri casi sono le ipotesi iniziali a rivelarsi inadeguate, oppure il sistema reale cambia nel corso del tempo fino a rendere meno rappresentativa la struttura matematica che era stata costruita per descriverlo.

Queste situazioni richiedono di comprendere se il problema possa essere affrontato migliorando la qualità delle informazioni, modificando le ipotesi o ridefinendo il campo di applicazione del modello. La sofisticazione di un algoritmo non può compensare automaticamente l’assenza delle condizioni conoscitive necessarie, e insistere su una soluzione tecnicamente più complessa può talvolta allontanare ulteriormente dalla comprensione del problema originario.

Limiti organizzativi

Esistono poi progetti nei quali la qualità del modello non è sufficiente a produrre un miglioramento, perché l’organizzazione non dispone delle condizioni necessarie per tradurne i risultati in comportamenti operativi. I processi possono essere instabili, la responsabilità dei dati può non essere chiaramente attribuita, le informazioni possono essere distribuite tra sistemi che non comunicano oppure possono emergere resistenze legate al cambiamento delle procedure e delle responsabilità interne.

Può anche accadere che un’organizzazione desideri ottenere risultati diversi senza essere realmente disponibile a modificare le condizioni che hanno prodotto quelli attuali. In questi casi il problema non riguarda principalmente la capacità di previsione o di ottimizzazione, ma il rapporto tra lo strumento e il contesto nel quale dovrebbe operare. È per questo che la valutazione della fattibilità organizzativa deve accompagnare quella tecnica, considerando fin dall’inizio le persone, i processi e le responsabilità che saranno coinvolti nell’applicazione del modello.

La definizione iniziale del problema

Una delle cause più insidiose di insuccesso si presenta quando il problema viene formulato in modo inadeguato fin dall’inizio. Le richieste che arrivano da un’organizzazione nascono spesso dall’osservazione di un sintomo, da una difficoltà ricorrente o dall’esigenza di migliorare un indicatore, senza che siano ancora state comprese tutte le relazioni che lo determinano. Se questa formulazione viene accettata senza una verifica approfondita, si corre il rischio di costruire una soluzione matematicamente corretta che interviene su un aspetto marginale del fenomeno oppure trascura proprio le variabili che ne spiegano il comportamento.

La definizione del problema richiede quindi un lavoro di confronto con le persone che conoscono il sistema, di ricostruzione delle relazioni causali e di analisi dei vincoli, attraverso il quale una richiesta iniziale può essere precisata, modificata o talvolta completamente riformulata. Consideriamo questo passaggio parte essenziale della nostra responsabilità, perché la qualità della soluzione dipende anche dalla capacità di riconoscere quando la domanda iniziale non rappresenta ancora il problema che occorre risolvere.

Riconoscere l’errore e comprenderne il significato

Dichiarare fin dall’inizio la possibilità che qualcosa non funzioni non significa adottare un atteggiamento pessimista, ma riconoscere che la conoscenza procede attraverso ipotesi sottoposte a verifica e che il confronto con la realtà può produrre risultati differenti da quelli attesi. Un errore, una previsione non confermata o una deviazione significativa possono rivelare informazioni importanti sul comportamento del sistema, sulle variabili che non erano state considerate o sulle condizioni che si sono modificate rispetto alla situazione iniziale.

Quando esistono procedure adeguate per riconoscere questi segnali, diventa possibile intervenire sulle cause, correggere il modello e migliorare progressivamente la comprensione del fenomeno. Quando invece un progetto viene costruito attorno alla necessità di confermare una promessa, il rischio è che ogni risultato inatteso venga interpretato come qualcosa da giustificare o nascondere, anziché come un’informazione da utilizzare. La difesa della previsione iniziale può allora prevalere sull’osservazione dei fatti, introducendo ritardi e costi che spesso sarebbero stati evitabili.

Per Prometeo, la possibilità di riconoscere, discutere e correggere un errore è una componente essenziale dell’affidabilità, perché permette di mantenere aperto il rapporto tra il modello e la realtà anche dopo la conclusione della sua prima fase di sviluppo.

L’umiltà scientifica come condizione di sicurezza

Attribuiamo all’umiltà un significato strettamente legato al metodo scientifico, piuttosto che a una disposizione individuale del carattere. Riconoscere i limiti della propria conoscenza significa accettare che anche una rappresentazione costruita con il massimo rigore possa essere incompleta, che una relazione considerata stabile possa modificarsi e che nuovi dati possano rendere necessario rivedere conclusioni precedentemente ritenute affidabili.

Questa disponibilità alla revisione ha conseguenze molto concrete sulla sicurezza e sulla qualità dei sistemi, perché impedisce che le ipotesi iniziali assumano progressivamente il valore di verità indiscutibili. Un modello deve poter essere criticato, sottoposto a verifiche indipendenti e, quando le evidenze lo richiedono, modificato o abbandonato. La reputazione di chi lo ha costruito non può diventare una ragione per ignorare risultati che ne mettono in discussione la validità.

È anche in questo senso che guardiamo con diffidenza all’espressione «lo dice l’algoritmo», sempre più utilizzata per attribuire alle decisioni automatizzate un’autorità apparentemente superiore a quella del giudizio umano. Dietro ogni algoritmo esistono scelte compiute da persone: quali dati raccogliere, quali variabili considerare, quali obiettivi privilegiare, quali errori ritenere accettabili e quali compromessi introdurre tra esigenze differenti. Anche quando queste scelte vengono incorporate in sistemi molto sofisticati, non cessano di esistere e non perdono le proprie conseguenze.

Rendere visibili e discutibili queste decisioni è una condizione necessaria per mantenere il controllo sugli strumenti matematici e tecnologici, evitando che la complessità del loro funzionamento venga scambiata per una ragione sufficiente ad accettarne acriticamente i risultati.

La responsabilità comprende anche il rifiuto

Nel nostro lavoro incontriamo talvolta progetti che, per come vengono inizialmente proposti, non possiedono le condizioni necessarie per produrre risultati affidabili. Le aspettative possono essere incompatibili con i dati disponibili, i vincoli operativi possono impedire l’applicazione della soluzione oppure gli obiettivi possono essere stati definiti senza considerare adeguatamente le caratteristiche del sistema sul quale si vorrebbe intervenire.

In queste circostanze riteniamo che il nostro compito consista anzitutto nello spiegare le difficoltà individuate e nel verificare se esistano condizioni differenti nelle quali il progetto possa diventare sostenibile. Questo confronto può portare a modificare gli obiettivi, a prevedere una fase preliminare di raccolta delle informazioni oppure a riconoscere che, almeno in quel momento, non esistono i presupposti per procedere.

Accettare comunque l’incarico, confidando nella possibilità di risolvere successivamente problemi che erano già riconoscibili all’inizio, significherebbe trasferire al cliente un rischio che avremmo avuto la possibilità e il dovere professionale di rappresentare. Per questa ragione siamo disposti a rinunciare a un progetto quando non possiamo sostenerne con rigore le premesse, anche se questa decisione comporta la perdita di un’opportunità commerciale.

Costruire una capacità che rimanga nell’organizzazione

Consideriamo un progetto riuscito non soltanto quando il modello raggiunge gli obiettivi concordati, ma anche quando l’organizzazione che lo utilizza ha acquisito una maggiore capacità di comprendere il proprio sistema, interpretare le informazioni e affrontare le decisioni con strumenti più solidi di quelli di cui disponeva inizialmente. Questa capacità non nasce automaticamente dall’introduzione di una tecnologia, ma dal lavoro attraverso il quale le persone imparano a riconoscere le relazioni tra i fenomeni, a distinguere le ipotesi dalle evidenze e a comprendere il significato delle misure sulle quali fondano le proprie valutazioni.

Vorremmo che le organizzazioni con cui lavoriamo diventassero progressivamente più consapevoli della qualità dei propri dati, della pertinenza delle metriche adottate e dei limiti entro i quali possono considerare affidabili le proprie previsioni. Vorremmo anche che sviluppassero una cultura nella quale la revisione di un’ipotesi non venga vissuta come una sconfitta personale e nella quale l’emergere di un errore non induca a cercare immediatamente un responsabile da colpevolizzare, ma prima di tutto a comprendere quali condizioni lo abbiano prodotto.

È una trasformazione che riguarda tanto gli strumenti quanto il modo di ragionare delle persone e che, proprio per questo, può continuare a produrre valore anche quando il nostro intervento diretto è terminato. La responsabilità che attribuiamo al nostro lavoro comprende anche ciò che rimane nell’organizzazione: la capacità di governare i modelli, comprenderne i limiti e continuare a prendere decisioni consapevoli senza dipendere indefinitamente da chi li ha costruiti.

La forma adulta dell'innovazione

La responsabilità non è un valore accessorio, da aggiungere quando tutto il resto è fatto. È la forma adulta dell'innovazione, e nei sistemi complessi l'arroganza ha sempre un costo.