Progetti di matematica applicata
Modelli costruiti sul contesto reale, quando una soluzione esistente non basta
Pilastro
Distinguere il segnale che merita un intervento dal rumore di fondo.
Riconoscere ciò che si discosta dal normale
In molti sistemi ci si accorge di un problema quando è già successo. L'Anomaly Detection rovescia la prospettiva: impara a riconoscere il comportamento normale di un impianto, di una flotta o di un processo, e segnala per tempo ciò che se ne allontana, distinguendo il segnale che merita attenzione dal rumore di fondo.
L’Anomaly Detection permette di riconoscere comportamenti che si discostano dalle condizioni attese di un sistema, attraverso modelli matematici, analisi statistiche e strumenti di intelligenza artificiale. Prometeo utilizza queste metodologie per individuare variazioni significative, interpretarne il contesto e sostenere decisioni operative. L’obiettivo non è moltiplicare gli allarmi, ma distinguere i segnali che richiedono attenzione dalle normali oscillazioni dei fenomeni osservati.
Ogni sistema presenta una variabilità che appartiene al suo normale funzionamento. Una macchina industriale modifica temperature e vibrazioni in relazione al carico, una rete idrica registra oscillazioni di pressione durante la giornata, i consumi energetici cambiano secondo le condizioni ambientali e la domanda commerciale può manifestare differenze significative tra giorni, settimane e stagioni. Queste variazioni non rappresentano necessariamente problemi, ma costituiscono parte del comportamento che il sistema assume nelle diverse condizioni operative.
La difficoltà consiste nel riconoscere quando una variazione smette di essere compatibile con ciò che ci aspettiamo e diventa un’informazione meritevole di approfondimento. Una temperatura elevata può essere perfettamente normale durante una determinata fase di lavorazione, mentre un aumento molto più contenuto potrebbe assumere un significato differente se si verifica in condizioni nelle quali il sistema dovrebbe mantenere una temperatura stabile.
L’Anomaly Detection affronta questo problema attraverso modelli che descrivono il comportamento atteso e permettono di confrontarlo con le osservazioni effettive. La rappresentazione può essere costruita attraverso relazioni matematiche conosciute, metodologie statistiche o strumenti di apprendimento automatico, secondo le caratteristiche del fenomeno e la disponibilità delle informazioni.
Il significato di un’anomalia non dipende soltanto dall’entità dello scostamento, ma anche dalle condizioni nelle quali si manifesta e dalle relazioni che il modello è in grado di riconoscere. È questa dimensione contestuale che permette di distinguere un segnale potenzialmente importante dalla normale variabilità del sistema.
Uno degli equivoci più frequenti consiste nel considerare ogni anomalia rilevata come la dimostrazione di un malfunzionamento. In realtà, un modello di Anomaly Detection identifica osservazioni o comportamenti che risultano poco compatibili con il riferimento adottato, ma non determina necessariamente quale fenomeno li abbia prodotti né quali conseguenze possano derivarne.
Un consumo di carburante superiore a quello previsto può dipendere da una variazione del percorso, dalle condizioni di carico o da un problema tecnico. Una pressione anomala può derivare da una modifica temporanea del regime operativo oppure rappresentare un segnale di deterioramento. Anche una diminuzione improvvisa delle transazioni commerciali può essere associata a molteplici condizioni, alcune fisiologiche e altre meritevoli di un’analisi specifica.
Il sistema di rilevazione deve quindi essere progettato per distinguere il riconoscimento dello scostamento dalla successiva interpretazione delle sue possibili cause. Questa distinzione permette di evitare che un risultato statistico venga trasformato automaticamente in una diagnosi o in una decisione operativa.
Per Prometeo, l’Anomaly Detection costituisce uno strumento di osservazione e supporto alla valutazione, il cui contributo deve essere interpretato insieme alla conoscenza del fenomeno, ai vincoli del sistema e alle responsabilità delle persone che ne governano il funzionamento.
La qualità di un sistema di rilevazione delle anomalie dipende dalla possibilità di costruire un riferimento sufficientemente rappresentativo delle condizioni normali. Questa operazione richiede di comprendere quali grandezze descrivano il fenomeno, come interagiscano tra loro e quali variazioni siano compatibili con i differenti regimi operativi.
Molti sistemi non possiedono un unico comportamento normale. Una macchina può operare con carichi differenti, una rete può attraversare condizioni di domanda variabili e un processo industriale può modificare intenzionalmente i propri parametri durante le diverse fasi di lavorazione.
Un modello che non riconosce questi regimi rischia di segnalare come anomalie variazioni del tutto legittime, generando allarmi che non corrispondono ad alcuna criticità reale. In altri casi potrebbe considerare normale un comportamento che risulta invece incompatibile con le condizioni operative effettivamente presenti.
La costruzione del riferimento richiede quindi di rappresentare adeguatamente i cambiamenti di regime, distinguendo le differenze previste da quelle che non trovano una spiegazione sufficiente nel modello.
Un’anomalia non si manifesta necessariamente attraverso il superamento di una soglia da parte di una singola grandezza. Può emergere anche quando più parametri, considerati individualmente normali, assumono una combinazione che non corrisponde al comportamento atteso.
Una temperatura e una pressione possono rimanere entrambe entro intervalli accettabili, ma la relazione tra le due potrebbe risultare incompatibile con le condizioni fisiche del processo. Analogamente, un consumo energetico può essere apparentemente normale in termini assoluti e diventare significativo quando viene confrontato con la quantità effettivamente prodotta.
Le metodologie multivariate permettono di studiare queste relazioni e riconoscere scostamenti che non emergerebbero attraverso controlli indipendenti sulle singole misurazioni. La conoscenza matematica del sistema permette così di interpretare non soltanto i valori osservati, ma anche la coerenza delle relazioni che dovrebbero collegarli.
La costruzione del comportamento atteso richiede informazioni raccolte attraverso procedure sufficientemente coerenti. Sensori non calibrati, registrazioni incomplete, errori di sincronizzazione e modifiche non documentate dei sistemi possono introdurre variazioni che il modello potrebbe interpretare erroneamente come caratteristiche del fenomeno.
Particolare attenzione deve essere dedicata anche ai dati utilizzati per costruire il riferimento, perché un archivio storico può contenere anomalie non riconosciute oppure non rappresentare tutti i regimi nei quali il sistema viene effettivamente utilizzato.
Per questa ragione, la preparazione delle informazioni costituisce una parte essenziale del progetto e può richiedere attività di ricostruzione, normalizzazione e verifica prima di procedere con lo sviluppo del modello.
L’Anomaly Detection comprende approcci matematici differenti, che devono essere scelti in relazione alla struttura del fenomeno, alle informazioni disponibili e alle esigenze di interpretazione dei risultati.
Le metodologie statistiche permettono di descrivere la distribuzione e la variabilità delle grandezze osservate, individuando valori o combinazioni che si discostano significativamente dal comportamento atteso.
Le soglie possono essere definite in modo statico quando le condizioni del sistema lo consentono, oppure adattate a regimi operativi, stagionalità e altre variabili che influenzano il fenomeno. La loro utilità dipende dalla capacità di rappresentare correttamente la variabilità ordinaria senza introdurre un numero eccessivo di segnalazioni.
Un’altra possibilità consiste nel costruire un modello capace di stimare il comportamento atteso di una grandezza e confrontare la previsione con il valore effettivamente osservato.
La differenza tra previsione e osservazione, comunemente definita residuo, può fornire informazioni utili per riconoscere scostamenti significativi. Questa impostazione può essere particolarmente appropriata quando il comportamento del sistema dipende da relazioni temporali o da variabili di contesto che devono essere considerate nella valutazione.
La soglia di anomalia deve comunque tenere conto dell’incertezza del modello, perché uno scostamento che appare significativo in condizioni molto stabili potrebbe essere del tutto compatibile con la variabilità attesa in un regime differente.
Le tecniche di Machine Learning permettono di studiare strutture complesse nei dati e di riconoscere osservazioni che risultano differenti dalle configurazioni apprese.
A seconda del problema possono essere utilizzati modelli supervisionati, quando esistono esempi affidabili delle condizioni da riconoscere, oppure metodologie non supervisionate e semi-supervisionate, quando l’obiettivo consiste nell’individuare comportamenti inconsueti a partire da informazioni prevalentemente riferite al funzionamento normale.
Queste metodologie possono essere utili quando le relazioni tra le variabili non sono facilmente rappresentabili attraverso formule esplicite, ma richiedono attenzione alla qualità dei dati, alla stabilità delle condizioni e alla possibilità di comprendere le ragioni delle segnalazioni.
Quando sono disponibili conoscenze fisiche o matematiche sufficientemente solide, la rilevazione delle anomalie può essere costruita anche attraverso il confronto tra il comportamento osservato e quello previsto dalle relazioni che governano il sistema.
Questa impostazione è coerente con l’approccio white-box di Prometeo, perché permette di riconoscere scostamenti rispetto a vincoli e relazioni esplicite, contribuendo a rendere più comprensibile il significato delle segnalazioni.
La scelta tra metodologie differenti, o la loro eventuale integrazione, dipende dalla natura del problema. Non esiste un algoritmo universalmente migliore per riconoscere le anomalie, perché ogni sistema presenta condizioni di variabilità, disponibilità dei dati e conseguenze degli errori differenti.
Il riconoscimento di uno scostamento acquista valore quando permette di orientare un’attività di verifica o una decisione. Un sistema che produce continuamente segnalazioni senza distinguerne l’importanza rischia di sovraccaricare gli operatori, rendendo progressivamente meno efficace proprio lo strumento che dovrebbe contribuire a migliorare la capacità di controllo.
Per questa ragione, la progettazione di un sistema di Anomaly Detection deve considerare anche le modalità attraverso le quali le segnalazioni vengono classificate, presentate e collegate alle procedure operative.
La valutazione di un’anomalia può considerare differenti elementi, come l’entità dello scostamento, la sua durata, la frequenza con cui si manifesta e le condizioni operative nelle quali viene rilevata.
Una variazione isolata può richiedere un trattamento differente rispetto a un comportamento che persiste nel tempo o si ripresenta con frequenza crescente. Anche la criticità del componente e il ruolo che svolge all’interno del sistema possono influenzare la priorità assegnata alla segnalazione.
Quando queste informazioni sono disponibili, il modello può contribuire a costruire indicatori di priorità che distinguano le situazioni meritevoli di attenzione immediata da quelle che richiedono soltanto un controllo successivo.
Ogni sistema di rilevazione deve confrontarsi con due categorie di errore: segnalare una condizione come anomala quando non lo è e non riconoscere una condizione che avrebbe richiesto attenzione.
La loro importanza dipende dal contesto. In un sistema critico, la mancata individuazione di un determinato fenomeno può produrre conseguenze molto rilevanti, mentre in altre applicazioni un numero elevato di falsi allarmi può rendere il sistema difficilmente utilizzabile e generare costi operativi non giustificati.
La definizione delle soglie e dei criteri di valutazione deve quindi essere concordata considerando le conseguenze degli errori, anziché essere determinata esclusivamente dall’obiettivo di migliorare una metrica statistica.
Un modello affidabile deve permettere di comprendere non soltanto quante anomalie riconosce, ma anche quali errori commette e quali conseguenze possono derivarne.
La rilevazione delle anomalie trova applicazione in numerosi contesti, perché molti sistemi producono informazioni che descrivono il proprio funzionamento e permettono di riconoscere variazioni rispetto alle condizioni attese.
Nei processi industriali, l’Anomaly Detection può contribuire al riconoscimento di variazioni nei parametri operativi, permettendo di individuare condizioni che richiedono verifiche o approfondimenti manutentivi.
Quando viene integrata con modelli di deterioramento e analisi delle serie temporali, può contribuire alla costruzione di strumenti di manutenzione predittiva, mantenendo una distinzione tra la rilevazione di uno scostamento e la stima dell’evoluzione futura del componente.
Nelle reti idriche, energetiche e infrastrutturali, i modelli possono contribuire a riconoscere variazioni di comportamento e a individuare situazioni che meritano controlli mirati.
La soluzione Critical Infrastructure Analysis integra questa capacità con l’analisi visiva e la modellazione matematica delle relazioni tra gli asset, permettendo di interpretare le anomalie anche rispetto alle conseguenze che potrebbero produrre sul sistema complessivo.
Prometeo ha affrontato problemi di rilevazione delle anomalie anche nell’analisi dei consumi di carburante delle flotte, dove il confronto tra i valori osservati e quelli attesi richiede di considerare condizioni operative differenti.
Un consumo anomalo non rappresenta automaticamente un utilizzo improprio della risorsa, ma costituisce un elemento che può orientare verifiche successive, distinguendo i comportamenti compatibili con il contesto da quelli che non trovano una spiegazione sufficiente nel modello.
Le metodologie di Anomaly Detection possono essere utilizzate anche per riconoscere variazioni inconsuete nei volumi delle transazioni, nei comportamenti operativi e in altre grandezze che descrivono i processi commerciali.
In questi contesti occorre considerare stagionalità, iniziative promozionali, cambiamenti organizzativi e altri fattori che possono produrre scostamenti legittimi rispetto ai valori abituali.
Un sistema di rilevazione delle anomalie non può essere considerato definitivamente affidabile soltanto perché ha prodotto risultati soddisfacenti durante la fase iniziale di sviluppo. I fenomeni osservati possono evolvere, i processi vengono modificati e nuove condizioni operative possono rendere meno rappresentativo il riferimento utilizzato dal modello.
Questa situazione, spesso descritta attraverso il concetto di data drift o concept drift, richiede di verificare periodicamente se la distribuzione delle informazioni e le relazioni che determinano il comportamento atteso siano rimaste compatibili con quelle utilizzate durante la costruzione del sistema.
La revisione non deve consistere necessariamente nell’adattare automaticamente il modello a ogni nuovo comportamento osservato, perché alcune variazioni potrebbero rappresentare proprio anomalie che non devono essere normalizzate.
È quindi necessario distinguere l’evoluzione legittima delle condizioni operative dal progressivo deterioramento del sistema, definendo procedure attraverso le quali verificare quando sia appropriato aggiornare il riferimento.
Prima dell’applicazione operativa, un sistema di Anomaly Detection deve essere valutato rispetto a dati e situazioni rappresentativi delle condizioni nelle quali verrà utilizzato.
La validazione può comprendere il confronto con eventi storici conosciuti, osservazioni tecniche indipendenti, analisi retrospettive e sperimentazioni controllate, secondo la natura del problema e le informazioni disponibili.
Le metriche devono essere scelte considerando gli obiettivi operativi. Precisione delle segnalazioni, capacità di riconoscimento, frequenza dei falsi allarmi e tempestività possono assumere importanza differente a seconda delle conseguenze associate alle anomalie.
La verifica deve inoltre considerare il comportamento del sistema nelle diverse condizioni operative e la capacità delle persone di interpretare le informazioni prodotte.
La qualità di un modello si riconosce nella sua capacità di contribuire a decisioni appropriate, non soltanto nelle prestazioni statistiche ottenute durante lo sviluppo.
Per Prometeo, un progetto di Anomaly Detection comincia dalla comprensione del fenomeno e dalla definizione delle condizioni nelle quali un comportamento debba essere considerato significativo. Questa fase richiede di conoscere le variabili osservate, i regimi operativi, le modalità di acquisizione dei dati e le conseguenze che una segnalazione potrebbe produrre.
L’assessment permette di stabilire se esistano informazioni sufficienti per costruire un riferimento affidabile, quali metodologie siano appropriate e come debbano essere valutati i risultati. Quando necessario, il progetto può iniziare dalla ricostruzione della qualità dei dati e dalla definizione delle condizioni normali, prima ancora di introdurre uno strumento di rilevazione.
Il successivo sviluppo viene accompagnato da verifiche che permettono di comprendere le prestazioni e i limiti del modello, fino alla possibile integrazione nelle procedure operative dell’organizzazione.
Il risultato atteso è un sistema capace di riconoscere gli scostamenti che meritano attenzione, rappresentarne il contesto e contribuire alla definizione di priorità comprensibili, evitando che la raccolta dei dati si trasformi in una successione di allarmi privi di un significato operativo sufficientemente chiaro.
Rilevazione di deviazioni rispetto a un comportamento di riferimento, su segnali, serie storiche e immagini.
Modelli costruiti sul contesto reale, quando una soluzione esistente non basta
Lo stato delle infrastrutture, dal singolo componente al sistema intero
Un connettore in fabbrica e un portale cloud leggono un centro di lavoro CNC, misurano la salute dei sottosistemi e segnalano le derive prima che diventino guasti.
Una software house porta nel proprio MES la manutenzione predittiva e la schedulazione con previsione della domanda, leggendo le macchine con lo standard aperto MTConnect.
Un sistema che segnala tutto finisce per non essere ascoltato. Ciò che conta è sapere quale deviazione richiede un intervento, con soglie che chi deve agire capisce e può discutere.