“Il sistema raggiunge il 99% di accuratezza.”

È una frase che suona bene. Trasmette subito l’idea di una tecnologia precisa, affidabile, quasi infallibile. Novantanove volte su cento sembra un risultato difficile da mettere in discussione.

Eppure, proprio quando l’intelligenza artificiale viene applicata alla sicurezza, fermarsi a quella percentuale può essere fuorviante.

Il motivo è semplice: prima di chiederci quanto sia alto il numero, dovremmo capire che cosa misura davvero.

Immaginiamo, per esempio, di osservare 10.000 situazioni all’interno di un ambiente di lavoro. In 9.900 casi non accade nulla di pericoloso, mentre in 100 casi è presente proprio la condizione che vorremmo individuare.

Ora immaginiamo un sistema molto particolare: qualunque cosa succeda, risponde sempre “nessun pericolo”.

Sbaglia tutte le 100 situazioni importanti, ma identifica correttamente le 9.900 situazioni ordinarie.

Il risultato finale sarebbe comunque un’accuratezza del 99%.

Il dato è corretto, ma racconta una storia completamente sbagliata. Quel sistema avrebbe infatti fallito proprio nel compito per cui ci interessava utilizzarlo.

L’esempio è volutamente estremo, ma serve a mostrare un punto essenziale: una percentuale alta non coincide automaticamente con una buona capacità di proteggere le persone.

Quando valutiamo un sistema di AI, infatti, dobbiamo capire anche come sbaglia.

Può succedere che segnali un pericolo che in realtà non esiste. Oppure può succedere il contrario: una situazione realmente critica si verifica, ma il sistema non la riconosce.

Nel linguaggio tecnico si parla di falsi positivi e falsi negativi, ma dietro queste definizioni ci sono conseguenze molto concrete.

Un numero eccessivo di falsi positivi può generare continui alert, interrompere il lavoro e, nel tempo, ridurre la fiducia degli operatori nelle segnalazioni. È lo stesso problema che abbiamo visto parlando di sovraccarico di allarmi: se il sistema richiama continuamente l’attenzione senza una reale necessità, il rischio è che anche il segnale importante venga trattato come uno dei tanti.

Un falso negativo pone un problema diverso. In quel caso la tecnologia non segnala proprio l’evento che avrebbe dovuto contribuire a individuare.

Per questo non basta sapere che un algoritmo è “accurato”. Dobbiamo chiederci quali errori commette più frequentemente e quanto sono importanti quegli errori nel contesto in cui verrà utilizzato.

C’è poi un altro aspetto che spesso rimane nascosto dietro una percentuale: il modo in cui il sistema è stato testato.

Un algoritmo può ottenere risultati eccellenti in condizioni controllate e comportarsi diversamente una volta portato all’interno di un vero ambiente di lavoro.

Nella realtà cambiano continuamente la luce, le distanze, gli sfondi, le inquadrature e le persone. Un lavoratore può essere parzialmente coperto da un oggetto, un mezzo può muoversi davanti a una telecamera, una zona può essere illuminata in maniera differente durante la giornata.

Sono tutte condizioni che possono incidere sulle prestazioni di un sistema di visione artificiale.

Per questo il NIST, nel suo AI Risk Management Framework, insiste sulla necessità di valutare i sistemi in condizioni realistiche e rappresentative dell’ambiente in cui verranno effettivamente utilizzati.

Il punto è importante perché cambia completamente il modo in cui leggiamo i numeri.

Un sistema che raggiunge il 95% in un test molto vicino alle condizioni reali potrebbe fornire informazioni più utili di uno che raggiunge il 99% in uno scenario perfettamente controllato.

In altre parole, non basta conoscere il risultato del test. Bisogna conoscere anche il test.

E c’è un ultimo elemento da considerare: il mondo reale cambia.

Una telecamera viene spostata. Una linea produttiva viene modificata. Arrivano nuovi mezzi. Cambiano gli indumenti utilizzati dagli operatori o l’illuminazione di una zona. Anche una modifica apparentemente minima può creare condizioni diverse da quelle sulle quali un sistema era stato inizialmente verificato.

Per questo la valutazione di una tecnologia non può fermarsi al momento dell’installazione.

La domanda deve diventare: come facciamo a sapere che continua a funzionare bene anche dopo mesi o anni?

È qui che il monitoraggio delle prestazioni diventa parte integrante della sicurezza stessa. Non si tratta soltanto di controllare che una telecamera sia accesa o che un software non abbia errori, ma di verificare che il sistema continui a riconoscere correttamente le situazioni per le quali è stato progettato.

Quando qualcuno presenta una soluzione di intelligenza artificiale, quindi, chiedere semplicemente “qual è la sua accuratezza?” rischia di essere una domanda troppo povera.

Potremmo invece voler sapere quali eventi deve riconoscere, su quali casi è stato testato, quanti eventi importanti non riesce a individuare, quante segnalazioni errate produce e in quali condizioni le sue prestazioni possono cambiare.

Sono domande meno immediate di una percentuale.

Ma sono anche quelle che ci permettono di capire davvero che cosa stiamo mettendo all’interno di un ambiente di lavoro.

Il 99% può essere un risultato eccellente.

Può essere sufficiente.

Può essere insufficiente.

Oppure può essere quasi irrilevante.

Dipende da ciò che si sta misurando, da come è stato fatto il test e soprattutto da quali errori siamo disposti ad accettare quando in gioco c’è la sicurezza delle persone.

La tecnologia, alla fine, non è un numero.

E la domanda più importante non è quanto un sistema sia bravo in media, ma che cosa succede proprio nei casi in cui sbaglia.