Per Intelligent Data Processing, secondo la definizione dell’Osservatorio Artificial Intelligence del Politecnico di Milano, s’intendono tutte le soluzioni che utilizzano algoritmi di intelligenza artificiale su dati strutturati e non, per finalità collegate all’estrazione dell’informazione presente nel dato e per avviare azioni in conseguenza.
Si tratta di un segmento importante in Italia, che riguarda una quota rilevante del mercato AI del nostro Paese, che nel 2022 ha raggiunto un valore di 500 milioni di euro (+32% rispetto al 2021).
In questo quadro di sviluppo i progetti di Intelligent Data Processing (IDP) costituiscono la parte più significativa pari al 34%. Più in particolare, stando alle valutazioni dei ricercatori dell’Osservatorio Artificial Intelligence (vedi: Artificial Intelligence: L’era dell’implementazione – febbraio 2023), “lo scenario economico e geopolitico ha accelerato la domanda di soluzioni di forecasting in diversi ambiti, come la pianificazione aziendale, la gestione degli investimenti e le attività di budgeting”.
Le principali attività di IDP
I progetti di Intelligent Data Processing, che comprendono una varietà di soluzioni piuttosto ampia finalizzata all’estrazione e all’elaborazione dai dati strutturati, si vanno diffondendo in maniera capillare all’interno dei processi aziendali nei quali s’impone un’esigenza di assumere decisioni data-driven.
Le principali attività dell’Intelligent Data Processing sono:
- Pattern Discovery
- Predictive Analysis
- Fraud/Anomaly Detection
- Monitoring&Control
- Optimization System.
Pattern Discovery
L’attività di Pattern Discovery consiste nell’analisi e nell’identificazione di pattern all’interno di dati grezzi allo scopo di identificarne la classificazione. Pattern usualmente indicano una forte correlazione e rappresentano proprietà interne e significative dei dati.
L’attività di Pattern Discovery ha molte applicazioni in diversi campi.
In un set di dati di transazioni si potrebbe voler verificare che tipo di beni e prodotti sono spesso acquistati insieme. Nel caso, si potrebbe impostare una campagna di marketing mirato. E se un consumatore acquista un iPad quale altro tipo di prodotto comprerà in futuro?
Anche nell’ambito dell’ingegneria del software si potrebbe cercare la ricorrenza di bug del sistema operativo dati da errori dovuti a copy past di codice.
L’attività di Pattern Discovery può avere inoltre una funzione importante nell’analisi del testo aiutando a comprendere quanta probabilità c’è che determinate parole chiave dipendano da frasi.
Si può pertanto evidenziare come il Pattern Discovery assuma rilevanza dacché individua regolarità e correlazioni nei dataset. E costituisce la base per fondamentali task di data mining. Come associazione, correlazione e analisi causale. O nel mining di pattern sequenziali e pattern strutturali. Ancora, l’attività di Pattern Discovery può essere utile a rendere più accurata la classificazione, e per il clustering.
Predictive Analysis
Predictive Analysis è l‘analisi dei dati al fine di fornire previsioni sull’andamento futuro del fenomeno studiato. Per poter svolgere questa attività si utilizzano varie tecniche che comprendono modellazione dei dati, data mining, machine learning, e deep learning. L’analisi predittiva è correlata all’espansione dei big data e ai progressi nel campo della data science.
Per ottenere risultati è importante impostare in maniera corretta e ottimale le operazioni e le varie fasi. In primo luogo, va enucleato il problema da risolvere, in secondo luogo, occorre acquisire, organizzare ed elaborare i dati nella maniera più efficace e, in terzo luogo, vanno selezionati strumenti e tecniche per sviluppare modelli predittivi che richiedono una convalida finale.
Fraud/Anomaly Detection
Fraud/Anomaly Detection è l’identificazione di elementi, eventi o osservazioni che non sono conformi a un modello previsto.
Il rilevamento delle anomalie trova applicazione in molti contesti come la sicurezza informatica, il controllo dei processi industriali e l’analisi del comportamento del cliente. Essere in grado di rilevare con efficacia in maniera automatico le varie anomalie, fino alla scoperta di frodi in campo finanziario, per esempio, è un aspetto che riveste sempre più importanza per le aziende.
Le tecniche di anomaly detection generalmente vengono suddivise in tre categorie:
- Supervised anomaly detection: si fa ricorso a dati soltanto etichettati per modelli predittivi.
- Unsupervised anomaly detection: in questa impostazione i dati a disposizione non sono etichettati.
- Semi-supervised anomaly detection: in questa categoria di algoritmi il dataset a disposizione per il traning è parzialmente etichettato.
I dataset etichettati sono in generale costosi da realizzare, pertanto le tecniche non supervisionate sono attualmente oggetto di maggiore interesse e studio.
Indipendentemente dalla tecnica utilizzata, gli algoritmi di anomaly detection individuano le anomalie in due modalità:
- Assegnazione di un punteggio: si assegna un punteggio a ogni dato, rispetto al suo grado di anormalità. In più, si determina una soglia per discriminare i dati in base al punteggio, che è tipicamente dipendente dal dominio a cui appartengono i dati e consente una gestione più flessibile del problema.
- Classificazione binaria: a ogni dato si attribuisce un’etichetta che lo classifica come normale oppure anomalo.
I modelli per il rilevamento delle anomalie sono per di più raggruppabili in almeno quattro categorie: modelli basati su statistica, modelli basati sulla distanza, modelli basati sul clustering, modelli di deep learning.
Monitoring & Control
Monitoring & Control è l‘analisi dei dati al fine di monitorare lo stato di un certo sistema ed eventualmente di intervenire sul sistema stesso per raggiungere obiettivi prefissati.
L’attività di monitoraggio e controllo può essere descritta in termini di strategie, procedure e compiti.
Optimization System
Optimization System è l‘analisi dei dati per determinare i possibili scenari futuri e una linea d’azione ottimale date le condizioni date.
Per ottimizzare processi, sistemi e decisioni è importante identificare obiettivi, vincoli e variabili e metterli a disposizione di strumenti in grado di creare modelli che elaborano i dati a sostegno dell’optimization.
La modellizzazione che integra tecnologia AI consente di realizzare scenari riducendo l’indeterminatezza e aumentando la competitività.
I vantaggi dell’optimization sono connessi alla rapidità di reazione, alla flessibilità e alla riduzione dei margini di errore e di inefficienza.
Conclusioni
L‘Intelligent Data Processing è una varietà di soluzioni molto ampia finalizzata all’estrazione e all’elaborazione dai dati strutturati adottata nelle aziende che cercano di impostare decisioni data-driven per rispondere meglio alle necessità di mercati più dinamici nei quali si richiede velocità di risposta, flessibilità e maggiore competitività.
