Eye-tracker, come funziona la tecnologia che legge i movimenti degli occhi

Esistono vari tipi di questi dispositivi: screen based, wearable, webcam. Tutti, però, si avvalgono di algoritmi per coordinare e interpretare i movimenti oculari trasformandoli in informazioni per la comunicazione [...]
Antonio Pascale

IT e data manager

  1. Home
  2. Intelligenza Artificiale
  3. Eye-tracker, come funziona la tecnologia che legge i movimenti degli occhi

La sclerosi laterale amiotrofica, o SLA, o malattia dei motoneuroni, è una malattia neurodegenerativa progressiva del motoneurone ed è caratterizzata da una graduale perdita del controllo dei movimenti volontari e debolezza dell’apparato muscolare a causa della diminuzione nelle dimensioni dello stesso. Ciò si traduce in difficoltà di parola, della deglutizione e, infine, della respirazione. Come può una persona affetta da questo tipo di malattia continuare a interagire con parenti e amici? La risposta è l’eye-tracker: uno strumento hardware e software che sfrutta il movimento degli occhi e ne riconosce la loro posizione “traccia”(fig. 1), descritta durante la visione. La risposta più articolata, invece, è nella descrizione del suo funzionamento: ley-tracker utilizza un tipo di illuminazione prossima agli infrarossi, che in combinazione con telecamere ad alta definizione, proietta luce nell’occhio e registra la direzione verso cui la stessa viene riflessa dalla cornea. Poi, algoritmi software avanzati vengono utilizzati per calcolare la posizione dell’occhio e determinare esattamente dove è focalizzato lo sguardo.

Figura – (tratto da: Eye movements and Vision – A.L.Yarbus)

Come funziona l’eye-tracker

Esistono varie tipologie di eye-tracker:

  • Eye tracker screen based: anche detti desktop, stationary o remote.

Si tratta di dispositivi indipendenti a distanza, che possono essere collegati a un computer portatile o ad un monitor, e sono quelli di ausilio ai malati di SLA.

  • Wearable (indossabili)

Questa tipologia include i glasses (occhiali) e il visore per la realtà virtuale (VR headsets), entrambi con l’eye tracker integrato.

  • Webcam

Gli eye-trackers a webcam non hanno sensori o telecamere speciali, e non funzionano basandosi sul principio della riflessione corneale del centro della pupilla, ma lavorano attraverso il dispositivo webcam collegato o incorporato in un computer, con il supporto di uno specifico software.

In dettaglio, un Eye Tracker Screen Based (ETSB), funziona nel seguente modo:

  • Feature point selection durante questa fase vengono registrate dimensione del viso e posizione degli occhi. La “mappa” ottenuta durante questa fase viene utilizzata dal software per registrare nel modo più accurato possibile la posizione degli occhi unica per ogni utilizzatore;
  • Calibration durante questo passaggio vengono visualizzati alcuni punti rossi in varie posizioni sullo schermo. Questo procedimento serve ad estrarre le immagini degli occhi e addestrare un processo gaussiano che rappresenta la mappatura tra l’immagine di un occhio e la posizione sullo schermo;
  • Tracking dopo che tutti i punti di calibrazione sono stati elaborati, il processo gaussiano produce una distribuzione predittiva, in modo che il punto di messa a fuoco dell’occhio previsto sul monitor del display possa essere stimato in base a una nuova immagine dello stesso. Le immagini dell’occhio vengono estratte (utilizzando i riferimenti inseriti durante la prima fase del processo) e lo sguardo viene previsto usando le immagini dell’occhio estratte e il processo gaussiano addestrato.

Quindi un ETSB ben addestrato, permette al paziente affetto da SLA di:

  • continuare a parlare e comunicare;
  • utilizzare un computer sostituendo mouse e tastiera;
  • controllare un ambiente domotico

L’apporto delle community open source

Stephen William Hawking (1942-2018), vincolato all’immobilità dagli anni ottanta a causa di una malattia del motoneurone (MND), ha potuto condividere comunicare e scrivere libri e trattati grazie a un ETSB.

WEBINAR
Come aumentare il ROI e ottenere forecast sempre più precisi? AI & Deep Learning per il finance
Finanza/Assicurazioni
Intelligenza Artificiale

Non sempre però tecnologie come queste sono di facile accesso a tutti coloro i quali ne avrebbero necessità. In Italia, ad esempio, la sanità pubblica dovrebbe essere in grado di garantire a tutti i pazienti affetti da questo tipo di malattia l’accesso a un ETSB, spesso però accade che a causa della burocrazia piuttosto che della mancanza di fondi, i pazienti siano costretti a lunghe attese, che li portanto a un periodo di isolamento dal resto del mondo. In altri stati, dove sono presenti assicurazioni private, le cose non vanno meglio.

Qual è la soluzione? Le community e il mondo opensource. Nel 2009, a Los Angeles, si unirono diverse community con l’intento di aiutare l’attivista e writer Tony Quan, (aka Temptone), al quale fu diagnosticata la SLA nel 2003. La malattia lo lasciò quasi completamente paralizzato fisicamente… tranne che per gli occhi e la sua mente acuta, l’energia creativa e il suo desiderio di scrivere graffiti. E fu per questo che altri artisti e sviluppatori appartenenti a diverse community e localizzati in diverse parti del mondo decisero di unirsi e dare il via al progetto eye-writer, realizzato in soli 10 giorni, che diede l’opportunità a Temptone di continuare a realizzare le sue performance dal letto nel quale era costretto a causa della malattia.

L’esperienza fatta da questa community allargata è stata poi resa pubblica e ha permesso a tante altre persone nel modo di sopravvivere all’isolamento generato dalla malattia. In questo caso, seppur il principio di funzionamento fosse lo stesso di un ETSB più costoso, la componente hardware era molto diversa, come si può notare dalla figura riportata di seguito:

Laddove burocrazia o costi eccessivi non permettono l’accesso ad ausili che possono essere vitali, o comunque rendere la vita di un paziente meno distaccata dal contesto sociale, ci pensa la vasta community opensource, e poco importa se poi la resa è poco estetica rispetto a un prodotto industriale quello che conta è sicuramente il risultato.

Proprio basandosi sul risultato, Julius Sweetland nel 2019 ha voluto creare un software completamente opensource, che permette, tramite l’utilizzo di webcam a basso costo, di utilizzare l’eye-tracking per sostituire mouse e tastiera e avere una interazione completa con i tool di collaboration presenti su un qualsiasi computer. È nata così OptiKey, soluzione free di cui sono disponibili anche i sorgenti.

Ovviamente, utilizzare un eye-tracker non significa curare un paziente affetto da SLA o da altro tipo di malattia neurodegenerativa, significa però averne cura, farlo uscire dalla prigione del letto, far si che possa interagine, parlare e chattare con i propri parenti e amici, perché peggio dell’essere imposibilitato a muoversi, è la coscienza di questo stato e l’impossibilità a comunicare e condividere i propri sentimenti e pensieri con il resto del mondo.

(a Canio)

 

FacebookTwitterLinkedIn