Intelligenza Artificiale per automatizzare i negozi: Poly come Amazon Go?

Pubblicato il 23 Nov 2017

(credit: Sean Captain)

Poly, startup con sede a San Francisco, ha lanciato una telecamera e un sistema di Intelligenza Artificiale con l’ obiettivo di trasformare i convenience store in mini-mart con checkout automatizzati.

Visionari Ad Astra Federico Pistono

Ne parla per Ai4Business VISIONARI con un articolo tradotto (e riadattato) tratto da Fast Company

Da Amazon Go a Poly

Quando Amazon ha svelato la sua piattaforma automatizzata Amazon Go alla fine dello scorso anno, le reazioni spaziavano dalla fascinazione verso la nuova tecnologia alla critica feroce sui posti di lavoro che sarebbero stati tolti per via dell’Intelligenza Artificiale.

Servendosi dell’apprendimento delle macchine, delle telecamere e di altri sensori, Amazon avrebbe potuto tenere traccia di ciò che i consumatori toglievano dagli scaffali, facendo pagare i prodotti acquistati senza bisogno di una cassa tradizionale. Mentre Amazon Go presenta alcuni difetti tecnici che devono ancora essere risolti, alcune aziende stanno cercando di ottimizzare i sistemi di rilevazione, riducendo al minimo gli errori.

Una di queste è Poly, startup che ha sviluppato un sistema di telecamere e modelli di Machine Learning per monitorare gli acquisti dei clienti. Poly ha dato a Fast Company un’anteprima esclusiva della tecnologia, che cerca di applicare la soluzione di Amazon Go al resto del settore Retail.

Il primo progetto pilota di Poly

Poly startup San Francisco
(credit: Sean Captain)

L’azienda ha avviato un progetto pilota con un rivenditore della grande distribuzione, come afferma il co-founder, Alberto Rizzoli  (che non ha voluto dire di quale catena di negozi si stia parlando, anche se ha riferito di essersi già incontrato con 7-Eleven).

Per ispirazione, Rizzoli guarda non solo alla Silicon Valley ma anche all’italianissima costa toscana, dove acquistava in stabilimenti balneari durante le vacanze in famiglia. «Quello che facevo era prendere un pacco di popcorn, mostrarlo alla commessa… e lei riportava il mio acquisto su un pezzo di carta (Rizzoli saldava la spesa complessiva al termine delle vacanze). Chissà di quante lire sono stato truffato con questo sistema – dice Rizzoli – ma quella facilità di acquisto è ciò che mi ha fatto sempre contare su quel luogo dove non avrei dovuto fare la coda».

A differenza dei negozi non presidiati promessi da Amazon, Rizzoli sostiene che Poly non eliminerà tutti i posti di lavoro. «Se facciamo bene le cose, possiamo prevedere un sistema che può effettivamente fare in modo che chiunque avvii un’azienda abbia molta più capacità di interagire con i propri clienti. L’unica cosa che non faranno più le persone in negozio è la parte relativa al check-out».

L’Intelligenza Artificiale incontra la vita reale

Far funzionare un sistema simile è tuttavia un’enorme sfida tecnica. Amazon, una delle più grandi aziende del mondo attive nel campo dell’Intelligenza Artificiale, aveva pianificato di aprire il suo primo negozio Amazon Go al pubblico all’inizio del 2017 ma il progetto è stato rimandato a tempo indeterminato per difetti tecnici (secondo quanto riportato dal Wall Street Journal).

Il colosso di Seattle e le difficoltà riscontrate nel progetto non hanno però spaventato i concorrenti. Standard Cognition, con base a Santa Clara, ha recentemente raccolto 5 milioni di dollari da investitori, tra cui Charles River e Y Combinator, per fare proprio quello che è nei piani e negli obiettivi di Poly. Lo stesso Rizzoli dice di conoscere almeno un altro concorrente in fase di startup, che è ancora in modalità stealth (nascosta).

Secondo quanto riportato nell’articolo di Fast Company, Rizzoli ha illustrato le sfide tecniche cui si va incontro in progetti simili, attraverso un negozio fittizio allestito ed ubicato in un ufficio del coworking RocketSpace (dove Poly ha alcuni spazi di lavoro).

Una telecamera di sicurezza montata vicino al soffitto ha facilmente identificato i partecipanti all’esperimento mentre camminavano nella stanza: il sistema ha identificato due esseri umani ed ha estratto informazioni da tutto il corpo, processandole in tutto lo spazio del negozio per assicurarsi che fosse sempre la stessa persona. Questo tracciamento include cose come l’abbigliamento, i movimenti del corpo e i capelli , i volti, ecc.

Poly come funziona
(credit: Sean Captain)

Il sistema ideato da Poly non deve usare il riconoscimento facciale per dare un nome reale ad ogni viso, anche se questo renderebbe il checkout molto più facile, secondo Rizzoli. Facendo riferimento ad un modello già applicato in alcuni negozi automatizzati in Cina, Rizzoli vorrebbe prevedere un sistema di registrazione dei clienti/utenti attraverso foto identificative che permettono alle telecamere in store di riconoscere le persone sia quando entrano sia quando escono dal negozio, aggiornando automaticamente il loro account di registrazione al sistema. Il check-in avverrebbe tramite un’app (nel cinese Tao Cafe, ad esempio, questo richiede la semplice scansione di un codice QR sullo schermo dello smartphone).

Uno scenario da “grande fratello”?

Anche Rizzoli se lo è chiesto e ha riconosciuto che alcuni potenziali clienti non vogliono un tale livello di tracciamento. Sono state proposte quindi alcune modifiche: il sistema potrebbe essere in grado di estrarre informazioni sufficienti per distinguere le persone, senza che sia necessario abbinare alle stesse delle identità reali. E i clienti potrebbero pagare in contanti o con carta di credito, con la promessa che Poly non abbinerebbe il dato numero di carta di credito al volto di chi sta pagando.

La prova dimostrativa del funzionamento del sistema includeva un televisore maxischermo che mostrava cosa avrebbe visto un impiegato che controllava il sistema. I rendering sullo schermo illustravano come Poly estrae il significato dal movimento (la schermata demo ha etichettato attività come “stare in piedi”, “mangiare”, “bere” e “ballare”, suggerendo anche interessanti usi futuri della stessa tecnologia).

Per preparare questa demo, Rizzoli ha allestito un sistema di scansione per dimostrare come funziona il riconoscimento dei prodotti: lo stesso Rizzoli, prende migliaia di foto di ogni prodotto a diverse angolazioni, con differenti condizioni di illuminazione e tipi di distorsione dell’obiettivo, al fine di addestrare Poly a riconoscere, per esempio, una lattina di Coca-Cola in qualsiasi condizione.

Per automatizzare ancora di più il tutto, Poly potrebbe utilizzare immagini digitali di fornitori come Coca-Cola o General Mills. Si potrebbe arrivare anche a una scansione 3D dell’oggetto. «L’ideale sarebbe poter usare modelli 3D su cui poi modellare un processo completamente tridimensionale per addestrare il sistema a riconoscere un nuovo prodotto», afferma Rizzoli. L’obiettivo di breve termine, tuttavia, oggi è semplicemente quello di acquistare un braccio robotizzato in grado di caricare e scaricare automaticamente i prodotti per la fotografia.

PolyCam
(credit: Sean Captain)

Oggi i feed video sono catturati da telecamere economiche che Poly ha ordinato da un produttore cinese, modificate con sensori di immagine di fascia alta. I filmati HD 1080p a 15 fotogrammi al secondo sono sufficienti per la formazione e l’esecuzione dei modelli di riconoscimento multipli dell’immagine e delle attività. L’invio di video al cloud richiederebbe troppo tempo, quindi le riprese vengono elaborate localmente su un PC con una singola scheda grafica high-end (un Nvidia 1080Ti, anche se potrebbero bastare delle schede inferiori).

Questo è un livello di efficienza che secondo Rizzoli rappresenta un vantaggio rispetto ai concorrenti. «Nessun modello singolo può realizzare da solo un negozio autonomo, quindi stiamo facendo più cose. Ciò che è in esecuzione qui è una combinazione di diversi modelli che stanno cercando di capire chi sei, dove sei, cosa stai facendo, e poi, in definitiva, quali prodotti stai utilizzando/acquistando», spiega Rizzoli

Poly ha testato il suo sistema con un massimo di 23 persone (che si adattano alle ridotte dimensioni della stanza), ma Rizzoli calcola che il sistema potrebbe essere in grado già oggi di gestire fino a 40 persone (alcuni report dimostrano che Amazon Go ha incontrato difficoltà a tenere traccia di più di 20 persone).

Poly non è dovuta partire da zero. L’azienda rappresenta lo sviluppo di un servizio precedente, chiamato Aipoly, che offriva la tecnologia di assistenza per i ciechi. La sua app gratuita Android e iOS (che è ancora disponibile) riconosce categorie di oggetti come diversi tipi di cibo, animali (comprese le razze di cani e gatti), prodotti e piante, così come i colori e anche i volti di individui e le attività fisiche come il guidare una bicicletta. Poly ha innestato il suo motore AI e i suoi modelli in un nuovo progetto imprenditoriale ed il livello di tracciamento delle immagini e delle attività di Poly va oltre il check-out automatico. Può funzionare come un sistema di sicurezza per un negozio, un tracker dell’inventario e un modo per assicurarsi che i dipendenti non stiano rallentando il ritmo sul lavoro. Poly genera anche mappe di calore per fornire informazioni su come i clienti si muovono all’interno del negozio e raccoglie informazioni che potrebbero interessare i marketer (per esempio sui prodotti che le persone guardano od esaminano ma che poi decidono di non acquistare).

Check-out automatico 2.0?

Non mancano le criticità tecniche, tuttavia: Poly può anche confondersi se due persone sono molto vicine tra loro, e non riesce a riconoscere cosa prende dallo scaffale una persona se questa da le spalle alla telecamera. In una implementazione completa, un negozio avrà diverse telecamere montate in alto (ciò che Poly chiama “aquile”) per “aggirare” questo tipo di ostacoli. Quando qualcuno raggiungerà la cassa, diverse telecamere dovranno verificare gli oggetti che la persona ha prelevato prima di poterli conteggiare per il check-out. «Il tracciamento migliora radicalmente con un tipo di telecamere – chiamate “gufi” – che sono localizzate nella parte inferiore di ogni scaffale riuscendo quindi a tracciare i prodotti anche sul ripiano sottostante», spiega Rizzoli.

Anche il contesto è importante. L’obiettivo non è quello di essere in grado di identificare qualsiasi delle decine di migliaia di oggetti che i negozi hanno al loro interno. Telecamere che controllano la sezione latticini, per esempio, saranno alla ricerca di prodotti come latte, burro e yogurt; Poly sarà addestrata a riconoscere anche i clienti distratti che abbandoneranno un prodotto nello scaffale “sbagliato”: «non si può non notare che c’è un pezzo di carne rossa nel reparto latticini», dichiara Rizzoli.

Cibi freschi come frutta e verdura si stanno rivelando particolarmente difficili e richiedono molto training prima che il modello di Intelligenza Artificiale tenga conto della varietà di forme e dimensioni, così come l’occlusione quando gli elementi sono accatastati insieme. Identificare più oggetti, come qualcuno che tiene due lattine di soda in una mano, è anch’essa una sfida significativa.

La sfida per qualsiasi negozio automatizzato è che se non funziona al 100%, non funziona affatto (uno dei mercati automatizzati di maggior successo, la cinese BingoBox, richiede agli acquirenti di scansionare i codici a barre sui prodotti, ma questo sistema è decisamente più facile che effettuare il riconoscimento al 100% sull’immagine). L’insoddisfazione per gli attuali sistemi di check-out automatico ne sono un esempio, ma Poly sta cercando di fare qualcosa di molto più difficile.

Amazon ha appreso questa lezione quando i beta tester affollavano il negozio o camminavano troppo in fretta. Rizzoli dice che un sistema deve essere preparato a gestire un intero continuum di scenari possibili, da una situazione “civilizzata” in cui le persone raccolgono gli oggetti e si muovono in modo ordinato, a una situazione molto più disordinata e caotica in cui le persone si imbattono negli oggetti e i prodotti cadono dagli scaffali.

«Se i clienti si comportano in modo civile, possiamo tenere traccia del 98% degli articoli registrati in negozio; se i comportamenti delle persone sono poco civili e caotici, questo valore può scendere fino al 70%. Noi stiamo cercando di proporre una soluzione anche per la “situazione incivile”», conclude Rizzoli.

*VISIONARI è un’associazione non-profit che promuove l’utilizzo responsabile di scienza e tecnologia per il miglioramento della società. Per diventare socio, partecipare ad eventi e attività, fare una donazione, visitare il sito: https://visionari.org

Valuta la qualità di questo articolo

La tua opinione è importante per noi!

Articoli correlati

Articolo 1 di 4