Intelligenza artificiale e arte. Si chiama MusicAI ed è un progetto che prevede un connubio tra tecnologia, arti figurative e musica in cui questa diventa musa ispiratrice dell’intelligenza artificiale che “ascolta”, ne trae i colori e sfrutta questa informazione per realizzare illustrazioni riconducibili all’arte astratta.
Il progetto è stato presentato il 12 giugno 2021 in occasione della giornata conclusiva di Metamorphosen, rassegna della “Roero Chamber Music Events”, nel Castello di Guarene, Cuneo. Si è trattato della prima esibizione di un percorso ideato, progettato e lanciato da Fondazione LINKS, ente strumentale di Compagnia di San Paolo e del Politecnico di Torino, in collaborazione con Skills Management Group e il Delian Quartett.
La prima mondiale ha visto come protagonisti l’intelligenza artificiale, creata dai ricercatori della Fondazione LINKS, la musica, attraverso il brano di Vivaldi “Vedrò con mio diletto”, estratto dall’opera Il Giustino e suonato dal Delian Quartet guidato dal maestro Adrian Pinzaru e, infine, le immagini generate, che si svelano durante l’esibizione al ritmo della musica.
Sally, il sistema di AI che collega la musica al colore
L’intelligenza artificiale ha un nome: Sally. Fino all’evento di Guarene, Sally ha studiato il lavoro eseguito da musicisti e pittori: i primi hanno mostrato a Sally come abbinare i colori ai sentimenti durante l’ascolto della musica, mentre i secondi le hanno mostrato migliaia esempi di arte moderna.
Sally ha appreso, rappresentando con sfumature sorprendenti la correlazione fortissima tra note, colori e sentimento: ha ascoltato circa 40.000 secondi di musica classica categorizzata per colore e sentimento e ha studiato lo stile artistico di circa 15.000 dipinti d’arte astratta.
Sally ha imparato che vi è una correlazione biunivoca tra colore e sentimento. Ha poi imparato a riconoscere il colore e a realizzare illustrazioni che riprendono lo stile dei dipinti utilizzati durante lo studio, realizzandone sempre di nuovi, mai uguali a quelli precedenti. Tutto questo in completa autonomia.
La tecnologia abilitante: machine learning e reti neurali
La tecnologia di base utilizzata per la realizzazione di Sally è quella delle macchine che apprendono da esempi, ossia Machine Learning. Gli strumenti utilizzati sono state le reti neurali che interagiscono tra loro prima nel riconoscimento del colore e poi nella generazione dell’illustrazione.
Una prima rete neurale basata sull’analisi del segnale audio ha il compito di ascoltare spezzoni di 30 secondi e di trovare una rappresentazione numerica dello spezzone, ottenuta allenando la rete nel compito di classificare lo spezzone rispetto al colore. La rete in questione è una rete convolutiva con ricorrenza. Gli esempi utilizzati per l’apprendimento sono stati creati da un gruppo di esperti di dominio che hanno selezionato circa 60 brani di musica classica e, per ognuno, hanno creato spezzoni da 30 secondi per poi annotarli rispetto al colore e emozione.
I colori utilizzati per questa fase di annotazione e le relative emozioni sono:
- bianco │ speranza
- viola │ affetto
- rosso │ gioia
- blu │ tristezza
- nero │ rabbia
- giallo │ paura
- verde │ compassione
- arancione │ allegria
Una seconda rete neurale parte dal colore riconosciuto dalla musica e sfrutta questa informazione per generare le immagini. Si tratta di generazione condizionale, che è realizzata a partire da una rete neurale che prende il nome di rete con avversario (adversarial network), in quanto si compone di un blocco di generazione e uno di filtro di qualità e aderenza delle immagini rispetto allo stile appreso (l’avversario). Entrambi i blocchi sfruttano delle reti convolutive con trasferimento del gradiente di apprendimento su molteplici risoluzioni dell’immagine. Questa innovazione ci permette di avere un’immagine che è la combinazione di diverse immagini di risoluzione crescente, permettendoci di mantenere una qualità di linee e aggregazioni di colori buone. La fase di allenamento è quella fondamentale per dare a Sally la capacità di apprendere lo stile ed è stata fatta sfruttando le immagini presenti in WikiArt.
Infine, una terza rete neurale ha il compito di ingrandire le immagini generate. Anche questa sfrutta una tecnologia con avversario ed entrambi i blocchi sono caratterizzati da reti neurali convolutive che hanno i seguenti compiti: il primo di ingrandire e riempire gli spazi dell’immagine con delle stime di colori sui pixel mancanti, il secondo di distillare la veridicità dell’immagine rispetto a quella di partenza.
Dopo questa prima rappresentazione, l’attività di LINKS e dei suoi partner proseguirà nei prossimi mesi. Si punterà a portare l’esperienza maturata e i risultati ottenuti nei prossimi appuntamenti scientifici che vedranno al centro l’intelligenza artificiale a livello nazionale e internazionale.
Dove nasce l’abbinamento fra musica e colore
Il 2 gennaio 1911 il pittore Wassily Kandinskij assistette a un concerto dell’Opera 11 per pianoforte di Arnold Schönberg, a Monaco: si tratta di un’opera inquieta, turbata da note che sembrano combattere l’una contro l’altra in un continuo formarsi di dissonanze e frizioni, che lasciò una profonda traccia nella sensibilità artistica di Kandinskij.
Il giorno dopo, il pittore dipinse infatti quel concerto dando il via all’astrattismo: una rivoluzione, non soltanto sua ma dell’arte in generale. L’importanza che Kandinskij diede al rapporto tra il suono e il colore è evidente nelle sue parole:
In generale il colore è un mezzo che consente di esercitare un influsso diretto sull’anima. Il colore è il tasto, l’occhio il martelletto, l’anima il pianoforte dalle molte corde. L’artista è una mano che toccando questo o quel tasto mette in vibrazione l’anima umana (Wassily Kandinskij, Dello spirituale nell’arte, in Tutti gli scritti, a cura di P. Sers, Feltrinelli, 1989).
Impression 3 – Concerto, di Wassily Kandinskij
La convivenza tra arte e tecnologia risulta come un rapporto intuitivamente difficile, eppure è l’etimo stesso del termine tecnologia a portare con sé e a definire lo stretto intreccio di questa convivenza: “tekhne”: arte intesa come il saper fare, e “logia”: discorso, trattato.
La tecnologia non solo influenza la creazione artistica stabilendo le possibilità di espressione degli artisti, ma determina il passaggio a funzioni diverse dell’arte cambiandone anche le modalità di fruizione. Come la relazione tra arte e tecnologia anche il legame tra suono e colore è storia antica.
Quando parliamo di questo rapporto ci riferiamo a un fenomeno neurologico chiamato sinestesia che si realizza quando stimolazioni provenienti da una via sensoriale o cognitiva inducono a delle esperienze, automatiche e involontarie, in un secondo percorso sensoriale o cognitivo.
I capisaldi del progetto MusicAI
L‘intelligenza artificiale (AI) si sta sviluppando rapidamente e ben presto diventerà una parte sempre più centrale di ogni aspetto della vita delle persone, quali per esempio l’assistenza sanitaria (migliore diagnosi e prevenzione), la produzione agricola (agricoltura di precisione) e industriale (manutenzione predittiva), la sicurezza dei cittadini e di molti altri che possiamo solo iniziare a immaginare.
L’arte è sempre stata all’avanguardia nell’adozione della tecnologia e si è prestata spesso a essere un valido campo di sperimentazione da cui far emergere opportunità e minacce, offrendo spunti interessanti agli addetti ai lavori, sensibilizzando le persone ed influenzando le scelte tecnologiche.
Il colore è un mezzo che consente di esercitare un influsso diretto sull’anima.
La musica, in particolare, è accessibile a tutti e può rappresentare un ponte tra il mondo artistico e quello tecnologico, contribuendo a rendere l’AI più comprensibile e più vicina ai bisogni e ai valori umani.
Il progetto MusicAI si propone di portare a un livello superiore questo intreccio, sperimentando le tecnologie di AI per creare un’opera d’arte pittorica, influenzata dalla musica.
Alcune delle illustrazioni generate da Sally “ispirandosi” alla musica
I partner del progetto:
- Fondazione LINKS: ideatore, coordinatore e responsabile dello sviluppo della piattaforma tecnologica. Nasce dalla volontà della Fondazione Compagnia di San Paolo e del Politecnico di Torino di dotarsi di un ente capace di operare nella ricerca applicata, nell’innovazione e nel trasferimento tecnologico: un ponte tra ricerca di base e mercato.
- Adrian Pinzaru: ideatore e direttore artistico
- Skills Management Group: ideatori della narrazione del progetto.
