Da bracciali che trasformano l’emotività del pianista in suono e immagini a esecuzioni per due pianoforti con un avatar nel Metaverso: Giusy Caruso, pianista e ricercatrice del Conservatorio Reale di Anversa, ha trovato nell’intelligenza artificiale una “nuova possibilità, un mezzo per amplificare l’espressività del performer
Seduta sulla panca del pianoforte, la pianista fissa il pubblico. Un movimento repentino delle braccia produce suoni elettronici prima ancora che le dita incontrino i tasti d’avorio. Una sagoma fluorescente proiettata alle sue spalle trasporta in una dimensione onirica.
“In-tensions” è una delle numerose performance “figitali” frutto del lavoro di ricerca della pianista Giusy Caruso, con lo scopo di trovare un punto di connessione tra il mondo fisico e quello digitale.
“Mentre suono indosso dei bracciali. Sono degli elettromiografi che hanno anche un accelerometro: riescono a catturare sia la tensione muscolare del musicista che suona, sia il suo movimento delle braccia. Questa tensione normalmente non è percettibile dall’occhio umano e il sistema quindi trasforma l’emotività e tutto ciò che è l’intenzione del musicista in suono e in immagine”.
Un brano “tra me e me stessa”: suonare con il proprio avatar nel Metaverso
Negli esperimenti di Caruso, il movimento del pianista si fonde con le corde del pianoforte. “ Mi sono approcciata a un progetto particolare dove io suonavo all’interno dello strumento e da questo [è iniziato] lo studio scientifico dell’analisi del movimento. Sono poi passata all’utilizzo creativo della tecnologia per poter aumentare la mia espressività e grazie alla collaborazione con la LWT3, una azienda di Milano specializzata in internet of things, analisi e visualizzazione di dati, ho realizzato il progetto ‘MetaPhase’”.
Sono state necessarie ore di studio, non solo per perfezionare l’esecuzione del brano, ma anche per coordinare il movimento del corpo fisico con il doppio digitale del pianista che ha preso vita nel Metaverso. “Il pezzo del compositore Steve Reich è pensato per due pianoforti, ho pensato dunque di sdoppiarmi. Attraverso un sistema di motion capture formato da diverse telecamere infrarossi abbiamo analizzato il mio movimento. Poi ho dovuto indossare un visore 3D per coordinare la mia esecuzione con quella dell’avatar, che in realtà era il mio doppio. Ero io stessa che avevo preregistrato il movimento e il suono della seconda parte del brano per creare una interazione tra me e me stessa”.
Le nuove possibilità aperte dall’IA
L’esperienza è stata del tutto nuova anche per il pubblico che “ha avuto la possibilità di visualizzare la performance direttamente nel Metaverso, quindi, di entrare nello spazio performativo e visualizzare il tutto dalla prospettiva del performer”.
L’intelligenza artificiale, spiega la ricercatrice, oggi è già utilizzata in maniera generativa. “Possono essere utilizzati tanti dati sonori per essere poi riassemblati dall’IA e quindi dare vita a una nuova musica. L’intelligenza artificiale rappresenta per me una possibilità, un nuovo modo per potenziare l’espressività ed è sicuramente un mezzo che non sostituisce l’uomo perché ha bisogno di nutrirsi di dati dell’uomo. È un modo per arrivare a un nuovo risultato utilizzando un mezzo tecnologico a supporto dell’artista”.
vedi anche
Cora, la coreografa del Metaverso e la danza digitale
La musica del futuro sarà “immersiva, interattiva e co-creativa”
Se dovesse immaginare lo scenario musicale tra dieci anni, Caruso pensa a uno spazio immersivo, in cui il pubblico avrà la possibilità di interagire con il performer e con la musica stessa. “L’esecuzione potrà essere osservata da più location grazie al Metaverso. Sarà un mondo alla portata di tutti dove le persone potranno partecipare e co-creare insieme al performer. La creatività diventerà co-creatività che lascerà spazio ad artisti e anche agli spettatori”.
)
)
)
)
)