Lecture at the Federal University of Rio de Janeiro

(Computational analysis of musical movement and applications in music, robotics and interactive multimodal systems)

16/03/2015 – 14:00
Local: UFRJ, CT, Bloco I – Sala 146 (SMT II)

 

Organization: IEEE (RJ) e Laboratório de Sinais, Multimídia e Telecomunicações (SMT – Poli/COPPE/UFRJ)

Movimento humano está fortemente conectado com praticamente todas as manifestações musicais, especialmente na música popular e tradicional. Desenvolvimentos no campo das interfaces homem-computador (HCI) têm se aproveitado dessas relações por meio de interfaces gestuais, sensores para consoles de jogos, controladores e novos instrumentos digitais. Entretanto, tanto na área das humanidades (e.g. teoria musical, etnografia) quanto nas ciências exatas (e.g. Music information retrieval) os estudos da música raramente dialogam objetivamente com as complexidades do movimento humano. Nesta palestra exploraremos resultados de experiências que exploram a computação com música e movimento e geram aplicações na teoria e performance musical. Na primeira experiência utilizamos uma representação computacional de relações música-dança [1] para implementar uma ativação de movimentos de dança em um robô [2]. A seguir, utilizaremos a mesma representação para realizar síntese sonora em tempo real utilizando dados de visão computacional [3]. Ao final analisaremos evidências de desvios sistemáticos na estrutura rítmica do samba[4], relacionadas com a sensação de groove ou swing.

1. Naveda, L., Leman, M.: The spatiotemporal representation of dance and music gestures using Topological Gesture Analysis (TGA). Music Percept. 28, 93–111 (2010).

2. Lobato, J., Naveda, L., Gouyon, F., Reis, L.P., Leman, M., Souza, P.: A Spatiotemporal Method for Synthesizing Expressive Dance Movements of Virtual Humanoid Characters (submitted). EURASIP J. Audio Speech Music Process. (2011).

3. Naveda, L., Santana, Ivani: “Topos” toolkit for pure data: exploring the spatial features of dance gestures for interactive musical applications. Proceedings of the 40th International Computer Music Conference (ICMC) / 11th Sound & Music Computing conference. University of Athens, Athens, Greece (2014).

4. Naveda, L., Gouyon, F., Guedes, C., Leman, M.: Microtiming patterns and interactions with musical properties in samba music. J. New Music Res. 40, 223–236 (2011).