Corpos e sons em diálogo

Núcleo Interdisciplinar de Comunicação Sonora da Unicamp explora como sonoridade influencia consciência corporal

“Dois para lá, dois para cá…” É com passos tímidos que começamos a nos movimentar ao som de uma música e, quando nos damos conta, estamos dançando. Não importa se o dançarino da vez é mais retraído ou um verdadeiro pé de valsa. Os passos improvisados são fruto de uma articulação entre sons e movimentos que, à primeira vista, parecem completamente instintivos. Entretanto, são a concretização de uma série de decisões tomadas com base nas emoções envolvidas no momento e nas referências que se tem sobre dança, de maneira a traduzir em movimentos aquilo que se ouve. Compreender esse processo envolve conhecimentos diversos, desde o estudo da acústica e das tecnologias de produção e processamento de som e imagens, até a psicologia e a produção de sentidos, investigando os limites do som e da dança, seus cruzamentos, suas sobreposições e como resultam em diferentes formas de transmitir mensagens e emoções.

“A produção da dança é bilíngue. Nela devemos incorporar a música de qualquer forma. Da mesma maneira, a música também deve ser bilíngue. Os músicos devem compreender que possuem um corpo”, argumenta Daniela Gatti, professora do Instituto de Artes (IA) da Unicamp e coordenadora do projeto Corpo Sonoro Expandido: espaços ampliados entre som, movimento e tecnologia em realidade mista (CSE), do Núcleo Interdisciplinar de Comunicação Sonora (Nics). A iniciativa, que envolve uma rede de docentes e pesquisadores, combina análises musicais, performáticas, audiovisuais e computacionais para desenvolver novas metodologias e processos criativos na composição musical e performática. A ideia é despertar nos músicos e bailarinos uma maior consciência sonora e corporal.

O CSE tem o apoio da Fundação de Amparo à Pesquisa do Estado de São Paulo (Fapesp) por meio da Chamada LinCAr – Abordagens Inovadoras na Pesquisa em Linguagens, Comunicações e/ou Artes. Aliadas ao uso de dispositivos móveis, as descobertas podem ser aplicadas na análise da qualidade e da precisão dos movimentos e contribuem para o desenvolvimento de terapias para doenças como a de Parkinson.

Sons do movimento

Segundo o que determina a física e a biologia, nossos ouvidos percebem a variação de pressão atmosférica causada pela compressão mecânica do ar, que ocorre conforme as ondas sonoras se propagam. Esse estímulo faz os tímpanos vibrarem, possibilitando o processamento auditivo. Ou seja, há uma relação intrínseca entre som e corpo, sendo o movimento um elemento mediador entre os dois.

Apesar dessa conexão, é comum pensarmos em ambas as manifestações de forma separada: a sonoridade da música é uma coisa, e os movimentos de danças e performances são outra, ainda que combinados em expressões artísticas. Entretanto, com a incorporação de recursos digitais que criam ambientes virtuais e realidades expandidas, é possível compreender de forma mais clara como os movimentos corporais são fontes de sons e como esses podem ser um fator a mais a ser considerado na criação artística de danças e performances. “Não se trata apenas de entender o corpo como movimento, mas como um corpo sonoro que se constrói, que concebe movimentos em forma de som”, explica Gatti.

Converter movimentos em sons não é uma novidade na ciência. Em 1928, o russo Léon Theremin patenteou o primeiro instrumento musical controlado apenas com movimentos feitos no ar. Conhecido como teremin, o aparato funciona com duas antenas que captam os movimentos das mãos e, com base neles, controlam a frequência e o volume do som emitido. A inovação do CSE é tornar esse recurso acessível para a criação artística e, assim, trazer instrumentos que conectam movimentos e sons para dispositivos móveis, fomentando a reflexão sobre o quanto isso amplia as possibilidades inventivas para artistas da música e da dança.

Uma das iniciativas do Nics foi a criação do aplicativo MoveGuitar. O recurso utiliza o acelerômetro presente nos smartphones para capturar os movimentos. Por meio de um algoritmo que gera padrões de notas musicais junto com essa interação, os gestos são interpretados pelo sistema como mudanças na frequência de uma onda sonora senoidal, um som puro e constante. “Ao se movimentar, a pessoa ouve o som. Isso alimenta nela o desejo de se movimentar mais e produzir mais sons, formando um ciclo contínuo”, detalha Jônatas Manzolli, pesquisador do Nics e criador do MoveGuitar. Convertidos em informação digital, chamada protocolo Midi (Musical Instrument Digital Interface), os sons gerados pelo aplicativo podem ser transmitidos pela rede e executados à distância.

Outro projeto combina a captura e o processamento de imagens dinâmicas com um tipo de geração sonora chamada síntese granular. Os movimentos de bailarinos são gravados, e um software converte as imagens em pontos que, em um eixo de ondas sonoras, têm a duração de milissegundos. Combinados e em movimento, formam camadas de sons com diferentes frequências, volumes e tonalidades. O funcionamento pode ser comparado ao processo inverso de um exame de ultrassonografia: ao invés de as ondas sonoras gerarem uma imagem, é o processamento dessas que gera uma paisagem sonora.

A partir das possibilidades de expansão da presença corporal e dos movimentos por meio dos sons, o grupo identifica o potencial de esses recursos serem incorporados a terapias para melhorar a qualidade de vida de pacientes com doenças como a de Parkinson. “É muito importante a identificação do quanto o som interfere na expressividade dos movimentos quando incorporado a eles”, comenta Gatti. Para isso, os pesquisadores firmaram uma parceria com o Projeto Viva Bem, o hub de inteligência artificial para saúde e bem-estar da Unicamp. Utilizando sensores de movimento de alta sensibilidade incorporados a relógios do tipo smartwatch, serão feitos testes para avaliar se o estímulo sonoro aumenta a qualidade de execução dos movimentos.

O plano é comparar os dados obtidos de uma sequência de movimentos pré-definidos executada por bailarinos e por não bailarinos, com e sem o estímulo sonoro. “Vamos fazer análises comparativas e qualitativas e avançar no entendimento da biomecânica do movimento, compreendendo como os sinais captados pelos sensores podem ser transformados em som e como isso nos permite entender melhor se o movimento é bem executado ou não”, destaca Anderson Rocha, professor do Instituto de Computação (IC) e coordenador do Projeto Viva Bem. Segundo o docente, a colaboração permite incluir a dimensão sonora como fonte de estímulos às pesquisas em torno dos recursos de inteligência artificial. “Esse é um belo exemplo de como a inteligência artificial pode ajudar a dança e a música e de como esses gêneros artísticos podem ajudar nossas pesquisas a compreender melhor os dados obtidos”, sintetiza.

Bases para o improviso

Compor uma obra artística, como uma canção ou uma coreografia, envolve a tomada de decisão sobre como materializar ideias e emoções em sons ou movimentos. “A improvisação sempre tem uma base. A questão é se está implícita ou explícita”, defende Manuel Falleiros, coordenador do Nics. Assim, as reflexões produzidas a partir dos estudos do grupo enriquecem esse processo ao ofertar novos canais pelos quais a improvisação pode se manifestar.

Com a chegada de novas tecnologias, o que muda no processo de criação artística é o intervalo de tempo entre a inspiração e o registro permanente. Se antes um pianista precisava anotar à mão nota por nota tirada do piano até completar sua obra, hoje um músico pode gravar a execução de determinada música com o próprio celular e, com a ajuda de algoritmos, extrair uma partitura completa e até uma harmonia produzida de forma sintética para sua melodia. “O gerenciamento das decisões artísticas ainda está dentro da nossa cabeça”, pontua Falleiros. “A diferença é que algumas ferramentas contribuem para o momento da decisão e da criação artística.”

Para o improviso na dança, os recursos sonoros contribuem para ampliar a consciência corporal de bailarinos. Dessa forma, esses profissionais contam com o som para interagir com outros elementos determinantes no processo de criação. “A presença expandida do corpo à qual nos referimos reside nessa consciência”, reflete Gatti. Segundo a coordenadora, mesmo ao criar uma obra sozinha, os sons, o espaço e os dispositivos móveis colaboram na improvisação. “É necessário um entendimento de todos os elementos.”