4/11/19

Equitono, ilustrar el sonido

Casi siempre hemos visto la conexión del sonido con la imagen en representaciones físico-científicas, es decir, con el objeto que lo produce, con la representación gráfica de las ondas, o con el efecto de sus vibraciones en los materiales. El reto del proyecto Equitono es conectar sonido e imagen desde extremos primitivos, sin intermediar. Es como recrear, o también comprimir, el proceso con el que se formaron las letras o los ideogramas que representan sonidos (fonemas) del lenguaje, con el que después se denominan los objetos y las cosas.
Basándome en investigaciones científicas que se han realizado sobre el simbolismo fonético y la sinestesia (ver post anterior), diseñé una serie de formas visuales animadas en bucle, que representarían diferentes grupos de sonidos según sus características.
La interacción sonido-imagen, la respuesta visual al sonido, la he programado con el software libre Pure Data. El sonido es analizado en frecuencias (hercios), intensidades (decibelios), notas musicales (tonos), y es traducido a visuales animados y colores, que se clasifican previamente según los criterios que se establezcan. Por ejemplo, un sonido grave producirá colores azulados y formas redondeadas mientras que los sonidos agudos producirán colores rojizos y formas quebradas.


Para ensayar el dispositivo y realizar los ajustes, Ángel Lalinde me ayudó en la producción, compuso diversas piezas sonoras con cientos de registros fonéticos que recopilamos y también realizó una serie de animaciones en las que propone un simbolismo más figurativo.
El resultado podéis verlo en el vídeo que acompaña este post. Básicamente es una interfaz que interactúa con el sonido recibido (micrófono) y responde con las formas visuales y colores (pantalla) correspondientes a frecuencias, notas e intensidades de audio, lo que provoca un diálogo audio-visual en tiempo real. Podemos decir que es un visualizador de datos con intervención subjetiva, porque los visuales no son realizados por datos sino por percepciones y consideraciones más complejas, las que siempre están en un trabajo de grafismo e ilustración, que no surgen de sistemas automatizados o unidireccionales. En cualquier caso el dispositivo Equitono puede ajustarse, según la estética, la investigación científica o la experimentación.
En los ensayos nos dimos cuenta que también ocurría algo sorprendente y divertido: frente a la pantalla, con nuestra voz al micrófono, estábamos jugando contra las imágenes y los colores como una persecución. En ese juego, sin darnos cuenta, terminábamos perdiendo la timidez ante el micrófono y deformando nuestras voces hasta lo grotesco. Quizá sea realmente esa la traducción sonora de las imágenes?
Está prevista una presentación de Equitono en modo de instalación o performance, anunciaré en este blog la fecha concreta y cualquier novedad sobre el proyecto.

20/6/19

Investigación y experimento para Equitono

En el proceso para construir el proyecto Equitono tengo previsto capturar y recopilar grabaciones de la voz humana, en diferentes contextos, y así obtener diversidad de expresiones y entonaciones. Tratando este asunto con la tutoría y dirección de la convocatoria Laboratorios César-Etopia, David Orús y Rebeca Cavero, y con la ayuda de Nieves Arilla y Santiago Latorre, del Laboratorio de Sonido, aprovecharemos las grabaciones de voces para hacer un experimento en el que pueda participar la gente.
Hemos comenzado a realizar la experiencia el pasado 8 de junio en el Laboratorio de Sonido de Etopia, dentro de la Semana de la Ciencia Ciudadana. El experimento consiste en que cada participante graba un sonido hecho con su voz, y después hace un dibujo que represente a otro sonido, también vocal, extraído al azar de un archivo con grabaciones anteriores.
Los sonidos no contienen significados concretos, pero podrían ser representados con formas más o menos concretas. Este hecho se investigó hace años, y se demostró una conexión entre el sonido del lenguaje y la forma de los objetos. Lo llaman simbolismo fonético. Aquel experimento se realizó en diferentes épocas y diferentes lugares. Las personas participantes debían asociar dos palabras sin significado con dos formas sin significado. Por ejemplo, debían asociar la palabra bouba o la palabra kiki, con una forma de lados puntiagudos o con otra de lados redondeados. Y en el 95% de las pruebas las asociaban de la misma manera.
En el experimento para Equitono hay que crear la forma que represente un sonido hecho con la voz o con la boca. Es difícil evitar relacionar un sonido con un objeto, como si ese objeto fuera el sonido, o no pudiera existir sin él. Esta es la primera observación de la experiencia: se intenta adivinar a qué objeto pertenece ese sonido, como si se tratara siempre de una imitación. Sin embargo el objetivo del experimento es obtener representaciones visuales sin significado. Tal como ocurre con la tipografía, con las letras, pero en Equitono intentaremos escribir sonidos, no palabras ni significados.
Si os apetece participar en la experiencia solo tenéis que escribir a la dirección laboratorioscesar@bifi.es con el asunto «Experimento para Equitono» y os comunicaremos la próxima sesión. Gracias!


15/5/19

Equitono, el sonido visual, ilustrar el sonido.

El profesor, diseñador y tipógrafo Martin Solomon (Nueva York 1932 - 2006) utilizó la palabra equitono para denominar al sonido visual, es decir, la conexión imagen-sonido. Y es que utilizamos, tanto para la imagen como para el sonido, conceptos como ritmo, textura, ruido, equilibrio, color, énfasis, contraste, armonía, densidad...
Mucho tiempo antes el pintor Vasili Kandinski (Moscú 1844 - París 1944) aseguraba pintar música y sonido; decía: “El color es la tecla. El ojo es el martillo. El alma es el piano. El artista es la mano que, con una u otra tecla hace vibrar el espíritu del ser humano”.
En la actualidad, neurocientíficos como David Eagleman investigan la conexión cerebral entre las formas visuales y el sonido del lenguaje, dentro del fenómeno llamado sinestesia.
Equitono es el título de mi próximo trabajo, seleccionado en la III Convocatoria César-Etopia Labs de Videocreación, de 2019. Se trata de un dispositivo audiovisual experimental para mostrar, en tiempo real, una representación visual de los sonidos de la voz humana, sus registros fonéticos, entonaciones y expresiones. Mi intención es ilustrar estos sonidos con animaciones visuales, no desde la representación gráfica de sus datos, sino desde la percepción artística subjetiva y basándome en investigaciones de la psicología experimental y los arquetipos del inconsciente colectivo. Informaré puntualmente en este blog sobre mis progresos en el proyecto.