EQUITONO
Equitono, proyecto seleccionado en la III Convocatoria César-Etopia Labs de Videocreación de 2019, es un dispositivo audiovisual experimental para mostrar, en tiempo real, una representación visual del sonido. Conceptualmente, la intención del proyecto es ilustrar sonidos de la voz humana, sus registros fonéticos, entonaciones y expresiones, desde una percepción artística subjetiva y basada en investigaciones de la psicología experimental y los arquetipos del inconsciente colectivo.
El profesor, diseñador y tipógrafo Martin Solomon (Nueva York 1932 - 2006) utilizó la palabra equitono para denominar al sonido visual, es decir, cuando definimos igualmente forma visual y forma sonora mediante conceptos como ritmo, textura, ruido, equilibrio, color, énfasis, contraste, armonía, densidad...
Mucho tiempo antes el pintor Vasili Kandinski (Moscú 1844 - París 1944) aseguraba pintar música y sonido; decía: “El color es la tecla. El ojo es el martillo. El alma es el piano. El artista es la mano que, con una u otra tecla hace vibrar el espíritu del ser humano”.
En la actualidad, neurocientíficos como David Eagleman investigan la conexión cerebral entre las formas visuales y el sonido del lenguaje, dentro del fenómeno llamado sinestesia.
INVESTIGACIÓN Y PROCESO
Casi siempre hemos visto la conexión del sonido con la imagen mediante representaciones físico-científicas, es decir, con el objeto que lo produce, con la representación gráfica de las ondas, o con el efecto de sus vibraciones en los materiales. El reto de Equitono es conectar sonido e imagen desde extremos primitivos, sin intermediar. Es como recrear, o también comprimir, el proceso con el que se formaron las letras o los ideogramas que representan sonidos (fonemas) del lenguaje, con el que después se denominan los objetos y las cosas.
Los sonidos no contienen significados concretos, pero podrían ser representados con formas más o menos concretas. Este hecho se investigó hace años, y se demostró una conexión entre el sonido del lenguaje y la forma de los objetos. Lo llaman simbolismo fonético. Aquel experimento se realizó en diferentes épocas y diferentes lugares. Las personas participantes debían asociar dos palabras sin significado con dos formas sin significado. Por ejemplo, debían asociar la palabra bouba o la palabra kiki, con una forma de lados puntiagudos o con otra de lados redondeados. Y en el 95% de las pruebas las asociaban de la misma manera.
Realicé un experimento participativo para capturar y recopilar grabaciones de la voz humana, y obtener diversidad de expresiones y entonaciones, así como interpretaciones visuales de esos sonidos. El experimento tuvo lugar en el Laboratorio de Sonido de Etopia, dentro de la Semana de la Ciencia Ciudadana. Cada participante grababa un sonido hecho con su voz. Después escuchaba otro sonido, también vocal, extraído al azar de un archivo con grabaciones anteriores. Finalmente debía hacer un dibujo sobre una cartulina de algún color, para representar ese sonido.
Es difícil evitar relacionar un sonido con un objeto, como si ese objeto fuese el sonido, o no pudiera existir sin él. Esta es la primera observación del experimento: muchas veces se intenta adivinar a qué objeto pertenece ese sonido, como si se tratara siempre de una imitación. Aunque el objetivo del proyecto es obtener representaciones visuales sin significado. Como ocurre con la tipografía, con las letras, Equitono escribe sonidos, pero no palabras ni significados. De todas formas el experimento demostró interesantes conexiones entre la percepción sonora y la visual.
Basándome en nuestro experimento participativo y en las investigaciones sobre el simbolismo fonético y la sinestesia, diseñé una serie de formas visuales animadas en bucle, que representarían diferentes grupos de sonidos según sus características.
La interacción sonido-imagen, la respuesta visual al sonido, la programé con el software libre Pure Data. El sonido es analizado en frecuencias (hercios), intensidades (decibelios), notas musicales (tonos), y es traducido a visuales animados y colores, que se clasifican previamente según los criterios que se establezcan. Por ejemplo, un sonido grave producirá colores azulados y formas redondeadas mientras que los sonidos agudos producirán colores rojizos y formas quebradas.
Para ensayar el dispositivo y concretar sus ajustes, Ángel Lalinde me ayudó con la producción, compuso diversas piezas sonoras con cientos de registros fonéticos que recopilamos y también realizó una serie de animaciones en las que propone un simbolismo más figurativo.
El resultado es una interfaz que interactúa con el sonido recibido (micrófono) y responde con las formas visuales y colores (pantalla) correspondientes a frecuencias, notas e intensidades de audio, lo que provoca un diálogo audio-visual en tiempo real. Podemos decir que es un visualizador de datos con intervención subjetiva, porque los visuales no son realizados por datos sino por percepciones y consideraciones más complejas, las que siempre están en un trabajo de grafismo e ilustración, que no surgen de sistemas automatizados o unidireccionales. En cualquier caso el dispositivo Equitono puede ajustarse, según la estética, la investigación científica o la experimentación.
En los ensayos nos dimos cuenta que también ocurría algo sorprendente y divertido: frente a la pantalla, con nuestra voz al micrófono, estábamos jugando contra las imágenes y los colores como una persecución. En ese juego, sin darnos cuenta, terminábamos perdiendo la timidez ante el micrófono y deformando nuestras voces hasta lo grotesco. Quizá sea realmente esa la traducción sonora de las imágenes?