Vector-based Amplitude Detection for First Order Ambisonics & Poetic Inquiries into Machine Listening

This paper continues a line of research on spatial sound and machine listening, building on the earlier project Inside the Noise (Altrememorie Residency, Koper, SI). At its core is a vector-based amplitude — direction-of-arrival — detection model: a neural network (a PyTorch MLP) trained on a self-made First Order Ambisonics (FOA) dataset of impulse responses and field recordings, then deployed in real time within a MaxMSP environment through IRCAM’s nn~ object to drive spatial FM synthesis. The research unfolded across several residencies — EMS Stockholm (studios equipped with a 9.1.4 array) and Notam Oslo — and culminated in the audiovisual installation Virtual Eschatologies at Zwitschermaschine Berlin. Written within the Sound Studies and Sonic Arts programme at the Universität der Künste Berlin, the text moves between technical implementation and a poetic inquiry into what it might mean for a machine to listen. Supported by Culture Moves Europe and the Goethe-Institut.        

Click image for full article in PDF format.

Photo by Bjørg Tønnessen    

Sympoietic Being

Sympoietic Being is an immersive audiovisual project exploring sound and visual communication within a 3D space, integrating Unreal Engine 5, MaxMSP, and Ambisonics to create a hypernatural environment for full-dome projection. Developed by Vicente Yáñez Fuenzalida and Arthur Wardenski, the work navigates themes of posthumanism, relational aesthetics, and ecological interconnectivity, inspired by Nicolas Bourriaud’s molecular anthropology and Robert Morris’s mirror sculptures. Through intricate workflows involving OSC data, ADM files, and spatial sound design, the project transforms a crystal’s journey through a hyperdimensional cave into a multisensory experience. The work was premiered on December 2024 at ZeissGroßplanetarium Berlin and later screened at Cité des Sciences  Paris.

A version of this article has been published on the IRCAM Forum (click here).    

Click image for full article in PDF format.

Inside the Noise

The Altrememorie residency, hosted by Le(Serre (Udine, IT) and PiNA (Koper, SI), was a three-week exploration of urban sound, immersive audio, and artistic research. With full creative freedom, the project centered on site-specific sonic investigations, using Ambisonic field recordings and spatial synthesis to capture and reinterpret the acoustic essence of Koper and Udine. Through methodical soundwalking, impulse response recordings, and machine learning classification of spectral features, the residency evolved into an interactive sound installation. The final work, blending real-world recordings with algorithmically processed spatial FM synthesis, was presented in Koper, highlighting the tension between natural soundscapes and artificial sonic structures. The experience not only pushed the boundaries of immersive audio composition but also opened new research avenues in sound classification and spatialization.        

Click image for full article in PDF format.

Photo by Chiara Bassi      

Inquiries in the Capitalocene

What can be said of global ecological crisis that hasn’t been said already?

The question comes to mind when approaching an art piece that endeavors to address the topic and that, almost half of the time, turns out to be a patronizing bedtime story on how to use less resources and be aware of the waste that we produce. Will this paper be part of the endless cue of digital content spread into the universe that on the subject? Maybe it is. So, I’ll use the opportunity to study the maIer more in-depth, as a musical étude, perhaps in an also extractive attempt for further reach into my own artistic practice.

The reading that I’ll use as frame of reference is Nicolas Bourriaud’s Inclusions: Aesthetics in the Capitalocene. I believe that this book opens up several paths for research and ties up ecological matters with aesthetics, traversing artistic practices of the twentieth and twenty first century, in order to access a critical standpoint without pledging allegiance to a certain philosophical current.
The idea is to delve into art (or at least analyze contemporary practices), but first, I’ll review some political and anthropological subjects to give some groundwork for further artistic analysis.  

Click image for full article in PDF format.

Photo by Pablo O’Ryan

Vector-based Amplitude Detection for First Order Ambisonics & Poetic Inquiries into Machine Listening

Este texto continúa una línea de investigación sobre sonido espacial y escucha de máquina, a partir del proyecto previo Inside the Noise (Residencia Altrememorie, Koper, SI). Su núcleo es un modelo de detección de amplitud basado en vectores —dirección de llegada—: una red neuronal (un MLP en PyTorch) entrenada con un dataset propio de Ambisonics de Primer Orden (FOA) compuesto por respuestas al impulso y grabaciones de campo, desplegada en tiempo real dentro de un entorno MaxMSP mediante el objeto nn~ de IRCAM para controlar una síntesis FM espacial. La investigación se desarrolló a lo largo de varias residencias —EMS Estocolmo (estudios equipados con un sistema 9.1.4) y Notam Oslo— y culminó en la instalación audiovisual Virtual Eschatologies en Zwitschermaschine Berlín. Escrito en el marco del programa Sound Studies and Sonic Arts de la Universität der Künste Berlin, el texto transita entre la implementación técnica y una indagación poética sobre qué podría significar que una máquina escuche. Con el apoyo de Culture Moves Europe y el Goethe-Institut.        

Haz clic en la imagen para leer el artículo completo en PDF (en inglés).

Foto por Bjørg Tønnessen

Sympoietic Being

Sympoietic Being es un proyecto audiovisual inmersivo que explora la comunicación sonora y visual dentro de un espacio 3D, integrando Unreal Engine 5, MaxMSP y Ambisonics para crear un entorno hipernatural para proyección en domo completo. Desarrollado por Vicente Yáñez Fuenzalida y Arthur Wardenski, la obra aborda temas de posthumanismo, estética relacional e interconectividad ecológica, inspirándose en la antropología molecular de Nicolas Bourriaud y las esculturas de espejos de Robert Morris.
A través de flujos de trabajo complejos que involucran datos OSC, archivos ADM y diseño sonoro espacial, el proyecto transforma el recorrido de un cristal por una cueva hiperdimensional en una experiencia multisensorial. Los desafíos técnicos clave incluyeron la sincronización audiovisual en tiempo real, la interactividad entre plataformas y la precisión espacial de los paisajes sonoros inmersivos, culminando en presentaciones en Berlín y París.        

Una versión del articulo  está publicada en el IRCAM Forum (click aquí)

Haz clic en la imagen para leer el artículo completo en PDF(en inglés).

Inside the Noise

La residencia Altrememorie, organizada por Le(Serre (Udine, IT) y PiNA (Koper, SI), fue una exploración de tres semanas del sonido urbano, audio inmersivo e investigación artística. Con total libertad creativa, el proyecto se centró en investigaciones sonoras específicas del sitio, utilizando grabaciones de campo Ambisonic y síntesis espacial para capturar e interpretar la esencia acústica de Koper y Udine. Mediante caminatas sonoras metódicas, grabaciones de respuestas al impulso y clasificación automática de características espectrales usando machine learning, la residencia evolucionó en una instalación sonora interactiva. El trabajo final, que combina grabaciones reales con síntesis FM espacial procesada algorítmicamente, se presentó en Koper, destacando la tensión entre paisajes sonoros naturales y estructuras sónicas artificiales. La experiencia no solo expandió los límites de la composición de audio inmersivo, sino que también abrió nuevas líneas de investigación en clasificación y espacialización del sonido.        

Haz clic en la imagen para leer el artículo completo en PDF (en inglés).

Foto por Chiara Bassi      

Indagaciones en el Capitaloceno

¿Qué se puede decir sobre la crisis ecológica global que no se haya dicho ya? La pregunta surge al acercarse a una obra que intenta abordar el tema y que, en muchos casos, termina siendo una historia aleccionadora sobre cómo consumir menos recursos y ser conscientes de los desechos que producimos. ¿Será este texto parte de la interminable fila de contenido digital sobre el tema?

Tal vez. Así que usaré la oportunidad para estudiar el asunto con más profundidad, como un étude musical, quizás también como un intento extractivo para avanzar en mi propia práctica artística. La lectura que utilizaré como marco de referencia es Inclusions: Aesthetics in the Capitalocene de Nicolas Bourriaud. Creo que este libro abre varios caminos de investigación y entrelaza los asuntos ecológicos con la estética, atravesando prácticas artísticas del siglo XX y XXI, permitiendo acceder a una postura crítica sin adherirse a una corriente filosófica específica. La idea es adentrarse en el arte (o al menos analizar prácticas contemporáneas), pero antes repasaré algunos temas políticos y antropológicos para establecer una base de análisis artístico.        

Haz clic en la imagen para leer el artículo completo en PDF (en inglés).

Foto por Pablo O’Ryan