Imagem sonora imersiva com arranjos circulares de transdutores espaçados em segmentos iguais

Jose Augusto Mannis; Igor Abdo Aguilar; Amanda Chang Rodrigues

doi:10.33871/vortex.2024.12.9752

Autores

Jose Augusto Mannis Universidade Estadual de Campinas https://orcid.org/0000-0002-9484-5674
Igor Abdo Aguilar Universidade Estadual de Campinas
Chang Rodrigues Universidade Estadual de Campinas https://orcid.org/0009-0004-0253-1478

DOI:

https://doi.org/10.33871/vortex.2024.12.9752

Palavras-chave:

Sonologia, Gravação de som, Paisagem sonora, Espacialização sonora, Áudio imersivo

Resumo

Este artigo apresenta o desenvolvimento de uma pesquisa em gravação e reprodução de áudio imersivo multicanal ocorrida de 2016 a 2020 na Universidade Estadual de Campinas (Brasil), que resultou em arranjos circulares de transdutores (microfones e caixas acústicas) espaçados em segmentos iguais. A mesma tecnologia de captação sonora multicanal imersiva já havia sido formulada em 1991 pelo engenheiro de som Michael Williams. Por caminhos distintos, os dois estudos chegaram a um resultado comum. Reconhecendo o mérito do achado a Williams, detalha-se, neste artigo, o percurso da pesquisa brasileira, com comentários complementares que ilustram a potência e a riqueza dos fenômenos envolvidos na solução do problema. Também são apresentados os desdobramentos do produto inicial, notadamente o desenvolvimento de uma ferramenta de simulação acústica e auralização com aplicações em artes, comunicação, bioacústica, ecologia e monitoramento ambiental. Ao final apresentamos composições musicais em áudio espacial destacando as facilidades expressivas dos novos recursos desenvolvidos.

Biografia do Autor

Jose Augusto Mannis, Universidade Estadual de Campinas

Compositor, performer eletroacústico, produtor de rádio, pesquisador em documentação musical, acústica e engenharia de som. É professor do Departamento de Música/IA/Unicamp. Suas composições abrangem música instrumental, eletroacústica, trilhas para vídeo, cinema, teatro, rádio arte. Atuou no Ensemble de L’Itinéraire (Paris), Institut National de l’Audiovisuel – INA/GRM – Groupe de Recherches Musicales, La Grande Fabrique (Rouen), Espace Musical (Puce Muse) (Paris), Núcleo Hespérides-Música das Américas (São Paulo). Desde 2010 tem desenvolvido projetos de rádio arte e ecologia sonora com Janete El Haouli. Atualmente coordena o Laboratório de Acústica e Artes Sonoras – LASom/IA/Unicamp, e o Grupo de Estudos do Som e Processos Criativos junto ao Instituto de Estudos Avançados-IdEA/Unicamp e ao CNPq.
Igor Abdo Aguilar, Universidade Estadual de Campinas

Compositor, performer eletroacústico, designer sonoro de jogos digitais, graduado em Música na Unicamp. Atualmente, faz mestrado no Programa de Pós-Graduação em Música/IA/Unicamp, atuando em pesquisas em sonologia, acústica e engenharia de som junto ao Laboratório de Acústica e Artes Sonoras - LASom/IA/Unicamp. Suas composições abrangem música instrumental, eletroacústica, trilhas para jogos digitais. É membro do Grupo de Estudos do Som e Processos Criativos do Instituto de Estudos Avançados-IdEA/Unicamp e CNPq.
Chang Rodrigues, Universidade Estadual de Campinas

[Amanda] Chang Rodrigues: Compositora, live performer e sintetista, graduada em Comunicação Social pela Universidade Salgado de Oliveira, com MBA em Gestão Empresarial pela UFRJ. Especialista em síntese sonora aplicada a sintetizadores modulares. Atualmente é mestranda na Unicamp sob orientação de José Augusto Mannis, com pesquisa focada em narrativa sonora e movimento espacial. Reconhecida internacionalmente, apresentou-se como artista no Rock in Rio e ministrou workshops sobre live electronics no Amsterdam Dance Event (ADE). Também colabora com a plataforma Echio, dedicada a mentorias artísticas.

Referências

A BRIEF history of surround sound. KEF. Disponível em: <https://us.kef.com/blogs/news/a-brief-history-of-surround-sound?srsltid=AfmBOooYRpY4tM6UwMiRjzlm86HVnAzyk91h5FbP3CpBeJy03t4MbBVx>. Acesso em: 18 ago. 2024.

AES PARIS 2016 presenter or author: Michael Williams. 140th International AES Convention. 2016. Disponível em: <https://www.aes.org/events/140/presenters/?ID=4376>. Acesso em: 22 set. 2024.

ATAL, Bishnu S.; HILL, Murray; SCHROEDER, Manfred R. Apparent sound source translator. USA United States Patent Office, 1962. Disponível em: <https://patents.google.com/patent/US3236949A/en>. Acesso em: 25 ago. 2024.

BALLOU, Glen. M. Handbook for sound engineers: the new audio cyclopedia. 2nd ed. Carmel - Indiana (USA): SAMS, 1991.

BASKIND, Alexis et al. Binaural and transaural spatialization techniques in multichannel 5.1 production. In: TONMEISTERTAGUNG – VDT INTERNATIONAL CONVENTION, 27, 2012, Cologne. Anais. Cologne: Verband Deutscher Tonmeister e.V., 2012. p. 1-10. Disponível em: <https://hal.science/hal-01247648/document>. Acesso em: 25 ago. 2024.

BERKHOUT, Augustinus J. A holographic approach to acoustic control. Journal of the Audio Engineering Society, v. 36, n. 12, p. 977-995, 1988. Disponível em: https://secure.aes.org/forum/pubs/journal/?elib=5117. Acesso em: 5 nov. 2024.

BERWICK, Nathan; LEE, Hyunkook. Spatial unmasking effect on speech reception threshold in the median plane. Applied Sciences. v. 10, n. 15, article 5257, 2020. Disponível em: https://www.researchgate.net/publication/343324613_Spatial_Unmasking_Effect_on_Speech_Reception_Threshold_in_the_Median_Plane/references#fullTextFileContent. Acesso em: 28 out. 2024.

BLAUERT, Jens. Spatial hearing: the psychophysics of human sound localization. 2nd ed. Cambridge, MA: MIT Press, 1999.

BLUMLEIN, Alan Dower. Improvements in and relating to sound-transmission, sound-recording and sound-reproducing systems. United Kingdom Intellectual Property Office, 14 dec. 1931. Disponível em: <https://patents.google.com/patent/GB394325A/en>. Acesso em: 26 ago. 2024.

BRIXEN, Eddy B. Stereo recording techniques and setups. [2024]. Disponível em: <https://www.dpamicrophones.com/mic-university/stereo-recording-techniques-and-setups>. Acesso em: 24 ago. 2024.

CHANG, Ed. Gesang der jünglinge. Stockhausen: sounds in space, n. 8. Jan. 2015. Disponível em: <https://stockhausenspace.blogspot.com/2015/01/opus-8-gesang-der-junglinge.html>. Acesso em: 26 ago. 2024.

CONDAMINES, Roland. Stéreophonie: cours de relief sonore théorique et pratique. Paris: Masson et CNET-ENST, 1978.

DICKREITER, Michael. Tonmeister technology: recording environments, sound sources and microphone techniques. New York: Gemmer Enterprises Inc., 1989.

DUMMY head. Neumann.Berlin. 2024. Disponível em: <https://www.neumann.com/en-us/products/microphones/ku-100>. Acesso em: 5 nov. 2024.

FARIA, Régis Rossi Alves. Auralização em ambientes audiovisuais imersivos. 2005. Tese (Doutorado em Engenharia) - Universidade de São Paulo, São Paulo, 2005.

FELLOT, Dominique. Précis d’électro-acoustique: prise de son et reproduction. Les Ulis (France): EDP Sciences, 2007.

HAAS, Helmut. The influence of a single echo on the audibility of speech. Journal of the Audio Engineering Society, v. 20, n. 2, p. 146-159, 1972. Disponível em: <https://www.freestompboxes.org/viewtopic.php?t=31792>. Acesso em: 16 set. 2024.

INTRODUCTION to Ambisonics – 360 degree audio. PathPartner Technology. Apr. 4, 2017. Disponível em: <https://medium.com/@PathPartner/introduction-to-ambisonics-360-degree-audio-d92c5fe20a97>. Acesso em: 5 nov. 2024.

ITU - INTERNATIONAL TELECOMMUNICATION UNION. Recommendation ITU-R BS.775-4: multichannel stereophonic sound system with and without accompanying picture. Geneva, 2022. Disponível em: <https://www.itu.int/dms_pubrec/itu-r/rec/bs/R-REC-BS.775-4-202212-I!!PDF-E.pdf>. Acesso em: 23 ago. 2024.

JAHANA, C. Junu; SINITH, M. S.; LALU, P. P. Direction of arrival estimation using microphone array. In: INTERNATIONAL CONFERENCE ON MICROELECTRONICS, SIGNALS AND SYSTEMS - ICMSS, 4, 2021, Kollan (India). Anais. New York: IEEE, 2021. p. 1-6. Disponível em: <https://ieeexplore.ieee.org/document/9673617>. Acesso em: 10 nov. 2024.

KATZ, Brian F. G.; POIRIER-QUINOT, David; LYZWA, Jean-Marc. La Vierge 2020: reconstructing a virtual concert performance through historic auralisation of Notre-Dame Cathedral. In: INTERNATIONAL CONFERENCE 3D AUDIO (I3DA), 2021, Bologna. Anais. New York: IEEE, 2021. p. 1-10. Disponível em: <https://hal.science/hal-03371681/file/I3DA_2021_paper_2%20(2).pdf>. Acesso em: 10 nov. 2024.

KUTTRUFF, Heinrich. Acoustics: an introduction. London: Taylor & Francis, 2007.

LEE, Hyunkook. Capturing 360◦ audio using an equal segment microphone array (ESMA). Journal of the Audio Engineering Society, v. 67, n. 1/2, p. 13-26, jan./feb. 2019. Disponível em: <https://aes2.org/publications/elibrary-page/?id=19883>. Acesso em: 5 nov. 2024.

LÓPEZ, Jose J. WFS fundamentals. 2007. Disponível em: <https://personales.upv.es/jjlopez/WFS.html>. Acesso em: 5 nov. 2024.

LYZWA, Jean-Marc. Réflexion sur la prise de son et la post-production en 5.1. Paris: Service audiovisuel-CNSMDP, 2006. Disponível em: <https://www.google.com/url?sa=t&source=web&rct=j&opi=89978449&url=https://www.conservatoiredeparis.fr/sites/default/files/Recherche-Editions/CNSMDP_post-prod-multicanal5-1.pdf&ved=2ahUKEwiS0oiylrmIAxVArZUCHQNtFNcQFnoECBIQAQ&usg=AOvVaw2mxCmrTOsx_-DTHDXRMhhu>. Acesso em: 15 set. 2024.

LYZWA, Jean-Marc. Prise de son et restitution multicanal en 5.1. Problématique d’une œuvre spatialisée: Répons - Pierre Boulez. Paris: Conservatoire National Supérieur de Musique et de Danse de Paris, 2003. Disponível em: <https://www.google.com/url?sa=t&source=web&rct=j&opi=89978449&url=https://www.conservatoiredeparis.fr/sites/default/files/Recherche-Editions/CNSMDP_repons-boulez.pdf&ved=2ahUKEwiAjvbNntSJAxUnq5UCHUnkLfEQFnoECBQQAQ&usg=AOvVaw2sUdddouqpDYblETMRCOBQ>. Acesso em: 15 set. 2024.

MANNIS, José Augusto. Sistema de gravação e reprodução de áudio multicanal com imagem sonora horizontal em 360o aplicado a música, artes sonoras e bioacústica. Brasília: CNPq, 2020. Disponível em: <https://drive.google.com/file/d/1UpJJaROH1_HQZPh67dQaJAQP7ZOhnXiN/view?usp=drive_link>. Acesso em: 26 ago. 2024.

MANNIS, José Augusto; EL HAOULI, Janete. Paisagem sonora do Parque Ecológico de Gunma, gravação de som. Santa Bárbara, PA: out. 2019.

MASIERO, Bruno; FELS, Janina; VORLÄNDER, Michael. Review of the crosstalk cancellation filter technique. In: INTERNATIONAL CONFERENCE ON SPATIAL AUDIO - ICSA, 2011, Detmold (Germany). Anais. Köln: Verband Deutscher Tonmeister (VDT), 2011. p. 1-5. Disponível em: <https://www2.users.ak.tu-berlin.de/akgroup/ak_pub/seacen/2011/Masiero_2011_P2_Review_of_the_crosstalk_cancellation_filter_technique.pdf>. Acesso em: 10 nov. 2024.

MESSONNIER, Jean-Christophe; LYZWA, Jean-Marc; LING, Alexis. Méthodes de prise de son multicanal: objets. Cahier Louis Lumière, Saint-Denis, n. 15, p. 114-125, sep. 2022. Disponível em: <https://www.ens-louis-lumiere.fr/la-recherche/publications-cahiers-louis-lumiere/74-2/>. Acesso em: 25 ago. 2024.

MEYER, Jürgen. Akustik und musikalishe aufführungspraxis. Frankfurt: Verlag das

Musikinstrument, 1980.

MICROPHONES techniques for recording. Shure. 2014. Disponível em: <https://www.shure.com/damfiles/default/global/documents/publications/en/performance-production/microphone_techniques_for_recording_english.pdf-bb0469316afdb6118691d2f3f5e3ff01.pdf>. Acesso em: 24 ago. 2024.

NEUMANN. Production expert: Neumann app to check SRA - Recording Angle Calculator. Neumann, 8 mar. 2018. Disponível em: <https://apps.apple.com/us/app/recording-tools/id576702914>. Acesso em: 10 nov. 2024.

NICOLAS Party: talking heads – immersive sound installation. University Oxford. Feb. 2018. Disponível em: <https://empres.music.ox.ac.uk/nicloas-party-talking-heads-immersive-sound-installation>. Acesso em: 16 set. 2024.

PAUL, Stephan. Binaural recording technology: a historical review and possible future developments. Acta Acustica United with Acustica, v. 95, n. 5, p. 767-788, set. 2009. Disponível em: <https://www.researchgate.net/publication/233582452_Binaural_Recording_Technology_A_Historical_Review_and_Possible_Future_Developments>. Acesso em: 10 nov. 2024.

PÉRIAUX, Bergame; OHL, Jean-Luc; THÉVENOT, Patrick. Le son multicanal: de la production à la diffusion du son 5.1, 3D et binaural. Paris: Dunod, 2015.

PICKETT, David. Pantophonic recording. Dec. 3, 2018. Disponível em: <https://www.fugato.com/pickett/pantoph.shtml>. Acesso em: 5 nov. 2024.

PORRES, Alexandre Torres. ELSE - EL locus solus' externals for Pure Data. 2024. Disponível em: <https://github.com/porres/pd-else>. Acesso em: 10 abr. 2024.

PUCKETTE, Miller. Pure Data. Los Angeles Pure Data Community. 1996. Disponível em: <https://puredata.info>. Acesso em: 15 set. 2024.

ROSSING, Thomas D. (ed.). Springer handbook of acoustics. 2nd ed. Berlin: Springer, 2014.

SBA – SOCIEDADE BRASILEIRA DE ANATOMIA. Terminologia anatômica. São Paulo : Ed. Manole, 2001.

SCHOEN, Timothy. Plugdata: a visual programming environment for audio experimentation, prototyping and education. Disponível em: <https://plugdata.org/>. Acesso em: 15 set. 2024.

SHANKLEMAN, Marin. Early stereo recordings restored. BBC News. 2008. Disponível em: <http://news.bbc.co.uk/2/hi/technology/7537782.stm>. Acesso em: 26 ago. 2024.

SLOTTE, Benedict. Surround recording using coincident and spaced microphones combined with 2-to-3 upmixing. In: JOINT BALTIC-NORDIC ACOUSTICS MEETING, 2004, Mariehamn, Åland (Finland) Anais. Espoo (Finland): Acoustical Society of Finland, 2004. Disponível em: <http://legacy.spa.aalto.fi/bnam04/webprosari/papers/o48.pdf>. Acesso em: 5 jun. 2024.

SMALLEY, Denis. Space-form and the acousmatic image. Organised Sound, v. 12, n. 1, p. 35-58, Apr. 2007. Disponível em: <https://beyondlistening.myblog.arts.ac.uk/files/2023/03/Space-form-and-the-acousmatic-image.pdf>. Acesso em: 10 nov. 2024

SOUNDSCAPE design. Hydrock, 2024. Disponível em: <https://www.hydrock.com/what-we-do/soundscape-design>. Acesso em: 15 set. 2024.

SOUZA, Fliblio Ferreira de. A percepção e a espacialização da música eletroacústica no cinema, em surround 5.1: um estudo de caso. 2023. Tese (Doutorado em Música) - Universidade Estadual de Campinas, Campinas, 2023.

THE TELEPHONE at the Paris Opera. Scientific American, v. 45, n. 27, p. 422-423, 1881. Disponível em: <https://babel.hathitrust.org/cgi/pt?id=mdp.39015024538491&seq=5>. Acesso em: 10 nov. 2024.

TORICK, Emil. Highlights in the history of multichannel sound. Journal of the Audio Engineering Society, v. 46, n. 1/2, p. 27-31, 1 feb. 1998. Disponível em: https://issuu.com/disclord/docs/multichannel-history-torrick/1. Acesso em: 10 nov. 2024.

USP-LSI - UNIVERSIDADE DE SÃO PAULO - LABORATÓRIO DE SISTEMAS INTEGRÁVEIS. O projeto AUDIENCE. Disponível em: <https://www.lsi.usp.br/interativos/neac/audience/audience.html#0>. Acesso em: 10 set. 2024.

VIELLIARD, Jacques. Cantos de aves do Brasil. Campinas: SPSociedade Brasileira de Ornitologia/ Unicamp , 1995. 1 CD.

WHAT is Ambisonics?. University Oxford. [2024]. Disponível em: <https://intothesoundfield.music.ox.ac.uk/what-is-ambisonics>. Acesso em: 20 ago. 2024.

WILLIAMS, Michael. Unified theory of microphone systems for stereophonic sound recording. AES Preprint 2466. 1987. 41 p. Disponível em: <https://www.williamsmmad.com/Papers/Papers.html>. Acesso em: 13 set. 2024.

WILLIAMS, Michael. Microphone arrays for natural multiphony. AES Preprint 3157. 1991. 13 p. 1991. Disponível em: <https://www.williamsmmad.com/Papers/Papers.html>. Acesso em: 13 set. 2024.

WILLIAMS, Michael. Multichannel sound recording practice using microphone arrays. In: AES INTERNATIONAL CONFERENCE ON MULTICHANNEL AUDIO, 24, 2003, Banff (Canada). New York: AES, 2003. 16 p. Disponível em: <https://aes2.org/publications/elibrary-page/?id=12287>. Acesso em: 2 nov. 2024.

ZUMER, Javier. Figuring out: ambisonics. Javier Zumer Sound Design. Aug. 30, 2021. Disponível em: <https://javierzumer.com/blog/2021/8/30/figuring-out-ambisonics>. Acesso em: 5 nov. 2024.