Développements récents d'outils de spatialisation sonore du GRIS : ControlGRIS et SpatGRISRecent Developments in sound spatialization tools by the GRIS : ControlGRIS and SpatGRIS

Gaël Lane Lépine, Nicola Giannini et Robert Normandeau

Résumé | Index | Plan | Texte | Bibliographie | Notes | Citation | Auteur | Version PDF | a | A

Résumés   

Index   

Index de mots-clés : Spatialisation du son, immersion sonore, composition spatiale, logiciel de spatialisation, dôme, cube.
Index by keyword : Spatialization of sound, sound immersion, spatial composition, spatialization software, dome, cube.

Plan   

Introduction

1Sur le plan acoustique, l’immersion sonore est comprise comme la capacité d’un environnement ou d’un dispositif technique à diffuser du son dans plusieurs directions autour d’un auditoire [11]. Toutefois, l’écoute est un phénomène complexe et il serait réducteur d’associer la sensation subjective d’immersion à la simple capacité de diffusion multidirectionnelle d’un dispositif – en la considérant indépendamment des autres paramètres simultanément composables du son, tel que le contenu spectral et l’intensité, ou encore, de l’intentionnalité d’écoute de l’individu [3]. Généralement, les outils de spatialisation audionumériques représentent l’espace virtuel de diffusion en trois dimensions (3D), selon des coordonnées sphériques ou cartésiennes. Mais la perception du son dans l’espace ne dépend pas uniquement de la direction relative d’une source sonore virtuelle, par rapport à une position centrale, telle que fréquemment représentée dans la plupart des environnements de spatialisation actuellement disponibles. Elle dépend aussi de la nature des sons, de leur complexité, de leur contexte de perception, du sens qu’on peut leur inférer, ainsi qu’une foule d’autres facteurs que les compositeurs et créateurs sonores aiment pouvoir manipuler. Conséquemment, il devrait être possible de composer la position relative des sources sonores virtuelles, ainsi que leur mouvement dans l’espace de diffusion, simultanément aux autres propriétés du son évoluant dans le temps, telles que l’intensité et le timbre [7].

1. Contexte et motivations

2Depuis 2009, le Groupe de Recherche en Immersion Spatiale (GRIS) poursuit le développement d’outils de spatialisation audionumériques dans l’optique d’offrir aux compositeurs un contrôle indépendant sur la localisation et les trajectoires des sources sonores dans l’espace de diffusion, tout en permettant une organisation simultanée de leurs mouvements en relation avec d’autres composantes du son. Le projet du GRIS s’appuie sur deux prémisses : [1] de nos jours, la majorité des compositeurs de musique électroacoustique emploient un environnement de travail audionumérique (DAW) comme outil principal de composition ; [2] la composition spatiale doit coïncider avec la composition temporelle du son, et ce, durant tout le processus de création plutôt qu’à une étape ultérieure de la production.

3Historiquement, la spatialisation sonore fait partie intégrante de la musique électroacoustique¹. De nombreux dispositifs de spatialisation d’objets sonores [5] ont vu le jour et sont de plus en plus utilisés en dehors des centres de recherche universitaires – par l’industrie du cinéma, les planétariums, les dômes audiovisuels et la réalité virtuelle (RV), notamment. Mais, certains de ces outils peuvent être coûteux, conçus principalement comme outils de mixage et non de création, ou encore, pour une application liée à des domaines surtout visuels, tels que le cinéma, la réalité virtuelle (RV) ou les jeux vidéo. De plus, certains logiciels propriétaires se fondent sur un seul algorithme de spatialisation, dont le principe de fonctionnement est relativement contraignant et parfois obscur. Du côté des outils libres de droits, ceux-ci offrent majoritairement une spatialisation uniquement fondée sur l’ambisonie d’ordre élevé (HOA) [4] ou sur le Vector Base Ampliture Panning (VBAP) et n’incluent pas d’autres algorithmes qui pourraient mieux s’appliquer dans certains contextes.

4L’un des principaux objectifs du projet de développement présenté dans cet article est d’offrir aux artistes sonores et aux compositeurs un outil de spatialisation libre de droits, simple, ouvert et efficace, favorisant l’expérimentation dans la diffusion spatialisée du son, et ce, avec un minimum de contraintes sur le plan des ressources informatiques (CPU) tout en offrant une précision spatiale optimale. L’article présente les derniers progrès et les prochaines étapes de développement – effectués en collaboration avec les compositeurs-testeurs du GRIS² – pour les outils de spatialisation audionumériques ControlGRIS/SpatGRIS.

2. SpatGRIS

Figure 1. SpatGRIS en mode CUBE.

2.1 Présentation

5SpatGRIS offre un « service » de spatialisation à des logiciels « clients » pouvant transmettre du signal audionumérique. Cette approche permet aux utilisateurs d’y connecter simultanément et dynamiquement plusieurs outils de création sonore, que ce soit pour un usage en temps réel ou différé.

2.2. Architecture

Figure 2. Architecture de connexion.

6SpatGRIS reçoit les signaux audio sortants de chaque client, selon leur nombre de canaux respectifs (Figure 2). Celui-ci peut recevoir jusqu’à 128 entrées et diffuser jusqu’à 128 sorties, grâce au plugiciel³ HAL BlackHole⁴, installé avec le logiciel. En parallèle, SpatGRIS reçoit des coordonnées spatiales (métadonnées), transmises au format Open Sound Control (OSC) par un contrôleur externe, notamment le plugiciel ControlGRIS (section 4). En combinant les signaux entrants et leurs métadonnées correspondantes, le logiciel s’occupe alors de redistribuer chaque signal en fonction de la configuration de haut-parleurs sélectionnée pour la diffusion. Par définition, ce type de système – combinant des signaux audios avec des métadonnées – présente une spatialisation basée sur des objets sonores [12], ce qui permet de composer facilement un espace sonore virtuel, en abstraction du dispositif de diffusion actuel. En somme, l’architecture de SpatGRIS permet : une intégration facile des outils audionumériques privilégiés ; d’adapter toute diffusion à une variété de configurations de haut-parleurs ; et d’employer différents algorithmes de spatialisation, selon les ressources disponibles et les besoins des créateurs.

2.3. Modes de spatialisation

7La version actuelle de SpatGRIS⁵ offre cinq modes de spatialisation différents [8] :

• DOME : construit sur le VBAP (Vector-Based Amplitude Panning) [10] qui spatialise les sources sonores sur la surface d’un dôme de haut-parleurs préalablement configuré ;

• CUBE : construit sur le MBAP (Matrix-Based Amplitude Panning), un algorithme relativement récent dont le principe de fonctionnement se trouve décrit à la section 2.3.2  ;

• HYBRIDE de : combinaison du VBAP, pour ce qui est de la configuration des haut-parleurs, avec le comportement du MBAP, pour certaines sources ;

• BINAURAL : pour une écoute simulant la spatialisation aux écouteurs. Ce mode exploite une banque de 16 réponses impulsionnelles (RI) de type HRTF⁶ ;

• STEREO : pour l’écoute sur un système audio à deux haut-parleurs.

2.3.1. Dome

8Le DOME est basé sur l'algorithme VBAP décrit par Ville Pulkki [10] en 2001. Celui-ci étant déjà connu et très répandu, il n'est pas nécessaire d'élaborer davantage ici.

2.3.2. Cube

Figure 3. Matrix Based Amplitude Panning (MBAP).

9Le CUBE est une représentation virtuelle d'un espace vide à l'intérieur duquel on peut concevoir n'importe quelle disposition de haut-parleurs. Il a été développé afin de permettre l'utilisation de dispositifs asymétriques, irréguliers, inédits comme on en trouve dans les acousmoniums, les installations sonores audiovisuelles ou tout autre dispositif particulier. Le dispositif de haut-parleurs est fabriqué à l'intérieur du CUBE [Figure 1], et permet le passage du son à l'intérieur ou à l'extérieur de celui-ci (contrairement au VBAP, prisonnier de la surface du dôme). Le CUBE est basé sur le MBAP [Figure 3], un algorithme de spatialisation relativement nouveau, développé et implémenté au sein des outils du GRIS par Gaël Lane Lépine, programmeur en titre du groupe. Il se distingue du VBAP par son cadre de référence spatiale non concentrique. C’est-à-dire que la position des sources sonores n’est pas représentée en fonction d’une position centrale à l’intérieur d’une sphère, communément appelée sweetspot, mais plutôt en fonction des dimensions et des frontières de l’espace de diffusion [12, p. 245].

10En ce sens, l’algorithme de spatialisation MBAP consiste en la superposition de « matrices » tridimensionnelles (matrix) de haut-parleurs librement positionnés dans l’espace de diffusion. L’algorithme précalcule des matrices de volume en fonction de la position des haut-parleurs dans l’espace 3D. Ces matrices de volume sont ensuite lues, avec interpolation, selon la position de la source. Le gain de la source pour chacun des haut-parleurs sera pondéré en fonction de la distance de la source.

11Le MBAP permet de représenter et spatialiser les sources virtuelles non seulement sur la surface du dispositif des haut-parleurs, comme c’est le cas avec le VBAP, mais également à l’intérieur et à l’extérieur de l’environnement d’écoute délimité par les haut-parleurs. Cette possibilité requiert toutefois que l’interface du plugiciel – qui transmet les coordonnées spatiales des sources virtuelles au SpatGRIS – permette non seulement un contrôle en 2D (azimut et distance⁷), mais aussi en 3D (X, Y et Z). C’est à cet effet que nous avons créé ControlGRIS.

2.3.3. Hybride

Figure 4. Le mode HYBRIDE.

12Le mode HYBRIDE est une combinaison de l'algorithme DOME, pour ce qui est de la configuration du dispositif de haut-parleurs, avec le comportement de l'algorithme CUBE pour certaines sources (Figure 4). Il est ainsi possible d'avoir en même temps, sur un dôme de haut-parleurs, des sources qui se positionnent sur la surface du dôme et d'autres qui peuvent le traverser ou s'en éloigner.

2.4. Global Sound Diffusion

13Contrairement au VBAP, qui gère les niveaux de chacun des haut-parleurs afin de conserver une intensité constante lors des déplacements, le MBAP n'effectue aucune correction de cet ordre, sauf une correction panoramique de base, à peu près semblable à celle utilisée en stéréo. Or ici la distance physique réelle entre les haut-parleurs, qui n'est jamais prise en compte par SpatGRIS, joue un rôle important dans la fluidité des mouvements. Afin d'aider les artistes à bien ajuster les niveaux d'atténuation entre les haut-parleurs, nous avons ajouté un réglage supplémentaire dans la fenêtre Speaker Setup Edition qui se nomme Global Sound Diffusion. Celui-ci permet d'ajuster la courbe d'atténuation entre chaque haut-parleur. De presque rien — valeur à 0.00, passage discret d'un haut-parleur à l'autre — à la valeur maximum — valeur à 1.00, qui met à contribution un grand nombre de haut-parleurs afin qu’aucune perte de signal ne soit perceptible dans le déplacement. L'ajustement minimum correspond à des localisations très précises alors que le maximum correspond à des situations plus immersives.

2.5. Cube et Sphère au complet

Figure 5. Cube et Sphère peuvent être utilisés au complet.

14Si on possède un dispositif qui permet de placer des haut-parleurs sous le plancher (Figure 5), il est possible de spatialiser le son en tenant compte de ceux-ci.

3. ControlGRIS

Figure 6. Les réglages de ControlGRIS en mode CUBE.

15ControlGRIS est conçu pour transmettre des métadonnées de spatialisation en provenance des pistes d’un séquenceur vers SpatGRIS, ce dernier avait été développé initialement sur la base d’une spatialisation à distance (radius) constante, par rapport à un point central d’un dispositif concentrique (sweetspot) comme un dôme de haut-parleurs. En effet, l’interface graphique 2D de l'ancien plugiciel (SpatGRIS1) ne permettait d’assigner le positionnement et le mouvement d’une source que sur la surface d’une sphère. L’interface du ControlGRIS en mode CUBE en contrepartie [Figure 6], permet non seulement de modifier l’élévation des sources à l’intérieur du dispositif, mais également de les positionner au-delà des frontières établies par la configuration des haut-parleurs⁸.

16Le couple DAW ou générateur OSC/ControlGRIS simplifie le processus en faisant converger toute spatialisation vers SpatGRIS. Cela rend l’outil d’autant plus utile aux utilisateurs de DAW qui n'offrent que des pistes mono ou stéréo, outre la sortie maître. De plus, le couple ControlGRIS/SpatGRIS peut être contrôlé par plusieurs interfaces physiques externes [voir Figure 2], incluant le joystick, l'iPad, le Leap Motion et, plus récemment, le Lemur ou encore par des logiciels qui gèrent l'OSC, comme Max, PureData ou SuperCollider. D’autres interfaces de contrôle pourront éventuellement s’ajouter à cette liste dans le futur.

17Enfin, l’interface du ControlGRIS permet d’y dessiner des trajectoires graphiques, qui peuvent ensuite être parcourues par les sources sonores virtuelles à des vitesses variables, contrôlables durant l’enregistrement de celles-ci sous forme d’automation dans le DAW. Cette possibilité facilite et accélère grandement l’écriture et l’arrangement spatial d’un certain nombre de trajectoires, et ce, de manière très intuitive.

4. Le lecteur (Player)

Figure 7. Reproduction d'une musique composée en mode DOME sur un dispositif CUBE.

18L’ajout d’un lecteur multipiste universel, destiné à la circulation des œuvres de musique spatiale conçues pour un nombre indéterminé de haut-parleurs, nous est apparu nécessaire pratiquement au début du développement de SpatGRIS, mais ce n'est que récemment que celui-ci s'est concrétisé. En effet, un des problèmes soulevés par la création d’œuvres immersives est qu’elles sont souvent destinées à un dispositif spécifique, rendant leur circulation très difficile. Nous avons donc fait la proposition au ICMC18⁹ d’incorporer un enregistreur/lecteur au format 16.2 (48 kHz, 24 bits) qui permettrait aux compositeurs d’enregistrer leur musique et aux auditeurs de l’écouter sous ce format ou en mode binaural [8], grâce au lecteur multipiste qui les reproduirait (Figure 7).

19À l’heure actuelle, contrairement au cinéma, par exemple, qui a uniformisé sa distribution à travers des standards¹⁰, la circulation des musiques autres que stéréophoniques est très limitée. Néanmoins, avec le concept du dôme de haut-parleurs, employé autant par le VBAP que par le HOA, une certaine forme de standardisation a pu être envisagée. En effet, ces modes de spatialisation permettent la portabilité d’une œuvre déjà spatialisée vers n’importe quelle autre configuration en forme de dôme. Dans ce contexte, la composition d’une musique spatiale est alors indépendante de toute configuration de haut-parleurs. Si cela s’applique actuellement aux situations de concert, ce n’est pas toujours le cas dans un contexte d’écoute individuelle, pour la diffusion sur le web, ou encore lors d’un appel d’œuvre dans le cadre d’un concours. C’est pourquoi nous avons ajouté au SpatGRIS un lecteur multicanal entièrement autonome, qui ne nécessite pas l’usage d’un DAW. Il est désormais possible d’y lire une session audio multipiste préalablement enregistrée directement, dont les positions des sources sont déterminées par l'enregistrement du dispositif originel sur lequel l'œuvre a été composée.

Figure 8. Default Speaker Setup 8-6-2 plus 2 subs.

20Le Player peut jouer jusqu'à 128 canaux, comme SpatGRIS dans son ensemble. Nous avons décidé de proposer le format 16.2 comme format multicanal standard – avec une disposition à trois niveaux : 8-6-2 plus deux haut-parleurs de graves (Figure 8). Cela correspond au format par défaut de SpatGRIS car celui-ci nous a démontré, au fil des ans, être une configuration minimale adéquate pour la reproduction de musiques immersives multicanal. De plus, ce format étant destiné à une écoute individuelle, il constitue un bon compromis sur le plan de la taille des fichiers (environ 2,3 Go, pour une durée de 15 minutes). Ce format aurait été impensable il y a 15, voire 10 ans, mais maintenant les réseaux de distribution sont suffisamment performants pour une telle distribution.

21On peut noter en terminant que le Player n'est pas limité au format par défaut et qu'il peut s'adapter à n'importe format d'enregistrement et de reproduction.

5. Développements futurs

5.1. Trajectoires concrètes

22À ce jour, SpatGRIS comporte un système basé sur le contrôle direct de trajectoires linéaires – cercles, pendules, spirales et autres mouvements aléatoires – dont les paramètres ne sont modifiables que par l’utilisateur, sans toutefois permettre de tenir compte de la nature des sons. Ces trajectoires demeurent donc abstraites du contenu sonore. Or, notre perspective de développement va plutôt dans le sens de trajectoires concrètes (au sens de musique « concrète ») où celles-ci pourraient être directement associées à des propriétés du son, notamment grâce à l’analyse de signal. Cela implique que ControlGRIS (ou un autre plugiciel à programmer) puisse intégrer des données issues de l’analyse du signal de la piste audio, afin de moduler certains paramètres de spatialisation envoyés vers SpatGRIS sous forme de métadonnées (OSC).

5.2. Analyse de signal

23En intégrant des outils d’analyse du signal de type descripteurs audio basés sur la perception – par exemple les Vamp Plugins, développés à la Queen Mary University of London (UK) [2] – à ceux du GRIS, il deviendrait possible d’exploiter une certaine quantité de données complexes pour moduler certains paramètres de spatialisation. À l’instar de ControlGRIS, ces plugiciels ne transmettent pas de signal audio en temps réel. Ils extrairaient plutôt des données d’un signal en entrée afin de les étiqueter par composante du son. Par exemple, en analysant le signal audio, transmis par un client connecté au SpatGRIS, le compositeur pourra alors choisir d’associer le centroïde et l’étendue spectrale du signal reçu à la redistribution spatiale de celui-ci dans l’environnement de diffusion. Si le centroïde se situe dans l’aigu, le signal serait spatialisé vers le haut de l’environnement de diffusion. À l’inverse, si le centroïde est plus grave, le signal serait distribué vers le bas. Dans un autre cas, la position du centroïde spectral pourrait plutôt servir à moduler la vitesse de déplacement de certaines trajectoires sonores. Finalement, les artistes auraient la liberté de redéfinir toute relation signal/spatialisation et d’en modifier les paramètres de redistribution, afin de créer des situations musicales inouïes. Une telle approche – qui fait d’ailleurs écho à une technique de spatialisation du timbre présentée par Normandeau [07] – n’est qu’un exemple très simple parmi une foule d’autres applications rendues possibles par l’intégration prochaine des outils d’analyse de signal à nos outils de spatialisation audionumériques.

5.3. Ambisonie d'ordre élevé (HOA)

24Enfin, nous prévoyons également intégrer au SpatGRIS un décodeur ambisonique d’ordre élevé (HOA¹¹), afin d’offrir une solution adaptée à l’univers sonore des jeux vidéo et, surtout, de la réalité virtuelle qui utilisent en abondance ce format. Bien que la qualité spatiale et sonore des rendus en HOA soit relativement comparable à celle du VBAP [6], le HOA a l’avantage de facilement permettre le décodage de contenus audio vers différents formats et plateformes de diffusion. Dans l’optique où nous voulons que nos outils favorisent la composition de l’espace simultanément au contenu sonore – incluant les situations de musique en direct –, la flexibilité et la polyvalence de ceux-ci représentent un critère important de leur développement. C’est pourquoi nous souhaitons éventuellement ajouter le HOA à la liste des modes de spatialisation actuellement offerts par SpatGRIS.

5.4. Amélioration du mode binaural

25Grâce au lecteur multipiste et au format de transmission 16.2, SpatGRIS est en mesure d'associer chaque piste à un haut-parleur virtuel correspondant – représentant une réponse impulsionnelle (RI) de type HRTF – dans l’espace de diffusion binaurale. En transmettant les œuvres de cette façon plutôt qu’au format binaural – déjà réduit à partir d’une banque de RI (HRTF) génériques dont l’efficacité peut considérablement varier d’une personne à l’autre – cela permettrait éventuellement aux auditeurs de choisir une banque de RI (HRTF) adaptée à leur écoute.

5.5. Écoute en ligne

26Parallèlement, les fournisseurs de contenu audio en ligne (web) pourraient utiliser SpatGRIS en amont de leur chaîne de diffusion et ainsi ne transmettre que le contenu binaural d’un fichier audio 16.2, réduisant ainsi la taille de la bande passante requise. Encore là, l’application de RI (HRTF) personnalisées sur l’écoute en ligne deviendrait également possible.

Conclusion

27Pour résumer, à travers le développement du couple ControlGRIS / SpatGRIS, nous souhaitons contribuer au progrès des pratiques artistiques employant l’espace comme terrain de jeu expérimental pour la création : en facilitant le contrôle et l’écriture (automatisations) simultanés du son et de l’espace ; en mettant en place un système d’analyse de signal permettant d’associer directement des propriétés sonores à des trajectoires ; en favorisant la transmission et la diffusion des œuvres spatialisées ; et en intégrant de manière continue de nouveaux modes de spatialisation et outils de contrôle.

Remerciements

28Ce projet de recherche-création est soutenu par : le Centre interdisciplinaire de recherche en musique, médias et technologie (CIRMMT) ; le Conseil de Recherches en Sciences Humaines (CRSH) du Canada, avec le numéro de subvention 435-2021-0230 ; le Fonds de Recherche du Québec - Société et Culture (FRQSC), avec le numéro de subvention 2020-RC1-269290 ; la Fondation Canadienne pour l’Innovation, avec le numéro de subvention 33558 ; et la faculté de musique de l’Université de Montréal. Enfin nous remercions David Ledoux à qui ce texte doit quelques paragraphes.

Bibliographie   

Notes   

Citation   

Auteur   

Quelques mots à propos de :  Gaël Lane Lépine

Quelques mots à propos de :  Nicola Giannini

Quelques mots à propos de :  Robert Normandeau