L’électromyographie pour la performance et la composition : trois études de cas dans le cadre du projet BBDMI

David Fierro, Alain Bonardi, Guilherme Carvalho et Anne Sèdes

Résumé | Index | Plan | Texte | Bibliographie | Notes | Citation | Auteur | Version PDF | a | A

Résumés   

Index   

Index de mots-clés : Étude-utilisateur, EMG, Électromyogramme, IHM, Interaction Homme-Machine, Expressivité musicale, Prise en main, Instrument.
Index by keyword : User Study, EMG, Electromyogram, HCI, Human-Computer Interaction, Musical Expressiveness, Usability, Instrument.

Plan   

Introduction

1Le développement rapide de technologies pour la captation et le traitement de signaux physiologiques est en train de changer la manière dont nous interagissons avec les interfaces numériques de création musicale utilisant notre corps. La possibilité de capter les signaux électriques provenant des muscles ou du cerveau devient chaque jour plus accessible avec des solutions de plus en plus nombreuses et de moins en moins onéreuses.

2Ce domaine en pleine expansion est exploré depuis plusieurs années par des chercheurs et artistes, surtout dans le domaine de l’utilisation de l’EMG comme signal de contrôle pour la performance musicale. L’EMG est utilisée dans plusieurs situations musicales allant de la synthèse sonore pilotée par le geste (Tanaka, 2015), à la musique mixte associant instrument acoustique, traitement de l’instrument par des processus électroniques et contrôle de ces derniers par l’énergie musculaire. De nombreux travaux s’intéressent à la prise de conscience réflexive de l’EMG par la personne équipée de capteurs (Verdugo et al., 2022), sachant que les gestes captés conjuguent souvent plusieurs membres en sollicitant plusieurs muscles.

3Les analyses des utilisateurs présentées dans ce document s’inscrivent dans le contexte du projet BBDMI1 (Body Brain Digital Music Instruments) financé par l’Agence Nationale de la Recherche, associant la Maison des Sciences de l’Homme Paris Nord2, le CICM³ / MUSIDANSE (Université Paris 8), l’Institut du Cerveau⁴, et l’entreprise Soixante Circuits⁵ (Tanaka et al., 2023). Il est articulé autour de trois objectifs :

• Faire de la musique à partir des signaux électriques des muscles et du cerveau en s’appuyant sur des technologies EMG (électromyogramme) et EEG (électroencéphalogramme).

• Produire des prototypes instrumentaux de manière ouverte (open software et open hardware) et les documenter dans le cadre des sciences ouvertes (principes FAIR).

• Développer une méthodologie centrée utilisateur incluant aussi bien les musiciens expérimentaux que les praticiens de la pédagogie musicale, les publics empêchés, et ce, par les moyens de la pratique et de la médiation artistique.

4Pour ce troisième objectif, nous menons un ensemble d’études utilisateurs régulièrement échelonnées au cours du projet (mené sur 42 mois depuis début 2022), comme le montre la figure 1 ci-dessous.

Figure 1. Schéma d’organisation du projet BBDMI en trois cycles de conception de prototypes.

5Comme le montre le schéma d’organisation du projet BBDMI, les études utilisateurs vont concerner des intervenants variés, allant des experts du domaine au grand public en passant par des musiciens. Lors de ces études, l’objectif est de prendre en main le prototype d’instrument dans son état de développement au moment de l’atelier mené, ainsi que l’environnement de programmation préprogrammé, pour explorer leur potentiel d’expression musicale. Les résultats des études utilisateurs contribuent à chaque fois à l’inflexion du développement du projet.

6Sur un an, nous avons organisé des ateliers d’études utilisateurs avec trois musiciens différents : d’une part deux musiciens professionnels, Amèlia Mazarico (guitariste et professeur de guitare, lors de deux séances le 18 octobre 2022 et le 14 février 2023) et Guilherme Carvalho (violoncelliste et enseignant-chercheur, co-auteur de cet article, lors d’une séance le 7 septembre 2022) ; d’autre part, Laurie Pompidor, étudiante en Licence 3 Musicologie et Pratique de la Musique de l’université Paris 8, également élève en troisième cycle en guitare au Conservatoire de Châtenay-Malabry (lors de son stage de Licence en juin 2022).

7Dans les trois cas, la situation de création musicale relève tout d’abord de la musique mixte : un instrument acoustique joué par un instrumentiste interagit avec des transformations ou synthèses sonores temps réel ; mais vient s’ajouter le contrôle de ces processus par des captations EMG grâce à des électrodes placées sur le corps du musicien.

8Dans cet article, nous commençons par décrire les grandes lignes des interactions entre le cycle de prototypage du projet et la prise en main des dispositifs par les musiciens. Puis nous montrons comment les dispositifs à base de capteurs EMG ont été pris en main par les trois intervenants avec lesquels nous avons mené les études utilisateurs jusqu’à maintenant. Nous analysons ensuite les relations entre les signaux EMG et le geste musical, puis présentons plusieurs situations d’appropriation, notamment dans la pièce Immersion d’Anne Sèdes pour violoncelle et électronique, ou dans Fil de Soi 3 d’Alain Bonardi pour guitare et électronique. Nous conclurons cette contribution en évoquant les perspectives de développement du projet BBDMI.

1. Prototypage de l’instrument via la prise en main par les musiciens

1.1. Description du dispositif hardware

9Le projet BBDMI a pour but le développement de prototypes instrumentaux de manière ouverte (open software et open hardware) et leur documentation dans le cadre des sciences ouvertes (principes FAIR). Nous avons choisi de commencer nos travaux par la partie logicielle et musicale, à partir de dispositifs électroniques existants expérimentés dans des situations de jeu instrumental et de création.

10Nous développons un système de captation, traitement et sonification des signaux électriques provenant du corps. Pour la captation des signaux EMG nous utilisons la carte EAVI⁶ développée par un de nos partenaires. Cette carte nous permet de mesurer les différences de potentiel sur la peau avec des électrodes différentielles. Elle est fixée au bras du musicien grâce à un brassard élastique. La carte offre une capacité de 4 canaux EMG avec une résolution de 14 bits et une fréquence d’échantillonnage de 8 Khz. Les signaux EMG sont généralement échantillonnés à des fréquences comprises entre 200 Hz et 1000 Hz. Cette fréquence d’échantillonnage élevée nous a aidé à développer une étape d’extraction de caractéristiques plus efficace (Phinyomark, Khushaba et Scheme, 2018).

11Notre objectif essentiel de recherche est un instrument accessible que l’on doit pouvoir s’approprier facilement, mais possédant une grande versatilité. Le rôle des études utilisateurs est ici très important : il s’agit d’analyser l’ergonomie des interfaces ainsi que l’expérience utilisateur.

1.2. Captation et extraction de caractéristiques

12En partant de la carte EAVI munie de ses électrodes pour la captation, nous menons un développement de logiciels open-source, qui concerne pour l’essentiel le traitement des signaux physiologiques et la synthèse sonore, en utilisant le langage FAUST ou l’environnement Max, pour de nouveaux développements mais également en intégrant des travaux précédents comme la bibliothèque abclib (Bonardi, 2021).

13Nous nous appuyons sur les modules développés dans notre projet de recherche⁷ pour préparer, analyser et finalement utiliser les signaux EMG reçus de la carte EAVI. Les signaux EMG peuvent varier en intensité selon la personne et le muscle capté ; pour cette raison il est impératif de calibrer les signaux d’entrées avant qu’ils puissent être utilisés. Une phase de filtrage des bruits est pareillement nécessaire car l’intensité des signaux EMG est comparable à celle des bruits électromagnétiques mesurés sur les électrodes.

14Indépendamment des traitements sonores spécifiques à chaque étude utilisateur, nous avons utilisé pour toutes les études des modules de filtrage, de calcul de valeur efficace, de calibration et de suivi d’enveloppe (Duchêne, Goubel, 1993).

1.3. Choix du type et positionnement des électrodes EMG

15Les électrodes peuvent être positionnées à plusieurs endroits sur le haut du corps : sur l’avant-bras (face interne et face externe), sur l’épaule, ou à d’autres endroits.

16Avoir des électrodes indépendantes (jusqu’à quatre par carte EAVI) nous offre la possibilité de mesurer l’activité sur un muscle spécifique ou sur un ensemble de muscles.

17Nous avons choisi des électrodes avec gel qui fonctionnent très bien alors que les électrodes sèches induisent trop de bruit et ne sont pas utilisables à l’état actuel du projet. Chaque jeu comporte trois électrodes correspondant à la masse, à la valeur de référence et au signal musculaire.

18Les électrodes placées sur l’épaule donnent un signal de la même qualité que celui obtenu sur l’avant- bras (cf. figure 2), voire avec une intensité plus forte.

Figure 2. Exemples de positionnement des électrodes lors des trois études menées.

1.4. Geste musical et observation musculaire

19Dans le cas du violoncelle et de la guitare, chaque côté du corps est dédié à un aspect du jeu instrumental : du côté droit, l’excitation des cordes ; du côté gauche, la sélection des hauteurs des sons produits par le positionnement des doigts sur les cordes. Le choix de côté pour l’avant-bras ou l’épaule est donc important dans l’idée d’associer ou au contraire dissocier le contrôle de la production instrumentale et la prise de conscience musculaire pouvant conduire à d’autres formes de contrôle.

20Lors de chacune des sessions menées, les trois musiciens ont témoigné qu’ils découvraient que tel ou tel muscle participait à tel ou tel geste musical. C’est par exemple le cas des muscles de l’épaule, qui sont rarement associés à la production instrumentale, et donc rarement mesurés. Cette exploration ouvre de nouvelles façons d’interpréter le geste musical.

21Le placement des électrodes doit être pensé en relation avec le suivi du geste musical. La nature du geste implique une relation entre temporalité et engagement musculaire spécifique à chaque mouvement et chaque mode de jeu. Dans ce sens, pour un même geste musical nous pouvons obtenir des signaux différents qui dépendent du placement des électrodes.

22L’objectif n’est donc pas seulement d’obtenir un bon signal avec une forte intensité mais de trouver le muscle qui permet le plus haut degré d’expressivité. Le choix de ce muscle changera selon le mode de jeu, le geste désiré et surtout le résultat final pour l’instrumentiste qui considérera ce signal EMG comme signal de contrôle.

2. La prise en main de capteurs emg comme outil d’expression musicale en situation de musique mixte

2.1. Intensité musculaire et maîtrise instrumentale

23À travers les trois études menées, la première remarque que nous pouvons faire est que l’intensité musculaire investie dans le geste instrumental dépend du degré de maîtrise acquis. En effet, si l’on compare l’étude menée avec l’élève-guitariste avec celle menée avec la guitariste professionnelle, il apparaît que, sur des gestes identiques, un musicien expérimenté investit moins d’énergie musculaire qu’un jeune musicien en formation. Cette observation rejoint des travaux antérieurs (Oku, Shinichi, 2019) dans le domaine des sciences du mouvement appliquées à l’étude du jeu instrumental : les musiciens experts optimisent leur mouvement de manière à produire l’effet voulu avec le minimum d’effort et en réduisant les composantes du geste qui sont superflues et inutiles à la réalisation de cet effet.

24Le processus de calibration des signaux musculaires proposé dans l’instrument en cours d’élaboration est donc particulièrement important.

25A l’inverse, utiliser le signal EMG comme signal de contrôle d’une manière active en situation de musique mixte demande à engager nettement l’effort musculaire, ce qui finalement peut aller contre ce que l’on a longuement appris dans l’enseignement instrumental. Nous avons remarqué que même après une phase de calibration des signaux d’entrée, la dépendance à la création d’une note reste présente lors du jeu instrumental.

2.2. Décorrélation entre geste instrumental et contrôle EMG

26Chaque geste instrumental implique l’utilisation d’un ensemble de muscles précis pendant une durée spécifique. Selon le positionnement des électrodes, le geste instrumental et le signal capté par les électrodes peuvent être décorrélés, voire complètement indépendants (Mesin et al., 2009). Nous avons testé trois manières différentes de faire interagir les traitements sonores avec le geste instrumental. Dans chacune de ces configurations, nous obtenons des façons différentes d’interagir avec l’instrument.

27Pour la première approche, nous avons placé les électrodes sur le muscle qui était le plus impliqué dans le geste musical. Avec cette configuration, l’instrumentiste ne peut pas éviter la génération du signal et c’est donc de l’écriture instrumentale dans la partition que vient le contrôle du niveau de sortie obtenu par les électrodes à un moment précis.

28Une autre façon de lier le geste instrumental et le signal électrique généré est de placer les électrodes sur des muscles que nous pouvons appeler secondaires dans l’exécution du geste musical. Ces muscles peuvent être utilisés au début, à la fin, pendant ou peuvent même être exclus du geste instrumental, avec un peu d’effort de la part de l’interprète.

29Dans ces deux premières configurations, le signal EMG généré interagit avec le système de traitement sonore d’une manière passive car les capteurs sont placés sur des muscles nécessaires à la génération du son.

30Ainsi, dans l’étude menée avec Laurie Pompidor, nous nous sommes rendu compte de la difficulté à avoir l’épaule détendue pendant le jeu instrumental, et d’une certaine manière la corrélation entre les deux était subie.

31Une autre relation possible entre le geste instrumental et le signal électrique généré peut être fondée sur l’indépendance entre les deux. Nous avons placé des électrodes sur des muscles qui n’étaient pas impliqués dans le geste musical, donnant une plus grande indépendance à l’instrumentiste pendant l’exécution d’une pièce. Le fait de pouvoir séparer le geste musical et le signal généré offre plus de possibilités expressives au musicien en même temps qu’il demande une écriture plus détaillée de la part du compositeur pour décrire ce qui est souhaité.

2.3. L’adaptation de la pièce Immersion d’Anne Sèdes au contrôle par EMG

32La pièce Immersion a été composée par Anne Sèdes en 2012 pour violoncelle et électronique en temps réel. Son écriture est liée au développement de la bibliothèque HOA du CICM pour Max et Pure Data, dans le cadre du programme de recherches “La spatialisation du son par les musiciens, pour les musiciens” (Labex Arts-H2H). Dans sa première version, l’amplitude du son du violoncelle (mesurée par l’objet [peakamp~] sur Max) pilotait un ensemble de paramètres du moteur sonore.

33Des traitements sonores comme la granulation et la décorrélation temporelle (Vaggione, 2002) (Sedes, 2015) ont été mis à l’œuvre dans cette pièce pour créer des textures sonores en transformant le son du violoncelle.

34L’utilisation de l’amplitude comme signal de contrôle pour les traitements sonores lie d’une manière particulière l’écriture instrumentale au traitement appliqué à chaque moment précis. Chaque son écrit dans la partition est porteur d’une intensité sonore à un moment précis de la pièce. Ce type d’interaction entre l’écriture instrumentale et les traitements électroniques n’agit que sur le résultat sonore du geste instrumental - pour ainsi dire, après le geste. Toute l’activité qui précède le son n’est pas prise en compte.

35Dans le cadre du projet BBDMI, la compositrice a expérimenté une nouvelle forme d’interaction avec les traitements sonores dans une perspective musicale, d’expressivité, de jouabilité et de créativité. Cette nouvelle version remplace l’amplitude comme signal de contrôle par le signal EMG provenant des électrodes placées sur le corps de l’interprète (au niveau de l’épaule droite et de l’avant-bras droit). Cette nouvelle configuration change complètement le dynamisme des signaux de contrôle car l’intensité musculaire a un comportement beaucoup plus organique que l’enveloppe du son produite. La figure 3 nous permet d’observer le signal reçu par les électrodes placées sur la partie interne de l’avant-bras droit (le muscle palmaris longus) du violoncelliste et l’intensité sonore du son produite pendant qu’il joue des pizzicati successifs.

36Durant nos multiples essais sur des modes de jeu, nous avons remarqué des différences importantes entre l’effort musculaire et l’amplitude du son généré. Lorsque l’interprète joue des notes continues en crescendo, l’intensité sonore augmente rapidement tandis que le signal EMG change légèrement mais avec des modifications liées aussi aux changements d’archet. Dans le cas d’un trémolo serré pianissimo sur des notes graves, l’effort physique impliqué est très important bien qu’un trémolo serré fortissimo sur des notes aiguës génère un signal EMG faible. Nous avons pu remarquer au travers de ces expériences l’importance du placement des électrodes lors du suivi du geste instrumental.

37Remplacer l’intensité sonore par l’implication musculaire a ouvert la porte à de nouvelles formes d’expressivité de la part de l’interprète. L’attention portée à la matière sonore produite demeure importante, mais s’y ajoute une attention portée aux gestes qui la produisent, et qui habituellement ne participent pas autant à l’expressivité. La globalité du geste instrumental - avant, pendant et après la production du son - trouve ainsi sa place dans l’espace composable car elle agit en permanence sur le traitement sonore. Cette nouvelle façon d’interagir témoigne d’une nouvelle dimension sensible du jeu instrumental permettant une grande capacité d’expression musicale.⁸

Figure 3. Intensité sonore de l’instrument et signal EMG produit par le muscle, dans le temps.

2.4. De la guitare classique à la guitare sans guitare

38Dans notre deuxième étude utilisateur, nous avons travaillé avec la guitariste Amélia Mazarico, guitariste et professeur de guitare qui collabore avec le CICM depuis de nombreuses années.

39Nous avions trois objectifs principaux. Le premier était de trouver des placements adéquats des électrodes pour divers modes de jeu, en tenant en compte quelle partie du geste instrumental nous voulions suivre.

40Comme deuxième objectif nous voulions expérimenter de nouvelles interactions avec les traitements sonores selon différents modes de jeu utilisés dans la pièce Fil de Soi 3 composée par Alain Bonardi, en utilisant le signal EMG comme contrôle. Des études précédentes ont démontré les capacités du suivi du geste instrumental par des capteurs EMG comme outil d’expression musicale (Erdem et al., 2020).

41Notre troisième objectif était de déterminer les capacités expressives des capteurs EMG comme seul signal de contrôle d’un moteur de synthèse d’une guitare par modèle physique.

2.4.1. Placement des électrodes selon les modes de jeu

42Dans cette première partie de notre expérience nous avons essayé de déterminer les muscles impliqués dans différents modes de jeu pour la guitare et de définir dans quelle partie du corps connecter les électrodes EMG pour mesurer l’activité musculaire. Chaque mode de jeu entraîne un ensemble de mouvements synchronisés qui déterminent quels muscles seront utilisés à quel moment.

43Nous avons effectué des tests utilisant différents modes de jeu tels que le glissando, le pizzicato Bartók, le trémolo, le bottleneck, le tapping, les accords, les arpèges, entre autres. Selon chaque type de mode de jeu nous avons remarqué une utilisation assez distincte des muscles impliqués dans le geste instrumental.

44Le choix du positionnement des électrodes a été fait en prenant en compte les muscles impliqués dans l’ensemble des modes de jeu. Nous avons décidé de placer trois électrodes sur le corps de l’interprète, une sur l’épaule droite en essayant de capter le muscle deltoïde, une autre paire d’électrodes sur la partie externe de l’avant-bras droit près du muscle long extenseur du carpe et une troisième paire d’électrodes sur la partie interne de l’avant-bras gauche sur le muscle palmaris longus.

2.4.2. Signal EMG comme contrôle de traitements sonores

45Dans la deuxième partie de notre expérience nous avons rejoué des extraits de la pièce Fil de Soi 3 en utilisant des traitements sonores contrôlés par les signaux EMG. Avec cette expérience nous voulions évaluer la prise en main du dispositif par l’interprète, son appropriation et la facilité à discerner quel capteur agit sur quel traitement sonore, autant de la part de l’interprète que de la part du public. Nous avons assigné à chaque électrode un traitement différent afin de pouvoir comprendre plus facilement leurs comportements.

46Voici les traitements liés à chaque électrode :

• Avant-bras droit : un module d’harmonisation permettant la transposition du son de la guitare.

• Avant-bras gauche : contrôle de la position dans l’espace de la source sonore avec un encodeur ambisonique.

• Épaule droite : facteur de décorrélation dans un module de décorrélation temporelle⁹ (Goutmann, Bonardi, 2022).

47Pendant notre expérience nous avons obtenu de bons résultats en utilisant les trois entrées EMG pour contrôler les traitements sonores. En tant que spectateur il est possible de reconnaître avec précision les traitements sonores associés à chaque geste. Il est important de remarquer que l’association du mouvement au traitement sonore n’est pas évidente au premier abord pour l’interprète. Nous avons observé un temps d’adaptation à l’interface qui implique un apprentissage de la part de l’interprète, créant les liens entre geste et transformation sonore.

48Une relation intéressante se met en place quand on utilise des signaux EMG pour contrôler un système de spatialisation : un lien intéressant se crée entre le mouvement du corps et le changement de “forme” de l’espace. Cette relation permet à l’interprète de s’approprier plus facilement l’interface et d’en comprendre le fonctionnement.

2.4.3. Synthèse contrôlée par des signaux EMG

49Dans cette troisième phase nous avons connecté des signaux EMG à un système de synthèse par modèle physique de la guitare, afin de créer des sons uniques et complexes qui imitent le jeu d’un guitariste. Le système (à base de fonctions en langage FAUST issues de la librairie de synthèse par modèles physiques) est capable de créer des sons qui sont très proches de ceux produits par une guitare acoustique, nous permettant de changer la longueur de la corde et la position de pincement.

50Grâce à la sensibilité des capteurs EMG il est possible de capter des nuances subtiles dans le mouvement des mains et des doigts du guitariste pour reproduire une grande variété de sons. Cette capacité expressive et sensible de l’interface situe le système comme une extension du corps plus qu’une extension de l’instrument. Avec cette configuration, nous avons pu observer les nuances sensibles générées par le geste chorégraphique de l’instrumentiste dans le moteur sonore. Sans instrument, c’est le corps qui devient instrument et chaque geste influence le son produit.

51Selon le retour de l’instrumentiste, jouer sans l’instrument l’invite au mouvement, à marcher, à bouger, à faire de la musique et improviser avec le corps. Cette nouvelle façon d’interagir avec le moteur sonore la fait se sentir plus présente que pendant des concerts de musique mixte sans capteurs EMG.

2.5. Prise en main du système

52Lors de nos études utilisateurs nous avons remarqué des similitudes dans la prise en main du système de la part des interprètes. Nous avons remarqué certaines difficultés qui viennent de la nouveauté de ce type de système et du manque d’expérience comme pour tout nouvel instrument.

53Une première difficulté que nous avons remarquée a été la prise de conscience par l’interprète des muscles impliqués dans chaque geste instrumental. Sans expérience préalable, il est spécialement difficile de déterminer l’implication musculaire nécessaire à chaque geste. Pour faciliter l’appropriation du système, nous avons déterminé comme une bonne pratique pour nos études utilisateurs de commencer par des mappings simples entre le signal EMG et le moteur sonore en utilisant une seule électrode. Une autre méthode que nous avons trouvée assez convaincante dans cette première phase d’appropriation était de montrer visuellement à l’interprète l’effet de l’effort musculaire. En regardant le signal changer en temps réel, l’interprète arrive à comprendre plus facilement la relation entre geste et engagement musculaire.

54Après la première phase d’adaptation, la deuxième difficulté que nous avons remarquée est liée à l’interprétation d’une partition en essayant de contrôler en même temps le signal généré par les électrodes. Les interprètes ont constaté une difficulté à suivre la partition tout en étant conscients des signaux EMG générés car cette configuration implique une attention de la part de l’interprète à d’autres dimensions composables et interprétables auxquelles ils n’avaient pas accès auparavant.

55Après la prise en main du système en utilisant une seule électrode, nous avons augmenté la quantité de capteurs EMG que nous avons placés sur le corps des interprètes pour toutes nos études utilisateurs. Chaque nouvelle électrode représente donc une nouvelle entrée du système donnant à l’interprète une autre dimension composable. Cette nouvelle configuration donne aux interprètes plus de capacités expressives mais ajoute un paramètre additionnel à contrôler. Nous avons pu remarquer une difficulté de la part des interprètes à intégrer chaque nouveau capteur. On constate en même temps une amélioration de la courbe d’apprentissage une fois achevée la prise en main d’un seul capteur.

56Lors de nos expérimentations nous avons identifié une difficulté de la part des interprètes à maintenir le signal de contrôle à une valeur constante. Dans nos études utilisateurs nous avons lié chaque niveau d’entrée aux paramètres du système. Malgré une possible dextérité acquise par les interprètes, il est assez laborieux de maintenir le signal EMG à une valeur précise. Dans le cadre du projet BBDMI, nous développons des modules pour faire face à cette problématique. Cet ensemble de nouveaux modules offre aux interprètes la possibilité de contrôler et maintenir le niveau du signal de sortie à une valeur précise avec plus d’aisance. Ils permettent parallèlement de maintenir le niveau de sortie même avec le muscle complètement relâché.

3. Nécessité d’une notation pour la musique EMG

57Comme nous l’avons évoqué dans cet article, le positionnement des électrodes joue un rôle très important pendant la captation du geste instrumental et dans les capacités expressives de l’interprète. Dans les cas où les électrodes sont placées sur des muscles qui ne sont pas nécessaires lors du geste instrumental, la question se pose de savoir quel type de geste doit être exécuté à un moment précis de la partition. Cette situation nous amène à la problématique de la notation pour la musique fondée sur des signaux physiologiques.

58La partition telle que nous la connaissons aujourd’hui nous permet de décrire les notes à jouer et les modes de jeu à utiliser, par contre nous n’avons pas de méthode établie pour décrire le geste instrumental désiré à un moment précis.

59La nécessité d’une notation mais aussi d’un langage commun se fait évidente lorsque que nous voulons décrire dans la partition la manière dont l’interprète devra interagir avec les traitements sonores au travers de son geste. Nous avons constaté une difficulté de communication entre les musiciens et le compositeur/développeur de l’interface car le langage n’est pas partagé. Côté musicien, le langage est fondé sur des paramètres musicaux, tandis que du côté du développeur il peut y avoir une préférence à faire référence aux électrodes et aux intensités des signaux mesurés.

60Nous envisageons pour nos futurs ateliers deux alternatives possibles. La première étant de décrire sur la partition le niveau d’engagement musculaire voulu en faisant référence aux électrodes par numéro. La partition devra donc spécifier le positionnement des électrodes. Une autre approche est de décrire le geste instrumental désiré en trouvant un langage commun qui puisse d’une manière concise et claire décrire tous les types de gestes envisagés. Cette dernière approche nous offre une manière plus précise de décrire le geste instrumental mais implique une plus grande difficulté lors de la description du geste dans la partition. Une autre possibilité évoquée lors de nos expérimentations, était de penser la partition comme une vidéo et pas comme une image statique.

Conclusions

61Dans cet article nous avons détaillé les expériences menées lors des études utilisateurs réalisées dans le cadre du projet BBDMI : nous avons expérimenté de nouvelles manières d’interagir avec les traitements sonores utilisant des capteurs EMG placés sur le corps des interprètes. Nous avons mis en évidence des relations assez complexes entre le geste instrumental et les signaux EMG générés, dépendant du positionnement des électrodes sur le corps de l’interprète.

62Nous avons constaté que le travail avec les signaux EMG et le geste instrumental appelle une forme d’écriture qui puisse prendre en compte le geste instrumental désiré ainsi que la musique à jouer.

63Les résultats obtenus dans nos études utilisateurs sont similaires à ceux des projets de recherche précédents (Verdugo et al., 2022). Les musiciens ont pu expérimenter une nouvelle façon d’interagir avec la musique, apportant ainsi de nouvelles formes d’expression musicale. Ces résultats soulignent l’importance de continuer à explorer les possibilités de capteurs EMG en tant qu’interfaces pour interagir avec la musique d’une manière plus créative et innovante.

Remerciements

64Le projet BBDMI (Body Brain Digital Music Instruments) est financé par l’Agence Nationale de la Recherche sur la convention ANR-21-CE38-0018. Nous remercions nos collègues Atau Tanaka, Stephen Whitmarsh et Francesco Di Maggio pour les échanges concernant la phase d’études utilisateurs.

Bibliographie   

Notes   

Citation   

Auteur   

Quelques mots à propos de :  David Fierro

Quelques mots à propos de :  Alain Bonardi

Quelques mots à propos de :  Guilherme Carvalho

Quelques mots à propos de :  Anne Sèdes