Armand Bazin et Ulysse Del Ghingaro - M2 MIM

Description de l’intention du projet 

Le but du projet est de créer un générateur sonore et visuel contrôlé par les mouvements de main, avec un gant par exemple. La subtilité vient du fait que l’image provient directement du son qui provient directement du mouvement des mains de l’utilisateur. L’esthétique est volontairement épurée, avec des sons peu riches et des images en noir et blanc. Les mouvements de l’utilisateur créent du son et donc le visuel, sans mouvement tout est noir et silencieux, triste et sans âme. L’utilisateur peut ensuite contrôler le son grâce à l’orientation de sa main (modifiant les fréquences) et les combinaisons de doigts, un doigt levé correspondant à un oscillateur. Il a aussi la possibilité de changer la reverbation appliquée au son, en levant son pouce ainsi que son index ou son majeur créant ainsi un nouvel espèce sonore. Ce contrôle du son s’applique directement à l’image qui découle du son. L’orientation de la main change aussi l’orientation des bandes blanches et noires qui composent l’image.

Puisque le seul matériel disponible est l’accéléromètre, nous avons simuler les capteurs de pression des doigts avec l’objet mtr.

L’optimum aurait été d’avoir un gant qui fasse à la fois accéléromètre et capteur de flexion pour les doigts. 

Nous nous sommes en partie inspiré de l’artiste Imogen heap et de ses gants de contrôle (Mi.Mu gloves) :  https://youtu.be/3QtklTXbKUQ?t=555

Schéma fonctionnel

Explications techniques

Le dispositif est centré sur l’idée de transformer une image en son. Pour cela le son est produit par le patch grâce à des oscillateurs type triangle. Le son est ensuite subie une analyse FFT (Fast Fourier Transform) qui nous donne l’amplitude de chaque fréquence dont il est composé. 

Pour des raisons de limitation technique, seulement 5 composantes visuelles sont créées. Pour cela, on choisit une bande de fréquence (0 - 50 Hz par exemple) et on fait la moyenne de son amplitude qu’on associe à la moyenne de sa fréquence (ici 25 Hz). On obtient donc une fréquence pure de 25 Hz avec une amplitude moyenne. On se sert ensuite de la représentation visuelle de cette oscillation sinusoïdale pour obtenir la composante visuelle. En changeant le référentiel de la courbe sinusoïdale, on obtient des lignes noires et blanches d’une certaine épaisseur. L’épaisseur correspond à la fréquence et la couleur à l’amplitude de la sinusoïde, 1 pour blanc, 0 pour noir, et des dégradés de gris entre les deux. Enfin une rotation de ces bandes peut être appliqué pour créer des formes plus diversifiée. 

Techniquement cela se traduit par l’utilisation de l’objet fft~  pour obtenir la FFT du son. Puis les données de cette FFT sont découpées en bande de fréquences de 50 Hz dont la moyenne des amplitudes est obtenue grâce à l’objet de traitement de liste zl. 

On utilise l’objet jit.catch pour transformer le signal obtenu en image, et jit.matrix pour en faire des matrices, enfin l’objet jit.rotate permet d’appliquer une rotation à l’image obtenu. Pour combiner les 5 composantes du visuel on utilise l’objet jit.op, dont on peut choisir le type d’opération (ici l’addition). 

Le contrôle du patch se fait avec un accéléromètre.

Les combinaisons de doigts sont détectées grâce à la valeur des capteurs de flexion.  En comparant les différentes valeurs de ces capteurs avec des opérateurs if on peut en déduire la combinaison de doigts et envoyer le message nécessaire au reste du patch. 

Photo du dispositif 

Vidéo de démonstration

Remarque sur la vidéo de démonstration 

Le but final du projet était d’afficher le visuel en grand sur l’écran et de ne pas avoir d’interface, à cause de l’absence des capteurs de flexion, une interface est obligatoire pour le simuler. 

Les mouvements simulés sont des doigts levés à partir d’un poing fermé, c’est pour cela qu’au départ il n’y a pas de son, puis le son apparait quand le ou les doigts se lèvent puis disparait quand ils se rabaissent, on peut ensuite lire un autre enregistrement. 

Les changements de type de réverbération ne provoque pas de son et sont fait en levant le pouce et l'index ou le pouce l'index et le majeur