Laura Badie - M2 CMAS

Présentation du projet

DirtyVJ est un dispositif informatique permettant de faire du mixage de séquences d’images préexistantes en direct, mais de manière imprévisible, chaotique, voire quasiment sale.

Il est conçu pour permettre de faire des performances visuelles en direct pour accompagner des performances musicales, par exemple dans le cadre de concerts, raves, ou festivals. Il est donc doté de capacités d’audioréactivité, mais permet un large contrôle de la part du VJ (visual jockey) pour y incorporer sa vision artistique.

Il existe déjà plusieurs logiciels dédiés aux performances VJ. On peux mentionner Resolume et VDMX qui sont les deux plus connus et utilisés. Bien que ces logiciels soient très puissants et flexibles, je voulais expérimenter plus avec des effets vidéos imprévisibles et chaotiques pour agrémenter des lectures de vidéos simples.

Je suis musicienne à la base et, dans ma pratique actuelle, j’utilise beaucoup les effets analogiques et les branchements ou techniques dites mauvaises. Par exemple, sur ma console de mixage analogique, j’essaye parfois de créer des boucles de rétroaction (feedback) assez violente. J’en tire des sons très bruts, mais mélangés avec la douceurs des sons que j’y injecte.

Je suis intéressée par les arts multimédia et ce projet est pour moi une exploration de la transposition de ces techniques dans le domaine visuel. J’espère pouvoir me rapprocher des esthétiques lo‑fi ou noise qui me plaisent tant dans le domaine musical.

Si possible, j’aimerai utiliser ce dispositif pour créer des visuels pour mes compositions. Il devra donc être assez flexible et versatile pour s’adapter à plusieurs ambiances et propos. Cette adaptation se fera évidemment par le choix et la création des séquences bouclées d’images qui se marient bien à l’esthétique musicale, mais aussi dans le choix et l’usage des différents effets.

Enfin, si ce premier prototype est concluant, je me pencherai sur la possibilité de porter ce dispositif sur un langage de programmation plus stable et robuste comme openFrameworks pour l’utiliser dans un contexte de performance musicale en direct.

Schéma fonctionnel

Haut‑niveau

Mon programme fonctionne comme programmation en flux de données.

Matériel

Logiciel

Explication du code

Liste des capteurs

• AKAI Midimix : surface de contrôle avec 9 potentiomètres linéaires, 24 rotatifs et 20 actionneurs.

• 3 capteurs de poids 20kg en disposition de triangle isocèle pour faire un bras de levier.

Lecture des séquences images

DirtyVJ utilise 8 pistes vidéos en boucle, mixées entres elles par addition. L’intensité lumineuse, la vitesse et le sens de lecture de chaque piste est contrôlé directement sur la surface de contrôle à l’aide de potentiomètres linéaires et rotatifs MIDI.

Pour accentuer le côté sale et lo-fi du dispositif, la résolution de sortie est en qualité SD (620x480px) et la résolution temporelle est de 8 ips. Cette baisse de résolution temporelle permet aussi d’atténuer les effets stroboscopiques qui émergent souvent avec les boucles de rétroaction.

Effets vidéo

Les effets vidéos utilisés sont tous optimisés pour la vitesse et le temps réel car ils doivent être utilisés dans des conditions de direct. J’ai donc utilisé les éléments de Jitter OpenGL, notamment les jit.gl.pix et les jit.gl.slab, qui utilisent nativement la carte graphique de l’ordinateur pour effectuer les calculs en parallèle.

Audioréactivité

Certains effets sont audioréactifs, c’est à dire qu’ils réagissent directement au flux audio d’entrée de différentes manières. J’ai implémentée un système de séparation audio en 3 bandes avec des filtres résonnants : graves, médiums et aiguës, avec des fonctions de suivi de pics et de moyenne du niveau sonore pour chacune de ses bandes.

Je n’ai pas utilisée de transformée de Fourrier qui auraient pu me donner un résultat plus prévisible et propre d’une part car je voulais avoir cette imprédictibilité et d’autre part que l’implémentation dans MaxMSP est assez lourde et difficile à maîtriser.

Boucle de rétroaction visuelle

L’essentiel du caractère imprévisible, instable et sale du dispositif réside dans la réinjection du signal vidéo vers lui-même, créant une boucle de rétroaction. Elle permet de geler des mouvements, de créer des effets stroboscopiques, d’amplifier les effets visuels, de flouter les images pour faire des transitions… C’est un procédé qui peut être très organique, notamment dans le cas de la synthèse vidéo analogique, mais qui peut devenir légèrement stérile dans un cadre tout numérique. Il fallait donc que je trouve un moyen d’injecter de l’organique dans le dispositif.

Traitement du signal : bras de levier

La particularité de ce dispositif réside dans la surface située en dessous de la surface de contrôle. Elle est équipée de 3 capteurs de poids disposés en triangle équilatéral qui permet, par une technique de bras de levier, de trianguler la position du barycentre de pression exercée sur la surface ainsi que l’intensité de cette pression.

Ces 3 données (X, Y et intensité) sont liées à un masque appliqué sur la boucle de rétroaction. Ainsi, lorsqu’aucune pression n’est appliquée, il n’y a pas de rétroaction, et une lourde pression réinjecte tout le cadre de l’image. Entre ces deux extrêmes, il est ainsi possible de faire de la réinjection sélective de certaines zones du cadre. On peux par exemple geler certaines parties de l’image en laissant les éléments environnants se dérouler normalement dans le temps.

Cette détection est très précise et rapide, et elle permet d’induire de l’organique dans la performance car les gestes que nous produisons ne sont pas constants en terme de pression. Entre de simples tapotis rapides ou une pression forte en appuyant tout son corps, les possibilités sont très larges et mettent en œuvre le corps du VJ bien plus que lors de l’usage d’une surface de contrôle ou, pire, d’une souris et d’un clavier.