Yu FAN, M2 ANCV

Description d’intention

Il s'agit d'une installation interactive audiovisuelle qui nous permet de créer des performances improvisées pleines d'inconnu et de surprises grâce à l'interaction homme-machine, en utilisant l'association de la couleur et du son. L'installation est divisée en deux parties : visuelle et musicale.

À l'origine, je n'envisageais que la partie visuelle, où l'ordinateur génère en permanence une succession de points de pixels (blocs de couleur) à des endroits aléatoires en fonction de l'alimentation de la caméra en direct, qui peuvent être de forme ronde ou carrée, et transparents, un processus qui simule la touche de peindre et qui, au fil du temps, aboutit à une peinture abstraite de pixels. Les participants peuvent contrôler la vitesse de la peinture, la taille des coups de pinceau et le ton de l'image grâce à ces actions via des capteurs. De toute évidence, les variables de contrôle humain donnent à l'ordinateur une direction générale pour le traitement de l'image, mais le caractère aléatoire apporte de nombreuses surprises imprévisibles à l'ensemble de l'installation. Nous pouvons penser que nous peignons, que ces merveilleuses images sont le résultat d'une intention humaine, mais en réalité, le véritable créateur de la peinture est le programme informatique.

J'espère que cette relation subtile entre l'homme et la machine donnera aux participants matière à réflexion lors de leur interaction avec la machine.

Après avoir terminé la partie visuelle, j'ai pensé, si je peux obtenir les valeurs de couleur de chaque pixel, pourquoi ne pas traduire les couleurs en son? En plus, comme l'ordinateur prend un certain temps pour générer une image complète en direct (5-10 minutes) et qu'une attente trop longue peut être ennuyeuse pour les participants, j'ai décidé d'ajouter de la musique au processus de génération du tableau. Une musique en direct basée sur les couleurs de l'image en direct ajouterait beaucoup à l'expérience interactive, c'est-à-dire que nous ajoutons un sentiment de connexion avec l'installation, c'est-à-dire l'ouïe, et en même temps l'installation devient plus manipulable.

Les parties musicales sont des accords et des mélodies, tous deux dotés d'un certain degré d'aléatoire : les accords sont complètement aléatoires, ce sont des notes transformées à partir des valeurs de couleur des blocs de pixels en temps réel. La mélodie, quant à elle, est composée de 5 notes fixes choisies par moi dans la tonalité de Do majeur (naturel majeur), mais l'ordre dans lequel elles sont jouées est aléatoire.

Comme les valeurs des notes qui composent les accords sont complètement aléatoires, nous pouvons entendre de nombreuses notes chromatiques, couvrant souvent plusieurs intervalles, de sorte que les accords aléatoires sont souvent dissonants et parfois durs. Nous savons que le majeur le plus harmonieux en musique est le Do majeur (naturel majeur). Pour concilier ces dissonances, j'ai donc écrit une mélodie entièrement composée de notes du naturel majeur et donné un caractère aléatoire à l'ordre dans lequel elle est jouée. De cette façon, nous n'entendons pas de répétition de la mélodie et toute la musique est pleine d'une collision très dynamique d'harmonie et de dissonance.

Matériel

•  Ordinateur
•  Capteurs Pression & Force x 2
•  Capteur Potentiomètre souple Position x 1
•  Vidéo projecteur / Écran
•  Interface Midi / USB
•  Rallonges x 3
•  Caméra
•  Haut parleur

Patch

Schéma fonctionnel

Schéma des branchements matériels

Photo de dispositif fini

Coeur du code

Jouez le programme et contrôlez la caméra 

Key lit les frappes du clavier, la barre d'espacement contrôle le démarrage/la fermeture de tout le programme, et la caméra est allumée, la touche F contrôle l'arrêt de la caméra individuellement.

Canvas & Reset Canvas 

Nous utilisons jit.lcd pour définir une fenêtre canvas de taille 480p x 320p. Dans le canvas, nous pouvons obtenir quatre valeurs pour les couleurs : Alpha, Rouge, Vert, Bleu (ARGB).

En cliquant sur Loadmess clear, on efface tout le contenu du canevas et on recommence le calcul pour peindre l'image.

paintrect et paintovel dessinent des blocs carrés et ronds, leurs informations de couleur et de position proviennent des valeurs reçues du pack.

Modulation de saturation 

La teinte et la saturation de l'image sont contrôlées par le signal du Capteur 01: Pression&Force FSR . J'utilise la balance pour réduire globalement la valeur du signal du capteur afin que celui-ci ne soit pas trop sensible.

Le déballage permet de dégrouiller les valeurs de couleur des blocs de couleur générés par jit.marix afin que nous puissions obtenir les valeurs ARGB séparément et envoyer leur R et G à la section musique pour générer des notes aléatoires de l'accord en utilisant des nombres aléatoires.

jit.rgb2luma convertit RGB en monochrome (luminance), il nous permet de rendre chaque bloc de couleur transparent, ce qui ajoute plus de détails et de variations à l'image.

Controle la vitesse de peindre et le rythme deu son

drunk génère des nombres aléatoires continus, drunk 480 pour les nombres aléatoires horizontaux et drunk 320 pour les nombres aléatoires verticaux, j'ai défini des nombres aléatoires pour les côtés horizontaux et verticaux de la toile, ces nombres aléatoires représentent l'endroit où les blocs de couleur sont générés, ainsi les blocs sont générés de façon continue et aléatoire.

speedlim contrôle la vitesse des blocs, qui est contrôlée par le signal du Capteur 02: Pression&Force FSR.

Contrôle de la vitesse

Le signal du Capteur 02: Pression&Force FSR envoie une valeur de vitesse (vitesse) à la section de réglage du pinceau et à la section de vitesse de la musique. Plus la valeur est grande, plus le coup de pinceau (zone du bloc de couleur) est grand, plus la vitesse de peinture (vitesse de génération du bloc de couleur) et la vitesse correspondante de génération des notes (vitesse de la musique) sont rapides.

Contrôlez la taille de la touche

La taille de la brosse utilise aussi des nombres aléatoires continus drunk. Le Capteur 02: Pression&Force FSR envoie un signal (vitesse) qui limite la limite supérieure de la taille de la brosse (le premier int de drunk), drunk limite la limite inférieure de la taille de la brosse (le deuxième int de drunk)

Modulation de la tonalité du son 

Le pgmout nous permet de changer les différentes tonalités, et en manipulant le Capteur 03: Potentiomètre souple Position, nous pouvons profiter de 127 tonalités. 

Accords et mélodie

Chaque accord est composé de deux notes aléatoires, la note aléatoire 01 lit le R(rouge) dans la valeur RVB du bloc de couleur du pixel en temps réel, et la note aléatoire 02 lit le G(vert) dans la valeur RVB du bloc de couleur du pixel en temps réel.

random fait jouer la mélodie des 5 notes sélectionnées dans un ordre aléatoire.

pipe donne un intervalle de 0,1s entre la mélodie et l’accord, ceci rends la musique plus riche.

Vidéo de démonstration

Certains rendu de l'image