Après la vision de l’impeccable « Ursonography » de Jaap Blonk & Golan Levin à Artefact (STUK-Leuven), je replonge dans mes documents liés à Golan Levin, et redécouvre son fascinant projet « Scrapple ».

Préambule et objectif de cet article :
Cette présentation de Scrapple introduit au principe général de TUI (Tangible User Interface) applicable (notamment) à PROCESSING grâce à la librairie reacTIVision de Martin Kaltenbrunner et Ross Bencina.
Lien : http://mtg.upf.es/reactable/?software#files%20

Un spectrogramme est un diagramme associant à chaque instant d’un signal, son spectre de fréquence. Dans son format le plus courant, l’axe horizontal représente le temps et l’axe vertical la fréquence. Chaque point à l’intérieur du graphique est doté d’une certaine intensité qui indique l’amplitude (en décibels) d’une fréquence particulière à un temps donné (Voir Wikipedia).

Scrapple, de Golan Levin et Zachary Lieberman, est une performance et/ou une installation interactive, interprétant des objets quotidiens placés sur une table comme marqueurs sonores au sein d’une « partition active ». Autrement dit, Scrapple scanne une surface plane comme si il s’agissait d’une partition musicale « spectographique », en produisant le son en temps réel à partir des objets se trouvant sous l’oeil de la camera. Dans ce cas, Golan Levin utilise un spectogramme comme interface d’input.

SCRAPPLE a été présenté à Ars Electronica (Linz, Autriche) en 2005. La table de 3 mètres de long produisait une boucle sonore de 4 secondes, permettant aux utilisateurs d’expérimenter librement une composition interactive et audiovisuelle à partir d’éléments tangibles.

Le dispositif utilise une variété de formes ludiques. En particulier, de longues courbes flexibles permettent la création de mélodies. Ce type d’objet placé de manière transversale sur la largeur de la table génère des tonalités dont les fréquences sont réparties sur huit octaves (de bas en haut). Un assemblage de feutre de formes simples, ou de petits objets produisent des rythmes, couvrant un champ de fréquences plus ou moins large en fonction de la zone recouverte. Plus un objet est sombre, plus fort est le son produit, etc.

La projection de la grille est facultative et paramétrable, elle « matérialise » le software sur la table. Le halo lumineux atteste de la reconnaissance de l’objet (certains objets peuvent être trop petits pour être reconnus, en fonction du seuil de vision attribué à la caméra). L’intensité du halo lumineux décroît graduellement lorsque l’objet a provoqué un son, ce qui permet un repère visuel sur le tempo et le timing du système. Il est tout autant possible de dessiner des formes que de manipuler des objets, la surface étant de type « Ã©cran blanc effaçable ».

La résolution d’échantillonnage pour une table de 200 X 50 cm est approximativement de 4 ou 5 camera-pixels pour 1 cm de table. Comme chaque pixel devient potentiellement un générateur de son, un « seuil de capture « a été établi pour « nettoyer » le système d’éventuels perturbations dues à l’éclairage ambiant ou aux formes imprécises ou trop pâles.

L’application Scrapple est écrite en C++ et utilise notamment la librairie OpenGL.

La capture est effectuée avec une image de 640 X 480 pixels à 60 frames/sec, à l’aide d’une camera Firewire monochrome.

La table est éclairée par une source infrarouge pour renforcer sa visibilité par la caméra et éviter les confusions provoquées par la projection (grille, etc). La caméra utilise un filtre infrarouge pour trier les informations nécessaires, de manière à ne percevoir que les indications utiles à la détection précise des formes.

Le plan ci-dessous reprend les étapes du processus. Il est extrait d’une documentation technique téléchargeable via multimedialab.be :

http://www.multimedialab.be/doc/art/golan_levin_scrapple.zip

La capture de l’image est dotée d’une correction de perspective :

Un extrait d’une performance de Golan Levin (MonkeyTown performance space, Brooklyn) :

Autre extrait :

Scrapple sur le site de Golan Levin :
http://www.flong.com/resume/projects.html

Le PDF hi-res :
http://www.flong.com/writings/articles/levin_scrapple_20060320_1200dpi.pdf

–
Informations et ressources en lignes mentionnées par Golan Levin :

Lens Correction and Distortion, Paul Bourke :
http://astronomy.swin.edu.au/~pbourke/projection/lenscorrection/index.html

Adaptive Thresholding, Robert Fisher :
http://homepages.inf.ed.ac.uk/rbf/HIPR2/adpthrsh.htm

The Pattern Playback, Philip Rubin & Louis Goldstein :
http://www.haskins.yale.edu/featured/patplay.html

The UPIC System, Paul A.R. Timmermans
http://membres.lycos.fr/musicand/INSTRUMENT/DIGITAL/UPIC/UPIC.htm

Illuminating Light: An Optical Design Tool with a Luminous-Tangible Interface,
John Underkoffler and Hiroshi Ishii, Tangible Media Group :
http://tangible.media.mit.edu/papers/Illuminating_Light_CHI98.php
–

Voir aussi The Manual Input Session.

Voir des images sur le Flickr de Golan :
http://flickr.com/photos/golanlevin/sets/

Une interview de Golan Levin :
http://www.ciac.ca/magazine/archives/no_19/entrevue.htm

Voir le site de Zachary Lieberman, collaborateur de Golan Levin :
http://thesystemis.com/

Voir les videos de Zachary Lieberman sur YouTube :
http://www.youtube.com/profile?user=thesystemis

Sue Costabile collabore occasionnellement avec Golan Levin pour des performances sonores autour de Scrapple (elle utilise surtout Jitter pour ses propres productions). Voir son site : http://www.sue-c.net/

D’autres projets utilisant une surface (une table) et des objets ou interfaces tangibles :

Voir « Tangible musical interfaces – Music tables » par Martin Kaltenbrunner.

Voir reacTIVision, une librairie multi-plateforme dédiée à la détection de marqueurs pour des projets de tables réactives (interfaces tangibles). Intéressant : parmi les nombreuses plateformes de développement supportées, on y trouve PROCESSING !!

Voir « A list of interactive tables » par Nicolas Nova.

Cet article est mis à votre disposition sous un contrat Creative Commons.

Il a été publié le mercredi 21 février 2007  à 15:43  et est classé dans Installations, Interactivité, Interfaces, Musique, Processing, Son. Vous pouvez en suivre les commentaires par le biais du flux RSS 2.0. Vous pouvez laisser un commentaire, ou faire un trackback depuis votre propre site.