FLASH INFORMATIQUE FI



X-paint, une table de dessin multimodale




Daniele DELLA BRUNA

Luca ZINGG

Yannick THIESSOZ


Préambule

Cet article a pour but de présenter le développement de la table de dessin X-Paint, rapport du projet accessible à l’adresse. Cette table a été réalisée dans le cadre du cours Interfaces multimodales dispensé en collaboration entre l’Université de Fribourg et l’École d’Ingénieurs et d’Architectes de Fribourg. La partie pratique de ce cours a laissé place à un petit concours Phidgets contest qui avait pour but la réalisation d’une interface tangible et multimodale combinant l’utilisation de Phidgets, de RFID et de librairies multimodales open source. C’est donc lors de ce petit concours que la table X-Paint a vu le jour.

Introduction

X-Paint est donc une table de dessin. Mais elle n’est pas comme toutes les tables de dessin conventionnelles. En effet, ni stylo ni même feuille de papier ne sont utilisés avec cette table. Vous vous demandez alors : Mais comment dessine-t-on sur X-Paint ? X-Paint utilise des marqueurs visuels et une librairie de tracking pour simuler les stylos (tirer des lignes, faire des figures, du dessin à main levée,...) et une table semi transparente pour afficher le résultat. X-Paint intègre aussi la voix grâce à un microphone et une librairie de reconnaissance vocale pour définir certains types d’opération et des composants physiques (slider, potentiomètre,...) pour d’autres types.
Voici un schéma qui représente le prototype X-Paint avec ses différentes parties :



Sur ce schéma nous pouvons voir qu’une caméra permet de traquer le déplacement des stylos virtuels (tangibles tagged with fiducials), qu’un micro permet de récupérer des commandes vocales (sélection d’une forme pré-dessinée,...), qu’un contrôleur de composant physique (phidgets) est présent, et qu’un projecteur permet de restituer le dessin à l’aide d’un miroir sous la table semi transparente.

Les modalités

Comme notre table faisait partie d’un cours sur les interfaces multimodales, il est clair qu’un certain nombre de modalités y sont intégrées. Les points suivants vont vous permettre de comprendre l’intégration de ces modalités dans la table et par la même occasion de vous familiariser avec les opérations réalisables avec cette table.

La vue

X-Paint utilise pour dessiner la librairie ReacTiVision qui permet à l’aide d’une caméra de suivre le déplacement d’un certain nombre de marqueurs. Nous utilisons ici un nombre restreint de marqueurs (au maximum 2) qui nous permettent de réaliser les opérations suivantes :

  • dessins de diverses formes (ligne, cercle plein, cercle vide, rectangle plein, rectangle vide, polygone plein, polygone vide).
  • dessin à main levée
  • effacement d’une forme
  • rotation et déplacement d’une forme
  • sélection de formes
  • sélection d’une image de fond.

La voix

X-Paint intègre la voix à l’aide de la librairie Sphinx ce qui facilite nettement son utilisation. En effet, la voix est une modalité très utilisée et intuitive, c’est pour ces raisons que nous l’avons intégrée à notre système. Voici la liste des commandes vocales de la table de dessin ainsi que leur utilité :

Select Shape :
permet de sélectionner l’une des formes déjà présentes sur le dessin. De là, il est possible d’effectuer les trois opérations suivantes : erase shape, move shape et rotate shape.
Erase Shape :
permet d’effacer l’une des formes déjà présentes sur le dessin.
Move Shape :
permet de déplacer l’une des formes déjà présentes sur le dessin
Rotate Shape :
permet la rotation d’une forme déjà présente sur le dessin
Return :
permet de terminer un select shape et de libérer la forme sélectionnée. A partir de là, les opérations suivantes ne sont plus disponibles : erase shape, move shape et rotate shape.
Begin Draw :
lorsque l’on désire dessiner une forme, cette commande commence le dessin.
Point :
permet de créer des points supplémentaires dans la réalisation d’un polygone ou d’une ligne.
End Draw :
permet de conclure le dessin d’une forme.
Select Background :
permet de sélectionner l’image de fond.

Modalité physique

X-Paint utilise des phidgets pour le choix de la couleur, le choix de l’épaisseur du trait et le type d’opération à effectuer. Nous avons utilisé cette modalité car elle s’adaptait très bien aux opérations que nous voulions intégrer dans la table.

Le choix de la couleur

Le choix de la couleur est réalisé à l’aide de deux sliders et d’un potentiomètre qui permettent de modifier les paramètre HSB.



L’épaisseur du trait

Réalisé à l’aide d’un potentiomètre :



Le choix de l’opération

X-Paint utilise ici des RFID pour chaque opération :

  • sélectionner
  • ligne
  • cercle plein
  • cercle vide
  • rectangle plein
  • rectangle vide
  • rectangle vide
  • polygone plein
  • polygone vide
  • main levée





Conclusion

Notre application réunit plusieurs modalités afin de créer une table de dessin attrayante. Selon l’avis des quelques utilisateurs qui l’on testée, son utilisation est simple et conviviale. Nous vous conseillons vivement d’aller voir la petite vidéo de démonstration que nous avons réalisée pour vous convaincre des possibilités de cette table. Cette vidéo montre les différentes possibilités offertes par la table lors du dessin d’une maison. Bien entendu X-Paint n’est qu’un prototype et un certain nombre d’améliorations peuvent y être apportées.



Cherchez ...

- dans tous les Flash informatique
(entre 1986 et 2001: seulement sur les titres et auteurs)
- par mot-clé

Avertissement

Cette page est un article d'une publication de l'EPFL.
Le contenu et certains liens ne sont peut-être plus d'actualité.

Responsabilité

Les articles n'engagent que leurs auteurs, sauf ceux qui concernent de façon évidente des prestations officielles (sous la responsabilité du DIT ou d'autres entités). Toute reproduction, même partielle, n'est autorisée qu'avec l'accord de la rédaction et des auteurs.


Archives sur clé USB

Le Flash informatique ne paraîtra plus. Le dernier numéro est daté de décembre 2013.

Taguage des articles

Depuis 2010, pour aider le lecteur, les articles sont taggués:
  •   tout public
    que vous soyiez utilisateur occasionnel du PC familial, ou bien simplement propriétaire d'un iPhone, lisez l'article marqué tout public, vous y apprendrez plein de choses qui vous permettront de mieux appréhender ces technologies qui envahissent votre quotidien
  •   public averti
    l'article parle de concepts techniques, mais à la portée de toute personne intéressée par les dessous des nouvelles technologies
  •   expert
    le sujet abordé n'intéresse que peu de lecteurs, mais ceux-là seront ravis d'approfondir un thème, d'en savoir plus sur un nouveau langage.