#liste_articles {display:block}

Réalité augmentée

mardi 18 octobre 2005

 

Réalité augmentée

D’une manière générale, la réalité augmentée (AR ou RA) définit un mélange entre le réel et le virtuel. Des objets de synthèse sont insérés dans un décor réel, de la manière la plus réaliste possible.
Cette technique fut d’abord utilisée à des fins militaire dans les années 80, afin d’afficher des informations virtuelles sur la visière des pilotes de chasse. C’est plus tard, dans les années 90, que cette technologie connait un grand essor. Les travaux sont alors menés parallèlement dans divers cadres applicatifs comme la médecine, l’ingénierie et la production, l’architecture, le design et les loisirs.

a. Pattern
b. L’application reconnait le motif et place correctement le voilier en 3D.
c. Voilier vu sous un autre angle.


















L’applicatif BlackMagic Home Edition permet de réaliser chez soi des exemples simples de RA. Il suffit de posséder une webcam et d’imprimer les différents patterns qui permettent au programme de placer correctement l’objet virtuel. Le voilier s’intègre ainsi dans le décor réel filmé par la webcam. Il semble être posé sur la feuille.

Principes de la réalité augmentée

Lorsque l’on veut insérer un objet virtuel dans une séquence réelle, il est nécessaire d’incruster l’objet
avec le même point de vue que la caméra. Cependant, afin d’obtenir un rendu réaliste, il faut aussi prendre en compte
les éventuelles interactions entre la scène réelle et les objets virtuels ajoutés. Il faut ainsi gérer le problème
d’occultations, d’ombres et de réflexions.

  • Méthodes de calcul du point de vue :

Dans le cas ou l’objet virtuel doit être incrusté sur un plan qui possède des points parfaitement reconnaissables
(comme dans l’exemple de BlackMagic Home Edition),
la détermination de la position, de l’orientation et de l’échelle peut se réaliser de façon assez simple.
En effet, la connaissance de 3 points sur l’image en 2D permet de construire un plan dans le repère 3D dans lequel s’incruste notre objet.
Les points connus de l’image 2D ont maintenant des coordonnées dans l’espace 3D par rapport auxquelles peut être positionné l’objet virtuel.
La taille de l’objet, la focale de la caméra (nécessaire pour reconstituer un effet de perspective) peuvent facilement se déduire des distances séparant les points connues de l’image 2D.

Le principe reste le même si l’on ne travaille pas avec des marqueurs facilement identifiables. Le point de vue doit alors être déterminé à partir de la position de points clés de l’image en 2D. On applique deux principaux procédés sur chaque nouvelle image à traiter :

  • Les points clés de l’image précédente sont cherchés dans l’image courante et sont mis en relation. Sur l’image (d), les points clés ont été marqués en jaunes. On peut voir en bleu sur l’image (e), les plans de référence qui sont déterminés à partir des points clés.
d. Points clés (jaunes) suivis dans chaque image.
e. Plans de référence.
  • A partir de leurs mouvements, le point de vue est reconstruit. Ce procédé fait généralement intervenir la minimisation d’une fonction basée sur la géométrie épipolaire

L’objet peut enfin être inséré :

f. Incrustation de la voiture dans le décor réel.
g. Ajout d’informations sur un campus.

Un bon positionnement de l’objet virtuel dans la scène réelle est nécessaire si l’on veut obtenir un rendu cohérent. Cependant, cela n’est pas suffisant si un résultat plus réaliste est désiré.

  • Gestion de l’occlusion :

Si un objet doit s’incruster derrière un objet réel, certaines parties ne doivent pas être affichées. Pour cela, on construit une représentation 3D des objets réels proches de l’objet virtuel. Cette opération s’effectue à l’aide de deux (ou plus) images 2D (procédé de reconstruction 3D stéréo). En comparant les coordonnées 3D des objets réels et des points de l’objet virtuel, on peut afficher seulement les parties visibles de celui-ci.

h. L’objet réel occultant grisé sur l’image

Certaines opérations comme la gestion de la luminosité, de l’ombrage ou des réflexions peuvent être ajoutées si le rendu nécessite encore plus de réalisme.

i. Example de rendu avec ombrage

Il est certain que la complexité des techniques utilisées pour la RA dépend en grande partie de l’application à laquelle elle est dédiée.

La RA en pratique

L’incrustation d’objets virtuels dans une scène réelle s’applique déjà dans des domaines variés. Jusqu’à aujourd’hui cependant, les applications fonctionnelles ne mettent en oeuvre qu’une réalité virtuelle simple, dans laquelle peu ou pas d’interactions avec l’utilisateur sont permises.

  • Dans le cadre de la diffusion d’évènements sportifs, la RA s’utilise afin d’incruster dans l’image des informations utiles aux téléspectateurs. Cette technique a pour la première fois été adoptée aux Etats-Unis lors de matchs de football américain. La façon dont est réalisée cette incrustation est bien décrite sur le site HowStuffWorks.
j. Affichage de la ligne de "scrimmage" lors d’un match de football américain.
k. Autres exemples du domaine sportif.
  • La plus part du temps la RA sert aussi lors de ces évènements à rajouter de la publicité. Une fois le système mis en place, le changement de campagne peut s’effectuer uniquement par ordinateur, ce qui apporte une très grande souplesse lors de la diffusion télévisée.
l. Insertion d’une publicité sur un stade.
  • Dans le domaine médical, la RA a déjà permis la superposition des données d’imagerie ultrasons directement sur le corps du patient. Le médecin peut ainsi visualiser dans un même espace ses actions et leurs conséquences.
l. Incrustation sur le ventre du patient.

L’équipe Chir de l’INRIA Sophia-Antipolis travaille actuellement sur un projet qui permettra à l’avenir de faciliter l’exécution d’opérations chirurgicales. La brique RA du système a pour but d’incruster sur une image réelle (endoscopie) les organes inaccessibles avec cette technologie (en savoir plus...).

m. Incrustation (en vert) d’un organe inaccessible par endoscopie.

La RA démontre toute sa puissance lorsqu’elle est couplée avec une véritable IHM (Interface Hommes/Machine). Le développement de cette forme de RA est en cours et les récents projets ouvrent de nouvelles perspectives.

  • L’interactivité possible entre l’utilisateur et les objets virtuels ont suscité l’intérêt des créateurs de jeux vidéos. Dans le jeu "Monkey bridge", les personnages se dirigent de façon autonome au dessus de l’eau sur des blocs réels ou virtuels. Le joueur ajoute à sa guise les objets virtuels qui vont empêcher le personnage de tomber à l’eau.
n. Plateau du jeux "Monkey bridge".
o. Image tirée du jeux "Monkey bridge" mélangeant plate-formes virtuelles et réelles.
  • Enfin, de gros efforts sont menés afin d’intégrer la réalité augmentée dans le cadre d’un travail collaboratif et multi-utilisateurs. iMAGIS est un projet joint entre CNRS,INRIA,INPG and UJF qui permet à plusieurs utilisateurs de partager un espace de travail commun.
p. Plateau partagé par les utilisateurs.

Sur ce plateau, les utilisateurs peuvent ajouter, déplacer ou supprimer des objets virtuels. La souplesse procurée et l’apport de la troisième dimension peuvent s’avérer très utiles pour visualiser des travaux d’architecture, d’urbanisme, d’ingénierie ou encore dans un but ludique et/ou éducatif.

q. Visualisation d’une molécule sur le plateau.

Conclusion

Par rapport à la réalité virtuelle (VR), dans laquelle l’utilisateur s’immerge totalement dans le virtuel, la réalité augmentée offre des possibilités nouvelles. L’interaction est possible aussi bien avec des objets réels que virtuels dans un même espace. Les limitations de cette technologie se situent surtout au niveau hardware puisque les affichages de type casques sont soumis à des problèmes d’alignement souvent difficiles à résoudre.

La tendance étant au pervasing computing, il est certain que la technologie RA ne va cesser d’être améliorer et de voir ses applications multipliées.

Références :

Documents :

par Nicolas Marmounier