TP5 - INSERTION D'OBJETS VIRTUELS

APERÇU

Ce projet présente une méthode de composition d’objets virtuels dans des scènes réelles photographiées. L’insertion d’objets dans des environnements réels présente un défi au niveau de la modélisation de la lumière. La technique présentée permet de capturer la direction et l’intensité de la lumière pour ensuite facilement et automatiquement modéliser les ombres, reflets et autres effets lumineux sur les objets.

1. CARTE DE RADIANCE HDR

Pour transmettre l’information lumineuse de la scène vers l’objet il est nécessaire d’enregistrer cette information sur place. Comme une photo numérique présente généralement un nombre limité d’intensités (8 bits : 256 valeurs), il est important d’utiliser une image HDR (High Dynamic Range) pour permettre un transfert réaliste de la lumière.

1.1 COLLECTE DE DONNÉES

Il est possible de retrouver l’environnement lumineux en photographiant une sphère de surface miroir qui reflète entièrement la scène où elle se trouve. La reconstruction HDR à partir de plusieurs images nécessite une photo de la même scène (la sphère) sous différents temps d’expositions. Il est donc requis de prendre plusieurs photos de la sphère du même point de vue, mais avec des temps d’expositions varié et adapté à la luminosité ambiante. Refaire cela pour chaque scène.

1.2 CARTE DE RADIANCE

Construire une carte des radiances HRD à partir de plusieurs images LDR (Low Dynamic Range) se fait en reconstruisant la courbe de réponse du capteur à la lumière. Chaque image présente une plage de valeur d’intensités valide et certaines valeurs de pixels saturés ou sans information (0 ou 255). Une somme pondérée des valeurs obtenues sur chaque image en fonction du temps d’exposition permet d’estimer cette courbe d’intensités selon le temps d’exposition.

Une fois cette courbe obtenue pour chaque canal de couleur. Il est possible de créer l’image HDR en appliquant cette fonction à tous les pixels de l’image. On obtient donc une carte des radiances. Il est possible de représenter cette carte en 8 bits (avec perte d’information) grâce à la reproduction tonale. L’image suivante présente la carte en 256 valeurs saturées et en reproduction tonale linéaire. Par contre, la carte complète sera utilisée pour éclairer la scène modélisée.

2. TRANSFORMATION PANORAMIQUE

Il est parfois plus pratique de représenter une information sphérique en différents formats 2D. Pour utiliser notre carte des radiances sphérique, il est utile de la projeter dans le domaine équirectangulaire. De la même manière qu’il est possible de représenter la carte du monde en 2D, il est possible de représenter l’information lumineuse à 360 degrés autour de la sphère. Pour appliquer cette technique, il est nécessaire de calculer les vecteurs normaux de l’image de la sphère. Ensuite, nous pouvons calculer les vecteurs de réflexions (donc la provenance de l’information lumineuse) en connaissant la position relative du point de vue de la caméra. L’étape suivante est simplement de représenter ces vecteurs de réflexions en latitude et en longitude puis de les associer aux lignes et aux colonnes d’une image rectangulaire.

3. COMPOSITION

Texte texte texte

3.1 MODÉLISATION

La modélisation des surfaces de la scène est une étape importante pour assurer un résultat réaliste de la composition finale. Nous devons modéliser les surfaces qui seront en interaction avec un objet virtuel en superposition à la photo de la scène. C’est cette étape qui fait le lien entre la scène photographiée et l’objet inséré. Ensuite, il est possible de créer et d’ajouter les objets de notre choix sur ces surfaces.

3.2 RENDU

Il est important de modéliser les textures et d’ajouter l’environnement lumineux généré précédemment. Les différentes textures réagiront différemment avec la lumière. Cela nous permet de générer les ombres et les réflexions entre les objets et la scène.

3.3 COMPOSITION

Lors des étapes précédentes, nous avons modélisé les surfaces de la scène pour obtenir les interactions entre la scène et l’objet. Nous voulons maintenant nous débarrasser des surfaces modélisées pour ne conserver que ces interactions. Pour cela, on génère une image de la scène sans objets (donc sans interaction) puis on la soustrait à l’image avec les objets.

Pour insérer les objets dans la scène, on génère un masque binaire de la forme des objets selon le point de vue de la caméra.

Puis on combine finalement les interactions (ombres, réflexions, etc.), les objets et la scène pour obtenir le résultat final de la composition.

4. RÉSULTATS

Cette première scène présente un résultat simple de la technique de composition d'image. On voit une ombre légère produite par l'objet ainsi qu'une réflexion de la lumière à travers celui-ci. Le bureau a été modélisé avec une texture de la couleur correspondante et semi-réfléchissante, mais avec un facteur de rugosité élevé pour éviter la réflexion. Le résultat est assez convaincant et la lumière de la scène semble bien transmise sur l'objet.

Ce résultat est une modification de la scène précédente. Deux surfaces ont été modélisées, le bureau et la pile de feuilles. Des objets ont été ajoutés, une sphère avec des propriétés miroir et une autre plus petite avec un matériel transparent orangé. On remarque particulièrement la réflexion de la scène réelle sur la sphère miroir virtuelle.

Cette scène qui présente trois verres virtuels permet d'observer l'interaction entre le contenu et le verre ainsi que la réflexion de la lumière sur un objet présentant un matériel vitré. Le liquide possède aussi des propriétés de transmission de la lumière. La table est modélisée avec un matériel noir avec des propriétés réflectives assez basses. Le résultat semble un peu trop exposé et il serait intéressant de reproduire la scène avec un facteur de luminosité plus bas.

Cette composition permet d’observer le rendu de différents matériaux dans une scène sombre. La première statuette est en vitre verdâtre, la deuxième de couleur beige et très mate, la troisième est fait d'un matériel miroir parfait et le dernier d'un matériel réfléchissant, mais avec une certaine rugosité. La boule au haut de l'image permet d'observer la distribution de l'éclairage de la scène, on remarque les éclairages de rue derrière le point de vue de la caméra ainsi que la réflexion des lumières orangées provenant de l'autre rive. Le résultat est plus convaincant sur la première et la dernière statuette. Il serait aussi intéressant de réduire l'intensité de la lumière pour obtenir un meilleur résultat.

Les objets présentés ici produisent leur propre lumière. Les tuiles du plancher sont modélisées de manière à refléter la lumière et l'objet sans trop effet miroir. La surface est de couleur beige et elle possède une certaine rugosité et une bonne réflectivité. Les réflexions de la lumière sur le sol sont bien rendues.

Lors de la capture de la lumière de cette scène, un laser rouge a été pointé sur la sphère miroir (réelle) pour étudier l'effet de celui-ci sur des objets virtuels. Les objets insérés sont une sphère en verre et une sphère miroir. On voit bien le laser réfléchi et transmis sur les sphères.

Le premier résultat présenté dans cette scène n'était pas très réaliste. Pour améliorer cela, la tasse a été ajustée à une grandeur plus réaliste et la texture modifiée vers une surface plus réfléchissante donnant un effet métallique plus convaincant.

SOURCES

Globe (© blurredmotion) • Whiskey Shot (© awesomeAMP) • Tasse à café (© cdnirish) • Statue de chevalier (© gabrisondi1)