TP2: On s'amuse en fréquences

Résumé

Ce travail a pour but d'implémenter différentes techniques de modification d'images en altérant directement leur contenu spectral. La partie 0 consiste à implémenter une méthode de sharpening, la partie 1 à créer des images hybrides et les parties 2 et 3 à générer des mélanges d'images.

Partie 0: Réchauffement

Les images choisies sont filtrées avec un filtre d'accentuation avec un boite de 31x31. Les images ont des tailles de 1024x1024. Le facteur d'accentuation pour les images correspond (de gauche à droite): 0;0.5;1.5;4.0. On remarque que l'accentuation dans l'image synthétique est beaucoup plus importante que dans l'image réelle. Ceci est dû entre autres aux zones monotones dans l'image.

Sources: Chien, Bisons.

Partie 1: Images hybrides

Le filtre passe-bas a une fréquence de coupure de 0.04, tandis que le filtre passe-haut a une fréquence de coupure de 0.08. L'écart-type des deux filtres gaussiens correspond à 1/(2*pi*f_c).
Pour abréger le texte, les fréquences de coupure du filtre basse-pas seront nommées "lp" et celles du filtre passe-haut "hp" pour les prochaines images.

Marilyn Monroe
Albert Einstein


lp = 0.0110. hp = 0.1608

Scott Steiner (WCW) Source
Stone Cold Steve Austin (WWE) Source


lp = 0.027. hp = 0.0512

Loutre Source inconnue
Chien Source


lp = 0.045. hp = 0.055

Sylvain Durif - L'homme vert, Merlin l'Enchanteur Source
Jean Chrétien Source


lp = 0.05. hp = 0.192

Eric Weirheim Source
Tim Heidecker Source

Bonus 1: Autres types

Image prise sur Internet vs. image personnelle


lp = 0.02. hp = 0.0712

Keanu Reeves Source
Moi

Changement d'expression


lp = 0.1227. hp = 0.0280

Jack Decker - surpris Source
Jack Decker - suspicieux Source

Time lapse


lp = 0.0110. hp = 0.1461

Italie 2006 avant tremblement de terre Source
Italie 2006 avant tremblement de terre Idem.

Puisque les deux photos n'ont pas été prises du même point de vue, l'effet n'est pas super sur le côté gauche de l'image hybride.

Animal - Objet


lp = 0.01. hp = 0.192

Chien obèse Source
Miche de pain Source

Textures


lp = 0.0109. hp = 0.0775

Étendu d'eau Source
Sable Source

Tel qu'attendu, sans couleur, deux textures ayant un contenu spectral semblable sont difficiles à différencier avec cette méthode.

Bonus 2: Images personnelles


lp = 0.06. hp = 0.0541

Livre d'analyse économique
Livre de cuisine


lp = 0.03. hp = 0.296

Ketchup
Coureur des bois


lp = 0.008. hp = 0.0873

Auto
Camion en bois


lp = 0.0220. hp = 0.0481

Terminus de la médecine - Fin de semaine
Teminus de la médecine - 16h00 la semaine

Puisque le paysage est le même, il n'est pas nécessaire d'avoir une fréquence de coupure faible pour le filtre passe-bas pour créer l'image hybride.

Bonus 3: Images couleurs


lp = 0.056. hp = 0.118

Sylvain Durif - L'homme vert, Merlin l'Enchanteur Source
Jean Chrétien Source

L'utilisation de couleur ici permet de mieux voir Jean Chrétien (hautes fréquences).


lp = 0.0094. hp = 0.0639

Étendu d'eau Source
Sable Source

L'utilisation de couleur pour ces images permet de mieux distinguer les textures différentes (basses fréquences, bleu vs brun). Cependant, les hautes fréquences de l'eau étant peu colorées, le sable prend le dessus dans l'image.


lp = 0.008. hp = 0.064

Terminus de la médecine - Fin de semaine
Teminus de la médecine - 16h00 la semaine

L'utilisation de couleur pour ces images permet de rendre l'image hybride plus vivante par les hautes fréquences de la deuxième image.

Analyse fréquentielle de l'image hybride des livres

Première image:

Une fois alignée et filtrée passe-bas avec f_c = 0.06:

Deuxième image:

Une fois alignée et filtrée passe-haut avec f_c = 0.0541:

Résultat:

Partie 2: Piles gaussienne et laplacienne

Note: Les amplitudes pour les piles/pyramides laplaciennes présentées ont été équilibrées afin de les rendre plus visibles ici. C'est pourquoi la dernière image des piles/pyramides gaussiennes et laplaciennes sont légèrement différentes. Elles sont identiques en pratique.

Piles pour Lincoln et Gala


Piles pour image hybride


Bonus

Pyramides pour image hybride

Pyramides pour Lincoln et Gala

Pyramides pour Lincoln et Gala à l'échelle


On remarque qu'une fois remises à l'échelle de l'image originale, les images des pyramides sont identiques à celles des piles. Ce résultat est logique compte tenu que la seule opération distinguant la création d'une pile et d'une pyramide est la décimation des images pour la pyramide. Puisque les images sont filtrées au préalable, il n'y a pas de recouvrement spectral en décimant. On peut donc retrouver les images de la pile à partir de la pyramide. La taille d'une pile correspond à N (nombre d'éléments dans la pile) fois la taille de l'image originale, tandis que la taille d'une pyramide correspond à 4/3 fois la taille de l'image originale (somme de 1/4^n pour n =0 à n=inf]). L'intérêt d'utiliser une pyramide plutôt qu'une pile est qu'on sauve davantage d'espace mémoire.

Partie 3: Mélange multirésolution

Pommange

La pommange est créée en générant des piles laplaciennes de 6 images pour les deux images de pomme et de l'orange. Ensuite, un masque est généré afin de segmenter les deux images. Une pile gaussienne du masque est par la suite construite et appliquée sur les deux piles des images pour créer la pile laplacienne de la pommange (Res_i = Lpom_i*masque_i + (1-masque_i)*Lora_i)). Les images de la pile sont finalement sommées entre elles pour obtenir l'image ci-dessus.

Étoile filante

Ciel d'étoiles filantes réelles Source
Étoile filante - Lucky Charms Source

Un découpage imprécis peut altérer la qualité du résultat du mélange. Par contre, ici, les restes de contour de l'étoile filante donnent un effet positif au résultat. L'étoile semble scintiller.

Le koala en pyjama

Koala Source inconnue
Chien Source

On peut voir ici que le résultat est beaucoup moins concluant avec la méthode de l'article dû aux différences au niveau de l'éclairage entre les deux photos.

Quand les esprits s'échauffent

Rambo Gauthier réelles Source
Rambo Source

Comme pour le résultat précédent, les différences d'éclairage font en sorte que le mélange n'est pas tout à fait réaliste. Par contre, puisque l'image est en noir et blanc, l'impact est beaucoup moins visible.

Images personnelles

Roue de secours

Camion en bois
Auto

Les mélanges réalisés à partir d'images personnelles tendent à être plus réalistes puisque nous ne sommes pas limités par les contraintes d'images prises sur Internet (ex.: éclairage différent, pespective différente, qualité des images, etc.). Dès lors, il est plus facile de limiter les causes d'erreur pouvant survenir lors de la création du mélange.

Ce qu'il m'aurait fallu cette semaine

Carton de lait
Faux Pepto-Bismol cheap

Puisque la géométrie des deux objets sont différentes, l'alignement est plus ardu et une petite imprécision se réflète de façon importante sur le mélange, comme ici avec le coin supérieur droit du carton de lait. On remarque aussi que l'étiquette de la deuxième image semble être bombée sur le carton de lait. Le commentaire précédent tient toujours, compte tenu que l'erreur ici provient de l'alignement et de la géométrie.

Note: Étant donné la forte différence au niveau des couleurs entre les images et le résultat pas extraordinaire, le mélange couleur n'est pas reproduit à la section suivante.

Mélange préféré: Quand les esprits s'échauffent







Bonus 1: Couleur

Note: Puisque les images présentées ici sont tirées de la section précédente, les images originales, masques et sources ne sont pas représentés ici. Puisque les masques sont générés à main levée, les résultats en couleur peuvent différer légèrement des résultats B&W.

Pommange version couleur

Étoile filante version couleur

Bien que la gimauve soit beaucoup plus pâle que le reste de l'image, le résultat reste bien. Le contraste entre la guimauve et l'arrière-plan donne un effet cartoonish au mélange. Pour ce mélange d'images-ci, l'utilisation de la couleur est bénéfique.

Le koala en pyjama version couleur

Ici, la couleur tend plus à nuire au résultat, puisqu'on remarque que la couleur de l'éclairage dans les deux photos était différente. On peut aussi remarquer un effet de smudge grisâtre/verdâtre autour de la tête du koala provenant du découpage de la tête et de la pile gaussienne du masque.

Quand les esprits s'échauffent version couleur

Comme mentionné plus haut, la couleur fait apparaitre les différences importantes entre l'éclairage dans les deux images. Rambo semble avoir pris un peu trop de soleil en portant une cagoule.

Roue de secours version couleur

Dû à l'imprécision du masque, on remarque que la roue originale n'est pas complètement cachée. Ce défaut est beaucoup plus facile à voir sur le résultat couleur que le résultat en noir et blanc.

Conclusion

Dans l'ensemble, l'utilisation de la couleur dans les mélanges d'images peut grandement améliorer le résultat en faisant apparaître des détails cachés dans les images B&W. Cependant, pour atteindre cette hausse de qualité, il est souvent nécessaire d'appliquer une couche de post-traitement sur les mélanges couleurs, puisque la couleur fait aussi apparaitre certains défauts du mélange qui étaient cachés dans les mélanges B&W.