TP2 : On s'amuse en fréquences

Partie 0 : Accentuation des détails

Explication de la méthode

Dans cette section, une méthode appelée "sharpening" est utilisée sur quelques images afin d'accentuer leurs détails. Pour faire ressortir les détails, il faut détecter les hautes fréquences de l'image et les amplifier. Un filtre 2D gaussien (avec la formule skimage.filters.gaussian) permet de détecter les hautes fréquences pour ensuite les soustraire de l'image. Ainsi, ce filtre gaussien, appelé filtre passe-bas, permet d'obtenir les basses fréquences d'une image. Les hautes fréquences sont déterminées en soustrayant l'image filtrée avec le filtre passe-bas de l'image originale (donc en soustrayant l'image ne contenant que les basses fréquences de celle contenant toutes les fréquences). Ainsi, en utilisant le filtre passe-bas, un filtre passe-haut peut être créé. Il est possible d'accentuer les détails d'une image en additionnant l'image originale avec une paramètre alpha multiplié par l'image filtrée avec le passe-haut (où alpha est supérieur à 0). Plus alpha est élevé, plus l'image est accentuée. Dans cette analyse, alpha est de 1, donc l'image originale est simplement additionnée de l'image filtrée avec le passe-haut. De plus, après avoir obtenu l'image accentuée, les valeurs inférieures à 0 sont tronquées à 0 et celles supérieures à 1 sont troquées à 1. L'utilisation du filtre gaussien nécessite un certain paramètre nommé sigma. Ce paramètre permet de déterminer la limite à partir de laquelle les fréquences sont considérées comme étant des basses/hautes fréquences.

Résulats de la méthode "sharphening"

Voici quelques résultats (le sigma est de 100 pour toutes ces images) :
Original:     Passe-haut:     Original:     Passe-haut:     Original:     Passe-haut:     Original:     Passe-haut:



Partie 1 : Images hybrides

Explication de la méthode

Une image hybride est obtenue en jouant avec les hautes et basses fréquences. Puisque les hautes fréquences sont plus perceptibles à proximité et que les basses fréquentes sont plus perceptibles de loin, il est possible de créer une image dont le contenu ne semble pas identique selon notre distance d'observation. Dans cette analyse, les filtres de la méthode "sharpening" présentée plus haut sont utilisés. Pour obtenir l'image hybride, il suffit de calculer la moyenne des deux images filtrées (l'une avec passe-bas et l'autre avec passe-haut). Dans cette analyse, le sigma est déterminée avec essais et erreurs pour chacune des images.

Résultats des images hybrides

Voici les résultats obtenus. Le premier sigma est celui utilisé pour le filtre passe-bas, alors que le deuxième pour le filtre passe-haut (ces sigmas sont indiqués entre parentèses pour chaque image) :

Monroe / Einstein (20,10):     Rock / Ellen (10,5) :     Cooper / Chris (10,8):     Rihanna / Taylor (18,10):     Gaga / Brad (10,4):

Résultats des images hybrides (pour crédits supplémentaires)

Voici les résultats obtenus pour les crédits supplémentaires. Le premier sigma est celui utilisé pour le filtre passe-bas, alors que le deuxièmre pour le filtre passe-haut (les sigmas sont indiqués entre parentèses).

Prison Mike / Chris (8,5) : Skull / Blake (8,7):


Résultat de l'analyse fréquentielle

Voici les images présentant l'amplitude logarithmique de la transformée de Fourier des deux images originales (Rock et Hellen), des ces images filtrées et de l'image hybride (ces images sont aussi présentées en noir et blanc):

   Images grises:
Rock (originale) :     Rock (filtrée passe-bas) :     Hellen (originale) :     Hellen (filtrée passe-haut) :     Image hybride :

   Images FFT:
Rock (originale) :     Rock (filtrée passe-bas) :     Hellen (originale) :     Hellen (filtrée passe-haut) :     Image hybride :


Anlayse des résultats

L'image hybride PrisonMike/Chris permet de tester le changement d'expression entre les deux personnes (ce changement est surtout visible avec leur bouche). Aussi, l'imgage hybride Skull/Blake permet de tester deux images dont leur forme est similaire, mais que leurs textures/teintes/détails sont très différents. Le résultats de ces images sont résussis. Par contre, il est remarqué que le bandeau de PrisonMike est tout de même assez visible lorsque l'image hybride est observée de près. Puisque Chris a le front découvert et qu'il y a peu de détails a cet endroit, le contraste de couleur au niveau de leur front est très contrastant pour cette image hybride. Cela peut rendre difficile de "camoufler" PrisonMike lorsque l'image est regardée de près.

Une analyse fréquentielle des images utilisées pour former l'image hybride Rock/Hellen permet de bien comprendre les différentes transformations appliquées. Cette analyse est réalisée avec des images montrant l'amplitude logarithmique de la transformée de Fourier (appelées images FFT). Les valeurs élevées d'une image FFT représentent les fréquences élevée, alors que les valeurs faibles représentent les faibles fréquences et que les valeurs nulles représentent les fréquences nulles. Aussi, une arrête verticale dans une image se traduit par une arrête horizintale dans son image FFT, et vice-versa. Ces remarques peuvent être observées en analysant les images FFT des images de Rock et de Hellen.

Pour l'image originale en grise de Rock, il y a un contour noir en haut et à droite. Ce contour contrastant avec le fond de l'image plutôt pâle se caractérise par une haute fréquence (horizontale et verticale). Cette caractéristique frappante de l'image est aussi observée en FFT (arrêtes verticales et horizontales en jaune). Pour l'image grise de Rock filtrée avec le passe-bas, le contour noir est toujours présent, donc les lignes horizontales et verticales de hautes fréquences (maintenant de couleur bleu foncée étant donné que la légende de couleur est différente) sont toujours présentes dans l'image FFT. Mis à part ces 2 lignes jaunes, le reste de l'image FFT de Rock est principalement rouge/rose. Cela confirme qu'un filtre passe-bas a bel et bien été appliqué, car le rouge correspond aux basses fréquences. Pour l'image grise originale de Hellen, il est remarqué qu'il y a un triangle noir en haut à gauche . Ce triangle contrastant avec le fond de l'image pâle se caractérise également par une haute fréquence. Dans l'image grise, ce triangle résulte en une arrête oblique (plus horizontale que verticale) et donc qui résulte dans l'image FFT comme une arrête oblique (plus verticale que horizontale) représentée en bleu foncé. Aussi, il est remarqué que l'image filtrée FFT de Hellen est, de façon générale, plus bleue que l'image originale. Cela confirme qu'un filtre passe-bas a bel et bien été appliqué, car le bleu représente les hautes fréquences. De plus, il est remarqué que la moyenne des 2 images filtrées FFT correspond à l'image hybride FFT. Toutes ces observation sont concordantes avec les résultats obtenus, ce qui confirme l'efficacité de cette méthode et la théorie utilisée pour expliquer cette méthode.



Partie 2: Piles gaussiennes et laplaciennes

Explication de la méthode

Afin de bien visualiser les résultats d'une image hybride, des piles gausiennes et laplaciennes sont réalisées. Une pile gausienne est obtenue en utilisant un filtre passe-bas avec des sigmas de plus en plus élevés. Dans cette analyse, les sigmas utilisés sont {0, 2, 4, 8, 16, 32}. Il est à noter que lorsque le sigma est nul pour un filtre passe-bas, le résultat de cette pile est l'image originale. Le résultat d'une pile gaussienne est alors une série d'image de même dimension et de même résolution, mais dont leur contenu varie. En effet, les premières images contiennent pratiquemment toutes les fréquences de l'image originale, mais les dernières images contiennent des fréquences de plus en basses. Ainsi, une pile gaussienne permet de simuler l'observation de l'image comme si nous nous reculions, mais sans se déplacer ni changer la dimension de l'image.

Le résultat d'une pile laplacienne est également une série d'image de même dimension et de même résolution, mais dont leur contenu varie. Cette pile est obtenue en soustrayant une image filtrée avec un passe-bas d'un certain sigma d'une image filtrée avec un passe-bas d'un autre sigma plus élevé. Dans cette analyse, les sigmas utilisés sont {0, 2, 4, 8, 16, 32, 64}. Plus précisément, la première image obtenue est l'image avec le filtre passe-bas de sigma 0 soustrait de l'image filtrée avec le passe-bas de sigma 2. Ce premier résultat obtenu présente donc l'information qui est perdue entre une image filtrée avec passe-bas de sigam 2 comparativement à une image filtrée avec un passe-bas de sigma 4. Pour la deuxième image obtenue avec cette pile, les sigma utilisées sont 4 et 2, et ainsi de suite. Les premiers résultats d'une pile laplacienne permettent ainsi de déterminer les différentes informations d'une image qui sont plus perceptibles de près, alors que les derniers résultats présentent plutôt les différentes informations qui sont plus perceptibles de loin. Puisque les résultats de la pile laplacienne sont difficile à analyser en noir et blanc, les valeurs de ces résultats sont augmentées de 0.3 (valeur arbitraire) pour "éclaircir" les résultats et faciliter leur analyse.

Résultats - Piles Gausiennes

Lincoln
       
       

Marylin/Einstein
       
       

Rock / Hellen
       
       

Résultats - Piles Laplaciennes

Lincoln
       
       

Lincoln - Modifié
       
       

Marylin/Einstein
       
       

Marylin/Einstein - Modifié
       
       

Rock/Hellen
       
       

Rock/Hellen - Modifié
       
       



Partie 3: Mélange multirésolution

Explication de la méthode

Le but de cette section est de joindre deux images de façon à ce qu'il n'y ait pas de discontinuité visible. Dans cette analyse, il est d'abord désiré de créer un mélange d'une pomme et d'une orange pour créer une 'pommange'. Pour commencer, il est possible de juxtaposer la moitié de ces 2 images l'une à côté de l'autre, ce qui crée une discontinuité verticale très visible. Pour sélectionner que la moitié gauche d'une image, il suffit de la filtrer avec le masque #1. À l'inverse, pour sélectionner la moitié droite d'une image, il suffit de la filtrer avec l'inverse du masque #1, soit le masque #2.

Pomme :     Masque #1 :     Orange :     Masque #2 :     Juxtaposition :

Pour que le changement d'image soit moins contrastant, des piles gaussiennes et laplaciennes sont utilisées. Le but est de déterminer des masques en fonction des basses/hautes fréquences. Le but de la méthode utilisée est d'avoir un changement d'image plus 'progressif' pour les basses fréquences et un changement d'image est plus 'saccadé' pour les hautes fréquences. Pour se faire, une pile laplacienne est réalisée sur les images originales (sigmas utilisés: {0, 2, 4, 8, 16, 32, 64, infini}). Le résultats d'un filtre passe-bas appliqué avec un sigma dit 'infini' est une image nulle (une image dont l'information n'est que 0) . Le fait d'ajouter un sigma dit 'infini' à la pile laplacienne de cette méthode permet de chercher l'ensemble des basses fréquences. Aussi, une pile gausienne est réalisée sur les masques #1 et #2 présentés un peu plus hauts (sigmas utilisés: {0, 2, 4, 8, 16, 32, 64}). Ainsi, il suffit de sommer chaque résultat des piles laplaciennes avec les nouveaux masques obtenus. En d'autres mots, le premier résultat de la pile laplacienne est filtré par le premier masque de la pile gaussienne. Le deuxième résultat de la pile laplacienne est filtré par le deuxième masque de la pile gaussienne, et ainsi de suite. Ces étapes sont réalisées pour chacune des 2 images et des 2 filtres.

Pour les autres mélanges créés dans ce travail, la même méthode que la pommange est utilisée. Par contre, la masque de base est adapté en fonction des images. Ce masque est choisi manuellement.

Résultats


Masques - Pommange

Voici les masques utilisés pour créer le mélange 'pommange' (sigma utilisé pour le filtre passe-bas est indiqué avant l'image):
0 :     2 :     4 :     8 :     16 :     32:     64:

Mélanges - Pommange

Aucun mélange :     Mélange en blanc et noir :     Mélange en couleur :


Mélanges - Autres

Original Tyson :     Original Obama :     Masque :     Juxtaposition :     Mélange Obama/Tyson:

Original Punk :     Original Snow :     Masque :     Juxtaposition :     Mélange Snow/Punk:

Original Jenner :     Original Beard :     Masque :     Juxtaposition :     Mélange Jenner/Beard :

Mélanges - Propres photos

Original Patate :     Original Assiette :     Masque :     Juxtaposition :     Mélange :

Original Noel :     Original Finissante :     Masque :     Juxtaposition :     Mélange :

Progression - Snow/Punk

Voici les images obtenus pour chaque résultat des piles gaussiennes/laplaciennes pour former l'image mélangée Snow/Punk. Pour chacune des paires de sigmas (indiquées avant les images), 3 images sont indiquées. La première est l'image de la fille punk, la deuxième est l'image de Jon Snow et la dernière est l'image mélangée. En résumé, cela montre les contributions des 2 images pour chacune des paires de sigma des piles. Il est à noter que les images sont 'éclaircies' pour faciliter l'analyse (additionnées de 0.3).

0-2 :        
2-4 :        
4-8 :        
8-16 :        
16-32 :        
32-64 :        
64-infini :        

Analyse des résultats

L'image mélangée Tysom/Obama semble très réussie, surtout parce que ces 2 hommes ont une peau simialire. Autrement le résultat n'aurait probablement pas été beau. L'image mélangée Tyson/Snow est réussie, mais il y a encore quelques détails imparfaits. En effet, les cheveux punk ne camouflent pas entièrement les cheveux noires de Jon Snow, ce qui rend l'image moins réaliste. Aussi, on dirait que Jon est rasé sur le côté des joues (près des oreilles) ce qui rend encore une fois l'image moins vraisemblable. Il serait aussi possible de jouer avec les couleurs pour améliorer le contraste entre les couleurs des 2 images (entre autres, les cheveux colorés sont trop lumineux). Pour l'image mélangée Jenner/Beard, le résultat est très bien. Par contre, en analysant un peu plus l'image, il est remarqué que les 2 visages ne sont pas complètement alignés. Aussi, à notre droite, une partie de la peau de l'homme barbu se 'confond' avec le col blanc de l'homme non barbu, ce qui n'est pas réaliste. Pour le mélange assiette/patate, le résultat est bien, mais la transition entre la patate et l'assiette devrait probablement être plus saccadé, car le mélange du orange et du vert n'est pas souhaité. Pour l'image Finissante/Noel, le résultat est correct. Le changement entre la tuqye de Noel et le fond n'est pas très réussi. Le changement devrait être plus contrastant et moins en dégradé.


Sources

- Prison Mike : https://www.redbubble.com/people/caomicc/works/10361262-prison-mike?p=t-shirt&style=pullover
- Gaga : https://nypost.com/2016/10/20/how-lady-gagas-tragic-family-history-inspired-her-new-album/
- Cooper : https://www.closermag.fr/people/bradley-cooper-a-43-ans-qui-sont-les-femmes-de-sa-vie-771791
- Chris : https://impacto.gt/chris-hemsworth-es-nuestro-chico-de-impacto/
- Rock : https://studybreaks.com/thoughts/dwayne-the-rock-johnson-highest-paid-actor/
- Ellen : https://news.newonnetflix.info/news/ellen-degeneres-stand-up-special-gets-a-title-and-release-date/
- Blake Lively : http://www.westviewclinic.ca/blog/blog/how-do-i-get-a-celebrity-smile/
- Skull : https://www.dkfindout.com/us/human-body/skeleton-and-bones/skull/
- Rihanna : https://tribune.com.pk/story/1873549/4-rihanna-drop-new-album-next-year/
- Taylor : https://gephardtdaily.com/entertainment/taylor-swifts-rep-responds-to-dj-lawsuit-over-firing/attachment/taylor-swift-8/
- Punk : https://www.megafancydress.co.uk/punk-rock-chick-adults-wig-840341.html
- Snow : http://time.com/4326858/game-of-thrones-jon-snow-prince-that-was-promised-theory/
- Tyson : https://www.biography.com/people/mike-tyson-9512980?fbclid=IwAR3Pla7Kb6JPzF4HNOpKfmPirmAsudUhu03ThK_--sgINGVj7IFGaEW8z88
- Obama : https://thehill.com/blogs/blog-briefing-room/news/345523-illinois-makes-barack-obama-day-a-state-holiday