TP2: On s'amuse en fréquences

Sébastien Marsaa-poey

Présentation

L'objectif de ce TP est de créer des fusions d'image, et ce grâce à différentes méthodes. Ces méthodes reposent toutes sur la manipulation du contenu fréquentiel des images à fusionner.
La première méthode crée une image hybride en ne conservant que les hautes fréquences de la première image et les basses fréquences de la deuxième. La deuxième méthode est un prolongement de la première avec la réalisation de piles gaussiennes et laplaciennes. Enfin, la troisième méthode repose sur un mélange multirésolution.

Cliquez sur les images pour les voir en taille réelle

Partie 0: Réchauffement

Pour commencer, j'ai appliqué la technique de sharpening sur deux images, afin d'en accentuer les détails. Cela s'effectue en amplifiant les hautes fréquences de l'image. Pour ce faire, j'ai appliqué un filtre gaussien à l'image afin d'en extraire les basses fréquences. J'ai soustrait ces basses fréquences à l'image originale pour conserver les hautes fréquences. Enfin, j'ai ajouté l'image contenant les hautes fréquences à l'image originale afin d'obtenir une image aux détails accentués.

Image originale	Image accentuée

Partie 1: Images hybrides

Une image hybride est obtenue à partir de deux images, en ne conservant qu'une partie de l'information fréquentielle de chacune d'entre elle. On ne conserve que les basses fréquences de la première image, et les hautes fréquences de la deuxième image. Les fréquences de coupures sont ajustées à la main. A partir de l'image hybride, on peut voir la première image en se tenant proche. La deuxième image apparaît quand on s'éloigne.

Image 1	Image 2	Image hybride

Les résultats sont meilleurs lorsque les silhouettes des deux images sont bien superposées, comme pour les portraits. A l'inverse, si les silhouettes sont disjointes, l'image basse fréquence laisse voir des ombres lorsque le résultat est vu de près. C'est le cas pour l'image superposant les deux avions. Un objet peut être effacé d'une scène si on n'en conserve que les hautes fréquences, comme dans l'exemple de la tour Eiffel.

Analyse fréquentielle

L'amplitude logarithmique de la transformée de Fourier d'une image permet de visualiser son contenu fréquentiel. Les basses fréquences se trouvent au centre, et les hautes fréquences sur les bords. Les lignes sur les images de FFT correspondent aux directions de grandes variations dans l'image.

	Domaine spatial	Domaine fréquentiel
image 1
image 2
image 1, BF
image 2, HF
image hybride

L'iamge basse fréquence a une FFT grande au centre, tandis que l'image BF a une FFT plus uniforme sur tout l'espace. La FFT de l'image hybride est la moyenne des 2 FFT précédentes; l'image hybride contient bien le contenu fréquentiel de ces deux images.

Partie 2: Piles gaussienne et laplacienne

Une pile gaussienne est obtenue en appliquant un filtre pass-bas de fréquence de coupure de plus en plus basse sur une image. En soustrayant les termes successifs d'une pile gaussienne, on obtient une pile laplacienne qui montre le contenu d'une image pour plusieurs bandes de fréquences; d'abord les hautes fréquences (à gauche), puis les basses fréquences (à droite).
En haut: pile gaussienne. En bas : pile laplacienne.

Lincoln et Gala

Image hybride de visages

Partie 3: Mélange multirésolution

La méthode des images multirésolutions permet d'incruster un élément dans une scène, ou de juxtaposer deux images tout en faisant disparaitre la ligne de démarcation. L'incrustation "classique" se fait en utilisant un masque qui délimite la zone propre à la 1ere image et celle propre à la 2eme image. Dans la méthode multirésolution, les différentes bandes de fréquences de l'iamge ont un masque différent. Plus précisément, Les bandes de fréquences sont obtenues avec une pile laplacienne de chacune des deux images. Les différents masques sont obtenus avec une pile gaussienne du masque d'origine. L'image multirésolution est la somme des bandes de fréquences multipliées par le masque qui lui correspond dans la pile.
En résumé: IMR = Σ LA[i]*GM[i]+LB[i]*(1-GM[i]) avec IMR l'image multirésolution, LA et LB les piles laplaciennes de A et B et GM la pile gaussienne du masque.

Image 1	Image 2	Masque	Image multirésolution

Le mélange ne laisse pas de ligne de démarcation nette, mais la fusion n'est pas toujours idéale. Dans le cas du mur, le résultat est plus réussi quand les joints des briques sont alignés. Dans le cas de l'image "photo de vacances ensoleillée", l'illusion serait meilleure en ajustant la luminance et le contraste de la scène pour se rapprocher d'un paysage ensolleillé.

Illustration détaillée du procédé:
Contribution de l'image 1, de l'image 2 et pile laplacienne de l'image hybride pour l'exemple du mur.

Liens

Photographie algorithmique GIF 4105/7105, H19, Jean-françois Lalonde. Université Laval
Enoncé TP2 - On s'amuse en fréquences
article de SIGGRAPH 2006 écrit par Oliva, Torralba et Schyns pour la méthode des images hybrides et des piles
Article de 1983 écrit par Burt et Adelson pour la technique des mélanges multirésolution.

Sources

échiquier: https://pixabay.com/fr/king-d-%C3%A9checs-blanc-%C3%A9chiquier-jeu-3696475/
Tour eiffel: https://pixabay.com/fr/tour-eiffel-la-construction-paris-349818/
supermarine spitfire: CC0, https://pxhere.com/en/photo/1064077
rafale: Par Tim Felce (Airwolfhound) - RIAT 2012, CC BY-SA 2.0, https://commons.wikimedia.org/w/index.php?curid=27813372
Donald Trump: https://commons.wikimedia.org/wiki/File:Donald_Trump_official_portrait.jpg
Justin Trudeau: https://commons.wikimedia.org/wiki/File:Justin_Trudeau_in_Lima,_Peru_-_2018_(41507133581)_(cropped)_(cropped).jpg
Mur de brique: https://pixabay.com/fr/mur-mur-de-briques-3058752/
Mur de pierre: CC0, https://pxhere.com/fr/photo/693097
horizon sur la mer: https://pixabay.com/fr/horizon-oc%C3%A9an-r%C3%A9flexion-mer-1836480/
Toutes les autres images étaient soit fournies avec l'énoncé, soit mes propres images.