On s'amuse en fréquences

Création et assemblage d'images avec analyse de fréquences

On s'amuse en fréquences

Lors de ce travail, il sera question d'utiliser différentes articles de la littérature en photographie algorithmique afin de faire du mélange d'images en fréquences.

Image classique utilisée dans ce genre de travail

Description du projet

Le but du projet sera de recréer différentes images à partir d'une paire d'image différentes. Ainsi, il sera possible d'assembler des paires d'images à partir de leurs analyses en fréquence.

Afin de parvenir à effectuer une analyse exhaustive en fréquence, des filtres gaussiens seront utilisés afin de pouvoir générer des filtres passe-bas et des filtres passe-haut pour les différentes images

Code

Le code est disponible dans l'archive dans le dossier code(Partie 1,Partie 2, Partie 3,Partie 0)


Question 0

Pour la partie 0, il suffit d'ouvrir deux images et d'appliquer un filtre de "sharpening" à celles-ci. Le filtre utilisé dans le cas présent est un filtre Kernel de la forme suivante : \[\begin{bmatrix} -1 & -1 & -1\\ -1 & 9 & -1\\ -1 & -1 & -1\\ \end{bmatrix}\]

Dans le cas présent, l'image semble bien-entendu améliorer artificiellement. Afin d'éviter ce phénomène, il aurait pu être intéressant d'utiliser une approximation gaussienne afin de construire le filtre Kernel dans le but d'obtenir un filtre "Edge Enhancement".

Image originale
Image avec détails augmentés
Image originale
Image avec détails augmentés

Partie 1 - Images hybrides

Tout d'abord, pour cette partie, la génération d'une image hybride avec Albert Einstein et Marilyn Monroe était demandée. Afin de réalisé une telle image selon l'article SIGGRAPH 2006 écrit par Oliva, Torralba et Schyns, il est nécessaire de créer une filtre passe-bas acceptant une fréquence de coupure en paramètre. Ensuite, il est possible d'appliquer ce filtre passe-bas à la première image que nous souhaitons utiliser afin d'obtenir les basses fréquences de celle-ci. Dans le cas de la seconde image, il suffit d'appliquer encore une fois le filtre passe-bas, puis, de soustraire le résultat de ce filtre à la même image afin d'obtenir un résultat contenant uniquement les hautes fréquences de la deuxième image.

$$ H = I1 · G1 + I2 ·(1 − G2)$$

où $ H $ est l'image hybride résultante, $ I1 $ et $ I2 $ sont les images utilisée et $ G1 $ et $ G2 $ les filtres passe-haut et passe-bas.

Image originale d'Albert Einstein
Image originale de Marilyn Monroe
Image hybride résultante
Image originale de Tom Brady
Image originale de Lady Gaga
Image hybride résultante
Image originale de Julian Edelman
Image originale de Danny Amendola
Image hybride résultante
Image originale de Hillary Clinton
Image originale de Donald Trump
Image hybride résultante
Image originale de Justin Trudeau
Image originale de Jean-François Lalonde
Image hybride résultante

Analyse en fréquences de l'image hybride entre Justin Trudeau et Jean-François Lalonde

Figure 1: Tableau des amplitudes des transformées de Fourier

Partie 2 - Piles gaussiennes et laplaciennes

Dans cette partie, des piles gaussiennes et laplaciennes sont crées afin de conserver des images à différentes valeurs de sigma pour les filtres passe-haut et passe bas. La pile gaussienne est créée en appliquant un filtre passe-bas à l'image originale à différente puissance de 2. La pile laplacienne, quant-à-elle est créée en soustrayant la pile gaussienne précédente à l'image originale.

Piles gaussiennes de l'oeuvre de Salvador Dali

Piles laplaciennes de l'oeuvre de Salvador Dali

Piles gaussiennes du résultat de la partie précédente

Piles laplaciennes du résultat de la partie précédente

Partie 3

Mélange multirésolution

En se fiant maintenant surl'article de 1983 par Burt et Adelson un spline d'image est réalisé, c'est-à-dire une jonction d'image permettant de les réunir en les déformant légèrement. Afin de réaliser la "Pommange", on crée des piles laplaciennes pour les deux images que nous souhaitons agencer. Ensuite, on crée un masque binaire permettant de séparé l'endroit où nous souhaitons effectuer la jonction entre les images. En appliquant l'équation suivante, il est possible d'ensuite additionner les différentes images résultantes créées afin d'obtenir la "pommange".

$$ LS = GR · LA + LB ·(1 − GR)$$

où $ LS $ sont les image résultantes, $ GR $ et $ (1-GR) $ sont les masques appliqués et $ LA $ et $ LB $ les piles laplaciennes.

Ensuite, il suffit d'additionner les différents $ LS $ afin d'obtenir notre image multirésolution.

Le code afin de découper les masques personnalisables a été implémentés mais les tests afin de générer des images multirésolutions personnelles n'ont pas été complétés par manque de temps.