Survol

Dans la partie A de ce travail, vous avez implanté un algorithme de morphage. Cela vous a permis de morpher votre visage vers celui de quelqu'un autre, ou peut-être même de morpher un objet ou un animal vers autre chose. Dans cette partie du travail, vous utiliserez votre algorithme de morphage afin de calculer le visage moyen d'un ensemble de visages.

En créant un visage moyen, vous aurez l'occasion d'observer les traits et les formes dominants d'un ensemble de visages. De plus, il est possible d'utiliser la forme d'un visage moyen pour modifier un visage; chose que vous ferez en vous prenant comme cobaye!

Overview

In part A of this assignment, you implemented a morphing algorithm. You used this algorithm to morph your face toward the face of someone else, and perhaps you morphed and animal or an object toward another things. In this part, you will have to calculate the average face of a face dataset using morphing.

In generating this average face, you will be able to notice dominant traits and shapes in a face set. Furthermore, it is possible to use the shape of an average face to modify a face; in the context of this assignment, you will do it on your face!

Pour calculer le visage moyen d'un ensemble de personnes, il faut

1. détecter les visages et identifier les caractéristiques du visage
2. calculer la forme du visage moyen
3. déformer tous les visages dans cette forme
4. calculer la moyenne de toutes ces images.

Cette technique exige un marquage uniforme de tous les visages. Dans ce TP, vous devrez utiliser les photos des étudiants du cours, ainsi que l'ensemble d'images de la base de données d'Utrecth (source). Celle-ci contient 131 images de 69 personnes: 20 femmes et 49 hommes.

To calculate the average face of a set of persons, we must:

1. detect faces and identify facial features
2. compute the average shape
3. warp all faces into that shape
4. average the colors together

This requires consistent labeling of all the faces. In this homework, you will have to use the photos from our class, as well as the Utrecht face image dataset (source). This dataset contains 131 images of 69 persons: 20 women and 49 men.

Dans l'ensemble d'images mentionné plus haut, vous ne connaissez pas la position des visages et encore moins la position des points caractéristiques de celui-ci. Puisqu'il serait fastidieux de sélectionner manuellement les points de tous les visages comme vous deviez le faire dans la partie A, nous vous suggérons d'utiliser le détecteur de visage et caractéristiques du visage suivant.

Nous vous fournissons un executable, une fonction matlab pour utiliser celui-ci, ainsi que son code source en C++ utilisant la librairie dlib. Cette fonction matlab s'appelle avec un nom de fichier d'image ou une cellule contenant plusieurs noms de fichiers d'images.

In the faces dataset mentioned earlier, you do not know the face position, let alone its landmarks. Since it would be impractical to manually select every features of every faces, we invite you to use this face and face landmarks detector.

We provide you an executable, a matlab function to use it, and its C++ source code using the dlib library. This matlab function is called with a single image filename or a cell filled with multiple image filenames.

Suggestions

• Le détecteur de visage peut être appelé d'un seul coup avec une cellule contenant le nom de fichier de toutes les images:

  >> addpath('utrecht');
  >> files = dir('utrecht');
  >> files = files(~[files.isdir]);
  >> filenames = {files.name};
  >> filenames = sprintf('utrecht/%s ', filenames{:});
  >> faces = detect_face_landmark(filenames); 
  

• Lors de vos expérimentations, essayez de ne pas répéter inutilement les tâches longues (comme la détection de visage), en sauvegardant les résultats sur le disque. Cela vous permettra de débugger votre code plus facilement.
• Il est très probable que certains des triangles deviennent dégénérés, et, donc, que vous obteniez des NaN (Not a Number) dans votre image morphée. Essayez de trouver une méthode pour détecter et gérer ces cas.

Tips

• The face detector can be called in batch using a cell containing the filenames of all images:

  >> addpath('utrecht');
  >> files = dir('utrecht');
  >> files = files(~[files.isdir]);
  >> filenames = {files.name};
  >> filenames = sprintf('utrecht/%s ', filenames{:});
  >> faces = detect_face_landmark(filenames); 
  

• While doing this assignment, try not to repeat uselessly long tasks (such as the face detection), by saving these results to disk. This will make debugging your code much easier.
• It is highly likely that some of the triangulated triangles will become degenerate. This will create morphed image containing NaN (Not a Number) values. Try to find a way to detect and manage these situations.

Pour cette section, incluez les résultats suivants dans votre rapport:

(20%) Vous devez tout d'abord présenter vos résultats obtenus dans la partie A du travail. Présentez vos résultats, vos crédits supplémentaires (s'il y a lieu), et discutez.

• (30%, 20% pour les gradués) Pour les photos des étudiants en classe, affichez:
  • La forme du visage moyen (triangulation seulement) obtenue avec les points que vos camarades étudiants ont sélectionnés;
  • Le visage moyen obtenu avec les points que vos camarades étudiants ont sélectionnés;
  • La forme du visage moyen obtenue avec les points trouvés par le détecteur dlib;
  • Le visage moyen avec les points trouvés par le détecteur dlib;
• (30%, 20% pour les gradués) Pour les photos de la base de données d'Utrecht, affichez:
  • La forme du visage moyen obtenue avec les points trouvés par le détecteur dlib;
  • Le visage moyen obtenu avec les points trouvés par le détecteur dlib;
• (N%) Description des crédits supplémentaires que vous aurez implantés, n'oubliez pas de montrer les images "avant et après"!

For this section, include the following results in your report:

(20%) You must first present the results you have obtained in part A of this assignment . Present your results, your bells & whistles (if any), and discuss.

• (30%, 20% for grads) For the class photos, show:
  • The average face shape (triangulation only) using the points selected by your fellow students;
  • The average face using the points selected by your fellow students;
  • The average face shape using points detected by the face detector;
  • The average face using points detected by the face detector;
• (30%, 20% for grads) For the Utrecht face database, show:
  • The average face shape using points detected by the face detector;
  • The average face using points detected by the face detector;
• (N%) Description of any of the bells & whistles you've chosen to implement. Don't forget to show the "before and after" images!

Suggestions

• Expérimentez avec les paramètres de distorsion et de niveau de fondu dans le but d'avoir une image intéressante. Le niveau de fondu est surtout utile pour faire apparaître/camoufler les poils facials.

Tips

• Experiment with distortion and dissolution parameters in order to generate an interesting image. The dissolution level is especially useful to show/hide facial hair.
• To filter file names (women, men, smiling, non-smiling), these matlab functions could be useful: strfind or regexpi.

Pour cette section, incluez les résultats suivants dans votre rapport:

• (10%) Montrez le visage masculin moyen ainsi que la "masculinisation" de votre visage. Montrez un ou deux résultats obtenus avec différents paramètres de distorsion et de niveau de fondu. Discutez.
• (10%) Montrez le visage féminin moyen ainsi que la "féminisation" de votre visage. Montrez un ou deux résultats obtenus avec différents paramètres de distorsion et de niveau de fondu. Discutez.

For this section, include the following results in your report:

• (10%) Show the average male face and the "masculinization" of your face. Show one or two results with different distortion and dissolution parameters. Discuss.
• (10%) Show the average female face and the "feminization" of your face. Show one or two results with different distortion and dissolution parameters. Discuss.

Remise

Pour la remise de votre travail, créez un fichier tp3b.zip qui contient:

• Votre rapport en format HTML dans un dossier tp3b/web. Vos images doivent être dans un dossier tp3b/web/images.
• Assurez-vous qu'il n'y a aucun caractère spécial (accent, ponctuation, espace, etc.) dans les noms de vos fichiers, images, etc.
• Votre code doit être dans un dossier tp3b/code. N'incluez pas les images que vous avez utilisées pour produire vos résultats dans ce dossier dans le but de ne pas alourdir le fichier.
• Votre séquence vidéo doit être dans un dossier tp3b/video.

Finalement, veuillez téléverser votre fichier tp3b.zip sur le portail des cours avant la date limite. La politique des retards mentionnée dans le plan de cours sera appliquée. Pour toutes questions concernant la procédure de remise ou le travail lui-même, utilisez Piazza!

Handing in procedure

For this homework, you must create a tp3b.zip file. In this file you'll put:

• Your report in an HTML format inside a folder named tp3b/web/.Your result images inside a folder named tp3/web/images.
• Make sure none of the files have special characters (e.g. accents, punctuation, spaces, etc.) in their filenames.
• Your code should be put inside the folder tp3/code. Do not include the images you have used to generate your results inside this folder, as this will likely generate huge files.
• Your video sequence must be in the folder tp3/video.

Finally, you should upload this file (tp3.zip) on the "portail des cours" before the deadline. The late submission policy described in the course plan will be applied. For any question regarding the submission process or the project as such, use Piazza!

Liens rapides

• Base de données Utrecht;
• Détecteur de visage et caractéristiques de visage;
• Site web de dlib;
• Site web de cmake;
• Remise sur le portail des cours.

Quick links

• Utrecht face database;
• Face and face landmark detector;
• dlib website;
• cmake website.
• "Portail des cours"