Le réseau de neurones artificiel est un modèle puissant d'apprentissage automatique supervisé, mais malheureusement son entraînement constitue un problème difficile. Cette difficulté est telle que les réseaux typiquement entraînés contiennent souvent peu de neurones cachés, organisés en une seule couche. Cependant, plusieurs travaux récents ont fait la lumière sur une stratégie efficace permettant d’entraîner avec succès de larges réseaux de neurones profonds, à plusieurs couches cachées. Ces travaux ont ravivé grandement les espoirs envers les réseaux de neurones et leur capacité à résoudre des problèmes complexes d'intelligence artificielle.

Dans cette présentation, je décrirai cette stratégie d'entraînement et mettrai en évidence certaines des raisons expliquant son succès. À partir de mes travaux dédiés à ce sujet, j'illustrerai l'importance du rôle joué par l'apprentissage non-supervisé dans cette stratégie. Je démontrerai aussi comment, en améliorant uniquement l'apprentissage non-supervisé utilisé, il est possible d'accroître significativement la performance d'un réseau de neurones profond pourtant destiné à résoudre une tâche de nature supervisée. Finalement, je discuterai de certains travaux de la littérature ayant appliqué cette stratégie avec succès afin de résoudre des problèmes complexes de vision, de traitement de signal sonore et de traitement de la langue naturelle.

Tutoriel sur les réseaux de neurones profonds

Tutorial Description
(room PLT-3775: March 4, 2010, 2:00 - 4:30 p.m. and March 5, 2010, 9:00 a.m. - 12:00 p.m. and 1:30 - 4:30 p.m.)

Slides:
http://www.cs.toronto.edu/~larocheh/publications/tutoriel.pdf http://www.cs.toronto.edu/~larocheh/publications/tutoriel2.pdf

Dans le cadre de ce tutoriel, je passerai en revue une série d'articles les plus importants des dernières années, consacrés aux réseaux de neurones profonds. Mon objectif est de donner suffisamment d'information pour bâtir une connaissance de base qui permettrait d'entreprendre un projet de recherche sur le sujet. Le format du tutoriel sera en partie axé sur l'échange de questions et de réponses, et ainsi sera moins formel qu'une présentation de séminaire.

Exploring Strategies for Training Deep Neural Networks
http://www.cs.toronto.edu/~larocheh/publications/jmlr-larochelle09a.pdf

Training Products of Experts by Minimizing Contrastive Divergence
http://www.cs.toronto.edu/~hinton/absps/nccd.pdf

A New Learning Algorithm for Mean Field Boltzmann Machines
http://www.ics.uci.edu/~welling/publications/papers/ICANN02.ps.gz

Training restricted Boltzmann machines using approximations to the likelihood gradient
http://icml2008.cs.helsinki.fi/papers/638.pdf

Extracting and Composing Robust Features with Denoising Autoencoders
http://www.cs.toronto.edu/~larocheh/publications/icml-2008-denoising-autoencoders.pdf

An Empirical Evaluation of Deep Architectures on Problems with Many Factors of Variation
http://www.cs.toronto.edu/~larocheh/publications/deep-nets-icml-07.pdf

continued on page 2