  |
|
       |
  |
|
|
 |
 |
 |
  |
 |
 |
 |
Séminaires |  |
|
|
|
04-03-2010 Dept. of Computer Science, University of Toronto Réseaux de neurones profonds et l’importance de l’apprentissage non-superviséRésumé du séminaire (salle PLT-3775: le 4 mars 2010, 11h00) Le réseau de neurones artificiel est un modèle puissant d'apprentissage automatique supervisé, mais malheureusement son entraînement constitue un problème difficile. Cette difficulté est telle que les réseaux typiquement entraînés contiennent souvent peu de neurones cachés, organisés en une seule couche. Cependant, plusieurs travaux récents ont fait la lumière sur une stratégie efficace permettant d’entraîner avec succès de larges réseaux de neurones profonds, à plusieurs couches cachées. Ces travaux ont ravivé grandement les espoirs envers les réseaux de neurones et leur capacité à résoudre des problèmes complexes d'intelligence artificielle. Dans cette présentation, je décrirai cette stratégie d'entraînement et mettrai en évidence certaines des raisons expliquant son succès. À partir de mes travaux dédiés à ce sujet, j'illustrerai l'importance du rôle joué par l'apprentissage non-supervisé dans cette stratégie. Je démontrerai aussi comment, en améliorant uniquement l'apprentissage non-supervisé utilisé, il est possible d'accroître significativement la performance d'un réseau de neurones profond pourtant destiné à résoudre une tâche de nature supervisée. Finalement, je discuterai de certains travaux de la littérature ayant appliqué cette stratégie avec succès afin de résoudre des problèmes complexes de vision, de traitement de signal sonore et de traitement de la langue naturelle.
Tutoriel sur les réseaux de neurones profonds
Description du tutoriel
Slides:
Dans le cadre de ce tutoriel, je passerai en revue une série d'articles les plus importants des dernières années, consacrés aux réseaux de neurones profonds. Mon objectif est de donner suffisamment d'information pour bâtir une connaissance de base qui permettrait d'entreprendre un projet de recherche sur le sujet. Le format du tutoriel sera en partie axé sur l'échange de questions et de réponses, et ainsi sera moins formel qu'une présentation de séminaire.
Publications on Deep Neural Networks:
Exploring Strategies for Training Deep Neural Networks
Training Products of Experts by Minimizing Contrastive Divergence
A New Learning Algorithm for Mean Field Boltzmann Machines
Training restricted Boltzmann machines using approximations to the likelihood gradient
Extracting and Composing Robust Features with Denoising Autoencoders
An Empirical Evaluation of Deep Architectures on Problems with Many Factors of Variation
|
|
|
|
|
 |
|||
|
©2002-. Laboratoire de Vision et Systèmes Numériques. Tous droits réservés |
