Logo LVSN
EnglishAccueil
A proposPersonnesRecherchePublicationsEvenementsProfil
A propos
Séminaires REPARTI


Les Séminaires REPARTI à l'Université Laval ont lieu le vendredi à 11h30.
Veuillez consulter le programme pour plus de détails.

Projet de maîtrise, de doctorat ou stage postdoctoral en apprentissage automatique au sein de l'équipe du Prof. Christian Gagné : veuillez consulter l'annonce suivante pour tous les détails : http://vision.gel.ulaval.ca/~cgagne/postes2017.html

 

 

 

 

REPARTI

MIVIM

Mar 4 2010 11:00AM

Hugo Larochelle
Dept. of Computer Science, University of Toronto

Réseaux de neurones profonds et l’importance de l’apprentissage non-supervisé



Résumé du séminaire
(salle PLT-3775: le 4 mars 2010, 11h00)

Le réseau de neurones artificiel est un modèle puissant d'apprentissage automatique supervisé, mais malheureusement son entraînement constitue un problème difficile. Cette difficulté est telle que les réseaux typiquement entraînés contiennent souvent peu de neurones cachés, organisés en une seule couche. Cependant, plusieurs travaux récents ont fait la lumière sur une stratégie efficace permettant d’entraîner avec succès de larges réseaux de neurones profonds, à plusieurs couches cachées. Ces travaux ont ravivé grandement les espoirs envers les réseaux de neurones et leur capacité à résoudre des problèmes complexes d'intelligence artificielle.

Dans cette présentation, je décrirai cette stratégie d'entraînement et mettrai en évidence certaines des raisons expliquant son succès. À partir de mes travaux dédiés à ce sujet, j'illustrerai l'importance du rôle joué par l'apprentissage non-supervisé dans cette stratégie. Je démontrerai aussi comment, en améliorant uniquement l'apprentissage non-supervisé utilisé, il est possible d'accroître significativement la performance d'un réseau de neurones profond pourtant destiné à résoudre une tâche de nature supervisée. Finalement, je discuterai de certains travaux de la littérature ayant appliqué cette stratégie avec succès afin de résoudre des problèmes complexes de vision, de traitement de signal sonore et de traitement de la langue naturelle.


Tutoriel sur les réseaux de neurones profonds

Description du tutoriel
(salle PLT-3775: le 4 mars 2010, 14h00 - 16h30 et le 5 mars 2010, 9h00 - 12h00 et 13h30 - 16h30)

Slides:
http://www.cs.toronto.edu/~larocheh/publications/tutoriel.pdf http://www.cs.toronto.edu/~larocheh/publications/tutoriel2.pdf

Dans le cadre de ce tutoriel, je passerai en revue une série d'articles les plus importants des dernières années, consacrés aux réseaux de neurones profonds. Mon objectif est de donner suffisamment d'information pour bâtir une connaissance de base qui permettrait d'entreprendre un projet de recherche sur le sujet. Le format du tutoriel sera en partie axé sur l'échange de questions et de réponses, et ainsi sera moins formel qu'une présentation de séminaire.



Publications on Deep Neural Networks:

Exploring Strategies for Training Deep Neural Networks
http://www.cs.toronto.edu/~larocheh/publications/jmlr-larochelle09a.pdf

Training Products of Experts by Minimizing Contrastive Divergence
http://www.cs.toronto.edu/~hinton/absps/nccd.pdf

A New Learning Algorithm for Mean Field Boltzmann Machines
http://www.ics.uci.edu/~welling/publications/papers/ICANN02.ps.gz

Training restricted Boltzmann machines using approximations to the likelihood gradient
http://icml2008.cs.helsinki.fi/papers/638.pdf

Extracting and Composing Robust Features with Denoising Autoencoders
http://www.cs.toronto.edu/~larocheh/publications/icml-2008-denoising-autoencoders.pdf

An Empirical Evaluation of Deep Architectures on Problems with Many Factors of Variation
http://www.cs.toronto.edu/~larocheh/publications/deep-nets-icml-07.pdf

suite à la page 2




     
   
   

©2002-. Laboratoire de Vision et Systèmes Numériques. Tous droits réservés