CVSL Logo
FrancaisHome
AboutPeopleResearchPublicationsEventsProfile
About
REPARTI Seminars


The REPARTI Seminars at Université Laval are held on Fridays at 11:30 a.m.
Please see the program for more details.
Dec 14 2017 1:30PM
Seminar
Deep 6-DOF Tracking
Dec 15 2017 11:00AM
Seminar
Building and Evaluating Data-Driven Neural Dialogue Systems

 

 

 

REPARTI

MIVIM

Dec 14 2012 11:00AM

Hugo Larochelle
Département d'informatique, Université de Sherbrooke


Sélection automatique d'hyper-paramètres à l'aide de l'optimisation bayésienne



Abstract

Faire une bonne sélection des hyper-paramètres d'un algorithme d'apprentissage est un problème souvent rencontré en apprentissage automatique. Ce problème est d'autant plus difficile lorsque l'utilisateur n'a pas une bonne connaissance de l'algorithme d'apprentissage en question. Cette étape peut donc être un obstacle important à l'adoption d'un nouvel algorithme par la communauté des utilisateurs d'apprentissage automatique.

Dans cette présentation, je décrirai une approche permettant d'automatiser cette étape. Je présenterai le cadre de l'optimisation bayésienne et décrirai comment le problème de la sélection d'hyper-paramètres peut être formulé selon ce cadre. Je présenterai ensuite une formulation de ce problème basée sur un processus Gaussien et décrirai les bonnes pratiques à suivre afin d'optimiser avec succès les hyper-paramètres d'un algorithme. De plus, je traiterai d'extensions nouvelles permettant d'exploiter la variation du temps d'exécution d'un algorithme d'apprentissage en fonction de ses hyper-paramètres et de tirer profit d'un accès à plusieurs noeuds de calculs.

Finalement, nous verrons que ces techniques de sélection d'hyper-paramètres obtiennent des résultats comparables ou même meilleurs qu'une sélection faite par un expert, dans le contexte de trois algorithmes d'apprentissage différents: latent structured SVM, latent Dirichlet allocation (LDA) et réseau de neurones à convolution.




     
   
   

©2002-. Computer Vision and Systems Laboratory. All rights reserved