Faire une bonne sélection des hyper-paramètres d'un algorithme d'apprentissage est un problème souvent rencontré en apprentissage automatique. Ce problème est d'autant plus difficile lorsque l'utilisateur n'a pas une bonne connaissance de l'algorithme d'apprentissage en question. Cette étape peut donc être un obstacle important à l'adoption d'un nouvel algorithme par la communauté des utilisateurs d'apprentissage automatique.

Dans cette présentation, je décrirai une approche permettant d'automatiser cette étape. Je présenterai le cadre de l'optimisation bayésienne et décrirai comment le problème de la sélection d'hyper-paramètres peut être formulé selon ce cadre. Je présenterai ensuite une formulation de ce problème basée sur un processus Gaussien et décrirai les bonnes pratiques à suivre afin d'optimiser avec succès les hyper-paramètres d'un algorithme. De plus, je traiterai d'extensions nouvelles permettant d'exploiter la variation du temps d'exécution d'un algorithme d'apprentissage en fonction de ses hyper-paramètres et de tirer profit d'un accès à plusieurs noeuds de calculs.

Finalement, nous verrons que ces techniques de sélection d'hyper-paramètres obtiennent des résultats comparables ou même meilleurs qu'une sélection faite par un expert, dans le contexte de trois algorithmes d'apprentissage différents: latent structured SVM, latent Dirichlet allocation (LDA) et réseau de neurones à convolution.