Houssem Ouertatani soutiendra sa thèse le 6 décembre 2024

Houssem Ouertatani, doctorant au sein du programme Confiance.ai (projet EC7) mené par l’IRT SystemX, soutiendra sa thèse de l’Université de Lille le 6 décembre 2024, à 10h, sur le thème : Recherche efficace d’architecture neuronales profondes via Optimisation Bayésienne: Application à la vision par ordinateur (Efficient Deep Neural Architecture Search via Bayesian Optimization: an application to Computer Vision).

Résumé de la thèse :

Les architectures de réseaux neuronaux sont au centre de l’immense succès de l’apprentissage profond dans de nombreuses tâches. La recherche d’architectures de réseaux de neurones (NAS) est une tâche critique dans le développement de modèles d’apprentissage profond efficaces, qui permet de découvrir de nouvelles composantes ou configurations efficaces, ou bien d’adapter de manière optimale les architectures existantes aux contraintes matérielles de déploiement, par exemple par le biais du NAS adapté au matériel.

Bien que les algorithmes d’optimisation en boîte noire soient bien adaptés à ces problèmes, le coût élevé de l’évaluation des solutions individuelles met l’accent sur les méthodes à forte efficacité d’échantillonnage comme l’Optimisation Bayésienne (BO).

Dans ce travail, nous partons des principes fondamentaux qui sous-tendent l’efficacité d’échantillonnage de l’Optimisation Bayésienne, et nous tirons parti de certains attributs de la NAS et de la flexibilité inhérente et de la performance prédictive des Deep Ensembles pour réduire de manière significative le temps de recherche et les ressources nécessaires pour explorer efficacement les espaces de recherche. Sur les benchmarks NAS, cette stratégie de recherche atteint une accélération de 100x par rapport à la recherche aléatoire, et jusqu’à 50% de réduction du temps de recherche par rapport aux méthodes basées sur l’Optimisation Bayésienne ou la recherche locale.

La conception d’architectures de réseaux neuronaux est un problème complexe qui peut rapidement conduire à une explosion combinatoire. Une conception judicieuse de l’espace de recherche est une condition importante pour trouver rapidement des modèles performants.

Nous démontrons la polyvalence et l’efficacité de cette approche de recherche sur plusieurs espaces de recherche de types et de degrés de complexité différents. Nous nous concentrons sur la recherche et l’amélioration d’architectures de modèles de vision efficaces. Nous démontrons qu’il est possible de trouver de nouveaux modèles très performants tout en limitant les coûts de calcul requis.

Composition du jury :

• Amir Nakib, LISSI, Université Paris-Est Créteil, Rapporteur
• Saïd Mahmoudi, ILIA, Université de Mons, Rapporteur
• Carola Doerr, LIP6, CNRS, Sorbonne Université, Examinatrice
• Mohamed Daoudi, CRIStAL, ULille & IMT Nord Europe, Examinateur

• El-Ghazali Talbi, CRIStAL, Université de Lille, Co-directeur de thèse
• Smail Niar, LAMIH, UPHF, Co-directeur de thèse
• Cristian Maxim, IRT SystemX,Encadrant et référent à IRT

Informations pratiques :

La soutenance aura lieu le vendredi 6 décembre à 10h à Inria Lille – Euratechnologies (170 Av. de Bretagne, 59000 Lille). La présentation sera en anglais.