Stage de R&D : Méthodologie hybride de simulation à base de modèles de diffusion pour l’optimisation des campagnes de test du véhicule automatisé.

Contexte du stage

Au sein de l’Institut de Recherche Technologique SystemX, situé au cœur du campus scientifique d’excellence mondiale de Paris-Saclay, vous prendrez une part active au développement d’un centre de recherche technologique de niveau international dans le domaine de l’ingénierie numérique des systèmes. Adossé aux meilleurs organismes de recherche français du domaine et constitué par des équipes mixtes d’industriels et d’académiques, ce centre a pour mission de générer de nouvelles connaissances et solutions technologiques en s’appuyant sur les percées de l’ingénierie numérique et de diffuser ses compétences dans tous les secteurs économiques.

Vous serez encadré par un ingénieur-chercheur SystemX du domaine Sciences de Données et IA, avec un fort soutien d’un Ingénieur de domaines de l’Ingénierie Systèmes et la Sûreté de Fonctionnement.

Vous travaillerez au sein de SystemX sur le projet AI4CCAM Trustworthy AI for Connected, Cooperative and Automated Mobility, AI4CCAM. (https://www.ai4ccam.eu/) dont les partenaires industriels sont Akkodis, Teralab, Skoda, INLECOM, IMT, Union Internationale des Transports Publics, TTS Italia  et les partenaires académiques Simula Research Laboratory, CNRS,  et les centres de recherche IRT SystemX, Barcelona Supercomputing Center, Deep Safety, VIF.

Présentation du sujet

La complexité de la validation du véhicule automatisé est en partie due aux campagnes massives de simulation qui doivent fournir des preuves statistiques du comportement attendu du système en complément des preuves sur piste et sur route ouverte [1]-[2]. Ces campagnes sont non seulement très consommatrices en ressources mais elles doivent aussi faire preuve d’une stratégie qui assure la représentativité des simulations pour couvrir les situations que pourra rencontrer le véhicule automatisé en route ouverte, mais qui ne peuvent pas être testées.

Une stratégie de test définit l’échantillonnage dans l’espace de recherche de tous les paramètres à faire varier pour constituer une campagne de test en simulation qui soit couvrante des scénarios plausibles, fréquents, critiques, rares, et cela avec une représentativité pertinente.

L’utilisation de données synthétiques peut permettre d’enrichir ces campagnes de tests, notamment en générant une diversité de scénarios à même d’assurer une meilleure couverture des situations critiques.

Les modèles de Deep Learning génératifs tels que les modèles de diffusion [3]-[5] offrent la possibilité de générer des objets plus ou moins réalistes sur des séquences d’images issues de prises de vues en milieu urbain (inpainting). Ces objets agissent comme des perturbations variées pour un composant d’IA censé détecter la présence d’objets sur la route puis transmettre cette information au système d’aide à la conduite (ADAS) qui agira en conséquence (arrêt du véhicule, contourner l’objet, ignorer, etc). Générer ainsi divers scenarios pour tester la sensibilité du composant IA à ces perturbations est une étape importante de l’évaluation de la confiance de ce composant [6]. Dans ce but, plusieurs questions se présentent : quel est le degré de réalisme suffisant pour la génération d’objets ? Quelle(s) métrique(s) peut-on exploiter pour cela ? Comment inscrire ce protocole d’évaluation de la confiance dans une démarche d’évaluation de la confiance et faire le lien avec les bonnes pratiques en ingénierie système ?

Le défi rencontré consiste donc à élaborer et évaluer une méthodologie hybride incluant à la fois des outils issus de l’ingénierie système et des briques à base d’intelligence artificielle pour générer des scénarios de tests, dans le but de proposer une simulation augmentée.

Missions :

• Explorer des méthodes de génération de séquences d’images via des modèles de diffusion pour créer un jeu de données augmenté, destiné à l’entraînement et/ou à la validation de composants IA intégrés dans un ADAS.
• Proposer une méthodologie hybride (IA + Ingénierie Système) pour intégrer la génération et la simulation de scénarios dans le domaine CCAM (Cooperative, Connected and Automated Mobility).
• Identifier les risques introduits par l’ajout d’une brique IA générative dans un processus de validation d’ingénierie système

Références bibliographiques sur le sujet :
[1] Manel Brini, Emmanuel Arnoux, Bruno Foyer, Guillaume Bresson, Laurent Durville, et al.. MOOVE & MOSAR Projects: a scenario library for designing & validating ADS. Driving Simulation Conference (DSC), Sep 2020, Antibes, France
[2] Erwan Revert. MOSAR scenario manager and framework insights. ADAS & Autonomous Vehicle Technology Conference, Jun 2023, Stuttgart, Germany. ⟨hal-04372324⟩
[3] Andreas Lugmayr, Martin Danelljan, Andres Romero, Fisher Yu, Radu Timofte, Luc Van Gool, RePaint: Inpainting using Denoising Diffusion Probabilistic Models, Jun 2022, IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).
[4] Florinel-Alin Croitoru, Vlad Hondru, Radu Tudor Ionescu, Mubarak Shah, Diffusion Models in Vision: A Survey, aug 2022,IEEE Transactions on Pattern Analysis and Machine Intelligence
[5] Chitwan Saharia, William Chan, Huiwen Chang, Chris A Lee, Jonathan Ho, Tim Salimans, David J Fleet, Mohammad Norouzi, Palette: Image-to-Image Diffusion Models, Aug 2022, SIGGRAPH ’22 Conference Proceedings
[6] Luciano Baresi, Davide Yi Xian Hu, Andrea Stocco, Paolo Tonella
Efficient Domain Augmentation for Autonomous Driving Testing Using Diffusion Models, Arxiv sep 2024

Profil et compétences

De formation : BAC+5 en fin de cycle école d’ingénieur ou Master 2, dans le domaine du deep learning.

Compétences souhaitées :

• Connaissances et aptitudes en Deep Learning, modèles génératifs image en particulier.
• Aisance en programmation python (librairies machine-learning, deep-learning, traitement d’image).
• Intérêt pour les aspects méthodologiques.
• Curiosité pour les liens entre IA et Ingénierie Système.

Aptitudes personnelles :

• Capacités d’analyse, autonomie et esprit d’initiative.
• Capacité à travailler en mode collaboratif avec restitution de l’avancement des travaux et communication des résultats.
• Aptitude à communiquer aussi bien à l’oral qu’à l’écrit (en français et anglais souhaité).

Merci d’indiquer la référence du stage dans l’objet de votre mail de candidature, d’y joindre CV, lettre de motivation, lettre(s) de recommandation et relevés de notes.