STAGE - Ingénieur de recherche : Deep Learning pour l’inférence de propriétés physiques à partir de contenu visual (H/F)

Lieu : Vélizy-Villacoublay

Le stage se déroulera dans l’équipe Home&Lifestyle Twin qui s’intéresse à des problématiques de recherche liées aux environnements de dimension massive mixant le réel et le virtuel et générant des quantités de données complexes nécessitant l’automatisation de leur traitement et de leur analyse afin d’en extraire une connaissance et des modèles à forte valeur ajoutée.

Vos missions

La majorité des recherches dans le domaine de la génération d'images et de modèles 3D d'objets à l'aide de Deep Learning se sont concentrées sur les propriétés visuelles, telles que la couleur et la forme, négligeant les propriétés physiques contrôlant le comportement des objets dans le monde réel. Pour simuler avec précision une dynamique alignée sur la physique, il est essentiel de prédire les propriétés des matériaux et de les intégrer dans le processus de prédiction des mouvements.

Nous proposons donc de centrer ce stage sur l'apprentissage des propriétés physiques des objets à partir de données visuelles (e.g. vidéos). Deux objectifs sont au cœur du projet : la création et l'entraînement d'un modèle capable d’inférer ces propriétés physiques, et les applications en aval qui démontrent la compréhension des cas d'utilisation pratiques. Des technologies telles que les modèles de diffusion et la gaussian splatting seront au cœur du projet.

Vous devrez dans un premier temps établir une recherche bibliographique sur le domaine puis, avec le guidage de l’encadrant, déterminer la méthode la plus adaptée pour répondre au problème posé. Une implémentation de la méthode sera ensuite mise en œuvre. Enfin, une démonstration des résultats clôturera le stage.