多模态智能系统的预测学习与世界模型

本研究探讨能够利用图像、文本和传感器数据等多种数据源，在动态环境中学习预测并适应的智能系统。重点在于利用预测学习和世界模型来提升多模态系统的决策能力，并探索自监督学习与神经架构搜索等研究方法。

职位说明： 项目描述： 智能系统越来越需要利用来自多种异构来源的信息来理解和预测动态环境。例如包括图像、视频、文本、传感器数据、移动轨迹、通信数据或其他上下文信号。预测学习与世界模型方法为学习能够捕捉相关结构及随时间变化的紧凑表示提供了有前景的方向。 本研究提案探讨此类方法如何支持多模态智能系统中的预测、表征学习及决策机制。潜在的应用领域包括互联出行、通信感知系统、协作人工智能以及其他动态环境。最终的应用领域将在初步文献综述、数据评估及可行性研究之后确定。 该提案具有明确的模型无关性。JEPA 是一种自监督预测学习框架的实例，在研究中可与其他合适的方法一同进行评估，例如基于变换器、对比式、生成式或多模态基础模型方法等。 最终模型选择将依据研究课题、可用数据、计算限制以及实证证据来确定。

Profile and skills required: Parcours Académique : * Master de Recherche (M2) ou Diplôme d'Ingénieur en Intelligence Artificielle, Informatique ou Systèmes Embarqués. Une expérience préalable dans le déploiement de l'IA est fortement souhaitée. Recherche en Intelligence Artificielle & Deep Learning Optimisation de Modèles (lightweight AI) : Maîtrise théorique et pratique des techniques de compression de modèles, incluant l'élagage (pruning), la quantification et la distillation de connaissances. Architectures Avancées : Familiarité avec l'apprentissage auto-supervisé (Self-Supervised Learning) et les architectures de type JEPA (Joint Embedding Predictive Architecture). Recherche d'Architecture Neuronale (NAS) : Expérience dans l'automatisation de la conception de modèles spécifiquement adaptés aux environnements matériels contraints. Frameworks : Maîtrise experte de PyTorch ou TensorFlow.