人类与机器人协作的基础模型及自然语言

该项目旨在研究视觉语言模型（VLM）与大型语言模型（LLM）在提升机器人与人类协作能力方面的应用，通过基于语音指令实现实时运动生成，从而改善机器人与人类的互动。主要目标包括将自然语言处理技术整合到机器人指令解释、人类意图预测以及紧急指令检测中，并需进行实际场景演示。

职位说明： 项目描述： 关于机器人领域中的 VLM/LLMs 研究，大多致力于从高层目标出发，在离线状态下生成动作与计划序列，仅适用于与人类隔离的自主机器人。将 VLM/LLMs 用于与人类协作的机器人的一项关键限制在于，它们能否在人类参与控制的场景中在线运行，生成合适的运动及“安全”的机器人策略。 在此研究中，我们利用 VLM/LLMs 在安全性至关重要的协作场景中实时生成机器人的动作：即在人类操作物体时辅助人类的主动外骨骼与移动机械臂。人类通过语音对机器人进行交互式指令，以控制其低层次动作的生成；包括启动、停止、定向以及调整其低层次参数设置（例如柔顺性、速度、最大扭矩辅助等）。 也将考虑扩展相关范式、与现有 VLAs 比较并对 VLAs 进行微调，这属于该团队正在进行的研究工作的一部分。 第一个目标是在设计机器人控制器时充分考虑自然语言交互特性：人类发出的指令、修正建议以及近似数值表达必须被转化为与问题物理规律相一致的有意义量。那么“更快”、“稍高一些”、“向右一点”以及“更多辅助”分别意味着什么？ 第二个目标在于设计新的多模态模型，将 VLM/LLMs 与多模态处理流程相结合，以预测人类的意图并减少修正的需求。自然语言指令可能不完整或不明确，但摄像头和麦克风（或其他传感器）能够提供足够的上下文信息，从而生成适当的动作。例如，如果机器人面前的唯一物品就是“那个瓶子”，那么“抓住那个”可以轻易转化为“抓住瓶子”；而“向右移动一点”则需要进一步说明，同时还需对依赖上下文的物理量进行估算。 第三个目标在于识别紧急指令，通过利用大语言模型与音频处理模型来捕捉非言语交流信息，并生成符合要求的机器人反应行为。人类在与机器人互动时往往无法清晰表达：有时因恐惧而完全不说话，或含糊不清地说话，甚至尖叫，而他们本可以简单地发出“停止”的明确指令。识别紧急指令对于将机器人部署到现实世界中至关重要。例如，“小心”， “注意！”这类指令很难转化为精确的动作，且由于指令的紧急性，需要一次性评估才能判断其含义。 该博士研究生将围绕上述研究目标开展研究，并将受益于我们与 E. Zibetti（巴黎第八大学，SHS）的合作成果。Zibetti是心理学领域近似数值表达方面的专家。 我们还与 D. Sadigh（斯坦福大学）合作，其领导着利用 LLMs 生成机器人动作的研究。 在该博士项目中，必须使用真实机器人及真实人类与机器人互动的实际场景演示。

所需个人背景与技能要求： 具备出色的 Python（Pytorch）技能。理想情况下，还需拥有 LLM、VLM 及基础模型的相关经验。 扎实的机器人学知识。 语言：英语（英语是团队的官方语言，许多成员不会说法语）。 主动性与好奇心、日常沟通能力以及团队协作能力均为必备条件。 要求的法语水平：中级。您能够清晰、连贯且自信地运用语言，谈论您熟悉的日常事务。 所需英语水平：中级水平。您能够清晰、连贯且自信地运用该语言，谈论您熟悉的日常事务。