关于视觉语言模型（VLM）抵御恶意攻击的安全性研究

该项目旨在研究视觉语言模型（VLM）在实际应用场景中的漏洞，重点探讨各个组件存在的缺陷如何通过多模态系统传播。该研究涉及关于对抗性攻击的多个问题，并提出了新的防御机制，同时致力于在相关领域发表具有重大影响力的论文。

职位说明： 项目描述： 视觉-语言模型（VLM）正迅速被融入实际运行流程与文档中 对视觉问题解答、生物特征识别与视频分析，以及日益发展的自主系统理解能力 能够感知、推理并执行动作的智能体。VLM 并非单一实体：它是由视觉主干网络、投影或交叉注意力适配器以及大型语言模型（LLM）组成的复合体。本研究基于这样一个假设：这种复合体会继承各组成部分的脆弱性——即来自 LLM 的提示注入与破解行为，来自视觉编码器的对抗性扰动、分布偏移及后门机制；而更重要的是，复合体本身会产生攻击面，而这些攻击面是各组件单独存在时所不具备的。 现代开源视觉语言模型（LLaVA、BLIP-2、Qwen-VL及其后续版本）已逐渐趋于一致，均专注于视觉安全研究 Transformer（ViT）主干网络，其漏洞特征与卷积网络有本质差异 网络：ViT 的鲁棒性并非自注意力机制的附带产物，而是其本身所追求的设计目标。因此，本论文将 ViT 视为首先需要保障的关键环节，并探讨在像素级别注入的扰动如何通过多模态架构传播，进而影响部署系统的最终任务决策。 该研究围绕五个研究问题展开：（RQ1）ViT级漏洞如何传播至多模态行为；（RQ2）从攻击者的成本、隐蔽性及可转移性角度来看，各模态之间是否存在安全优先级；（RQ3）在共享嵌入空间中，个体上 benign的模态如何组合产生恶意行为；（RQ4）攻击能否在欺骗其Transformer目标的同时规避事后的可解释性；以及（RQ5）间接注入机制如何在多模态多智能体系统中传播并放大。 研究贡献将涵盖完整的 VLM 生命周期系统化威胁模型、在真实开放权重模型上经应用层面验证的新式攻击方法，以及在自适应端到端协议下进行的防御机制评估。研究结果将依据与工业实践相一致的协同披露政策，发表在 A*/A (CORE) 期刊和 Q1 (JCR) 期刊上。

Profile and skills required: Master 2 degree in Computer Science and Artificial Intelligence Niveau de français requis: Élémentaire: Vous pouvez comprendre la langue dans des situations quotidiennes élémentaires si votre interlocuteur parle doucement et clairement. Vous comprenez et utilisez des expressions simples. Niveau d'anglais requis: Élémentaire: Vous pouvez comprendre la langue dans des situations quotidiennes élémentaires si votre interlocuteur parle doucement et clairement. Vous comprenez et utilisez des expressions simples.