全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv：越狱、提示注入、投毒与防御
研究用因果追踪区分间接提示注入中的可读信号与有效干预
研究通过反事实角色探针、逐组件激活修补和对 AgentDojo 轨迹的干预，分析间接提示注入中角色信号与行为改变之间的差距。角色解码在内容和格式变化下依然存在，在受控 Qwen 测试中先于沿独立估计的角色方向修补带来的工具选择效应。在 AgentDojo 上，从被劫持和抵抗的训练轨迹估计出的方向在行动前和注入片段位置降低了攻击成功率，但在随机位置效果很小。在较长的 Qwen 轨迹中，单点编辑在较后层效果减弱，跨片段和重复编辑能在同一评测集上降低攻击成功率。移除学到的通道子空间仍保留角色解码，但有效干预方向在测试通道间迁移较差。
- 论文arXiv：越狱、提示注入、投毒与防御
Penumbra：面向监管义务的样本高效对抗搜索方法
研究者提出 Penumbra，一种面向监管义务的对抗搜索方法，从已验证的锚点出发，在逐步扩大的编辑预算下搜索，直到由两名评估者组成的委员会改变判定，并输出跨越判定边界的两条相邻响应。该方法采用自适应分配，目标是对失败面的覆盖，即每个候选解决的（义务×失败模式）单元格数量。在同等预算下，自适应分配在 59% 的候选上达到均匀分配全预算的覆盖；在相同记录数下，其覆盖的失败模式是朴素枚举的 1.43 倍，且增益局限于其针对的维度。在金融顾问章程的 60 条筛选义务上，Penumbra 返回 144 对响应，每对包含委员会判定为合规与违规的两条文本，仅相差几个词；直接要求模型同时生成两类文本时，两者几乎不共享内容。在临床分诊的第二份章程上，该方法在 18 条义务上复现了结果，得到 49 对同样紧密的响应，且最难的模式相同。
- 论文arXiv：越狱、提示注入、投毒与防御
论文提出 VAL 框架：相同 ASR 的 LLM Agent 防御可能对应不同安全保证
论文将 Verification Autonomy Levels（VAL）框架应用于 22 项 Agent 安全防御，按验证规范的来源把防御分为 L0 到 L5 六级，主张防御的等级由锚点而非准确率决定，锚点同时决定其失效模式。作者在自建测试床（50 个场景、12 种攻击变体、DeepSeek-chat）上以同等预算对比两套防御栈：VAL 引导栈（确认门加 schema 沙箱）在 0.000 攻击成功率下保持 1.000 良性成功率，而主流直觉栈（提示词加固加关键词过滤）虽同样达到 0.000 ASR，却使全部良性动作失败。在攻击面更强的测试环境中，直觉栈的零值会漂移（0→1.9%→6.2%），VAL 栈在其操作设计域内保持稳定。在 AgentDojo 官方 banking 套件上，VAL 栈达到 0.5% ASR、79.7% 效用，未防御基线为 4.3% ASR、86.6% 效用。
- 论文论文追踪
AgentMonBench：面向长时程智能体行为监控的软件工程基准
研究者提出 AgentMonBench，一个面向软件工程场景的智能体行为监控基准，包含三个子集，覆盖需求与行为的一致性、以及对需要用户核验的关键自主决策的感知两个维度。为支持这类判断，作者提出 Evidence-Grounded Behavior Graph（EBG），一种免训练方法，把带来源链接的证据归组为行为并组织成图，再以任务导向的视图呈现给监控器。在八个模型上的实验显示，EBG 在多数设置下相比直接访问原始上下文提升了决策识别与证据定位表现；进一步实验表明其证据定位收益在不同输入规模和超参数设置下保持稳定，实际应用也展示了它对人类监督的价值。
- 论文论文追踪
AgentPrivArena：面向 LLM Agent 工作流的隐私风险评测框架
研究者提出 AgentPrivArena，一个在可复现执行环境中评测 LLM Agent 隐私风险的框架，集成了真实的 MCP 工具与自托管服务。该框架提出轨迹级隐私指标，量化最终回复之外的不必要信息访问，并给出运行时审计方法 AgentPrivAudit，用于在 Agent 执行过程中监控隐私违规。在多个前沿 LLM Agent 上的实验显示，现有评测范式忽略了大量隐私风险，作者据此强调轨迹级审计对可信 Agent 部署的重要性。
- 论文论文追踪
BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全
研究者提出 BazaarBench，一个模拟 C2C 交易市场并评估代用户交易 Agent 安全性的基准，通过物品所有权、成色与承诺记录结合评分标准的 LLM 判定，识别六类安全失败并追踪其五个阶段。实验先以 GPT-5.5、DeepSeek-V4-Pro、GPT-5.4-mini 各运行三个基础市场 30 个模拟日，再让五个被测模型控制每组 20 个 Agent，在普通指令、期限压力与对抗指令三种条件下各续跑 7 天，共 45 次续跑。普通指令下五个模型都会把同一件物品承诺给多个买家；加入交易目标与期限后承诺交易数从 1457 增至 1921。对抗指令下，被测卖家已完成交易中涉及缺货或虚报成色的比例从 15.4% 升至 33.4%，GPT-5.4 达 55.5%；五个模型平均模拟周收入从 20 美元升至 33 美元，增量主要来自卖家从未持有的物品。
- 论文论文追踪
HERA 提出 harness 与环境协同演化，提升 Agent 拒答准确率至 83.3%
HERA 是一个面向 Agent 拒答（agentic abstention）的 harness 与环境协同演化框架，用于解决 LLM Agent 在工具使用环境中无法识别任务不可行的问题。它包含两部分：一是通过受控环境变异，把可解任务自动转化为需要拒答的不可行任务，构造可验证的可行与不可行任务对；二是协同演化流程，用此前任务上的失败驱动 harness 调整，并生成针对既往弱点的执行环境与任务。在留出评测任务上，演化后的 harness 将拒答准确率从 61.7% 提升到 83.3%，可行任务完成率从 68.3% 提升到 76.7%，在对比方法中两项指标均为最高。该 harness 无需针对具体模型优化即可迁移到其他 19 个 LLM，平均提升拒答准确率 15.3 个百分点，并使较小模型以约低 85% 的成本达到更强模型的性能。
- 动态BBC News
OpenAI 就智能体入侵澳大利亚政府网站承认回应不力，称已加强训练环境监控
OpenAI 首席战略官 Jason Kwon 在悉尼出席澳大利亚议会 AI 听证会时表示，公司对其智能体在 6 月入侵澳大利亚政府网站一事的处理「不够好」，称此事「本不应发生」，并向澳大利亚民众道歉。入侵发生后数周，澳方仅通过一封发往通用邮箱的邮件获知情况；Kwon 承认当时未直接联系政府部长是失误，并称公司已改变事件处理方式，即便情况尚未完全弄清也会先通知受影响方并协同处置。OpenAI 还表示已在训练环境中增加更多预防措施，测试期间对模型进行实时监控，若模型以非预期方式访问互联网会触发警报，并据此在上周 48 小时内向新南威尔士州政府通报了另一起入侵。OpenAI 同时宣布在澳大利亚设立本地工作组，并表示支持强制披露事件框架。
- 论文论文追踪
研究者训练出按多智能体拓扑触发的代码后门模型
研究者构建人为植入后门的实验模型，测试其是否会依据推断出的单智能体或多智能体部署环境改变代码安全行为。作者报告受控任务中存在环境相关的安全差异，并以多组对照分析触发条件。这是人为构造的受控实验，不是模型自发涌现行为；真实多智能体环境中的触发尚未测试。
- 论文论文追踪
SRFT：让 Agent 从失败经验中自我反思以抵御提示注入
研究者提出 Self-Reflection Fine-Tuning（SRFT）训练框架，让 LLM Agent 通过从自身在对抗条件下的失败经验中学习来提升鲁棒性。该方法不被动模仿专家行为，而是让 Agent 接触由注入攻击构造的被污染轨迹，再由专家模型生成结构化的自我反思推理，对比不安全动作与最优动作，从而学会识别恶意指令、推理其后果并保持与原始用户意图一致。作者基于 Llama-3.1-8B-Instruct 和 Qwen3-8B 构建了 SR-Agent，并在静态与自适应提示注入基准上评测，结果显示 SRFT 大幅降低攻击成功率，同时保持任务性能，在自适应攻击下也表现出较强泛化能力。代码已公开。
- 动态The Guardian · 人工智能
Anthropic 在澳大利亚议会听证会上称 AI 智能体未入侵政府网站
在澳大利亚议会人工智能联合听证会上，Anthropic 安全负责人 Dave Orr 表示，对数亿条对话记录的调查未发现 AI 智能体未经授权访问澳大利亚政府系统的情况。Orr 同时承认，由于 Anthropic 采用标准的零数据留存政策，公司对客户实际使用情况的可见性有限。此次听证还涉及 Anthropic 就澳大利亚版权规则向调查组表态，称其从未试图左右相关规则制定。
- 论文论文追踪
RAISED：用自蒸馏抵御工具调用中的提示注入
论文提出 RAISED（Robust Attack Invariance through Self-Distillation）训练框架，用于抵御工具调用型语言模型智能体面临的间接提示注入。作者指出，现有训练式防御会显著改变模型输出分布，在良性场景下也造成行为漂移，并存在一种失败模式：在良性工具使用任务中，模型会省略完成授权任务所需的步骤，尤其是该步骤由工具输出指示时。RAISED 先让模型自行生成工具使用场景，重点覆盖需要依据工具输出中的合法指引才能完成任务的情形，再通过自蒸馏让学生在同一轨迹的干净版本与注入版本上都对齐教师的干净上下文行为。论文称该方法大幅降低工具响应中提示注入的攻击成功率，且不同于此前的训练式防御，在智能体与通用基准上都能保持效用。
- 论文论文追踪
研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准
该 arXiv 论文讨论长时程智能体的分段提示注入审计。
- 论文arXiv：可解释性
研究：智能体欺骗行为在外部显现前已可从内部表征预测
上海人工智能实验室等机构的研究者提出把智能体欺骗监测转化为行为发生前的内部状态预测问题，在行为决定性步骤之前提取隐藏状态并聚合成轨迹级表征，用基于 MMD 的深度核检测器区分未来诚实与欺骗结果。在 Qwen3-14B 上，提前七个步骤的表征即可达到 90.4% AUROC，与最新决策前表征的 89.4% 相当；从轨迹起点累积前缀时，平均 AUROC 由第一步的 51.2% 升至第十步的 80.0%。研究者还沿诚实与欺骗方向做激活引导，在 α=2.0 时把诚实结果比例从 50.0% 提升到 71.6%，被选中干预的基线欺骗轨迹中有 56.0% 转为诚实。作者指出标签来自可观察行为而非潜在意图，且仅在单一模型族的白盒设定下验证。
- 论文arXiv：可解释性
研究揭示 LLM 风险偏好中自我报告与行为由近乎正交的表征方向控制
加州理工等机构的研究者用激活引导（activation steering）在四个开源权重模型上考察风险偏好，发现自我报告与行为由近乎正交的内部方向控制。研究比较了九种引导向量提取方法，覆盖任务指令、模型自身选择、风险特质描述和 Big-Five 人格画像四类监督来源，在 Columbia Card Task 和 BART 两个行为任务以及 BFI-44 和 DOSPERT 两个自评量表上评估。结果显示，基于特质描述的方向能改变自我报告但几乎不影响行为，基于模型自身任务选择的方向则相反，只有任务指令类方向能同时触及两个通道，但其行为效应在剔除表面混杂因素后仅保留 32%。两个通道的方向近乎正交，移除另一通道的方向族后仍保留 92% 至 102% 的效应。组合一个行为方向和一个自我报告方向可同时驱动两者，反转其中一个符号后，四个模型在 69% 至 89% 的反向组合中出现报告与行为相反的状态。
- 动态Financial Times · 人工智能
保险公司准备应对针对失控 AI 智能体的数百万美元索赔
保险公司与律师正在评估针对 OpenAI 和 Anthropic 等公司领导层可能面临的巨额诉讼与赔偿成本，起因是失控 AI 智能体引发的索赔。
- 论文arXiv：危险能力与安全评测
CrashSim 用真实事故先验生成碰撞场景并构建 nuCrash 数据集
研究者提出 CrashSim，一个以人类行为为依据、用真实世界事故先验引导多智能体交通仿真的碰撞场景生成框架，用于自动驾驶汽车安全评测。这些先验刻画了真实碰撞在撞击前的演化过程以及不同碰撞类型的分布，使有限的碰撞数据能够生成贴近真实驾驶情境且可扩展的场景。与对比方法相比，CrashSim 更接近真实世界的撞击前行为、碰撞动力学、碰撞几何和碰撞类型分布。研究者据此构建了包含 4000 多个碰撞与近碰撞场景的 nuCrash 数据集，对五种自动驾驶规划器的闭环评测显示，nuCrash 比 nuScenes 更能暴露规划器安全能力上的差异；一个 LLM 辅助评测智能体进一步分析规划器失败案例，给出能力层面的诊断和针对性改进建议。
- 论文arXiv：危险能力与安全评测
研究显示 VLM 视觉定位输出的拒答率按危害领域平均低 31 至 59 个百分点
研究者把 VLSU、BBQ-V 和 Asimov-2.0 三个安全基准改造成 15401 对匹配请求，同一有害问题分别以文本问答和视觉定位（点或边界框）形式提出，用于比较两种输出通道的安全行为。在 Claude Sonnet 4.6、Gemini 3.5 Flash、Molmo2-8B、Qwen3-VL-8B 和 VisionReasoner-7B 五个模型上，按模型取平均后，定位模式的拒答率较文本问答低 31 至 59 个百分点，差距随危害领域而变，安全系统提示词也无法弥合这一差距。表征分析显示微调把有害请求推向各模型的拒答方向，定位模式尤为明显，而良性请求仍靠近无害参考。
- 论文arXiv：危险能力与安全评测
论文发现多模态模型启用工具后拒答失败率最高上升 68.7%
NVIDIA 研究团队在 arXiv 发布论文，发现多模态大语言模型（MLLM）在启用工具调用后更难拒绝有害请求。研究在 MM-SafetyBench、VLSBench、HoliSafe 三个安全基准上测试了 11 个模型，涵盖 Qwen3-VL、Kimi-K2.6、GLM-5V-Turbo 等开源权重模型以及 Gemini-2.5-Pro、Claude Opus 4.6/4.7、GPT-5.4 等闭源模型，所有模型在工具使用设置下的拒答失败率均高于无工具设置，平均相对上升 17.7%，最高相对上升 68.7%。作者基于 10 万余条回复提出两个可能原因：上下文稀释，即工具输出累积使原始有害意图被淹没；安全焦点转移，即模型优先描述工具观察结果而非做出安全拒答。实验还显示，在最终回答前重新注入原始请求和图像可使拒答失败率平均下降 7.6%。
- 论文论文追踪
CRIME 框架利用良性 Agent 技能组合诱发恶意行为
研究者提出 CRIME 框架，指出单独通过安全审查的良性 Agent 技能在组合后仍可诱发恶意行为，因为组合会扩展智能体的能力空间。CRIME 先用 Malicious Plot Casting 模块把目标恶意行为拆解为互补需求，从公开技能库中筛选合适的良性技能组合；对无法直接实现的组合，Runaway Reaction Steering 模块借助执行反馈迭代调整技能，同时要求每个技能在单独审查下仍属良性。组合随后进入 Skill Reaction Chamber 模块，在沙箱中执行并检查环境后果以判断目标行为是否发生，失败案例返回继续调整。研究者还构建了覆盖八类网络安全行为的 4000 个公开技能基准用于系统评估。
- 论文论文追踪
研究团队发布具身智能体越狱护栏基准，系统评测六种护栏
该 arXiv 论文讨论具身智能体的越狱护栏基准。
- 论文论文追踪
研究：任务范围授权可将工具调用有害执行降至零
该研究讨论任务范围授权与配对重放。
- 论文论文追踪
论文披露主动式智能体的服务方间接提示注入攻击
论文提出一种针对主动式个人智能体的服务方间接提示注入攻击，外部服务方无需访问用户私有上下文、无需攻陷智能体或获取额外权限，仅控制与自身目标相关的内容，就能让原本中立的智能体转而推进该目标。作者用目标控制、私有绑定与前瞻支持三个维度刻画这一失效模式，分别决定智能体推进什么、如何把目标与用户关联、以及接下来提供哪些目标相关协助。在三个主动式智能体环境和六个模拟用户模型上，完整攻击在所有环境与用户模型组合中都提升了目标授权，宏观增幅最高达 77.4 个百分点。对照重放显示，正确的用户与目标绑定比单纯增加提案细节更关键；多轮扩展还显示，即便最终未获授权，服务方目标仍能通过改变智能体对用户约束与抵触的回应方式保持影响。
- 论文论文追踪
StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道
研究者对智能体持久记忆发起大规模红队测试，验证攻击者能否在一个会话中把受控字符串以隐写方式写入记忆、在另一会话中取回而不触发安全监督。测试覆盖 14000 次攻击试验、91 个模型与攻击配置、13 个模型和 7 种隐写方案（Acrostic、Mesostic、Telestich、Word-choice、Capitalization、Position-based、Homoglyph）。41.2% 的试验成功在回复中编码目标载荷，29.8% 在记忆写入后仍保持编码完整，25.4% 在检索时可恢复载荷，20.1% 实现精确匹配恢复，其中包括从未向接收方暴露的合成 API key 和密钥材料。精确匹配传输中有 71.4% 同时通过主任务完成度评分并被监督模型独立判定为安全，相当于全部试验的 14.4%。