全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文论文追踪
多智能体防御研究：Bot 旁列报告受控攻击成功率降低
一项多智能体防御研究显示，Bot 旁列（Bot sidelining）可降低受控攻击的成功率。该研究未给出完整的评测条件，因此具体攻击成功率数值与适用模型范围尚不明确。
- 论文论文追踪
两阶段智能体轨迹审计：降低模型检查调用并衡量检出率与成本权衡
作者研究通过两阶段审计减少模型检查调用，同时衡量检出率与成本之间的权衡。
- 动态The Banker
NCSC 官员警告银行勿仓促部署智能体 AI
英国国家网络安全中心（NCSC）官员 Jonathon Ellison 提醒金融机构谨慎部署智能体 AI，应确保系统可观测、受约束并处于适当监督之下。The Banker 报道了这一警告，指向银行在智能体落地过程中可能忽视的安全与管控要求。
- 论文arXiv
NetAgent：面向多任务网络流量分析的智能体框架
NetAgent 是首个用于多任务流量分析的智能体框架，无需任务特定训练即可完成复杂任务理解、动态分解编排与长时程分析。它包含知识增强的工作流规划、150+ 工具的动作空间、统一代码执行空间、三层记忆以及沙箱与运行时修复五项设计。在 9 个基准上，NetAgent 在几乎所有任务上超越 23 个单任务和 5 个多任务基线，对未见流量分布的 F1 达 90.04%，而最佳基线仅为 2.74% 和 3.04%。
- 动态promptarmor.com
PromptArmor 解析 WebMCP：采用现状与五类安全风险
PromptArmor 发布 WebMCP 说明，指出截至 2026 年 10 月 6 日，webmcp.com 登记了 2,959 个提供 WebMCP 工具的站点，Chrome、Edge、Brave 已通过 Origin trials 支持，ChatGPT 内置浏览器以 Site tools 形式支持，Cloudflare 的 Browser Run 与 Shopify 也已接入。WebMCP 工具像传统 MCP 工具一样定义名称、描述、输入与读写能力提示，但由网站页面直接提供给正在访问的智能体，智能体调用工具而非模拟点击界面。
- 论文arXiv：越狱、提示注入、投毒与防御
HARP：在硬资源约束下为 LLM 评测动态分配预算
研究者提出 HARP（Hard-budget Allocation with Reflow for Predictive calibration），一种在硬性资源约束下为 LLM 多轮交互评测动态分配预算的方法。该方法把评测建模为时间到事件问题，即产生越狱成功或智能体任务完成等目标事件所需的交互步数，并在算力有限导致轨迹被提前终止、事件时间仅被部分观测（删失）的情况下自适应重新分配未用预算。作者证明 HARP 不会超出目标预算，其下预测界（LPB）具有有限样本覆盖保证，且指标估计无偏。在智能体任务成功、LLM 越狱、有害内容生成和 RAG 幻觉等实验上，HARP 的覆盖率接近名义水平且方差较低，同时始终不超出给定预算。
- 论文arXiv：越狱、提示注入、投毒与防御
APEX：在 LLM Agent 执行边界主动防御间接提示注入
研究者提出 APEX，把间接提示注入的防御从识别攻击模式转向在执行边界检查每个待执行动作，即 Agent 将内部状态转为外部动作或输出释放的位置。APEX 在不受信任内容到达前把用户任务编译成授权契约，用两个机制读取它：WRAP 依据契约与运行时证据只放行可被证明授权的动作和参数，PLANT 在契约背书的依赖通道上放置探针，使未被任务背书的信息在使用时暴露。该方法只需对每个能力单元做一次与任务无关的注册，同一套中介逻辑统一适用于 Tool、MCP 和 Skill 调用，包括嵌套调用。在覆盖三类能力单元的六个基准上对比 13 个基线，APEX 在其中五个基准上攻击成功率为 0%，第六个为 0.56%，并在针对三类能力单元的自适应攻击下保持 0% 攻击成功率。代码已公开。
- 论文Hugging Face Daily Papers
SafeActBench 发布：工具型 Agent 在证据到行动链上的失败模式
研究者提出 SafeActBench，用 656 个案例覆盖六个操作领域和五种协议，考察工具型 Agent 从静态行动判断、调查后不行动到单步与多步工作流的失败位置。在十种模型与 harness 组合中，静态行动评估表现较强，交互式执行却明显更弱；失败常发生在执行之前，Agent 要么调查不完整就停止，要么在所需证据尚未建立时就行动。一旦证据齐备，单步执行通常可靠，多步工作流则暴露出未解决的前置条件和执行不完整。研究用带来源绑定的 Evidence Ledger 和确定性轨迹评估器记录信息何时建立、行动何时发生以及下游依赖是否满足，指出失败不仅源于信息缺失，也源于 Agent 如何使用已建立的证据。
- 动态X @ZenitySec
AI 智能体调用欧盟境外 MCP 工具完成退款，GDPR 跨境传输合规缺口未被识别
据 X @ZenitySec 发布的内容，一个 AI 智能体为完成退款调用了托管在欧盟境外的 MCP 工具。该调用未经配置、未经审批，也未触发任何告警，但已构成 GDPR 跨境数据传输。该帖指出，多数团队尚未梳理出此类合规缺口。
- 动态X @ZenitySec
五条消息组合触发提示注入，单轮护栏无法检出
据 X @ZenitySec 发布的信息，一种攻击将注入内容分散在五条消息中，只有在按序列组合后才构成完整攻击，因此仅对单轮对话打分的护栏无法检出。该帖称这一攻击的每一轮都通过了检查。
- 动态X @MinLiBuilds
Meta Muse 上线前后接连曝出 root 获取与 KVM 逃逸漏洞
有用户称在 Meta 的 Muse 中拿到了 root 权限。该产品上线前 12 天，Meta 刚因 KVM 逃逸漏洞连夜修补；上线后又曝出新的 zero-day，并发现一个 bug，显示仍存在较多问题。
- 动态8world
Anthropic 报告点名 Romi 等 20 多款交友应用用 AI 人设冒充真人
Anthropic 在技术滥用报告中点名 Romi，称其是一家中国工作室运营的 20 多款面向美国用户的交友应用变体之一，被归类为欺诈及诈骗活动。报告显示，今年 4 月的两周内，超过 4700 个 AI 虚拟人物与至少 2 万 5000 人交谈，共发送约 236 万条消息；用户看到的资料中约 75% 是 Claude 驱动的 AI 人设、25% 是真人，虚拟人物被指示隐瞒身份并回避视频通话和索取照片的要求。真人以零工身份受聘负责实时通话和社交媒体回关，部分文字回复由另一 AI 模型辅助生成。Anthropic 已封禁相关账号，并联合其他 AI 实验室切断模型访问权限。一名芝加哥用户注册 Romi 不到一分钟即接到视频来电，通话两分钟后被切断并提示购买点数，他花 2 美元索取电话号码后收到平台警告，随后删除应用。
- 动态The New Stack
OpenAI 测试显示 Dots 边界问题比例随任务链延长翻倍
OpenAI 在 DevDay 发布常驻 Agent Dots，并在 GPT-6 Astra 系统卡的 Dots 附录中给出边界问题测试数据：任务链从 5 个增加到 10 个时，被标记为边界问题的样本比例从 8.6% 升至 19.7%。评测未发现高严重性违规或数据外泄。Dots 在主动研究阶段只能读取已连接应用，不能修改、发消息或控制用户浏览器与电脑；进入执行阶段后由内置规则、Custom Rules 和来自 Codex 的 auto-review 共同控制。内部间接提示注入测试中 Astra 的防御成功率为 99.79%，Gray Swan 的外部测试在启用护栏下对 1,810 个攻击估计出 8.5% 的攻击成功率。在 151 个任务上 Astra 驱动的 Dots 记录到 0% 的对齐偏差率。
- 动态OpenAI
OpenAI 如何为 dots 智能体构建安全、安全（security）与隐私保护
OpenAI 为 dots 智能体构建了多层防护体系：底层由 GPT‑6 Astra 模型负责理解用户意图并拒绝有害请求，包括生物与网络安全滥用类请求。系统通过工具限制、行动前检查、提示注入防护和运行监控来约束智能体行为，安全监控发现风险时可暂停任务并向用户告警。每个 dot 运行在独立云工作区中，通过沙箱隔离代码与工具访问，安全登录流程使凭据不进入模型上下文。
- 论文arXiv：可解释性
针对 LLM 谄媚的纵深防御：记忆门控对激活诱导与记忆诱导谄媚的评估
研究提出一个 2×2 纵深防御框架，将内部激活引导与外部记忆处理分离，在 MemSyco-Bench 上评估四种开放权重模型，涉及 10 个引导系数和五种记忆防御配置。其中三种配置为新设计：重写全部记忆、对每条记忆保留/重写/丢弃的 Router Gate，以及丢弃全部记忆。在 Llama 3.1 8B 上，Router Gate 配合轻度反向引导（α = -1.5）将评委平均谄媚率从 35.80% 降至 31.32%，平均准确率从 43.99% 变为 43.31%，但该下降在 149 个样本上不具统计显著性（配对 p = 0.08 至 0.63）。
- 动态安全内参 / 模安局
AgentPort-Bench 评测七个 Agent 框架：攻击类型解释约 28% 安全差异，框架仅约 0.05%
论文 AgentPort-Bench 在 7 个主流 Agent 框架与直接 HTTP API 调用之间完成 9360 次受控实验，比较攻击类型、模型和框架对安全结果的影响。方差分析显示，攻击类型解释约 28% 的结果差异，模型约 4.14%，Agent 框架仅约 0.05%，即攻击影响约为框架的 500 多倍。研究覆盖 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google ADK、Semantic Kernel，以及 Anthropic、OpenAI、Google 三家共 6 个模型。28 组两两比较全部落入实践等效区间，但论文只覆盖输入层与模型行为层，未涉及工具权限、MCP、记忆与多 Agent 委托等运行时问题。
- 动态AgentSafeLabs
AgentSafeLabs 用 9,360 次试验评测七种 Agent 框架的安全差异
AgentSafeLabs 发布 AgentPort-Bench，在验证攻击载荷逐字节一致后，对直接 API 基线和七种 Agent 框架（含 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google ADK、Semantic Kernel）做了 9,360 次受控试验，覆盖六款模型和五类映射到 OWASP Agentic Security Initiative 威胁分类的攻击。结果显示攻击类别对结果的影响最大，模型选择次之，框架选择的影响约比攻击类别小两个数量级、比模型选择小一个数量级；八个条件间全部 28 组两两比较在预设等价边界下均判定为等价。评测还记录了一个模型在特定提示下六次全部耗尽推理 token 预算并返回空响应，以及 Google ADK 与 Semantic Kernel 对推理 token 的统计口径不同。
- 动态中国网信网
中央网信办部署为期4个月的清朗AI应用乱象专项整治
中央网信办印发通知，在全国范围内部署开展为期4个月的清朗·整治AI应用乱象专项行动，分两个阶段各整治7类突出问题。第一阶段为AI应用服务典型违规问题专项治理，重点包括未按规定履行大模型备案登记义务、平台安全和审核过滤能力不足、大模型训练语料安全、AI数据投毒、生成合成内容标识落实不到位、滥用AI技术实施网络攻击与换脸拟声、开源模型安全管理不到位。第二阶段聚焦AI信息内容乱象，涵盖利用AI魔改经典与生成数字泔水、制作发布虚假不实信息、假冒仿冒他人、暴力低俗内容、侵害未成年人权益、AI托管网络水军、AI产品服务和应用程序违规。通知要求各地网信部门履行属地管理责任，督导网站平台对照整治重点自查自纠，完善长效治理机制。
- 动态中国网信网
网信办通报清朗专项行动第二阶段AI技术滥用治理情况
中央网信办通报“清朗·整治AI应用乱象”专项行动第二阶段进展，聚焦AI制作虚假信息、传播暴力低俗内容、假冒仿冒他人、侵害未成年人权益等问题，累计清理违法违规信息561万余条，查处账号4.9万余个，处置违规网站、应用程序等2400余个。各地网信部门推出针对性措施，北京指导平台升级审核策略，上海推出AI应用“知识普及包”，浙江开展“一企一策”合规指导，广东对多款应用点对点督促整改。抖音、快手、微博、腾讯、百度等平台优化多模态识别模型并动态扩充人脸库、声纹库和违规样本库，豆包、元宝、千问、文心一言等严把原始语料审核并强化AI生成合成内容标识，华为、小米、OPPO、vivo等应用商店加强APP准入与抽检。
- 动态AWS Security
AWS 披露 Bedrock AgentCore Starter Toolkit 代码注入与 SSRF 漏洞，0.3.14 修复
AWS 披露 bedrock-agentcore-starter-toolkit 存在两个漏洞：CVE-2026-105812 为代码注入问题，导入并运行或部署特制 Agent 时可能导致任意代码执行；CVE-2026-106032 为外部引用处理问题，导入 Agent 期间可能触发非预期网络请求或本地文件访问。受影响版本为 0.1.4 至 0.3.13，已在 0.3.14 修复。AWS 建议升级到最新版本，并确保 fork 或衍生代码同步修补；用受影响版本导入的 Agent 需用 0.3.14 或更高版本重新导入，并替换本地与已部署的产物。
- 论文论文追踪
DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准
香港理工大学研究者提出 DIBench，用于测量移动 GUI 智能体在多候选选择任务中的决策完整性风险，即智能体完成任务但最终选择被欺骗性注入导向攻击者指定目标。基准覆盖 7 个商业应用和 3 个模拟应用、5 类任务，在仅允许非特权 UI 内容的威胁模型下构造 8 种注入探针，包含 1,000 条干净实例和 36,672 条注入实例，并提供配对评测协议与决策完整性指标。在 4 个智能体框架和 7 个基础模型上的实验显示，以完成率为导向的评测会高估智能体可信度：商业应用中 AppAgent + Qwen2.5-VL 的 TCR 从 42.0% 升至 72.4%，同时 ASR 达 45.8%。注入还会减少探索与验证动作、促使智能体更早提交选择；检测、图像预处理和提示词提醒等常见防御带来的完整性提升并不稳定，检测对低显著性注入的召回率明显下降，预处理有时反而提高 ASR。
- 动态Dark Reading
Tenet 在 DEF CON 34 披露 GhostJacking 攻击，可借可信日志劫持 AI 智能体
Dark Reading报道Tenet在DEF CON展示的Ghostjacking研究。外部可影响的日志、告警或错误信息可能被智能体误当作操作指令，使其越过原任务范围。研究涉及多个监控与基础设施平台，提示工具返回的数据应与操作授权分开处理。相关结果来自厂商研究和受控演示，不能表述为实际客户系统已遭攻击，也不能外推为所有智能体配置都会失守。
- 动态SecurityWeek
Tenet 演示 Ghostjacking 攻击：用被投毒的日志劫持 AI 智能体
SecurityWeek报道Tenet展示的Ghostjacking研究。外部可影响的日志、告警或错误信息可能被智能体误当作操作指令，使其越过原任务范围。研究涉及多个监控与基础设施平台，提示工具返回的数据应与操作授权分开处理。相关结果来自厂商研究和受控演示，不能表述为实际客户系统已遭攻击，也不能外推为所有智能体配置都会失守。
- 论文Hugging Face Daily Papers
研究：工具型智能体判断结果无用却仍继续检索，强制整合步骤可纠正
新加坡 A*STAR、新加坡国立大学等机构的研究者在受控检索环境中测试了七个智能体，发现它们判断失效来源结果无用的准确率高达 97–100%，但多数并不会据此停止检索。研究用时间匹配对比 Δ 区分按时间、按截止期限和按证据停止三种策略，发现提示词允许凭记忆作答或给出推理模式会让智能体提前停止，但停止与证据无关；写明预算会把 7–8B 模型的停止点推到截止期限，预算翻倍时停止点随之移动。只有当框架强制执行整合步骤，即在连续五次判定无用后只保留 finish 动作，停止才跟随证据，所有模型的失效来源成功率上升，预算翻倍时停止点不变。该模式在 300 道新题上完成预注册复现，并迁移到 FEVER 事实核查；Qwen3-32B、推理模式和 RL 训练的 Search-R1 大多仍不整合，只有 Claude Sonnet 5 在无提示时部分做到。