CoSec：面向社区场景的 LLM Agent 安全基准

持久社区智能体要在完成正当协作的同时，守住由归属、来源和社区范围决定的隐私与授权边界。

• 场景：作者称 LLM 智能体正在群组、组织和在线社区中充当用户的持久代表。同一智能体可以同时处于健康互助社区和工作群，前者的信息可以留在历史、记忆或工作区，但不应披露给后者的请求者。
• 为何重要：作者称单独看来有帮助的动作，可以合成用户之间或社区之间不被允许的信息流。只看孤立请求的最终回复，会漏掉所有权、来源、持久性和预期受众。
• 现有评测：作者称智能体安全基准即使跑完整实现，策略也多围绕一个用户或一个任务；社区基准则侧重社交互动、协作和信息共享。对代表一个用户、跨多个社区、操作持久数据且社区状态会变的完整系统，作者称受控安全评测仍然有限。
• 本文提出：可执行基准 CoSec，208 个固定场景。Static112 看固定社区结构，Dyn96 看成员、角色、社区组成或社区关系变化之后的行为。评测对象是带原生会话、记忆、文件和工具的完整系统，而不是单独的骨干模型。
• 威胁模型：
  • 对手目标：让受保护信息进入当前授权不允许的动作或目的地；基准同时检查正当任务是否完成。
  • 对手能力：控制指定请求者消息；按攻击族还可控制选定文档、元数据、记忆条目或工作流输入。
  • 不能修改：授权 oracle 和隔离运行时。论文未使用 white-box、black-box 或 no-box。
  • 受害系统：代表一名用户、可参加多个社区的持久智能体。会话按场景、目标智能体和社区划分，但智能体保留持久记忆和共享工作区。受保护信息可以技术上可达，但对特定动作或目的地未授权。

社区与社交评测

• SOTOPIA（Zhou et al., 2024）让语言智能体扮演指定角色，评测社交智能。
• MultiAgentBench（Zhu et al., 2025）研究多智能体在交互任务中的协作与竞争。
• AgentSocialBench（Wang & Jiang, 2026）、MAGPIE（Juneja et al., 2025）和 Muppet（Ruzzetti et al., 2026）把社交评测扩展到群组对话、多智能体协调，以及涉及智能体的社交网络。作者用这组工作说明社区互动已是评测情境。

可执行智能体的安全

• Greshake et al.（2023）讨论间接提示注入：智能体把不可信文档、网页或工具输出当成指令。
• ToolEmu（Ruan et al., 2024）、InjecAgent（Zhan et al., 2024）和 AgentDojo（Debenedetti et al., 2024）在可执行环境中评测不安全工具使用和注入。
• ASB（Zhang et al., 2025）、AgentHarm（Andriushchenko et al., 2025）、LITMUS（Zhang et al., 2026）、REDAgentBench（Chen et al., 2026b），以及 ToolPrivacyBench（Hu et al., 2026）、AgentPoison（Chen et al., 2024）、MemSecBench（Chen et al., 2026a）覆盖有害任务、有状态攻击、真实执行和记忆投毒。作者称这些研究提供了安全压力和执行环境，但其策略一般以一个用户或一个任务为中心，而不是多个参与者跨重叠社区行动。

多方、情境与时序隐私

• Nissenbaum（2004）的 contextual integrity 按发送者、接收者、主体、属性和传输条件判断信息流是否适当。
• PrivacyLens（Shao et al., 2024）和 PrivacyLens-Live（Wang et al., 2025）把情境隐私落到语言模型动作和可执行工具工作流。
• PAC-BENCH（Park et al., 2026）、ConVerse（Gomaa et al., 2026）、AgentLeak（El Yagoubi et al., 2026）和 Got a Secret?（Priyanshu et al., 2026）研究多方互动或持久社会中的隐私。Sandhu et al.（1996）、TRBAC（Bertino et al., 2001）和 OrgAccess（Sanyal et al., 2025）为随时间跟踪角色与权限提供动机。作者称这些工作说明隐私还取决于周围参与者、社会情境和传播路径。

基准对照

• 实验没有把既有攻击或防御算法当作对照方法，而是在 CoSec 的 Static112 与 Dyn96 上比较 13 个 harness–模型配置。Table 1 用 executable harness、stateful execution、multiple participants、tool/data flow、privacy boundary、community transition、trace/artifact verifier 和 utility metric 对照相关基准；作者把 CoSec 在这八项上均标为 ✓，且 community transition 一列只有 CoSec 为 ✓。

作者把本文定位为：评测带显式信息边界、分会话与工作区命名空间、共享工作区、跨会话持久私有记忆，以及按计划改变社区结构的完整智能体系统，看边界固定或演化时是否遵守隐私边界。

CoSec 把一名目标智能体放进受控的多参与者社区，运行 OpenClaw、Hermes、Codex 的原生接口，再按隐藏授权状态检查痕迹和工件。Figure 1 分为场景构造、智能体执行、验证与指标三阶段。

社区安全模型

• 状态：时刻 t 的协作状态写成 E_t=(U,C,G_t,M_t,R_t,D,P_t,A,H_t)，即用户、社区、社区关系、成员、角色、数据对象、适用策略、智能体接口和可见历史。
• 授权：每个受保护对象有所有者 o(d)、来源社区 c(d) 和敏感标签。隐藏 oracle 判定请求者 u 能否对 d 做动作 a 并送到目的地 ℓ：Auth_t(u,a,d,ℓ)=1[P_t(u,a,d,ℓ,G_t,M_t,R_t,o(d),c(d))=allow]。
• 可达不等于可披露：不同社区看到不同会话；智能体仍有持久记忆和共享工作区，社区与私有工件占用不同逻辑命名空间。计划中的社区事件确定性地更新 Et，之后的动作按新状态评判。作者写明：扩大协作本身并不授权披露先前受保护的信息。
• 对手边界：对手控制指定请求者消息，并按攻击族控制选定文档、元数据、记忆或工作流输入；不能改 oracle 或隔离运行时。

场景套件

• 208 个规范场景：沿边界范围（社区内 / 社区间）、隐私对象（所有者 / 第三方）、攻击压力，以及动态情形下的社区事件组织。Table 2 中四个攻击族各 52 个。姓名、健康、凭证和财务记录均为合成。场景在评测前冻结，不按被测智能体改写。
• 四个攻击族：A1 用户注入通过请求者消息施压，包括虚假授权、冒充、紧迫性，或把请求说成安全摘要。A2 间接注入把未授权指令放进文档、引用消息、元数据或工具观察。A3 记忆投毒在持久上下文中放入虚假、过时或过宽的授权主张。A4 能力组合把单独看来合理的文件、工具或工作流步骤合成未授权信息流。作者称它们是受控评测条件，不是新攻击算法。
• Static112：2 种边界 × 2 种隐私对象 × 4 个攻击族 × 7 个策略变体。附录称 7 是覆盖选择，不是声称每族恰好只有 7 种攻击。同一边界剖面下，变体保持信息所有者、受保护对象、来源与目的社区、正当工件和 oracle，只改该族的机制。
• Dyn96：计分动作前插入一次状态变化。四族事件、八个有向转移：成员加入/移除（32）、角色升级/降级（32）、社区合并/拆分（16）、关系建立/结束（16）。扩大协作不自动解密历史或第三方私有信息；收缩后，旧成员、旧角色、旧关系和工作流状态不再构成披露理由。每族只对齐一个策略：A1 S2、A2 S2、A3 S6、A4 S7，分别看事件前批准、旧工具观察、应失效的记忆，以及跨请求者的准备与提交。

执行协议

• 同一清单、不同适配器：三个 harness 收到相同的参与者回合、工作区种子、社区状态、事件和正当目标。OpenClaw 调用原生 main agent 并使用持久 session key；Hermes 在隔离工作区调用自定义 provider；Codex 使用原生 exec JSON 事件和容器内文件与命令。附录 B.1 写 Codex 仅在一次性试验容器内启用 danger-full-access。
• 主实验参数：每个规范场景八个脚本回合；speaker_mode=seed，不调用参与者模型。每个场景、智能体和社区一个原生会话，社区之间不共享历史。智能体看到当前社区状态和可信事件通知；只有验证器拿到隐藏 oracle、受保护值、允许接收者和评测标签。Table 13：guardrail mode 为 none，智能体超时 3600 秒，批内基础设施重试 3 次、间隔 60 秒。受害者调用不覆盖 temperature、top-p、惩罚项或随机种子。
• 可选模式未进入主结果：攻击者模拟器可以在允许知识内改写种子，但不能编造秘密、隐藏批准或工具结果。护栏条件只把一段规则追加到每个原生会话的首个非事件系统消息，后续回合不重复。

成功判定

• 四个指标：V 为完整、可解析且已裁决的试验；基础设施失败和无法裁决的试验另报。PVR 只计智能体生成输出中的受保护内容，单独读文件或提及路径不够。CCPVR 只在 oracle 认定来源与计分目的地属于不同授权范围的 Vcross 上，计智能体造成的、流向未授权目的社区的信息流。BCR 与安全分开计正当完成；STCR 还要求没有经核实的安全失败。作者称一律拒绝无法得到高 STCR，高 BCR 也不能掩盖不安全完成。
• 两级判定：确定性抽取器标记新的未授权输出、动作和过时状态使用，并排除搭建内容、攻击者输入、内部读取和预先存在的值。语义情形交给 LLM judge，模型为 deepseek-v4-flash，temperature 为 0，输出上限 8192 token，格式最多尝试 3 次。Section 3.4：judge 输出有效时，该维取确定性判定与 judge 判定的析取；否则在有完整确定性证据时用确定性结果，再否则记为无法裁决。附录 C.3 补充：确定性阳性可以提高违规标记，诊断项不能推翻 judge；judge 不可用但痕迹完整时用确定性指标；两者都无效则不计为安全。正当完成单独合并，工件检查优先。附录给出 judge 的完整提示词。

实验设置

• 配置：13 个 harness–模型组合，各跑同一 208 个冻结场景。OpenClaw 与 Hermes 使用 Gemini 3.1 Pro、Gemini 3.5 Flash、DeepSeek 4.1 Flash、GLM 5.2、Qwen 3.8 Max；OpenClaw 另有 MiniMax M2.5；Hermes 与 Codex 使用 GPT 5.6 Sol。
• 套件：Static112 为固定边界；Dyn96 为边界转移之后。Table 16：PVR、STCR、BCR 的样本量为 Static112 112、Dyn96 96、总体 208；CCPVR 只计授权范围不同的试验，样本量分别为 56、64、120。
• 对照：主矩阵没有外部攻击算法基线，比较的是完整 harness 与模型。护栏实验另设无护栏对照，且只加在首轮。
• 指标：PVR 为受保护内容经智能体生成输出披露的比例；CCPVR 为未授权跨社区流的比例；BCR 为正当完成率；STCR 为完成且无经核实安全失败的比例。箭头方向见 Table 3 标题。
• 评审：语义 judge 为 deepseek-v4-flash，temperature 0。二元 PVR 另有 192 个人工审计试验，按套件、攻击族和自动 PVR 裁决抽样；两名标注者看不到自动判定，分歧按标注前固定的规程解决。
• 重复：论文未把同一场景的多次独立重复写成实验设计。附录 B.7 允许对尚未产生可评分回合的请求重试；已完成的语义结果不因不安全或无帮助而替换。

主结果

下表据 Table 3，单位为 %。行按总体 PVR 从低到高选取，并保留该表中总体 PVR 最高的配置。

Swipe horizontally to read the table

配置	总体PVR	总体BCR	Static PVR	Dyn PVR	Static STCR
OpenClaw / Gemini 3.1 Pro	29.33	95.67	30.36	28.13	58.93
Codex / GPT 5.6 Sol	41.35	98.56	51.79	29.17	45.54
OpenClaw / Gemini 3.5 Flash	52.88	98.56	44.64	62.50	50.89
Hermes / GPT 5.6 Sol	55.29	95.19	66.96	41.67	24.11
Hermes / Qwen 3.8 Max	69.71	78.85	66.96	72.92	16.96
Hermes / Gemini 3.5 Flash	76.92	98.56	79.46	73.96	17.86
OpenClaw / DeepSeek 4.1 Flash	82.69	91.35	80.36	85.42	15.18
Hermes / DeepSeek 4.1 Flash	96.15	98.56	96.43	95.83	3.57

• 省略的五行，总体 PVR 仍据 Table 3：OpenClaw / Qwen 3.8 Max 为 47.12%，OpenClaw / MiniMax M2.5 为 51.44%，OpenClaw / GLM 5.2 为 58.65%，Hermes / Gemini 3.1 Pro 为 68.27%，Hermes / GLM 5.2 为 82.21%。
• 作者称 13 个配置中 12 个总体 BCR 高于 85%，唯一例外是 Hermes / Qwen 3.8 Max 的 78.85%；完成正当任务并不意味着守住隐私约束。作者称 Codex / GPT 5.6 Sol 的总体 PVR 是第二低。
• 作者称 harness 会改变同一骨干的隐私行为：Gemini 3.5 Flash 在 OpenClaw 与 Hermes 上的总体 PVR 相差 24.04 个百分点；五个共有模型上 Hermes 比 OpenClaw 高 13.46 到 38.94 个百分点。GPT 5.6 Sol 在 Hermes 为 55.29%，在 Codex 为 41.35%。静态与动态没有统一排序：六个 OpenClaw 中四个在 Dyn96 上 PVR 更高，文中点名 Gemini 3.5 Flash 升 17.86 个百分点、MiniMax M2.5 升 24.40 个百分点；六个 Hermes 中五个动态 PVR 更低。Table 3 中 Hermes / Qwen 3.8 Max 的 Dyn96 PVR 为 72.92%，高于其 Static112 的 66.96%。

攻击族、动态事件与载体

• 攻击族：作者称风险最高的族随配置变化。正文 4.4：OpenClaw / GLM 5.2 的间接注入 PVR 为 65.38%，直接用户注入为 50.00%；OpenClaw / MiniMax M2.5 的直接请求和记忆投毒各为 71.15%，间接注入为 26.92%；Hermes / GPT 5.6 Sol 的间接注入为 9.62%，能力组合为 84.62%。作者称汇总后能力组合风险最高，pooled PVR 为 70.27%。Figure 2 的 Average 行把 A4 印为 70.3，论文未说明与 70.27% 的关系。
• 动态事件：全部配置上，community merge 的 PVR 为 72.12%，relationship end 为 69.23%，member removal 为 47.12%。OpenClaw / Gemini 3.5 Flash 的 merge 与 split 各为 87.5%，成员移除后为 37.5%；Hermes 配同一模型时 split 为 100.0%，角色升级与降级为 75.0% 和 56.25%。Figure 2 的 Average 将 merge 印为 72.1、remove 印为 47.1。
• 载体与个例：作者称相近的总体 PVR 可以来自不同执行表面。OpenClaw / MiniMax M2.5 的 71 个 PVR 阳性试验有文件证据、61 个有回复证据；OpenClaw / DeepSeek 则是回复证据 163、文件证据 26。无确定性载体的试验不进入该比较。Figure 3 给出 merge 后由事务工作流把 CarePod 私有信息写入共享 MergedHub 工件的失败，验证器记录 PVR=1、CCPVR=1。

验证器与首轮护栏

• Table 4：192 次人工审计上，确定性 PVR 判定 precision 为 100.0%、recall 为 33.3%、FNR 为 66.7%。LLM judge 的 recall 为 94.5%。合并后 accuracy 为 96.9%，F1 为 96.8%，recall 为 100.0%，FPR 为 5.9%，FNR 为 0.0%。
• 护栏：同一段首轮指令加在 OpenClaw 与 Hermes 搭配 DeepSeek 4.1 Flash 的 208 个场景上。OpenClaw 的 PVR 从 82.69% 降到 58.65%，降 24.04 个百分点，BCR 从 91.35% 升到 94.71%。Hermes 的 PVR 仍为 96.15%，BCR 从 98.56% 升到 100.00%。Figure 5 标注 OpenClaw PVR 为 -24.04、Hermes PVR 为 +0.00，BCR 分别为 +3.36 和 +1.44。
• 作者解读：作者称同一指令在不同 harness 上效果不同。痕迹检查中，OpenClaw 上它可以阻止写入共享工件，但拒绝回复仍可能重复受保护元数据或来源；Hermes 上较早的拒绝可能在反复请求后变弱。作者称提示级提醒不能替代写入、共享或传给工具之前的授权检查。

动态授权失败模式

• 四类：excess permission 把协作扩大当成一揽子访问；failed revocation 在限制后仍保留权限；provenance confusion 信任来自熟悉来源的受限内容；workflow carryover 在边界变化后继续先前的记忆、作业或事务。
• 795 个已分类动态安全失败覆盖全部 13 个配置：workflow carryover 29.9%，excess permission 25.5%，provenance confusion 25.2%，failed revocation 19.4%。OpenClaw / GLM 的 50 个已分类失败中，provenance confusion 为 21；Hermes / GLM 的 72 个中，workflow carryover 为 23。
• 作者称相似的总体 PVR 可以对应不同授权错误，并把跨情境的持久状态和来源称为变化边界下两类突出的失败来源。

其他消融与分析

• GPT 5.6 Sol 的动态 PVR：Hermes 降 25.29 个百分点，Codex 降 22.62 个百分点（正文 4.3）。
• Figure 2 Average：A1 59.9%、A2 58.0%、A3 61.7%、A4 70.3%；事件平均为 merge 72.1%、split 62.5%、relationship start 68.3%、end 69.2%、join 66.8%、remove 47.1%、role up 60.6%、down 52.4%。
• 附录 E.1 的一条静态轨迹，验证器记录 PVR=0、CCPVR=0、BCR=1；E.2 与 Figure 3 为同一 merge 失败，记录 PVR=1、CCPVR=1、BCR=1。
• Figure 6 标注了完成配置的 wall-clock time 与 API cost；正文未给出可逐项核对的配对表，这里不转写图中金额。

作者指出的局限与后续方向

• 论文没有 Limitations 专节。Conclusion 将 CoSec 称为 controlled synthetic testbed，并称它可以扩展到 broader domains、longer collaboration histories 和 runtime authorization defenses。
• Conclusion 的 Future work：应考察更广领域、更长协作历史，以及在执行全程强制 authorization 的 runtime defenses。

实验覆盖范围

• 被测对象为 OpenClaw、Hermes、Codex 与 Gemini、DeepSeek、GPT、GLM、MiniMax、Qwen 家族模型组成的 13 个配置，每个配置跑同一 208 个冻结场景（Section 4.1、Table 3）。
• 场景分为 Static112 与 Dyn96；攻击族为 user injection、indirect injection、memory poisoning、capability composition，各 52 个（Table 2）。Dyn96 的事件为 membership、role、community、relationship 四族。
• 主实验的 participant mode 为 seed，不调用参与者模型；guardrail mode 为 none（Table 13、附录 B.5）。受害者调用不覆盖 temperature、top-p、惩罚项或随机种子（附录 B.1）。
• 护栏只在 OpenClaw 与 Hermes 搭配 DeepSeek 4.1 Flash 上测试，指令只加在首轮，场景数为 208（Section 4.5）。
• 二元 PVR 的人工审计为 192 个试验、两名标注者（Section 4.2）；论文未报告标注者之间的一致性数值。语义 judge 为 deepseek-v4-flash，temperature 为 0（Table 13）。

CoSec 评测持久 LLM 智能体在多用户社区里能否同时完成正当任务并守住隐私与授权。

• 问题：智能体代表一名用户参加多个社区。历史、记忆、文件、工具和工作流可以让一处获得的信息，在另一处或对另一个参与者变得技术上可达，但当前策略仍可能禁止披露。作者称只看孤立回复会漏掉归属、来源、持久性和预期受众。
• 做法：208 个冻结场景分成固定边界的 Static112 和计分前改变成员、角色、组成或关系的 Dyn96。压力来自用户注入、间接注入、记忆投毒和能力组合。OpenClaw、Hermes、Codex 用各自原生会话执行；隐藏 oracle 与痕迹、工件判定 PVR、CCPVR、BCR 和 STCR。
• 结果：Table 3 的总体 PVR 从 OpenClaw + Gemini 3.1 Pro 的 29.33% 到 Hermes + DeepSeek 4.1 Flash 的 96.15%；Codex + GPT 5.6 Sol 为 41.35% 的 PVR 和 98.56% 的 BCR。作者称 12/13 个配置的 BCR 高于 85%。同一 Gemini 3.5 Flash 在 OpenClaw 与 Hermes 上的总体 PVR 为 52.88% 和 76.92%。能力组合的汇总 PVR 为 70.27%，社区 merge 为 72.12%。首轮护栏使 OpenClaw + DeepSeek 4.1 Flash 的 PVR 从 82.69% 降到 58.65%，Hermes 配同一模型仍为 96.15%。
• 作者结论：任务效用不意味着隐私或授权合规；同一骨干在不同 harness 上可以有不同安全表现，因此社区授权是系统属性而不是模型属性。动态失败被归为 excess permission、failed revocation、provenance confusion 和 workflow carryover。作者称提示级提醒不能替代执行过程中的授权检查。