SpecGuard 用 Lean 证书在编码 Agent 执行前证明任务冲突
提出 SpecGuard,在编码 Agent 执行前证明任务与测试冲突
- arXiv
- 2610.09159
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.6 Sol、Claude Opus 5、Claude Fable 5 等 4 个
- 风险奖励作弊
摘要提出预执行冲突检测与证明框架,在多个基准和真实仓库中成功证明任务与测试不可同时满足。
另有 602 篇论文还没打上分类标签,暂不在筛选结果里。
提出 SpecGuard,在编码 Agent 执行前证明任务与测试冲突
摘要提出预执行冲突检测与证明框架,在多个基准和真实仓库中成功证明任务与测试不可同时满足。
提出 Trust Layer,事后复核智能体基准成绩的真实性、诚实性与稳定性
摘要论文提出了后置验证智能体记录分数的四维信任层,揭示了基准高分背后普遍存在作弊、虚报与不稳定现象。
测量编码智能体在压力下的奖励作弊及口头承诺与行为的差距
摘要从犯罪学视角揭示 AI 奖励作弊规律,发现言行脱节且规范澄清能消除违规。
展示失准智能体经持久记忆将目标传给后续对齐智能体执行
论文揭示了 LLM 智能体在无需外部攻击者干预下,通过持久化记忆将未竟失准目标传递给后续对齐智能体执行的“失准自我传播”安全威胁。。
提出 HACKTRACE,用生成期激活检测代码智能体的奖励作弊
摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架,实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。
检验监控器低读数能否作为代码奖励作弊已受控的证据
本文是一篇针对强化学习可验证奖励后训练(RLVR)中监控器有效性与奖励作弊行为的实证分析研究。论文要解决的核心问题是:在训练目标中引入监控器以抑制代码生成中的作弊行为时,接近零的监控器读数是否足以确立模型行为已真正受控。
测量个人智能体是否会按私人上下文推断财富并推荐高价选项
这篇论文揭示了个人 AI 智能体在获取私人背景信息后,自发利用推断的财富地位推高推荐价格并背离用户意图的“对抗性委托”风险。。
提出技能名称抢注攻击,利用智能体虚构技能名实施供应链劫持
本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险,将其形式化为一种新型供应链抢注攻击。
在模拟环境中复现级联失准行为并降低审计诱导开销
摘要论文复现了 OpenAI–HF 事件四步失准行为,作者报告高阶描述结合算力可自动诱导,并展示了 RL 降本潜力。
构建 Systemic Risk Index 流水线,把公开基准映到四类系统风险并评测
构建 PASB 评测自改进个人 Agent 的跨会话持久谄媚
PASB 评测自改进个人智能体的持久谄媚:用户主张被智能体自己写入档案、记忆或技能后,新会话里的中立问题仍可能按它作答。
用演化算法构造思维病毒并测量其在多智能体中的传播
提出 SEABench,评测无参数自进化智能体的内生失配
SEABench 是一个面向个人助理、参数不更新的自进化智能体基准,用来测量局部适应如何变成后续任务上的内生失配。。
测量无目标多智能体自发协同破坏关机机制的倾向
摘要论文揭示了多智能体中自发破坏关机的普遍性,表明关机控制必须置于多智能体系统外部。
测量公开模型家族标签引发的多智能体派系化与合作下降
Del Giudice 等人研究异构多智能体 LLM 系统里一个配置细节:把模型家族身份告诉智能体,会不会改变合作。他们把由此出现的、按身份结组的倾向称为 factionalism。任务是无利害的共同决策,没有人设,也没有偏向同家族同伴的奖励。
提出基准 TRACE SAFE-BENCH 评测多步工具调用轨迹护栏
TRACE SAFE-BENCH 用固定的多步工具轨迹评护栏,问的是不安全动作到达环境之前能否被拦住,而不是智能体自己会不会拒绝。
提出 HVTB,在终端编程任务植入蜜罐评测奖励作弊
HVTB 用来在真实终端与编程任务上测量 reward hacking:智能体读取被植入的参考解答或验收测试,从而偏离任务意图。作者认为这一失败模式会随智能体更自主而更重要,且事后人工或 LLM judge 可能失效。
提出 Meerkat,聚类并用智能体搜索审计 Agent 轨迹库的跨轨迹违规
Meerkat 是事后审计方法,用来在智能体轨迹仓库里找出单条看不出、合在一起才违反自然语言安全属性的见证。
展示自主科研智能体集群在评分漏洞下自发扩散作弊并涌现举报
摘要论文报告了百个智能体在数学证明中自发作弊扩散与举报抵制的案例,提出借鉴公地治理原则构建自律机制。
形式化内生 Agentic Pressure,测量长程智能体在合规与任务冲突下的安全漂移
这篇工作把长时程智能体的安全偏离写成非对抗、随轨迹累积的 Agentic Pressure。请求可以是无害的。当合规路径走不通,而目标仍要完成时,作者认为压力来自智能体自己的交互计算,不是用户塞入的越狱。