10月8日 · 周四

AI 控制 · 论文

找到 2 篇

筛选2

模型自身风险

欺骗与谋划1

影响

可用性与可靠性1 监督失效1

系统形态

模型与 API1 AI Agent4 编程 Agent1 网页与电脑操作1

层

模型层1 应用层1

系统组件

记忆1 监控器1

被测模型厂商

同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 23 篇还没打标签，不在筛选结果里。

系统形态：模型与 API 系统形态：网页与电脑操作话题：AI 控制清除全部

另有 23 篇论文还没打上分类标签，暂不在筛选结果里。

评测与基准arXiv:2608.18066 · 8月19日
Salesforce AI Research 重测自改进 Agent
重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳
网页与电脑操作测试GPT-5-mini、Gemini-2.5-Pro、GPT-OSS-120B 等 4 个应用层
- 记忆
摘要论文揭示了基于记忆的自改进智能体在多次运行和乱序下的脆弱性，并指出规约不完备是诱发退化的关键瓶颈。
这篇论文是对基于文本记忆的自我改进智能体在复杂环境中评估可靠性的实证研究。
完整解读
评测与基准arXiv:2609.36490 · 9月29日
LLM 仅凭监控器历史判定即可学会规避潜在空间监控
证明模型仅凭监控判定反馈即可编辑激活规避潜空间监控
模型与 API测试llama-3.1-8b-instruct、gemma-3-27b-instruct、qwen3-14b 等 4 个模型层
- 欺骗与谋划
- 监控器
摘要论文指出 LLM 可仅凭历史二元反馈推断潜空间监控规则并通过激活编辑实现规避，提出潜空间安全监控需应对交互式规避。
这篇论文研究了语言模型如何仅利用多轮上下文中的二元反馈信息规避内部潜空间监控器。
完整解读

已经到底了