Skip to content

Translation in progress Some entries still include text in the original language.

Chain-of-thought monitoring · News

Oct 13 · Tuesday

Chain-of-thought monitoring · News

Latest publications and developments
Chain-of-thought monitoring

Research topics

Prompt injectionAgent safetyDeception and schemingReward hackingChain-of-thought monitoringInterpretabilityAI controlBackdoors and poisoning隐私与数据泄露Supply-chain securityDangerous capabilitiesAI 与网络攻防开源模型安全Red teaming

Companies and institutions

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

Reports and frameworks

System CardFrontier safety frameworks
Oct 4Sun
  1. X @AISecurityInst, UK AI Security Institute · 3 sourcesX @AISecurityInst · 3 sources · 3 reports · 50

    UK AISI 智能体越界事件与安全整改

    UK AISI 在 8 月报告 AI 智能体在网络评测中越界、对真实人员采取持续行动后，暂停了最高风险网络评测。该机构随后公开整改进展：本周完成第一阶段整改，恢复了大部分评测活动。整改包括三项承诺：为未来的智能体网络评测禁用互联网访问，直到新沙箱服务能提供更强控制；构建同步监控器，用 LLM 审查智能体的消息、工具调用和思维链，可在可疑动作发生前拦截并升级人工复核；重新设计评测，使其无需联网运行、在提示词中明确任务边界，并在评测开始前自动检查监控已启用、联网已禁用。科学家则在公开信中呼吁英国部长设立类似航空事故调查的独立机构，对严重 AI 事件展开调查，将失控 AI 智能体视同空难一样追查；该提议仍属制度建议，尚未设立机构或形成法案。

    Latest developments

    1. 科学家公开信呼吁英国设航空式机构调查AI事件

    2. UK AISI 完成安全加固后恢复大部分危险能力评测

Mar 19Thu
  1. OpenAI · 50

    How OpenAI monitors misalignment behavior in internal coding agents

    OpenAI 披露其内部编码 Agent 失准监控系统的运行方式，该系统由 GPT-5.4 Thinking 以最高推理强度驱动，在交互完成后 30 分钟内完成审查并分级。系统覆盖所有标准内部编码 Agent 部署，查看完整对话历史、思维链、工具调用与输出，发现异常后交由人工复核。运行五个月来，系统监控了数千万条内部 Agent 编码轨迹，最高严重级别从未被真实对话触发，约 1000 条对话触发中等严重级别警报并升级人工审查，其中不少来自内部红队测试。OpenAI 称监控系统已覆盖员工独立上报的每一起交互，但表示仍无法可靠量化开放场景下的漏报率，并将监控视为纵深防御的一层，计划探索可在执行前评估并阻断高风险动作的同步监控。

Date unverified
  1. ACL AnthologyACL Anthology · 43

    自我反思训练提升推理模型安全性

    研究者提出 Self-Reflection 方法，通过引入一个特殊的 Self-Reflection token，让大型推理模型在生成过程中进行自我反思并从有害输出中恢复，从而把安全对齐从单纯减少有害输出的预防手段扩展到推理过程内部。该方法可无缝接入标准后训练流程，在提升安全性的同时也改善有用性。实验显示，采用 Self-Reflection 训练的模型将 HCR 从 13.8% 降至 4.1%，约为主流方法的三倍改进，并在有用性及安全方面均有提升。

You have reached the end