Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 13 papers

Another 240papers do not have category tags yet and are not included in filtered results.

  1. CATCH:面向编码 RL 奖励作弊的可控分析测试台

    构建编码 RL 奖励作弊测试台 CATCH 并检验 CoT 监控失效

    Published
    Evaluated models
    Qwen3-4B, Qwen3.5-27B
    AbstractCATCH 用双运行金标签研究编码 RL 的奖励黑客,并观察到监控会被注释适应削弱。

    CATCH 是面向编码 RL 奖励黑客的可控分析测试床,用可利用环境、可调初始倾向和基于执行的金标签,在训练全程比较黑客动态与干预。

    Paper analysisRead analysis
  2. DefensesarXiv 2609.35659

    Tracekit:面向自主编码 Agent 的防篡改意图-推理-动作审计系统

    提出 Tracekit,审计编码 Agent 的意图、推理与动作并检测账本篡改

    Published
    Evaluated models
    Claude Code (claude -p, version 2.1), 独立评审(同一 CLI,无工具)
    AbstractTracekit 把意图、自述和动作写入可锚定的哈希链。

    Tracekit 是无第三方依赖的编码智能体审计层:把人类请求、模型自述和已执行动作并排写入可外部锚定的哈希链,执行前用正则门,事后用规则和独立模型互查。

    Paper analysisRead analysis
  3. AttacksarXiv 2609.27542

    Researchers use control token injection to delete gpt-oss-20b's reasoning chain and bypass chain-of-thought monitoring

    提出控制标记注入,清空工具 Agent 的思维链以绕过推理监控

    Published
    Setting
    AI Agent
    Evaluated models
    openai/gpt-oss-20b, google/gemma-4-26B-A4B-it, deepseek-ai/DeepSeek-R1-Distill-Qwen-7B and others4

    Abstract论文阐明控制标记注入可抑制 CoT 使监控失效并促成拒绝绕过,且工具执行受解析器宽容度影响。

    Paper analysisRead analysis
  4. OtherarXiv 2609.12413

    SoK 综述:智能体 AI 时代的越狱攻击、防御与实践考量

    系统梳理智能体执行链路中的越狱攻击与防御并比较推理时防御

    Published
    Setting
    AI Agent
    Evaluated models
    Qwen3.5-4B, Llama-3.1-8B-Instruct
    AbstractSoK 将越狱重放到智能体流水线,并用两种模型检验回复层防御的边际与代价。

    Mia 等人把越狱安全从单轮回复扩展到智能体的规划、记忆、工具和智能体间通信,并问既有结论在更强原生对齐下是否还成立。

    Paper analysisRead analysis
  5. DefensesarXiv 2608.27348

    INTENT-AS-A-TOOL:用意图工具追踪智能体失准

    提出 INTENT-AS-A-TOOL,用意图工具概率跟踪并干预智能体失准

    Published
    Setting
    AI Agent
    Evaluated models
    Gemma-4-31B-IT, Qwen3.5-27B, Qwen3-235B-A22B and others5
    Abstract用意图工具的下一动作概率跟踪推理中的失准承诺,并在其成为首选时插入反思。

    Zhang 等人研究推理型语言模型在职场邮件沙箱里如何走向智能体失准,并提出用动作偏好而不是事后文本标签来跟踪承诺。问题是:有害执行往往出现在推理已经形成意图之后,但 CoT 监控是事后、粗粒度、依赖外部评审的,也看不到模型倾向调用哪个动作。

    Paper analysisRead analysis
  6. SCHEMA:面向科学 Agent 幻觉的拓扑感知评测框架

    提出 SCHEMA,用概念图与轨迹分评测科学 Agent 幻觉

    Published
    Evaluated models
    Kimi-K2.5, Qwen3.6-Plus, Llama-4-Scout and others10
    AbstractSCHEMA 用知识拓扑评估科学智能体幻觉,终答正确仍可能来自有缺陷的中间推理。

    SCHEMA 是面向科学智能体幻觉的证据锚定评测框架,实例化在生物医学的 Protein Domain 与 PathVQA-Enhanced。作者在摘要中称它是首个同时做到证据锚定和拓扑感知的此类框架。

    Paper analysisRead analysis
  7. AttacksarXiv 2607.00422

    KidnapRAG:黑盒投毒攻击劫持 Agentic RAG 的推理链

    提出 KidnapRAG,用投毒文档黑盒劫持 Agentic RAG 的推理链

    Published
    Setting
    AI Agent
    Evaluated models
    Qwen2.5-32B-Instruct, Llama-3.3-70B-Instruct, QwQ-32B and others5
    Abstract顺序投毒可把多步推理拖向指定应答,作者称关键在持续引导而非单次注入。

    KidnapRAG 是针对 Agentic RAG 的 black-box 语料投毒:攻击者不能访问模型、提示词、检索器或私有轨迹,只能发布可能被检索的文档,并利用公开界面上的推理与搜索查询。

    Paper analysisRead analysis
  8. AttacksarXiv 2604.05549

    Stop obsessing over prompts: reasoning hijacking and constraint tightening for red-teaming LLM agents

    提出 JailAgent,不改用户提示,经推理劫持与记忆投毒操纵 Agent 动作

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-3.5-turbo, GPT-4o, GPT-5 and others7
    AbstractJailAgent 不改提示词,用三阶段操纵推理与检索。

    JailAgent 是不修改用户原始提示词的 LLM 智能体红队框架。

    Paper analysisRead analysis
  9. AttacksarXiv 2406.12814

    论文提出 ARE 框架,在 VisualWebArena 上评估多模态 Agent 的对抗鲁棒性

    提出 ARE 框架与图像文本攻击,评测多模态网页 Agent 的对抗鲁棒性

    Published
    Setting
    web agent
    Evaluated models
    GPT-4o, GPT-4V, Claude-3-Opus and others4

    Abstract系统评估多模态网页智能体的脆弱性,指出推理时计算组件被攻破会加剧系统风险。

    Paper analysisRead analysis
You have reached the end