Select any value within a category; different categories must all match. Counts include the other filters you have selected.Another 265papers have no tags yet and are not included in filtered results.

System type：LLM applications System component：MCP and skills System component：Guardrails and judges Clear all

Another 265papers do not have category tags yet and are not included in filtered results.

AttacksarXiv 2610.12292Oct 9
The paper proposes an option channel attack: changing one option label can make an agent guardrail allow a prohibited operation
Proposing an option channel attack that renames option labels so that agent guardrails allow prohibited operations
arXiv
2610.12292
Published
Oct 9
Layer
Application layer
Setting
LLM applications
Attacker
Black-box
Evaluated models
LAYA-TD, LAYA-EN, LAYA-ML and others5
- AttacksDetection evasion
- ComponentGuardrails and judges
AbstractThe authors' evaluation indicates that typed models should not serve as final safety arbiters; they are susceptible to off-policy text and option name manipulation, and confidence filtering cannot resist attacks.
Paper analysisRead analysis
Evaluation and benchmarksarXiv 2610.10947Oct 8
RH-Detect：统一的奖励作弊检测基准发布
构建统一奖励作弊检测基准 RH-Detect 并评测零样本检测器
arXiv
2610.10947
Published
Oct 8
Layer
Application layer
Setting
LLM applications
Evaluated models
Qwen 3.5 Flash, Gemini 3.1 Flash Lite, Grok 4.1 Fast and others7
- DefensesDetection and filtering
- RiskReward hacking
- ComponentGuardrails and judges
Paper analysisRead analysis
AttacksarXiv 2610.10742Oct 8
BRANCH 方法绕过 6 套多扫描器护栏系统
提出 BRANCH 方法，用分支搜索绕过多扫描器护栏
arXiv
2610.10742
Published
Oct 8
Layer
Application layer
Setting
LLM applications
Attacker
Black-box
Evaluated models
Meta Llama Guard 3 8B, Meta Llama Guard 7B, Meta Llama Guard 3 1B and others18
- AttacksDetection evasion
- TechniqueAutomated search
- ComponentGuardrails and judges
Paper analysisRead analysis
Evaluation and benchmarksarXiv 2610.08571Oct 6
RAG-PIBench：可信 RAG 系统中提示注入检测的泄漏感知基准
提出 RAG-PIBench，评测 RAG 上下文中提示注入检测器
arXiv
2610.08571
Published
Oct 6
Layer
Application layer
Setting
LLM applications
Evaluated models
DistilBERT-base-uncased, DeBERTa-v3-base, MiniLM
- DefensesDetection and filtering
- AttacksPrompt injection
- ComponentRAG
Paper analysisRead analysis
Evaluation and benchmarksarXiv 2610.07519Oct 6
论文提出针对手语翻译与儿童安全过滤交叉地带的部署前审计框架
提出手语转文本接入儿童安全过滤的部署前审计协议
arXiv
2610.07519
Published
Oct 6
Layer
Application layer
Setting
LLM applications
- DefensesDetection and filtering
- ComponentGuardrails and judges
Abstract作者提议聋人知情的部署前审计，以检查手语转文本是否改变儿童安全决策。
手语儿童到达基于文本的儿童安全机制时，机制看到的是机器翻译，不是儿童所做的手语。作者要解决的是：这条边界在部署前应如何审计。
Paper analysisRead analysis
DefensesarXiv 2610.05870Oct 5
MBZUAI 提出可校准的真实图像认证方法
提出校准重合成方法，以生成器反演保真度认证真实图像并防御对抗扰动
arXiv
2610.05870
Published
Oct 5
Layer
Application layer
Setting
LLM applications
Attacker
White-box
- DefensesDetection and filtering
- AttacksDetection evasion
- ComponentImage generation
Abstract论文提出基于反演保真度与阈值校准的健全认证框架，在对抗扰动下维持错误率界限，并指出真实内容可认证性随生成器演进而萎缩。
Paper analysisRead analysis
DefensesarXiv 2610.04412Oct 3
论文研究 LLM 数字孪生参与增强民主时的提示注入脆弱性
提出检测、结构化与 GSPO 流程，降低共识生成的提示注入错位
arXiv
2610.04412
Published
Oct 3
Layer
Application layer
Setting
LLM applications, Multi-agent systems
Evaluated models
LLaMA-2 7B, LLaMA-3 8B, GPT 3.5 Turbo and others14
- DefensesDetection and filtering
- AttacksPrompt injection
- ComponentGuardrails and judges
Abstract三章依次做个体偏好预测、政党知识图谱审议，以及共识生成对提示注入的脆弱性与一条防御流程。
这是一篇把 LLM 数字孪生放进增强民主的博士论文，分个体表示、政党聚合和共识生成的提示注入三章。
Paper analysisRead analysis
DefensesarXiv 2610.02432Oct 2
论文提出 LLM 输入扰动鲁棒性度量，并发布 ASA 攻击与 AttestMCP 防护
提出 ASA 与 AttestMCP，度量并降低 LLM 对输入序列扰动的敏感
arXiv
2610.02432
Published
Oct 2
Layer
Application layer
Setting
LLM applications, AI Agent
Attacker
Black-box
Evaluated models
Gemma-3-27B-Instruct, Gemma-3-4B-Instruct, Llama-3.2-3B-Instruct and others12
- DefensesDetection and filtering
- AttacksDetection evasion
- ComponentGuardrails and judges
Paper analysisRead analysis
Analysis and theoryarXiv 2610.01535Oct 1
论文：安全路由评测在分布偏移下失效，基线选取偏差被低估
揭示安全路由评测在分布偏移下的虚假下限与选择偏差
arXiv
2610.01535
Published
Oct 1
Layer
Application layer
Setting
LLM applications, AI Agent
Evaluated models
claude-3-5-sonnet, claude-3-opus, claude-sonnet-4-6 and others9
- ComponentGuardrails and judges
Abstract论文揭示安全路由评估在分布偏移下的虚假下限，指出防御重心应转向外部动作级强制。
Paper analysisRead analysis
Evaluation and benchmarksarXiv 2610.01218Oct 1
AGO AI Quality Gate：面向 RAG 的证据优先发布决策框架
提出面向 RAG 的证据优先发布框架 AGO，并评测评审 adherence 判别
arXiv
2610.01218
Published
Oct 1
Layer
Application layer
Setting
LLM applications
Evaluated models
gpt-4o, gpt-4.1-nano
- ComponentGuardrails and judges
AbstractAGO 把缺失证据和评审误差写成显式发布状态，并要求按领域验证评审。
AGO 是部署在企业 RAG 评估业务中的自托管发布门控，用来决定一个版本应放行、人工复核还是拦截。
Paper analysisRead analysis
Evaluation and benchmarksarXiv 2609.39229Sep 30
RAIM：用廉价小模型聚合替代前沿模型做幻觉检测
提出 RAIM，用交叉拟合堆叠聚合廉价评审检测幻觉
arXiv
2609.39229
Published
Sep 30
Layer
Application layer
Setting
LLM applications
Evaluated models
Llama, Qwen, Mistral and others10
- DefensesDetection and filtering
- RiskHallucination and fabrication
- ComponentGuardrails and judges
Abstract十个廉价评审的堆叠在可采纳区间接近 Sonnet，代价主要是一次域内校准。
Paper analysisRead analysis
Evaluation and benchmarksarXiv 2609.37863Sep 29
MIST 压力测试：无关图像会扰动 VLM 评判者标签
提出 MIST 压力测试，检验无关图像是否扰动 VLM 评判者标签
arXiv
2609.37863
Published
Sep 29
Layer
Prompt layer
Setting
LLM applications
Evaluated models
GPT-5.2, Gemini 3.1 Flash-Lite, Gemini 3.5 Flash and others13
- ComponentVision
Abstract有图就改标签，图的内容却不告知 judge，裁决绑定配置。
作者用MIST问：VLM 代替人类标注时，可替代性裁决会不会被指南要求忽略的图像改写。
Paper analysisRead analysis
OtherarXiv 2609.33731Sep 28
HTN 规划作为多服务器 MCP 工具编排的协调层
提出 HTN 协调层，在执行前固定多服务器 MCP 工具顺序
arXiv
2609.33731
Published
Sep 28
Layer
Application layer
Setting
LLM applications
- ComponentMCP and skills
Abstract作者提供可重放的 MCP 协调架构，但未用实测基线量化相对 LLM 的成本改善。
HTN 规划在这里承担跨服务器工具协调层的角色。作者关注 MCP 宿主逐步选择工具时的复现、推理成本和执行前检查问题。
Paper analysisRead analysis
Evaluation and benchmarksarXiv 2609.33401Sep 27
论文评估 System One 模型在 Agent 安全决策中的可靠性、校准与选择性自动化
评测 System One 模型对 Agent 安全输入的分类可靠性与校准
arXiv
2609.33401
Published
Sep 27
Layer
Prompt layer
Setting
LLM applications
Evaluated models
Jev 1.13, Laya, English checkpoint, Decider, approximately 2B and others4
- AttacksPrompt injection
- ComponentGuardrails and judges
Abstract离线评测表明，安全判定的总体分数和校准不能代替分组误差和带预算的自动决策检查。
Liu 离线评测 System One 模型能否为智能体安全输入给出可自动化的概率决策。问题是分类是否可靠，以及概率能否在指定漏检和误拦上限内支持放行、拦截或复核。
Paper analysisRead analysis
Analysis and theoryarXiv 2609.31857Sep 26
LLM Judge 验证在稀疏重叠下的问题：从推理到设计
分析稀疏重叠下 LLM judge 与人类一致性的验证误差并规划重叠分配
arXiv
2609.31857
Published
Sep 26
Layer
Application layer
Setting
LLM applications
Evaluated models
Gemini Flash, Gemini Pro, GPT-4o-mini and others10
- ComponentGuardrails and judges
Abstract稀疏重叠主导 judge 验证的错误决策。
这篇工作研究标注重叠很稀时，怎样验证 LLM judge 是否足以替代人类，并规划重叠该留多少、怎么分配。。部署前的标准做法是在校准集上比较 judge 与人类的一致性。
Paper analysisRead analysis
Analysis and theoryarXiv 2609.30467Sep 25
研究提出医疗答案事实核查失败分类法，指出检索后验证范式的固有局限
归纳开放式医学长答案检索核验的失败分类
arXiv
2609.30467
Published
Sep 25
Layer
Application layer
Setting
LLM applications
Evaluated models
GPT-5.4, Mistral Small 3 (24B-Instruct-2501), Mistral Small 4 (119B-2603) and others8
- ComponentRAG
Abstract作者把开放式低召回归为证据是否在库、能否被定位，以及与声明是否对齐。
这篇工作诊断开放式医学事实核验的 retrieve-then-verify 管线断在哪里，而不是提出新的核验器。
Paper analysisRead analysis
AttacksarXiv 2609.29130Sep 24
ClaimMirage：域名中的自我声明如何改变 LLM 威胁判断
提出 ClaimMirage，以域名自述声称改变 LLM 威胁告警判断
arXiv
2609.29130
Published
Sep 24
Layer
Application layer
Setting
LLM applications
Evaluated models
Llama 3.3 70B Instruct-Turbo, Gemma 3 4B it, Gemma 3 12B it and others5
- AttacksDetection evasion
- ComponentGuardrails and judges
Abstract作者称自述声称可增减告警。
Paper analysisRead analysis
OtherarXiv 2609.18120Sep 16
PentestChain：面向免费层 LLM 的成本感知 MCP 编排自动化渗透测试框架
提出成本感知的 MCP 编排框架，用确定性利用图与免费层模型做自动化渗透测试
arXiv
2609.18120
Published
Sep 16
Layer
Application layer
Setting
LLM applications
- RiskDangerous capabilities
- ComponentMCP and skills
Abstract确定性利用图加免费层级联在十次自建运行上测得付费成本为零。
PentestChain 是一个十阶段、经 MCP 暴露的自动渗透框架，用确定性利用图把 7B 本地模型挡在利用关键路径之外，并把每次交战的美元成本当作实测指标。。
Paper analysisRead analysis
Evaluation and benchmarksarXiv 2609.15017Sep 14
PIDS-Bench：在过度防御、混淆与分布偏移下评测提示注入检测器
提出 PIDS-Bench，评测提示注入检测器在过度防御与分布偏移下的表现
arXiv
2609.15017
Published
Sep 14
Layer
Application layer
Setting
LLM applications
Evaluated models
TF-IDF + logistic regression, DistilBERT, DeBERTa-v3-FT and others7
- DefensesDetection and filtering
- AttacksPrompt injection
- ComponentGuardrails and judges
AbstractPIDS-Bench 显示高分布内 F1 仍会过度拦截外部来源的安全相关良性输入。
PIDS-Bench 是一个冻结的检测器级基准，用来在固定阈值下同时看提示注入检测和良性误报。
Paper analysisRead analysis
DefensesarXiv 2609.13601Sep 12
Mind the Gap：检测 DAO 治理中的描述-执行不匹配攻击
提出 DEMI 检测框架，用生命周期模拟和证据映射发现 DAO 提案错配
arXiv
2609.13601
Published
Sep 12
Layer
Application layer
Setting
LLM applications
Evaluated models
GPT-4o, GPT-4o-mini, GPT-4.1 and others9
- DefensesDetection and filtering
- ComponentGuardrails and judges
Abstract作者把 DAO 错配检测做成执行前审计层，主张逐动作证据映射与风险复核是关键。
这是面向 DAO 治理的执行前错配检测研究：攻击者可以提交看似合理的描述，但让获批载荷执行另一种行为，投票描述并不直接约束代码。
Paper analysisRead analysis

AI Safety Daily

Read the latest issueOne issue per day, updated as events develop