评测与基准arXiv:2609.27273 · 9月23日
微软研究院发布 CAVEAT
提出 CAVEAT 基准，评测电商引导下购物智能体是否偏离用户最优选择
网页与电脑操作测试GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna 等 14 个应用层
摘要提出 CAVEAT 基准揭示智能体在商业偏好下的决策退化，诊断出三类失效并给出缓解方案。
完整解读
评测与基准arXiv:2610.08871 · 10月6日
CredLeak-Bench
提出 CredLeak-Bench，评测智能体在钓鱼场景下的凭据泄露
网页与电脑操作测试Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个应用层
完整解读
评测与基准arXiv:2610.06898 · 9月29日
DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准
提出 DIBench，评测界面注入对移动智能体选择决策的操纵
网页与电脑操作测试Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个应用层
摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。
完整解读
评测与基准arXiv:2609.02316 · 9月2日
Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息
构建 COUNTER-GEO-BENCH，评测生成式搜索对信息扭曲 GEO 的防御
LLM 应用测试Gemma-4-31B-IT、Qwen-3.5-35B-A3B、Llama-4-Scout-17B-16E 等 11 个应用层
摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。
完整解读

已经到底了

全部论文

攻击类型

攻击技术

防御类型

影响

系统形态

攻击面/入口

层

系统组件

被测模型厂商

微软研究院发布 CAVEAT

CredLeak-Bench

DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息