评测与基准arXiv 2609.23980
斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现
提出 MobileCybench，用可执行探针评测编程智能体的漏洞发现与利用
- arXiv
- 2609.23980
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- OpenCode/GPT-5.5、OpenCode/GPT-5.6-Sol、OpenCode/GLM-5.2 等 5 个
- 风险危险能力
- 评测与基准arXiv 2609.03221
FairMedAgent：临床 LLM 智能体公平性审计中的随机噪声下限
用 FairMedAgent 测量临床智能体在输入不变时的动作不稳定性下限
- arXiv
- 2609.03221
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- claude-haiku-4-5、claude-sonnet-5、llama3.1:8b-instruct 等 7 个
摘要先测同一输入下的动作不一致率，再用它解读人口学翻转率。
FairMedAgent 把临床智能体公平审计里的采样噪声单独量出来：输入不变时动作仍会改变，这个比率就是解读翻转率的下限。。
- 其他arXiv 2609.39982
Mid-Harness：在模型与 Harness 之间扩展终端智能体的动作采样
提出 Mid-Harness，在执行前验证并选择终端智能体的候选动作
- arXiv
- 2609.39982
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- TMAX-9B、TMAX-4B、TMAX-27B 等 8 个
摘要Mid-Harness 在执行前选择候选动作。
Mid-Harness 在不改生成器和执行 harness 的前提下，于二者之间做动作级测试时计算，用来研究终端智能体里“多采样、再验证”何时提高轨迹成功。
- 其他arXiv 2609.18120
PentestChain：面向免费层 LLM 的成本感知 MCP 编排自动化渗透测试框架
提出成本感知的 MCP 编排框架，用确定性利用图与免费层模型做自动化渗透测试
- arXiv
- 2609.18120
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- qwen2.5:7b (Ollama, local)、OpenRouter (free-tier)、Cerebras (free-tier)
摘要确定性利用图加免费层级联在十次自建运行上测得付费成本为零。
PentestChain 是一个十阶段、经 MCP 暴露的自动渗透框架，用确定性利用图把 7B 本地模型挡在利用关键路径之外，并把每次交战的美元成本当作实测指标。。
已经到底了