评测与基准arXiv 2610.03448
研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现
重评提示注入检测器，检验基准分数对智能体部署的预测力
- arXiv
- 2610.03448
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个
摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。
- 评测与基准arXiv 2609.13556
Llama-3.1 医学微调模型在专业术语理解上为何不如通用版：一项机制可解释性对比分析
提出 JU 与 JI 基准，并用组件分解定位术语知识
- arXiv
- 2609.13556
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.1-8B-Instruct、Llama-3.1-8B-UltraMedical
摘要医学微调的 UltraMedical 在两项术语任务上不如 Instruct，偏差来自少数组件被加重。
作者用两项术语基准和组件分解，比较通用与医学微调的 Llama-3.1-8B 如何编码领域术语。。
已经到底了