Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 20 papers
Filter3

Model risks

Inappropriate refusal4

Impact

Harmful content52Unauthorized actions15Data and privacy leaks14Output manipulation57Availability and reliability20Oversight failure20Increased misuse capability7

System type

Models and APIs13LLM applications3AI Agent23coding agent7

Layer

Prompt layer3Model layer9Application layer7
Select any value within a category; different categories must all match. Counts include the other filters you have selected.Another 240papers have no tags yet and are not included in filtered results.
Impact：Availability and reliabilitySystem type：Models and APIsSystem type：coding agentClear all

Another 240papers do not have category tags yet and are not included in filtered results.

  1. Evaluation and benchmarksarXiv 2610.12758

    DistressBench: Evaluating multi-dimensional crisis support in large language models

    Introduces DistressBench, evaluating models' multidimensional support in crisis conversations

    arXiv
    2610.12758
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    Muse Spark 1.2, Muse Spark 1.3, Muse Glimmer 30B and others20
    AbstractThe model is more restrained and acts less.

    DistressBench uses SSH dialogues written and revised by clinical personnel, and evaluates how much necessary care general chat models deliver according to weighted atomic criteria, rather than whether they refuse. When users disclose suicidal ideation or self-harm to a chat model, the authors consider the expected behavior to be recognizing the crisis, calibrating empathy, de-escalating, and referring to human help. Refusal-based evaluations cannot detect failing to act after recognizing the crisis.

    Paper analysisRead analysis
  2. Evaluation and benchmarksarXiv 2610.11647

    Too many skills: how co-installed skills conflict in coding agents

    评测编码 Agent 中相似技能共同安装对已装技能核心功能的替代

    arXiv
    2610.11647
    Published
    Layer
    Application layer
    Setting
    coding agent
    Evaluated models
    claude-sonnet-4-6, claude-haiku-4-5-20251001, claude-opus-5 and others6
    Abstract冲突藏在任务成功后面。

    作者对共同安装、做同一件事的良性 skill 做实证研究，用核心功能是否还在，而不是任务过不过，来看冲突。。

    Paper analysisRead analysis
  3. Evaluation and benchmarksarXiv 2610.11599

    研究：大语言模型版本更替削弱 AI 辅助科研写作筛查

    测量 LLM 版本更替对科学摘要 AI 改写检测器的影响

    arXiv
    2610.11599
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Evaluated models
    RoBERTa-base, Pangram
    Abstract作者称检测器的基准准确率只是临时的，每次发布都要连同更早版本重验。

    作者量化的是：科学摘要的 AI 改写筛查，在 LLM 版本不断更换、而人类摘要误标必须少见时，会怎样变。问题来自期刊和会议已经按分数阈值筛查投稿，但基准多停在评估时可得的版本上。

    Paper analysisRead analysis
  4. Evaluation and benchmarksarXiv 2610.10276

    PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

    提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

    arXiv
    2610.10276
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    Qwen2.5-3B-Instruct, Qwen2.5-14B-Instruct, gemma-3-4b-it and others8

    Abstract论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。

    Paper analysisRead analysis
  5. Evaluation and benchmarksarXiv 2610.09944

    AgentTime 基准测试智能体时长遵循能力，GPT-6 Astra 出现 14 次做完后休眠

    提出 AgentTime 基准，评测智能体按时长工作与估时能力

    arXiv
    2610.09944
    Published
    Layer
    Application layer
    Setting
    coding agent
    Evaluated models
    Fable 5.1, GPT-5.6 Sol, GPT-6 Astra and others7
    Abstract作者把完成任务和管理所用时间分开。

    AgentTime 是对智能体时间自控的评测：预测任务耗时、按要求时长工作、事后估计已用时间。

    Paper analysisRead analysis
  6. Evaluation and benchmarksarXiv 2610.08662

    ParanoiaEval：编码智能体不必要风险处置评测基准发布

    提出 ParanoiaEval 评测编码智能体的不必要风险处置

    arXiv
    2610.08662
    Published
    Layer
    Application layer
    Setting
    coding agent
    Evaluated models
    Opus-5, Sonnet-5, Sonnet-4.6 and others8
    Abstract作者用证据受控任务对评测风险处置，称其普遍、独立于任务能力并降低满意度。

    作者提出 ParanoiaEval，并称它是编码智能体风险处置能力的首个统一基准。要解决的问题是：证据已经确定风险应如何处置之后，智能体仍可能扩大验证、增加保护或备份，而现有评测要么只看功能正确性，要么把相关行为拆开研究。做法是把 NIST 的 ATMA 落到仓库任务。

    Paper analysisRead analysis
  7. Evaluation and benchmarksarXiv 2610.06193

    SWE-CC 基准：编码 Agent 功能正确仍违反 43.1% 仓库贡献规范

    提出 SWE-CC 基准，评测编码 Agent 对仓库贡献策略的遵守

    arXiv
    2610.06193
    Published
    Layer
    Application layer
    Setting
    coding agent
    Evaluated models
    GPT-5.6 Luna, Gemini 3.7 Flash, DeepSeek V4 Flash 0731 and others4
    AbstractSWE-CC 中功能正确仍可能违规。

    SWE-CC 评测编码智能体是否遵守仓库贡献策略，而不只看补丁能否通过测试。

    Paper analysisRead analysis
  9. Evaluation and benchmarksarXiv 2610.01428

    SAGO：从稳定性而非准确率出发的多维度大模型泛化评测

    提出 SAGO，以语义等价变体上的逐例行为稳定性评测大模型泛化

    arXiv
    2610.01428
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    Llama-3.2-3B-Instruct, Llama-3.1-8B-Instruct, Gemma-2B-IT and others11
    AbstractSAGO 用多轴逐例稳定性替代聚合准确率，十一个模型都未均匀泛化，且排名会随数据集改变。

    SAGO 把 LLM 泛化改写成同一目标与上下文在语义等价表达下的逐例行为稳定性，而不是单一基准上的聚合准确率。。

    Paper analysisRead analysis
  10. Evaluation and benchmarksarXiv 2609.38106

    剪枝提效却牺牲公平：剪枝语音 LLM 中的群体差异

    测量剪枝对语音 LLM 群体转写公平性的影响

    arXiv
    2609.38106
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    Whisper Small (12 layers), Whisper Medium (24 layers), Whisper Large-v2 (32 layers)

    Abstract剪枝后的 Speech-LLM 不能只看总体 WER：Fair-Speech 上族群差扩大，作者建议看最差组。

    Paper analysisRead analysis
  11. Evaluation and benchmarksarXiv 2609.36931

    研究发现系统提示中隐藏日期影响 LLM 评测结果

    测量系统提示中隐藏日期对评测分数与排名的影响

    arXiv
    2609.36931
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Evaluated models
    Llama 3.1 Instruct (8B), Llama 3.1 Instruct (70B), Gemma 3 Instruct (4B) and others10
    Abstract只改隐藏日期就足以改变分数和排名。

    这篇工作量化一个评测协议问题：系统提示词里用户看不见、且逐日变化的当前日期，会不会单独改变 LLM 分数。

    Paper analysisRead analysis
  12. Evaluation and benchmarksarXiv 2609.35312

    MemoReason 基准

    提出 MemoReason 基准，测量参数记忆对上下文推理的影响

    arXiv
    2609.35312
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    GPT-OSS-20B, GPT-OSS-120B, OLMo-3-7B-Think and others9
    Abstract配对的虚构替换显示熟悉度影响推理，但模型很少直接抄回事实答案。

    MemoReason 用结构相同的事实–虚构文档配对，测量参数记忆如何影响大模型的上下文推理。

    Paper analysisRead analysis
  14. Evaluation and benchmarksarXiv 2609.03511

    多语言 LLM 在语义保持结构扰动下的结构敏感性：IndicReStruct 基准与机制可解释性分析

    构建 IndicReStruct，评测保语义结构扰动下的多语言数学推理

    arXiv
    2609.03511
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    Gemma-2-9B-it, Gemma-2-27B-it, GPT-OSS-20B and others7
    Abstract保语义的重排和语态变化会降低印地语与马拉雅拉姆语数学推理准确率，轻量微调未能补上。

    IndicReStruct 用保语义的成分重排和语态变换，检验多语言 LLM 的数学推理是否依赖表层语序。

    Paper analysisRead analysis
  15. Evaluation and benchmarksarXiv 2609.02095

    READY：面向企业 Agent 部署的可靠性资格认证框架

    提出 READY 框架，认证企业 Agent 在人工监督下能否达到规定可靠性

    arXiv
    2609.02095
    Published
    Layer
    Application layer
    Setting
    coding agent
    Evaluated models
    Opus 5, Sonnet 5, GPT-5.6-Sol and others15
    AbstractREADY 把工作流证据转成可检验的可靠性–监督–成本部署画像。

    READY 把“智能体能否自主完成工作”改写成“哪个人机监督策略能在留出证据上达到规定可靠性，以及要付多少运营成本”。。

    Paper analysisRead analysis
  18. Evaluation and benchmarksarXiv 2605.19722

    研究用 30 项漏洞分析任务评测自主安全智能体的安全对齐效果

    评测自主安全智能体在授权漏洞分析中的对齐拒答效应

    arXiv
    2605.19722
    Published
    Layer
    Application layer
    Setting
    coding agent
    Evaluated models
    Gemma 4 31B official instruction-tuned model, TrevorJS Gemma 4 31B uncensored GGUF, Gemma 4 26B A4B official instruction-tuned model and others8
    Abstract轨迹级评测把拒答、接地、工具接口分开。

    这项工作把安全对齐效应测成自主安全智能体的轨迹属性，而不是单轮拒答率。

    Paper analysisRead analysis
  20. Evaluation and benchmarksarXiv 2602.10639

    VideoSTF 揭示视频大模型输出重复问题

    提出 VIDEO STF 评测视频大模型输出重复并压力测试时序扰动

    arXiv
    2602.10639
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Evaluated models
    LLaVA-Video-7B-Qwen2, LLaVA-Video-7B-Qwen2-Video-Only, LLaVA-NeXT-Video-7B and others10
    AbstractVIDEO STF 把输出重复做成可测、可被时间扰动放大、并可黑盒诱导的失败。

    VIDEO STF 测量 VideoLLM 的输出重复，并把时间变换用作 black-box 诱导。

    Paper analysisRead analysis
You have reached the end