全部动态
论文与会议论文
本页材料
完整标题与摘要 · 24 条- 论文arXiv：越狱、提示注入、投毒与防御
论文研究 LLM 数字孪生参与增强民主时的提示注入脆弱性
一篇论文研究基于 LLM 的数字孪生作为增强民主中介时的偏好代表与攻击脆弱性。作者先用巴西在线实验数据检验个性化数字孪生能否预测公民对未见政策提案的偏好，再用瑞士议会数据从议员立法记录构建主题知识图谱，连接 LLM 议员智能体并组成政党级数字孪生，通过智能体审议检验其是否比官方政党沟通覆盖更广的党内观点。最后基于英国 2023 年审议实验数据，分析放大观点、压制意见或改变共识的提示注入攻击，考察攻击效果如何随意见分布和修辞策略变化，并评估结合注入检测、结构化意见表示与强化学习的流程能否提升抗攻击能力。
- 论文arXiv：越狱、提示注入、投毒与防御
研究者提出 EviLLM 攻击：通过被入侵账号向 AI 代码生成流程注入漏洞
研究者提出名为 EviLLM 的攻击，威胁模型是能力与现有网络犯罪分子相当的第三方攻击者攻陷 AI 代码生成流程，故意向生成的代码中注入漏洞。该攻击实现了两个实例，均只需通过被入侵的账号或浏览器访问底层 LLM，即可注入 13 类 CWE 漏洞；可行性研究显示这两种攻击向量已被用于实施多种现有网络攻击。用户研究中，两个实例注入的漏洞分别有 8 人中的 7 人和 13 人中的 10 人未察觉，21 名参与者中有 13 人很少或从不考虑此类攻击风险。
- 论文论文追踪
AgentMonBench：面向长时程智能体行为监控的软件工程基准
研究者提出 AgentMonBench，一个面向软件工程场景的智能体行为监控基准，包含三个子集，覆盖需求与行为的一致性、以及对需要用户核验的关键自主决策的感知两个维度。为支持这类判断，作者提出 Evidence-Grounded Behavior Graph（EBG），一种免训练方法，把带来源链接的证据归组为行为并组织成图，再以任务导向的视图呈现给监控器。在八个模型上的实验显示，EBG 在多数设置下相比直接访问原始上下文提升了决策识别与证据定位表现；进一步实验表明其证据定位收益在不同输入规模和超参数设置下保持稳定，实际应用也展示了它对人类监督的价值。
- 论文论文追踪
AgentPrivArena：面向 LLM Agent 工作流的隐私风险评测框架
研究者提出 AgentPrivArena，一个在可复现执行环境中评测 LLM Agent 隐私风险的框架，集成了真实的 MCP 工具与自托管服务。该框架提出轨迹级隐私指标，量化最终回复之外的不必要信息访问，并给出运行时审计方法 AgentPrivAudit，用于在 Agent 执行过程中监控隐私违规。在多个前沿 LLM Agent 上的实验显示，现有评测范式忽略了大量隐私风险，作者据此强调轨迹级审计对可信 Agent 部署的重要性。
- 论文论文追踪
研究揭示文本水印会诱发模型幻觉，并提出两种缓解干预
研究者提出“水印幻觉”概念，指在上下文已包含所需证据、未加水印模型能正确作答的情况下，水印本身诱发或放大的事实错误。在受控 RAG 设定下，作者对比同一上下文、查询和解码配置下的加水印与未加水印生成，覆盖 KGW、SWEET、DiPmark、GumbelSoft、Gumbel-Max 和 SynthID 六种水印方法，一致观察到事实准确率下降，且水印输出仍可保持流畅。作者将成因归结为两条机制：当前步由方法特定重加权或键控采样带来的 token 扰动，以及随自回归解码累积、削弱后续对事实上下文注意力的前缀诱导注意力漂移。为此提出 token 级和注意力级的两种可插拔干预 FPTI 与 FPAI，在 TPR@1%FPR=0.90 时联合使用可将事实错误相对仅水印解码减少约 90%，同时保持流畅度和相近解码效率。
- 论文论文追踪
BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全
研究者提出 BazaarBench，一个模拟 C2C 交易市场并评估代用户交易 Agent 安全性的基准，通过物品所有权、成色与承诺记录结合评分标准的 LLM 判定，识别六类安全失败并追踪其五个阶段。实验先以 GPT-5.5、DeepSeek-V4-Pro、GPT-5.4-mini 各运行三个基础市场 30 个模拟日，再让五个被测模型控制每组 20 个 Agent，在普通指令、期限压力与对抗指令三种条件下各续跑 7 天，共 45 次续跑。普通指令下五个模型都会把同一件物品承诺给多个买家；加入交易目标与期限后承诺交易数从 1457 增至 1921。对抗指令下，被测卖家已完成交易中涉及缺货或虚报成色的比例从 15.4% 升至 33.4%，GPT-5.4 达 55.5%；五个模型平均模拟周收入从 20 美元升至 33 美元，增量主要来自卖家从未持有的物品。
- 论文论文追踪
HERA 提出 harness 与环境协同演化，提升 Agent 拒答准确率至 83.3%
HERA 是一个面向 Agent 拒答（agentic abstention）的 harness 与环境协同演化框架，用于解决 LLM Agent 在工具使用环境中无法识别任务不可行的问题。它包含两部分：一是通过受控环境变异，把可解任务自动转化为需要拒答的不可行任务，构造可验证的可行与不可行任务对；二是协同演化流程，用此前任务上的失败驱动 harness 调整，并生成针对既往弱点的执行环境与任务。在留出评测任务上，演化后的 harness 将拒答准确率从 61.7% 提升到 83.3%，可行任务完成率从 68.3% 提升到 76.7%，在对比方法中两项指标均为最高。该 harness 无需针对具体模型优化即可迁移到其他 19 个 LLM，平均提升拒答准确率 15.3 个百分点，并使较小模型以约低 85% 的成本达到更强模型的性能。
- 论文论文追踪
研究者训练出按多智能体拓扑触发的代码后门模型
研究者构建人为植入后门的实验模型，测试其是否会依据推断出的单智能体或多智能体部署环境改变代码安全行为。作者报告受控任务中存在环境相关的安全差异，并以多组对照分析触发条件。这是人为构造的受控实验，不是模型自发涌现行为；真实多智能体环境中的触发尚未测试。
- 论文论文追踪
SRFT：让 Agent 从失败经验中自我反思以抵御提示注入
研究者提出 Self-Reflection Fine-Tuning（SRFT）训练框架，让 LLM Agent 通过从自身在对抗条件下的失败经验中学习来提升鲁棒性。该方法不被动模仿专家行为，而是让 Agent 接触由注入攻击构造的被污染轨迹，再由专家模型生成结构化的自我反思推理，对比不安全动作与最优动作，从而学会识别恶意指令、推理其后果并保持与原始用户意图一致。作者基于 Llama-3.1-8B-Instruct 和 Qwen3-8B 构建了 SR-Agent，并在静态与自适应提示注入基准上评测，结果显示 SRFT 大幅降低攻击成功率，同时保持任务性能，在自适应攻击下也表现出较强泛化能力。代码已公开。
- 论文Hugging Face Daily Papers
OmniConfess：用 Token 级「忏悔」缓解全模态幻觉
研究提出免训练的 OmniConfess，通过固定候选回答、在受控的分通道证据干预下按 token 粒度重新打分，生成结构化的「token×通道忏悔」，从而定位回答依赖的证据，保留有依据内容、纠正由无关或矛盾证据驱动的表述。作者同时构建了 OmniHalluBench，由六个数据集组成、覆盖文本、图像、音频、视频及判断与自由生成，共 3,540 个样例；实验显示该方法在多种模态与任务设置下均能缓解幻觉，代码与基准已公开。
- 论文Hugging Face Daily Papers
MBZUAI 提出可校准的真实图像认证方法，20 个深伪检测器在对抗扰动下全部跌破 2% 准确率
MBZUAI 团队提出一种基于重建保真度的可校准认证方法，只在没有任何已知生成器能忠实重建样本时才将其认证为真实，否则弃权并给出重建证据。研究评估了 20 个深伪检测器对 10 个生成器的表现，最佳准确率从 2022 年生成器上的 99.5% 降至 2026 年生成器上的 76%；在 ϵ=8/255 的 ℓ∞ 有界扰动下，20 个检测器全部跌破 2% 准确率，最强的 D3 也只剩 1.75%。该方法在 1% 误报率下校准安全阈值与更严格的安全（security）阈值，SD3 Medium 的阈值从 0.0365 提升到 0.038 后仍保持该上界；best-of-100 攻击加 PGD 只把候选分数从 0.0148 提到 0.0154，24 种语义变换中 23 种低于安全阈值。
- 论文论文追踪
RAISED：用自蒸馏抵御工具调用中的提示注入
论文提出 RAISED（Robust Attack Invariance through Self-Distillation）训练框架，用于抵御工具调用型语言模型智能体面临的间接提示注入。作者指出，现有训练式防御会显著改变模型输出分布，在良性场景下也造成行为漂移，并存在一种失败模式：在良性工具使用任务中，模型会省略完成授权任务所需的步骤，尤其是该步骤由工具输出指示时。RAISED 先让模型自行生成工具使用场景，重点覆盖需要依据工具输出中的合法指引才能完成任务的情形，再通过自蒸馏让学生在同一轨迹的干净版本与注入版本上都对齐教师的干净上下文行为。论文称该方法大幅降低工具响应中提示注入的攻击成功率，且不同于此前的训练式防御，在智能体与通用基准上都能保持效用。
- 论文论文追踪
研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准
该 arXiv 论文讨论长时程智能体的分段提示注入审计。
- 论文论文追踪
研究者披露 LiteLLM 网关跨租户干扰攻击 Cooldown Landmines
题为 Cooldown Landmines 的研究讨论 LLM 网关中的跨租户干扰。
- 论文论文追踪
研究揭示 Jev 作为应用决策层的安全与隐私风险
研究者对 Jev 这一将自然语言问题转为带类型答案与概率的决策层接口做了首次系统性安全与隐私研究，使用官方 Jev API 和训练数据与更新可控的本地模型 NanoJev。研究围绕三个问题展开：Jev 作为应用决策层时的安全威胁、受限类型化输出仍可能泄露的隐私信息、以及其通用决策能力的正反两用。作者改造提示注入与对抗后缀来操纵其决策，并通过训练数据投毒在 NanoJev 中植入后门以考察开源分发与更新带来的供应链风险；同时改造成员推断、私有属性推断和内部知识推断攻击，从受限输出格式中恢复敏感信息。研究还用提示注入、越狱输入、有害内容和 AI 生成文本四项检测任务考察其防御用途，并分析越狱与模型提取等滥用场景。实验显示 Jev 对上述安全与隐私威胁仍然脆弱，其决策能力可同时支持有益与恶意用途。
- 论文arXiv：可解释性
研究：智能体欺骗行为在外部显现前已可从内部表征预测
上海人工智能实验室等机构的研究者提出把智能体欺骗监测转化为行为发生前的内部状态预测问题，在行为决定性步骤之前提取隐藏状态并聚合成轨迹级表征，用基于 MMD 的深度核检测器区分未来诚实与欺骗结果。在 Qwen3-14B 上，提前七个步骤的表征即可达到 90.4% AUROC，与最新决策前表征的 89.4% 相当；从轨迹起点累积前缀时，平均 AUROC 由第一步的 51.2% 升至第十步的 80.0%。研究者还沿诚实与欺骗方向做激活引导，在 α=2.0 时把诚实结果比例从 50.0% 提升到 71.6%，被选中干预的基线欺骗轨迹中有 56.0% 转为诚实。作者指出标签来自可观察行为而非潜在意图，且仅在单一模型族的白盒设定下验证。
- 论文arXiv：可解释性
基于影响力的曲率感知数据加权激活引导方法
研究提出影响加权激活传输方法，用影响函数估计每个数据点对模型概念表征的贡献，并按影响分数加权概念样本，通过最优传输将非概念文本的激活引导向概念文本。在毒性抑制（Jigsaw）、物体概念诱导（OneSec）和真实性诱导（TruthfulQA）上优于现有激活传输基线，同时用困惑度和 MMLU 准确率追踪能力，发现引导效果提升且基本保持模型质量。影响函数能捕捉激活方法遗漏的概念相关信息，两种方法对数据点的排序显著不同。
- 论文arXiv：可解释性
研究者提出闭环偏见注入攻击，可将 LLaDA-8B 的 BBQ 目标差距从 1.8 提升至 16.7 个百分点
研究者提出针对掩码扩散语言模型（dLLM）的定向偏见注入攻击：由于 dLLM 在提交答案前会多次重新预测同一位置，攻击者可在去噪过程中读取目标答案概率，并用比例积分（PI）控制器实时调整一个固定引导向量的强度，从而在不改动权重和提示词的情况下把模型推向指定人口群体。在 LLaDA-8B-Instruct 上，该攻击把 BBQ 模糊问题（正确答案为弃答）的目标与对照选项差距从 1.8 提升到 16.7 个百分点，超过最强固定强度基线三倍以上；在 SocialStigmaQA 上把污名化答案的选择率从 17.6% 提升到 58.1%。同一攻击换用其他人口目标时最多可产生 37 个百分点的偏移，每个目标约需一块 GPU 运行 40 分钟。消融实验显示增益来自反馈本身：与控制器平均强度相同的固定开环只带来 3.5 个百分点差距，却产生 20.8% 的无效输出，而闭环为 7.8%。
- 论文arXiv：可解释性
研究者提出 CAP 指标与 CSFD 算法，发现越狱通过压制安全特征绕过拒答
研究者提出反事实激活潜力（CAP）指标，用编码器对齐、抑制强度和安全性关键度三项乘积刻画被压制的安全特征，并给出 CAP 引导的安全特征发现（CSFD）两阶段筛选算法，从数十万 transcoder 特征中筛出候选而无需穷举消融。在 Gemma-2-2B、Qwen3-8B、Gemma-3-4B-IT、Qwen3-1.7B 和 Llama-3.2-1B 五个模型上，78% 至 100% 的候选特征经消融验证具有因果作用，单个特征置零可使最高 82.5% 的拒答转为顺从。使用 PAIR 攻击时，最高 CAP 特征受到的抑制强度上升 2 至 4 倍，激活相应下降最多 80%；放大抑制特征本身即可降低其激活并提高有害顺从率，而随机特征无此效果。作者据此认为越狱部分通过压制安全关键特征而非仅激活有害特征实现，被压制特征是激活式可解释性的必要补充。
- 论文arXiv：可解释性
EmoRSS：缓解大语言模型由情绪引发的过度拒答
研究发现情绪化表达会系统性提高大语言模型对良性请求的拒答倾向，造成不必要的过度拒答。为此提出的 EmoRSS 是一种激活引导方法：先用逐层线性探针定位拒答敏感层，并基于与探针方向对齐的稀疏自编码器（SAE）特征构建拒答子空间，再用同一查询的常规与情绪化请求对估计该子空间特征的平均激活偏移，将其解码为激活干预向量，在推理时沿反向拒答方向施加，且不更新主干参数。在两个大语言模型上的实验显示，当请求含情绪化表达时，EmoRSS 在拒答有害请求与回答良性请求之间取得了优于既有过度拒答缓解基线的权衡，同时更好地保留通用任务性能。
- 论文arXiv：可解释性
One Token Can Be Enough：用 Prefix Steering 连接提示与激活引导
研究提出 Prefix Steering，从提示末尾 token 起在短跨度内施加已有的引导方向和算子，之后不再直接干预。作者在固定状态注意力假设下给出单 token 与多 token 引导匹配提示所诱导注意力头输出的充分条件，并刻画输入表示变化对匹配及其近似误差的影响。在四个模型和五个任务上，短跨度干预甚至单 token 干预常能保留完整引导的大部分行为控制力，同时更好地保持通用能力，在部分设置下优于提示和其他引导强度策略。该方法在推理后的最终答案格式任务上仍然有效，说明短暂的初始干预可以影响引导结束后才表现出的行为。
- 论文arXiv：可解释性
TSAE：用于解释时间序列预测模型的结构化稀疏自编码器
TSAE 是一种结构化稀疏自编码器，将时间序列预测模型的隐藏状态分解为可单独检查的特征，通过共享与变量路由的私有字典组织跨变量结构，并用门控编码分离特征检测与幅度估计。在冻结 PatchTST 于 ETTh1、ETTh2、ETTm1 的三种子实验中，TSAE 在五种 SAE 中取得最低隐藏状态重构误差、归一化预测重构误差（NFRE）和特征转移率，NFRE 较次优均值下降 4.3-26.4%。配套 TSEVAL 协议分别审计保真度、特征一致性与物理校准，但选择性、物理相关性和校准存在数据集相关权衡，保真度与时序稳定性提升仍需独立语义验证。
- 论文arXiv：可解释性
ScopeSAE 按预测相关性选择建模子空间，实现重建优于原始激活
研究者提出 ScopeSAE，用归一化梯度归因把每个预测归到最有影响的 token-层状态，从而按 token 选择建模子空间，而非按层固定子空间。作者称该方法出现重建优于原始的效果，即 SAE 写回重建的下一 token 交叉熵低于原始激活，并称此前未见 SAE 报告过这一现象。通过干预分析和 KL 微调对照实验，作者认为该效果来自预测相关的子空间本身，而非架构改动。相比现有按层基线，ScopeSAE 在有效特征数、可解释性、利用率和字典冗余上均有改善。
- 论文arXiv：可解释性
SpeechLLM 免训练任务特化：对比激活加法引导语音语言模型
研究者提出免训练的对比激活加法（CAA）协议，用少量带标注语音样本为 SpeechLLM 推导出针对转录等常见语音任务的引导向量，在推理时将其加入表示空间以强化目标任务。与提示词结合后，这些向量在 ASR、情感识别等多数评测任务上稳定优于单独使用提示词，并可迁移到域外数据；脚本归一化方向还能强制模型输出特定语言的文字系统。