全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv：可解释性
AnyBottle：只保留真正需要的概念，构建紧凑任务专属概念瓶颈模型
AnyBottle 是一种构建紧凑、任务专属概念瓶颈模型（CBM）的方法，只需一个冻结骨干网络和一个无监督概念池（如稀疏自编码器），由在同一骨干上训练的黑盒教师模型逐轮引导概念选择，候选概念限定在师生分歧区域。模型按选择顺序做嵌套 dropout 训练，使最终瓶颈可从任意概念前缀准确预测，推理时对简单输入用更少概念、对困难输入用更多概念。在六个视觉和两个文本数据集、两种教师范式下，AnyBottle 比无标注基线概念更少、概念一致性更高，同时接近黑盒参考模型。
- 论文arXiv：可解释性
研究：LLM 比人类更易产生错觉模式感知并导致虚假推理
论文研究大语言模型是否表现出人类的错觉模式感知，即从随机数据中推断出并不存在的有意义关联。作者称这是首个针对 LLM 错觉模式感知的系统研究，将经典心理学范式改造为三项任务，并与人类行为做直接实证对比，发现 LLM 的错觉模式感知往往强于人类，模型倾向于把频繁出现的正面属性过度关联到多数群体或大型组织，也更易从模糊事件中构建因果叙事。为揭示机制，作者基于 Sparse Autoencoders（SAEs）构建特征可解释性框架分析内部表征，结果显示整体频率感知与分析性认知取向与错觉感知的出现相关。代码见 https://github.com/NusIoraPrivacy/illusory。
- 论文arXiv：可解释性
SteerScope：面向 LLM 引导方法的多维评测套件
研究者提出 SteerScope，一个双轴、多维的 LLM 引导方法评测套件，通过 15 项指标同时刻画引导效果与方法属性。该套件从语言质量、任务能力和安全与可靠性三方面评估目标效果与副作用，并用样本效率和样本敏感性等引导专属指标衡量泛化性与数据依赖。在匹配模型、任务和评测协议下，研究团队基准测试了覆盖 4 个家族的 23 种方法，包括提示、LoRA 和 SFT 等基线方法，并将套件作为可扩展代码库发布。结果显示，现有激活引导方法在效果与副作用的整体平衡上尚未超过 Prompt Steering 基线：在两个模型规模上，没有一种受评激活引导方法能在不带来更大综合副作用的情况下取得更高效果。研究还发现引导效果与副作用之间存在一致的耦合关系，在 OOD 提示下目标效果通常得以保持，但副作用往往更明显，尤其表现为指令相关性和流畅度下降；不同方法的样本效率特征差异显著。
- 论文arXiv：可解释性
GraphCast 大气河机制的机制可解释性研究
研究团队在 GraphCast 上训练稀疏自编码器（SAE），发现该 AI 天气模型将大气河强度（以积分水汽输送 IVT 衡量）作为稳定的内部变量进行计算，尽管 IVT 既非输入也非预测目标。标准 SAE 与 Matryoshka SAE 均能捕捉这一变量，后者还按重要性排序并揭示概念间关系；大气河概念贯穿模型各层，直接干预实验证实了其因果作用。
- 论文arXiv：可解释性
COMPASS：在语言模型中定位推理发生的注意力头
研究者提出 COMPASS，一种推理时激活引导方法，用于找出语言模型中承载推理的注意力头。该方法不依赖预定义的推理刻画，而是以模型自身直接作答的正确性作为信号，得到一条可诱发推理的潜在方向；该方向在多数注意力头的激活中可解码，但只有少数头能被有效干预。COMPASS 通过 logit 空间的归因分数识别这些头，并沿正确性方向引导其激活，只需每个头的激活统计量。在三个模型家族和多个数学基准上，COMPASS 优于所比较的激活引导基线，GSM8K 准确率平均提升 16 个百分点，并以少生成 20-70% token 的方式接近 CoT 准确率；干预无需重新拟合即可迁移到未见基准，消融实验显示正确性方向与承载它的少数头都不可或缺。
- 论文arXiv：可解释性
针对 LLM 谄媚的纵深防御：记忆门控对激活诱导与记忆诱导谄媚的评估
研究提出一个 2×2 纵深防御框架，将内部激活引导与外部记忆处理分离，在 MemSyco-Bench 上评估四种开放权重模型，涉及 10 个引导系数和五种记忆防御配置。其中三种配置为新设计：重写全部记忆、对每条记忆保留/重写/丢弃的 Router Gate，以及丢弃全部记忆。在 Llama 3.1 8B 上，Router Gate 配合轻度反向引导（α = -1.5）将评委平均谄媚率从 35.80% 降至 31.32%，平均准确率从 43.99% 变为 43.31%，但该下降在 149 个样本上不具统计显著性（配对 p = 0.08 至 0.63）。
- 论文arXiv：可解释性
BeFOND 将稀疏自编码器的推断与学习统一为自然梯度流
研究提出 BeFOND，一个无编码器的稀疏编码模型，把稀疏自编码器的推断与字典学习统一为同一变分自由能上的自然梯度流。该方法用循环 explaining away 减少重叠特征之间的干扰，并用 Fisher 预条件补偿稀有特征学习偏慢的问题。在合成数据上，其字典恢复与稀有特征检测优于 amortized 基线，且随叠加程度提高优势扩大；在语言模型激活上，单特征概念检测与选择性干预优于预训练参考 SAE，所用训练数据明显更少。其特征质量随字典宽度继续提升，而所评估的基线大多趋于停滞。
- 论文arXiv：可解释性
低秩激活引导实现参数高效决策算子：330K 参数匹配 1.33M 强化学习算子
研究者提出一种通过行为克隆训练的 System-1 决策算子，用 330K 参数即可匹配 1.33M 参数强化学习算子的性能，并将 3,685-token 的推演压缩为 6-token 决策且不损失准确率。rank-4 变体仅 23K 参数，为最强已发表技能算子的 1/58，足以应对 SearchQA 并接近满足 LiveMath。该方法在五个任务和三个骨干模型上可迁移，训练后数月发布的 LiveMath 题目上仍保持分布外增益。
- 论文arXiv：可解释性
超越线性表征假设：KANSteer 用非线性激活引导文本到图像模型
针对文本到图像模型中概念表征偏离线性方向的问题，研究者提出 KANSteer，用 Kolmogorov-Arnold Networks（KANs）将概念遍历建模为穿过中间状态的曲线，使引导方向可随概念变化并保持可解释性。在多个概念和文本到图像扩散 Transformer 上，其激活轨迹明显偏离直线，KANSteer 比线性引导拟合更贴近、对中间属性的遍历更平滑。
- 论文arXiv：可解释性
研究揭示 Transformer 拒答机制中的组件与维度稀疏性
研究将拒答激活引导分解为组件级干预，在四个开源权重模型上识别出足以复现完整行为效果的稀疏注意力与 MLP 组件子集。这些拒答方向集中在占上游组件 28% 至 48% 的稀疏机制中，仍保留 88% 至 101% 的引导效果；在这些机制内部，有效引导进一步集中在约 50% 的残差流维度上，保留组件机制基线的 85% 至 98%，与存在特权基结构的判断一致。作者据此认为拒答并非弥散编码于整个 Transformer，而是由结构化、可识别的机制组装而成，并将代码与原始实验结果开源在 https://github.com/wang-research-lab/Refusal_Mechanisms。
- 论文arXiv：危险能力与安全评测
研究者提出读取路由 logits 的 MoE 视觉语言模型多模态安全检测器
研究者提出一种轻量级路由 logits 安全检测器，在提示词预填充阶段读取 MoE 视觉语言模型的专家路由信号，在生成前判断多模态请求是否安全，且不修改模型参数或专家路由。作者发现路由 logits 对多模态输入是否安全具有很高的预测性。在 Qwen3-VL 和 Kimi-VL 上，该检测器显著降低了 HoliSafe 基准上的安全错误，并泛化到安全模式不同的分布外基准 MISHard 和 MM-SafetyBench。作者认为，相比通过提示、监督微调或路由专家引导来干预模型行为与内部状态，直接读取自然涌现的信号并接入外部安全机制，可作为现有安全干预的简单、有效且非侵入式的补充。
- 动态Cybersecurity Dive
白宫成立超级智能工作组，CISA 在其中的角色尚不明确
美国总统特朗普宣布成立“Super Intelligence Force”工作组，负责协调联邦政府与关键基础设施机构、AI 公司及民间社会的沟通，以应对 AI 安全风险并维持美国竞争力。工作组由国家情报总监 Jay Clayton 牵头，成员包括 FTC 主席 Andrew Ferguson、国防部研究与工程副部长 Emil Michael 和人事管理办公室主任 Scott Kupor，需在 120 天内提交关于政府在应对 AI 风险与机遇中角色的报告。报道指出，网络安全与基础设施安全局（CISA）等具备网络安全专长的机构在其中的角色尚不清楚，CISA 自本届政府上任以来已流失三分之一人员；国家安全局和国家标准与技术研究院也未出现在工作组中。
- 动态WAPT
AI 生成视频引发密西西比州参议院选战争议
美国民主党参议院候选人 Scott Colom 的竞选团队发布一段 20 秒 AI 生成视频，片中人物形似共和党现任参议员 Cindy Hyde-Smith，似在回避记者提问，Colom 称视频基于真实事件。密西西比州共和党批评该竞选"不严肃"，部分选民担忧 AI 政治内容会误导不知情者。Hyde-Smith 竞选团队未回应置评请求。
- 动态安全内参 / 模安局
AgentPort-Bench 评测七个 Agent 框架：攻击类型解释约 28% 安全差异，框架仅约 0.05%
论文 AgentPort-Bench 在 7 个主流 Agent 框架与直接 HTTP API 调用之间完成 9360 次受控实验，比较攻击类型、模型和框架对安全结果的影响。方差分析显示，攻击类型解释约 28% 的结果差异，模型约 4.14%，Agent 框架仅约 0.05%，即攻击影响约为框架的 500 多倍。研究覆盖 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google ADK、Semantic Kernel，以及 Anthropic、OpenAI、Google 三家共 6 个模型。28 组两两比较全部落入实践等效区间，但论文只覆盖输入层与模型行为层，未涉及工具权限、MCP、记忆与多 Agent 委托等运行时问题。
- 动态AgentSafeLabs
AgentSafeLabs 用 9,360 次试验评测七种 Agent 框架的安全差异
AgentSafeLabs 发布 AgentPort-Bench，在验证攻击载荷逐字节一致后，对直接 API 基线和七种 Agent 框架（含 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google ADK、Semantic Kernel）做了 9,360 次受控试验，覆盖六款模型和五类映射到 OWASP Agentic Security Initiative 威胁分类的攻击。结果显示攻击类别对结果的影响最大，模型选择次之，框架选择的影响约比攻击类别小两个数量级、比模型选择小一个数量级；八个条件间全部 28 组两两比较在预设等价边界下均判定为等价。评测还记录了一个模型在特定提示下六次全部耗尽推理 token 预算并返回空响应，以及 Google ADK 与 Semantic Kernel 对推理 token 的统计口径不同。
- 动态Seoul Economic Daily
首尔一名在职警察因制作并传播 AI 深度伪造性影像被捕
首尔东大门警察署一名在职警察因制作和传播深度伪造性影像被捕，警方在其设备中确认约 5600 个非法视频。据警方 10 月 4 日通报，该嫌疑人 A 于上月因持有性剥削材料、制作及散布深度伪造视频等指控被逮捕。釜山地方警察厅去年 12 月经法院批准开展卧底侦查，进入一个传播深度伪造视频的 Telegram 聊天室，最终锁定 A 为散布者。搜查中发现其持有约 2600 个深度伪造视频、约 1600 份儿童和青少年性剥削材料以及约 1300 个非法拍摄视频。A 在 2022 年 3 月至今年 7 月间用 AI 应用制作了约 400 个将熟人裸体化的深度伪造视频，并在去年 8 月至今年 4 月间通过 Telegram 散布数十个深度伪造视频。
- 动态NOCUTNEWS
韩国一名在职警员用 AI 合成熟人面孔制作性深伪影像被起诉
釜山地方检察厅10月7日宣布，以涉嫌违反《性暴力犯罪处罚特例法》（编辑虚假性影像等）为由，将在职警员 A 羁押起诉。A 被指在2022年3月至今年8月间用 AI 合成熟人照片制作400多个性深伪影像，并向他人分享其中约50个，还用手机亲自拍摄制作10多个非法影像。检方另确认其持有约1600件儿童性剥削材料和约1300个非法影像，非法视频合计约5600个。A 于2024年4月入职警队，2021年曾因偷拍指控获附条件缓起诉并需接受教育；检方称其在获该处分后直至成为警员期间长期反复作案，并长期收集受害者面部照片等素材，认为性剥削女性和儿童影像的欲望是作案背景动机。釜山地方检察厅表示将对滥用 AI 技术制作传播虚假影像等数字性犯罪严厉应对，并尽力求处与罪行严重程度相称的刑罚。
- 动态Yonhap
韩国检方起诉首尔警员，涉用 AI 制作传播约 400 段性深伪影像
韩国釜山地方检察厅起诉一名首尔东大门警察署警员，指其在 2022 年 3 月至今年 8 月间用 AI 制作约 400 段熟人性深伪影像，并传播其中约 50 段。该警员此前已被釜山地方警察厅在为期数月的卧底调查后逮捕拘留，调查于 2025 年 12 月启动，起因是核查通过 Telegram 传播非法性剥削影像的嫌疑。他还被控持有约 5600 段非法拍摄影像，其中约 1600 段涉及儿童虐待，并用手机制作约 10 段非法拍摄影像。检方称，该警员在入职警队前曾因类似罪行被调查，但当时决定不予起诉。
- 动态中国网信网
中央网信办通报清朗AI技术滥用治理专项行动第一阶段处置结果
中央网信办通报“清朗·整治AI应用乱象”专项行动第一阶段成果，该行动自2026年4月启动，聚焦未履行大模型备案登记义务、AI平台安全与审核过滤能力不足、AI数据投毒、生成合成内容标识落实不到位等问题。第一阶段累计处置违规网站、应用程序、智能体等AI产品1.4万余款，清理违法违规信息600余万条，处置账号2.6万余个，下架违规AI商品1300余个、违规开源数据集9个。北京、上海、浙江、江苏、广东等地网信部门采取联动巡查、细化平台要求、多维度整改、专项举报窗口、多部门协调监管等措施。华为、阿里巴巴、智谱、稀宇、DeepSeek等平台分别加强备案标识审核、数字指纹比对、多模态审核、恶意行为阻断和数据异常检测。下一步将开展第二阶段工作，重点整治利用AI制作虚假信息、散播不良信息、假冒仿冒、侵害未成年人权益和网络水军等问题。
- 动态中国网信网
中央网信办部署为期4个月的清朗AI应用乱象专项整治
中央网信办印发通知，在全国范围内部署开展为期4个月的清朗·整治AI应用乱象专项行动，分两个阶段各整治7类突出问题。第一阶段为AI应用服务典型违规问题专项治理，重点包括未按规定履行大模型备案登记义务、平台安全和审核过滤能力不足、大模型训练语料安全、AI数据投毒、生成合成内容标识落实不到位、滥用AI技术实施网络攻击与换脸拟声、开源模型安全管理不到位。第二阶段聚焦AI信息内容乱象，涵盖利用AI魔改经典与生成数字泔水、制作发布虚假不实信息、假冒仿冒他人、暴力低俗内容、侵害未成年人权益、AI托管网络水军、AI产品服务和应用程序违规。通知要求各地网信部门履行属地管理责任，督导网站平台对照整治重点自查自纠，完善长效治理机制。
- 动态中国网信网
网信办通报清朗专项行动第二阶段AI技术滥用治理情况
中央网信办通报“清朗·整治AI应用乱象”专项行动第二阶段进展，聚焦AI制作虚假信息、传播暴力低俗内容、假冒仿冒他人、侵害未成年人权益等问题，累计清理违法违规信息561万余条，查处账号4.9万余个，处置违规网站、应用程序等2400余个。各地网信部门推出针对性措施，北京指导平台升级审核策略，上海推出AI应用“知识普及包”，浙江开展“一企一策”合规指导，广东对多款应用点对点督促整改。抖音、快手、微博、腾讯、百度等平台优化多模态识别模型并动态扩充人脸库、声纹库和违规样本库，豆包、元宝、千问、文心一言等严把原始语料审核并强化AI生成合成内容标识，华为、小米、OPPO、vivo等应用商店加强APP准入与抽检。
- 动态AWS Security
AWS 披露 Bedrock AgentCore Starter Toolkit 代码注入与 SSRF 漏洞，0.3.14 修复
AWS 披露 bedrock-agentcore-starter-toolkit 存在两个漏洞：CVE-2026-105812 为代码注入问题，导入并运行或部署特制 Agent 时可能导致任意代码执行；CVE-2026-106032 为外部引用处理问题，导入 Agent 期间可能触发非预期网络请求或本地文件访问。受影响版本为 0.1.4 至 0.3.13，已在 0.3.14 修复。AWS 建议升级到最新版本，并确保 fork 或衍生代码同步修补；用受影响版本导入的 Agent 需用 0.3.14 或更高版本重新导入，并替换本地与已部署的产物。
- 动态OpenAI Alignment Research
OpenAI 与 Apollo 研究语言模型中的元博弈潜变量
OpenAI 对齐研究团队与 Apollo Research 合作，用稀疏自编码器（SAE）研究 OpenAI o3 在强化学习过程中出现的元博弈内部表征。研究者从梯度方向与 SAE 潜变量中筛选出四个与元博弈相关的潜变量，发现它们分别对应任务分析、评测感知、规格层面推理和规范性判断等不同推理模式，而非单一机制。在 even_number 任务上，这些潜变量的激活和引导效应随 RL 训练增强，且能在不写入思维链的情况下影响模型输出。研究还发现，更长的思维链会因果性地增加元博弈行为，但引导效应不能仅由冗长程度解释。
- 论文论文追踪
DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准
香港理工大学研究者提出 DIBench，用于测量移动 GUI 智能体在多候选选择任务中的决策完整性风险，即智能体完成任务但最终选择被欺骗性注入导向攻击者指定目标。基准覆盖 7 个商业应用和 3 个模拟应用、5 类任务，在仅允许非特权 UI 内容的威胁模型下构造 8 种注入探针，包含 1,000 条干净实例和 36,672 条注入实例，并提供配对评测协议与决策完整性指标。在 4 个智能体框架和 7 个基础模型上的实验显示，以完成率为导向的评测会高估智能体可信度：商业应用中 AppAgent + Qwen2.5-VL 的 TCR 从 42.0% 升至 72.4%，同时 ASR 达 45.8%。注入还会减少探索与验证动作、促使智能体更早提交选择；检测、图像预处理和提示词提醒等常见防御带来的完整性提升并不稳定，检测对低显著性注入的召回率明显下降，预处理有时反而提高 ASR。