跳到正文
今天10月8日周四
  1. 论文追踪 · 收录 · 原文 日期未知论文55

    研究对照 ChatGPT 记录查 Prolific:1% 提交有 AI 代答,明令禁用 AI 的研究中 60 份仍全部付款

    一项研究把 408 名每周使用 ChatGPT 的 Prolific 工人捐赠的聊天记录与其提交记录按时间对齐,覆盖 2022-12 至 2026-02 的 712,930 份提交、12.7 万多项研究,发现 1.00%(7,100 份,95% CI 0.72%–1.32%)的提交有 AI 协助,低于多数已发表估计,三年多里没有上升趋势。自报层面,直接询问时 11.31% 承认用 AI 帮忙做 Prolific 任务,匿名列表实验估计为 14.24%;在 408 人中,68.4% 至少用过一次。受影响提交高度集中,最常用的 5% 工人(21 人)占 64.1%,前 10% 占 78.2%,去掉这 5% 人后比例从 1.00% 降至 0.40%。

  2. 论文追踪 · 收录 · 原文 论文63

    CredLeak-Bench:七个模型在钓鱼场景下凭证泄露率 31%–76%,恢复率最高仅 24.2%

    研究者提出 CredLeak-Bench,用于评测邮件驱动的 Agent 工作流中凭证与敏感信息泄露问题,覆盖用户指定登录、自主收件箱监控和恢复三种设置,共 512、256 和 1024 个场景,全部在本地沙箱内用虚构服务运行,泄露以实际提交的合成数据判定。评测的七个模型包括 Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash、GPT-5-mini、GPT-5.6-luna、Qwen3.5-9B 和 Llama-3.1-8B-Instruct,全部在指定登录和自主监控两种设置下发生泄露,指定登录场景泄露率为 31.3% 至 75.8%,两个开源权重模型最高,分别为 66.8% 和 75.8%。自主监控场景泄露率下降但误拒率大幅上升,例如 Opus 4.8 泄露率从 31.3% 降至 1.6%,误拒率从 6.6% 升至 88.3%。

    推荐理由七个模型在钓鱼场景下的凭证泄露率与误拒率被同时量化,并给出恢复率这一更难的指标,可供评估 Agent 授权流程时参考。

10月7日周三
  1. 论文追踪 · 收录 · 原文 论文45

    研究:无关信息污染患者病历并干扰 LLM 临床推理

    研究评估了大语言模型在临床记录与推理中对患者就诊无关信息的敏感度。在 576 段医患对话中,前沿模型把闲聊内容写入 35% 的病历,五分量表上的平均质量分变化最多 0.20 分;3.7% 的前沿模型病历出现对旁白的错误归属或临床误用。在 57 段模拟录音问诊中,来自另一场就诊的背景语音以 -10 dB 混入,48.2% 的转写文本受到污染,四个开放权重模型生成的后续病历中有 5.3% 检出污染。作者提出临床推理与干扰的双重编码假说,初步证据显示易受无关信息干扰的 LLM 组件同时也支撑临床推理,并建议在临床使用前评测模型对无关信息的抵抗能力。

  2. 论文追踪 · 收录 · 原文 论文40

    综述:100项研究显示青少年AI风险防护多停留在设想阶段

    一项系统综述梳理了100项涉及儿童与青少年接触AI的实证HCI研究,覆盖学校、家庭、照护机构和公共服务等场景。研究使用YAIR风险分类和MIT Mitigation Taxonomy对策分类,对风险与防护措施进行映射,发现多数风险只对应提出或设想中的对策,已实施的对策很少,经过评估的更少,且现有评估多衡量技术性能而非是否真正防止了伤害。作者据此指出风险覆盖的空白区域和未经检验的防护措施,并提出HCI研究加强青少年AI安全的具体方向。

10月6日周二
  1. 论文追踪 · 收录 · 原文 论文53

    研究评测训练数据提取风险的跨语言迁移

    作者评估英语为中心和多语言模型的个人信息保护,发现原本在英语条件下观察到的训练数据泄露可在部分其他语言条件下重现,迁移程度与所测模型的多语言能力相关。作者还观察到措辞变化会显著影响结果。结论限于论文所测模型、数据与语言,不代表所有个人信息都可跨语言提取。

  2. 论文追踪 · 收录 · 原文 论文52

    AgentPrivArena:面向 LLM Agent 工作流的隐私风险评测框架

    研究者提出 AgentPrivArena,一个在可复现执行环境中评测 LLM Agent 隐私风险的框架,集成了真实的 MCP 工具与自托管服务。该框架提出轨迹级隐私指标,量化最终回复之外的不必要信息访问,并给出运行时审计方法 AgentPrivAudit,用于在 Agent 执行过程中监控隐私违规。在多个前沿 LLM Agent 上的实验显示,现有评测范式忽略了大量隐私风险,作者据此强调轨迹级审计对可信 Agent 部署的重要性。

  3. Hugging Face Daily Papers · 收录 · 原文 论文53

    MBZUAI 提出可校准的真实图像认证方法,20 个深伪检测器在对抗扰动下全部跌破 2% 准确率

    MBZUAI 团队提出一种基于重建保真度的可校准认证方法,只在没有任何已知生成器能忠实重建样本时才将其认证为真实,否则弃权并给出重建证据。研究评估了 20 个深伪检测器对 10 个生成器的表现,最佳准确率从 2022 年生成器上的 99.5% 降至 2026 年生成器上的 76%;在 ϵ=8/255 的 ℓ∞ 有界扰动下,20 个检测器全部跌破 2% 准确率,最强的 D3 也只剩 1.75%。该方法在 1% 误报率下校准安全阈值与更严格的安全(security)阈值,SD3 Medium 的阈值从 0.0365 提升到 0.038 后仍保持该上界;best-of-100 攻击加 PGD 只把候选分数从 0.0148 提到 0.0154,24 种语义变换中 23 种低于安全阈值。

    推荐理由论文给出可复现的校准流程与开源代码,并量化了生成器迭代对事后可验证内容的侵蚀速度。

10月5日周一
  1. 论文追踪 · 收录 · 原文 论文49

    OLMo-Detect:面向 LLM 成员推断的多阶段混淆控制基准

    研究者提出 OLMo-Detect,一个基于完全开放的 OLMo 2 流程构建的多阶段、混淆控制成员推断基准,覆盖预训练、中期训练和后训练,并在三个关键维度上对齐成员与非成员,同时用 infini-gram 严格过滤非成员。研究还引入成员与非成员错位的 OLMo-Detect(Shifted)变体以评估分布偏移下的鲁棒性,并在 OLMo 2 系列上评测了 15 种无监督和 3 种有监督成员推断攻击。结果显示:最佳无监督与有监督攻击的 AUC 均仅为 0.68,有监督攻击在跨域评测中性能下降;攻击性能在中期训练阶段最高,这一模式由数据类型而非阶段效应驱动,人工整理的数学数据远比其他类型更易被检测;整体分数从 1B 到 13B 提升但在 32B 趋于平台;没有无监督攻击能抵御分布偏移,AUC 变化幅度最高达 0.42。研究称这些结论可推广到 OLMo 3 和非 OLMo 模型。

  2. 论文追踪 · 收录 · 原文 论文46

    CorrectGuard 提出黑盒安全护栏的免查看正确性估计框架

    研究者提出 CorrectGuard,一个面向黑盒安全护栏的免查看正确性估计框架,用于在人类不可查看用户输入和机器不可查看输入两种场景下评估护栏表现。该方法仅使用有标注的可查看数据训练独立的模型评估器,预测护栏对不可访问输入的判定是否正确,无需接触护栏内部。研究在涵盖有害内容、越狱、提示注入和提取的 13 个安全数据集上,以留一数据集方式评估上下文学习、嵌入向量和微调三类正确性模型,并将开源权重护栏统一视为黑盒。结果显示,基于上下文学习的正确性分类器在两种场景下均显著提升错误识别能力,宏观准确率最高提升 25 个百分点,基于微调的方法提升近 15 个百分点,但不同护栏和留出数据集之间差异明显。

10月4日周日
  1. 论文追踪 · 收录 · 原文 论文43

    范围综述梳理 LLM 聊天机器人对心理健康的 119 篇相关文献

    一篇发表于 npj Digital Medicine 的范围综述系统梳理了 119 篇关于 LLM 聊天机器人(LLM-CB)心理健康危害的文献,将其归纳为概念性工作、心理健康支持使用、认知过度依赖、AI 依赖和 AI 精神病五类主题。综述指出,概念性文献共列出 22 种潜在危害,涵盖幻觉、谄媚、偏见、数据隐私、缺乏监管等,但多数仍属推测,实际影响程度不明。在心理健康支持使用类研究中,18/29 为情境/基准研究,显示 LLM-CB 在高风险情境下可能给出不恰当或有害回应,但用户实际受影响程度尚未量化。认知过度依赖类研究(15 篇)发现频繁使用与认知和学业表现下降相关,其中 3 项实验研究提示因果关系,但对批判性思维的影响结论不一致。综述还提到 OpenAI 2025 年自报数据估计超过百万 ChatGPT 用户(约 0.15%)表现出严重心理困扰迹象,该数据基于内部分类器、未经独立验证。

  2. 论文追踪 · 收录 · 原文 论文50

    aiXamine:跨维度评测 LLM 安全、安全(security)与隐私权衡

    研究者提出 aiXamine,一个统一黑盒评测平台,把 LLM 的安全、安全(security)与隐私当作相互依赖的属性来评估。平台通过自动化红队流程编排 9 项服务上的 46 个测试,生成从提示词级诊断到跨服务权衡分析的分层风险画像,可在相同条件下复现对比闭源与开源权重系统。作者用 aiXamine 测试了 120 多个 LLM、超过 5000 次测试运行,发现三种单轴评测看不到的跨维度现象:更强的对齐会系统性提高过度拒答,形成可量化的安全税;隐私与其他可信维度近乎正交,标准对齐无法覆盖;无 on-policy 校正的 off-policy 知识蒸馏会导致熵坍缩,在同一基础架构上把鲁棒性从 56.9 降到 2.6。

  3. 论文追踪 · 收录 · 原文 论文49

    研究者提出可提取记忆的匹配比较检验方法

    A. Feder Cooper、Percy Liang 等研究者提出用匹配比较来判定语言模型的可提取记忆,即同时测量训练序列与可比非训练序列的生成概率,以非训练序列的概率作为可预测性基线,超过基线才算记忆证据。方法包含两种形式:在序列从总体抽样时使用按选定假阳性率校准的 conformal 检验,以及针对单文档、以匹配的非训练文档校准的普查。在 Wikipedia 上,OLMo 2 32B 复现非训练 10-token 后缀的频率约为训练后缀的 24%,这部分反映的是假阳性而非记忆;在书籍数据上,Llama 3.1 70B 的校准普查阈值低至 10^(-27),可为任何可行采样预算都难以提取的序列提供记忆证据。作者据此把可提取记忆重新定义为同时满足有效记忆主张与在现实预算内近乎确定生成。

  4. 论文追踪 · 收录 · 原文 论文34

    ALeBi:用 bias probe 主动审计多群体公平性

    研究者提出 bias probe 框架与主动审计器 ALeBi,通过定向自适应查询估计多群体公平性指标,无需重建黑盒模型即可揭示偏差结构。该工作给出由属性特定复杂度度量控制的样本复杂度保证,并扩展到模型所有者刻意隐藏偏差的对抗场景,揭示模型保密性与可靠审计之间的根本权衡。实验验证了理论结果,并表明该方法能准确估计偏差、可解释地识别高偏差与低偏差区域。

10月3日周六
  1. 论文追踪 · 收录 · 原文 论文40

    研究分析 Be My Eyes 1428 条低分评论,揭示视觉描述服务的骚扰、隐私与无障碍安全问题

    Brigham 与 Kohno 对 Be My Eyes 的 1428 条一至三星评论做定性分析,考察这一连接超百万盲人与低视力用户、超千万志愿者的视觉描述服务及其 AI 版本 Be My AI 中用户和志愿者遇到的问题。分析发现三类问题:网络骚扰与滥用(恶意骚扰、网络裸露、举报机制失效)、信息暴露之外的隐私担忧(数据被用于模型训练),以及无障碍与安全问题(描述不准确、家长式护栏)。研究还分析平台政策是否及如何回应这些问题,并针对无障碍、安全、隐私与 AI 方面的挑战提出改进视觉描述服务信任与安全的建议。

  2. 论文追踪 · 收录 · 原文 论文48

    AntiSkillBench:评测 persona skill 的隐私泄露与行为模仿风险

    研究者提出 AntiSkillBench,一个覆盖 persona skill 全流程的端到端基准,用于评测隐私泄露、属性披露与行为模仿风险及相应防御。该基准包含 7,500 条 persona 对话轨迹,来自 50 个行为特征丰富的用户画像,覆盖多种任务场景;评测套件在三种 skill 蒸馏策略下测量 skill 级隐私泄露与 agent 级属性披露、行为模仿;防御评测覆盖在线与事后干预的四种配置,包括主动风险抑制与被动来源保护。在三个前沿 agent 上的实验显示,persona skill 的风险跨 agent 骨干与蒸馏协议持续存在,并从显式属性延伸到沟通风格与人格特质;现有防御效果有限且依赖蒸馏方式,难以跨风险类型与蒸馏策略泛化。作者认为该基准为开发隐私保护与真实性感知的 persona skill 提供了有挑战性的评测工具。

  3. 论文追踪 · 收录 · 原文 论文50

    CoSec:面向社区场景的 LLM Agent 安全基准

    研究者提出 CoSec,一个用于评估 LLM Agent 系统在社区内部及跨社区运行时隐私与授权执行情况的可执行基准。该基准包含 208 个规范场景,覆盖固定与演化的社区边界、属于 Agent 所有者或其他参与者的受保护信息,以及通过对话、环境内容、持久记忆和组合工作流发起的攻击。CoSec 以持久会话、记忆、文件和工具运行完整 Agent 系统,并借助执行轨迹与产物对照当前授权状态验证信息流。结果显示,在不同 harness 与模型配置下,Agent 常能完成正常任务,却违反隐私与授权边界;隐私行为随 harness、攻击面和社区状态而变化,说明记忆、文件、工具与工作流都可能把受保护信息带出授权范围。作者据此指出,任务效用并不代表隐私或授权合规,社区场景下的授权仍是持久化 LLM Agent 尚未解决的安全挑战。

10月1日周四
  1. arXiv:后门、投毒与隐私 · 收录 · 原文 论文39

    论文揭示 BatchNorm 架构下机器遗忘评测的归一化伪影

    论文发现基于 BatchNorm 架构的机器遗忘评测存在一个此前未被记录的混杂因素:对保留数据做一次前向传播、不修改任何权重,就能确定性地改写模型的归一化状态,并逆转表面指标上的遗忘效果。作者将该操作形式化为保权重的固定点算子,并证明其造成的遗忘前后差距可归因于 BN 运行统计量,而非遗忘方法对权重的修改,从而把测量失败与编码器失败区分开。实验显示,该伪影在标准基准的九种方法上最多逆转 78 个百分点的遗忘准确率;攻击者仅用 10 张无标签图像即可恢复大部分被掩盖的准确率;改用严格的 GroupNorm 后,所有方法的伪影降为零。测试的成员推断攻击在重新校准后变化不大,说明评测失败集中在遗忘准确率和线性探测上。

9月30日周三
  1. arXiv · 收录 · 原文 论文43

    IDUnlearn-Bench:面向视觉语言模型的个体级遗忘基准

    研究者提出 IDUnlearn-Bench,称其为首个面向视觉语言模型个体级多模态遗忘的基准,把每个人表示为相互关联的多模态证据,并设置属性访问、身份访问、身份绑定和身份重建四类任务。在代表性 VLM 和遗忘方法上的实验显示,属性层面的遗忘成功往往仍保留大量身份级知识,且效果可能非单调,降低一类风险反而放大另一类。模型可能压制部分信息,却仍能识别目标、关联记录或重建该个体。

已经到底了