跳到正文

第 2 页更新的内容回到最新

10月4日周日
  1. 论文追踪 · 收录 · 原文 论文60

    研究:个人 AI Agent 会按推断财富差别推荐,屏蔽属性反而放大差距

    一项 arXiv 论文在 13 个模型、3 类经济决策上做了 32.5 万次实验,发现个人 AI Agent 仅凭用户个人上下文就会推断财富并据此调整推荐,8 个模型在请求完全相同时为更富用户选择更贵的选项。研究覆盖 GPT-5、Claude、Gemini 与 Qwen3.5 系列,从 2B 开源模型到前沿模型,差距从航班 198 美元、保险每月 284 美元到研究生项目每年近 3900 美元不等,Claude Opus 4.8 效应最大。即使明确要求找最便宜的选项,部分 Agent 仍按推断的财富行事;财富也可从与任务无关的邮件中推断出来。屏蔽财务属性基本能消除差距,但屏蔽就业等其他属性往往无效,甚至使保险差距最多扩大 40%,因为模型会依赖剩余信号继续推断财富。作者将这一现象称为对抗性委托,指出让个人 Agent 有用的条件本身也可能让它违背用户利益。

    推荐理由论文用 32.5 万次实验量化个人 Agent 依据推断财富差别定价的现象,并给出屏蔽属性反而放大差距的机制。

  2. 论文追踪 · 收录 · 原文 论文53

    SigLeak 可从执行轨迹推断专有 Agent 技能,平均提升成功率 6.88 个百分点

    研究者提出 SigLeak,一个仅凭公开任务描述和黑盒交互就能从执行轨迹中推断专有 Agent 技能内容的框架,并将这一威胁形式化为 Skill Leakage。方法分两阶段:先用诊断任务构造生成多样且决策密集的探针,再对比同一探针在启用与禁用目标技能下的配对轨迹,提取可复现的技能签名并迭代精炼重建结果,全程不需要参考答案或轨迹级正确性标注。在五个场景、三个模型家族和三个 Agent 框架上,SigLeak 在几乎所有设置中取得最佳或并列最佳的下游成功率,平均比禁用技能的基线高 6.88 个百分点,细粒度 SkillSim 的 F1 与召回率也最高。在 SkillGuard5 提示防御下,提示窃取基线 BBS 的细粒度召回与 F1 为零,而 SigLeak 仍能恢复目标技能内容。作者指出,隐藏技能文件并不能隐藏其行为影响,需要在不牺牲执行可见性的前提下设计针对行为推断的防御。

    推荐理由论文把专有 Agent 技能被行为轨迹反推的风险形式化,并给出可复现的黑盒推断流程与跨模型评测结果。

  3. 论文追踪 · 收录 · 原文 论文49

    论文指出密码学模型认证的假设缺口:审计通过但部署失效

    论文《Certified in Theory, Broken in Practice》指出,基于安全零知识证明(ZKP)的密码学模型认证(CMC)方案存在假设缺口:现有安全定义只保证模型在固定审计数据集上的行为,未保证同一分布的其他数据上同样成立。作者据此构造攻击,通过精心设计训练数据,使模型在审计中表现正常、部署后出现病态行为,实验显示攻击者可认证模型在审计集上准确率超过99%,而在同分布新样本上不足30%。为弥补该缺口,作者形式化了面向 CMC 框架的密码学安全定义,提出通用协议模板并证明其满足这些要求。作者认为该结果既是对现有方案的警示,也为设计安全、隐私保护的机器学习审计协议提供了建设性指引。

  4. 论文追踪 · 收录 · 原文 论文43

    范围综述梳理 LLM 聊天机器人对心理健康的 119 篇相关文献

    一篇发表于 npj Digital Medicine 的范围综述系统梳理了 119 篇关于 LLM 聊天机器人(LLM-CB)心理健康危害的文献,将其归纳为概念性工作、心理健康支持使用、认知过度依赖、AI 依赖和 AI 精神病五类主题。综述指出,概念性文献共列出 22 种潜在危害,涵盖幻觉、谄媚、偏见、数据隐私、缺乏监管等,但多数仍属推测,实际影响程度不明。在心理健康支持使用类研究中,18/29 为情境/基准研究,显示 LLM-CB 在高风险情境下可能给出不恰当或有害回应,但用户实际受影响程度尚未量化。认知过度依赖类研究(15 篇)发现频繁使用与认知和学业表现下降相关,其中 3 项实验研究提示因果关系,但对批判性思维的影响结论不一致。综述还提到 OpenAI 2025 年自报数据估计超过百万 ChatGPT 用户(约 0.15%)表现出严重心理困扰迹象,该数据基于内部分类器、未经独立验证。

  5. 论文追踪 · 收录 · 原文 论文45

    研究分析 3930 条 Reddit 帖子,揭示青少年对陪伴型 AI 聊天机器人的过度依赖

    研究者对 3930 条青少年相关 Reddit 帖子中的 17053 条经核实引文做主题分析,归纳出七个主题组下的 53 个话题,考察青少年对陪伴型 AI 聊天机器人的使用。用户把 AI 陪伴描述为安慰、被认可、身份探索和关系演练的来源,同时也报告了问题性依恋、社交替代、情感依赖以及对学业和社交生活的干扰。角色扮演、记忆、感知到的互惠、不想要的浪漫或性角色漂移、隐私顾虑、平台变更和服务中断,共同塑造了用户对边界的控制。研究指出,即便用户知道 AI 是人工的,也无法避免内疚、义务感、悲伤或痛苦,因此陪伴型 AI 的安全需要围绕用户可控的记忆、隐私、关系边界和健康脱离来处理长期关系。

  6. 论文追踪 · 收录 · 原文 论文56

    研究揭示 split-LLM 训练中返回梯度泄露真实行,前向隐私门仍通过

    研究者对两节点 split-LLM 训练系统做安全案例研究,发现被评估为通过隐私门的前向通道之外,返回的输出梯度存在未被测试的泄露通道。可信本地节点持有私有损失并回传输出梯度,由于损失在 decoy 行之前截断,decoy 行的梯度恒为零,零支撑模式直接暴露哪些行是真实行。在九个随机种子上,每次运行的 4,096 个帧都被准确区分出真实行,行级一致率为 1.000。基于该结构信号的内容探测相对常量基线多恢复约每百 token 一个 token,提升 +0.65 至 +1.50 个百分点,而打乱标签的对照未恢复任何信息。在通过前向隐私门与质量门的四层浅分割配置上,联合视图仍突破预设的 +1.0 个百分点门限。

    推荐理由论文给出一种被前向隐私门漏掉的梯度通道泄露,并附可复现的校准协议与缓解成本,适合做隐私评测的团队参考。

  7. 论文追踪 · 收录 · 原文 论文67

    研究者利用加密推理块跨模型兼容性窃取专有 LLM 推理链

    研究者发现 Anthropic、OpenAI、Google 的 API 把思维链以加密块形式交给客户端回传,这些加密块在同一厂商生态内可跨会话、跨用户、跨模型复用。他们把强模型的加密推理块注入同厂商较弱、防护较松的模型(如 Claude Haiku 4.5、GPT-5.6 Luna、Gemini Robotics 1.6),迫使其逐字转写明文,从而在不直接越狱强模型的情况下提取其推理链。该漏洞衍生四类攻击:绕过反蒸馏机制窃取专有推理、从公开会话日志中大规模提取隐私数据、通过隐藏推理通道获取有害信息、以及在加密块中植入不可见的提示注入。研究者在 GitHub 和 Hugging Face 抓取 6,708 条公开 Agent 轨迹,解码出 315,320 条推理链,恢复 367 项 PII 和 182 项凭据,其中真实用户会话包含 62 个 API key、33 个密码和 30 个邮箱。

    推荐理由论文披露加密推理块可跨会话、跨用户、跨模型复用,并给出对 Anthropic、OpenAI、Google 三家 API 的实测结果与缓解建议。

  8. 论文追踪 · 收录 · 原文 论文50

    aiXamine:跨维度评测 LLM 安全、安全(security)与隐私权衡

    研究者提出 aiXamine,一个统一黑盒评测平台,把 LLM 的安全、安全(security)与隐私当作相互依赖的属性来评估。平台通过自动化红队流程编排 9 项服务上的 46 个测试,生成从提示词级诊断到跨服务权衡分析的分层风险画像,可在相同条件下复现对比闭源与开源权重系统。作者用 aiXamine 测试了 120 多个 LLM、超过 5000 次测试运行,发现三种单轴评测看不到的跨维度现象:更强的对齐会系统性提高过度拒答,形成可量化的安全税;隐私与其他可信维度近乎正交,标准对齐无法覆盖;无 on-policy 校正的 off-policy 知识蒸馏会导致熵坍缩,在同一基础架构上把鲁棒性从 56.9 降到 2.6。

  9. 论文追踪 · 收录 · 原文 论文39

    研究:生成式 AI 模型中的概率性复制与版权认定

    Mark A. Lemley 与 A. Feder Cooper 在论文中讨论,已有研究显示可从部分大语言模型中提取某些受版权作品的逐字或近似逐字文本,说明模型权重以某种形式编码了这些作品。作者指出 LLM 并非以数据库格式存储信息,而是存储从训练数据中学到的 token 间统计关系,生成过程常是概率性的而非确定性的。版权法此前未处理过这种可能产生相似输出、也可能不产生的信息存储是否构成复制。作者认为,现行法下最可能的结果是采取功能性路径,即只有当某作品能被直接提取到输出中时,才认定模型包含该作品的复制,并指出这一结果在政策层面并不令人满意,提出了可能的修法方向。论文即将发表于 Berkeley Technology Law Journal。

  10. 论文追踪 · 收录 · 原文 论文49

    研究者提出可提取记忆的匹配比较检验方法

    A. Feder Cooper、Percy Liang 等研究者提出用匹配比较来判定语言模型的可提取记忆,即同时测量训练序列与可比非训练序列的生成概率,以非训练序列的概率作为可预测性基线,超过基线才算记忆证据。方法包含两种形式:在序列从总体抽样时使用按选定假阳性率校准的 conformal 检验,以及针对单文档、以匹配的非训练文档校准的普查。在 Wikipedia 上,OLMo 2 32B 复现非训练 10-token 后缀的频率约为训练后缀的 24%,这部分反映的是假阳性而非记忆;在书籍数据上,Llama 3.1 70B 的校准普查阈值低至 10^(-27),可为任何可行采样预算都难以提取的序列提供记忆证据。作者据此把可提取记忆重新定义为同时满足有效记忆主张与在现实预算内近乎确定生成。

  11. 论文追踪 · 收录 · 原文 论文27

    拆解 LLM 交互中的隐私-效用权衡:Veilmind-4B 意图驱动本地保护框架

    研究系统分析了 LLM 交互中隐私清洗对下游性能的影响,揭示三项机制:数据价值随用户意图在关键约束与可弃噪声间切换、清洗方式(删除或替换)取决于任务对事实完整性还是结构连贯性的依赖、属性间存在协同依赖或对抗冗余的语义网络。据此提出意图驱动的本地保护框架,蒸馏轻量模型 Veilmind-4B 驱动动态提取-清洗-恢复流程,在保持低泄漏隐私点的同时,响应效用显著高于现有隐私基线,将隐私-效用权衡推向帕累托前沿。

  12. 论文追踪 · 收录 · 原文 论文35

    剪枝提效却牺牲公平:剪枝语音 LLM 中的群体差异

    研究发现音频编码器剪枝对 SLAM-ASR 不同人群的影响并不均等,最佳与最差表现群体之间的差距随剪枝成倍扩大。在 Fair-Speech 和 Common Voice 上,这种差异出现在全部三种编码器规模中,但只有最大模型最初能用总体 WER 掩盖它;LoRA 适配虽改善所有群体的 WER,却让原本表现好的群体获益更多。在 Common Voice 英语、丹麦语和荷兰语上,口音差距持续存在但未明显扩大,说明剪枝的公平性影响因数据集而异,部署时应纳入分组 WER 并以最差群体错误率为明确标准。

  13. 论文追踪 · 收录 · 原文 论文34

    ALeBi:用 bias probe 主动审计多群体公平性

    研究者提出 bias probe 框架与主动审计器 ALeBi,通过定向自适应查询估计多群体公平性指标,无需重建黑盒模型即可揭示偏差结构。该工作给出由属性特定复杂度度量控制的样本复杂度保证,并扩展到模型所有者刻意隐藏偏差的对抗场景,揭示模型保密性与可靠审计之间的根本权衡。实验验证了理论结果,并表明该方法能准确估计偏差、可解释地识别高偏差与低偏差区域。

  14. 论文追踪 · 收录 · 原文 论文26

    美国隐私岗位招聘分析:AI 治理职责如何嵌入隐私职位

    一项对 LinkedIn 和 Indeed 上 1,143 条美国隐私岗位招聘信息的计算分析发现,隐私岗位普遍呈混合形态,同时要求法律知识、技术技能与人际能力。AI 相关表述出现在超过一半的招聘信息中,并分布于合规、法律、治理与安全等主题;研究据此指出,AI 治理职责常被嵌入既有隐私岗位,催生出混合职位与专职 AI 治理岗位并存的格局。

  15. 论文追踪 · 收录 · 原文 论文36

    研究:EdTech 平台将隐私与 AI 披露推迟到产品后期

    一项混合方法研究考察了教育科技(EdTech)平台如何处理学生隐私与 AI 披露。研究者对 12 名 EdTech 从业者进行半结构化访谈,并对 48 家平台的隐私政策按五个维度编码审计,评分者间信度较高(平均 Cohen's Kappa = 0.781)。访谈显示,隐私虽被认可为重要,却常在产品生命周期中被推迟,组织优先考虑功能、增长、融资和即时教学效果,并把责任转嫁给云服务商、政策文件或下游机构。政策审计发现,平台对收集哪些数据描述较充分,但对数据后续治理说明明显不足:33% 的平台在存在可见 AI 功能的情况下未做有意义的 AI 披露,73% 只提供笼统的问责与泄露响应措辞。K-12 平台在监管有明确要求时对儿童同意的处理更好,但这一优势未延伸到 AI 治理或问责。

  16. 论文追踪 · 收录 · 原文 论文42

    研究者提出零知识谓词证明网关,在 MCP 与 Agent2Agent 上实现 Agent 间数据最小化

    研究者提出 Zero-Knowledge Proof Gateway,让 AI 智能体之间交换治理定义谓词的证明而非原始数据,从设计上避免数据暴露,并针对现有互操作协议无法承载此类证明的问题,在同一端点上为 MCP 和 Agent2Agent 实现该插槽。32 位阈值谓词在单颗商用 vCPU 上证明耗时 6.2 ms、验证 1.0 ms,Bulletproofs 证明为 608 字节;11 项对抗实验与 19 项协议检查通过,系统部署到 Kubernetes 并经验证网络隔离。案例研究在不透露金额的前提下证明某零售客户订单在限额内,将 GDPR 数据最小化原则落实为技术措施。论文还指出谓词证明只把陈述绑定到已承诺的值、不绑定到记录系统,为此给出将 enclave 证明与证明双向融合的构造,使验证单个产物即可同时确认谓词成立且该值由特定已度量二进制读取,并在模拟权威机构上做了测试。

10月3日周六
  1. 论文追踪 · 收录 · 原文 论文38

    ReCast:在固定媒体接口下保护多模态推理的隐私框架

    研究者提出 ReCast,一个面向远程多模态推理的隐私保护框架,在保持图表和语音等固定输入模态的前提下替换源内容。它先在本地把输入转成统一的文本证据查询记录,用蒸馏的 4B 模型联合改写实体与主题,再通过本地可逆、角色感知的数值映射替换数值,由重建 Agent 生成并校验所需媒体;远程求解器返回的程序在本地还原受保护的操作数后再执行。在 4000 条 ChartQA 和 NMSQA 留出样本上,ReCast 准确率 75.10%,保留未受保护远程准确率的 92.43%,基于模型的审计在 7.95% 发往求解器的请求中标记出源内容泄露。作者称其优于所有评估的本地基线。

  2. 论文追踪 · 收录 · 原文 论文49

    GraphProfiler 用个人知识图谱推断敏感属性并溯源到具体帖子

    研究者提出 GraphProfiler,一种可审计的 LLM 画像方法,将用户发帖历史表示为带来源链接的个人知识图谱,节点和边可回溯到原始帖子,属性预测可引用图谱记录和源文本。在八属性的 SynthPAI 基准上攻击成功率达 86.7%,与纯文本强基线相差不到两个百分点,在 PANDORA 上为 84.6%,超过 98% 的预测附有支持证据。消融实验显示,移除被引用的帖子比移除同等数量的随机帖子更能降低攻击成功率,说明这些帖子确实贡献了推断结果。该工作已被 EMNLP 2026 主会接收。

  3. 论文追踪 · 收录 · 原文 论文50

    研究揭示训练效率与模型脆弱性的权衡:高效训练更易受对抗与隐私攻击

    Yiyong Liu、Jun Sakuma、Michael Backes、Rui Wen 的论文对训练效率与模型脆弱性的权衡做了跨领域系统研究,覆盖视觉与语言模型。结果显示,采用选择性数据采样、高效预训练和简化强化学习流程等效率导向策略的模型,对对抗攻击和隐私攻击的易感性上升。作者通过分析模型内部几何与功能表征发现,高效变体一致表现出更尖锐的损失几何以及表征结构的系统性变化。研究还扩展到零 RL 训练,发现用简化 RL 流程训练的模型比常规对齐流程训练的模型更容易出现灾难性遗忘和过度自信。作者据此认为训练效率并非免费午餐,并呼吁转向同时优化性能、成本与安全的多目标训练。

  4. 论文追踪 · 收录 · 原文 论文54

    研究实测五套 Agent 记忆系统均不执行撤销标记

    研究者对 Graphiti、Zep(两者共用同一引擎)、mem0、langmem 和 cognee 五套采用软撤销的 Agent 记忆系统做实证测量,发现没有系统默认执行撤销:被标记为无效的事实仍可能在检索时返回,导致 Agent 选择不安全动作。实验覆盖九个策略场景、六个厂商的九个模型,每个试验在六种防御条件下评分。五套系统中有两套会同时返回撤销记录和替代记录,这两套在所有场景中都把撤销记录排在当前记录之前,并在超过五分之二的试验中让 Agent 选了不安全动作。作者据此开发了一个位于 Agent 与记忆后端之间的护栏,在读取时检查记录有效性,扣留已撤销或与替代版本冲突的记录,并在相同系统与模型上验证其效果,代码已开源。

    推荐理由论文实测五套 Agent 记忆系统在检索时均不执行撤销标记,并给出一个可复现的检索层护栏设计。

  5. 论文追踪 · 收录 · 原文 论文49

    研究者质疑 Alignment Whack-a-Mole 的书籍记忆化结论,称其测量方法无效

    研究者 A. Feder Cooper 发布 arXiv 评论文章,认为 Alignment Whack-a-Mole 中关于微调导致书籍记忆化的核心结果使用了无效的测量流程。她指出,这些结果依赖的书籍记忆化覆盖率指标所统计的序列匹配长度远短于领域公认的记忆化证据标准,用于诱发记忆化的提示词流程还可能把待提取文本泄露进提示词中。论文缺少负对照实验,无法判断结果中有多少来自假阳性,即在生成内容与训练数据的匹配可能源于其他因素时仍宣称提取成功。她据此认为,论文关于微调可让用户提取受版权保护书籍中足以替代原作的相当部分内容的说法缺乏结果支持,且未报告实验成本这一威胁模型的重要组成。她提到,过去一个月有潜在原告联系她,希望将该论文作为正在和可能发生的版权诉讼中的有效证据。

  6. 论文追踪 · 收录 · 原文 论文40

    研究分析 Be My Eyes 1428 条低分评论,揭示视觉描述服务的骚扰、隐私与无障碍安全问题

    Brigham 与 Kohno 对 Be My Eyes 的 1428 条一至三星评论做定性分析,考察这一连接超百万盲人与低视力用户、超千万志愿者的视觉描述服务及其 AI 版本 Be My AI 中用户和志愿者遇到的问题。分析发现三类问题:网络骚扰与滥用(恶意骚扰、网络裸露、举报机制失效)、信息暴露之外的隐私担忧(数据被用于模型训练),以及无障碍与安全问题(描述不准确、家长式护栏)。研究还分析平台政策是否及如何回应这些问题,并针对无障碍、安全、隐私与 AI 方面的挑战提出改进视觉描述服务信任与安全的建议。

  7. 论文追踪 · 收录 · 原文 论文58

    研究者提出 MemGhost,对持久化个人 Agent 实现隐蔽记忆注入

    研究者提出隐蔽记忆注入攻击,利用不可信外部内容被静默写入 Agent 持久记忆并在此后作为可信状态复用。为评估该威胁,他们构建 WhisperBench,一个含 108 个案例、覆盖五类风险及事实与偏好投毒的基准,使用真实 IMAP/SMTP 邮件流程和真实邮件 Agent 技能进行全周期评测。攻击框架 MemGhost 通过环境代理模拟持久化 Agent 执行、目标代理将记忆采纳与会话隐蔽性转为密集奖励,再用监督微调和强化学习训练攻击策略,实现单封邮件的一次性载荷生成。

    推荐理由论文提出针对持久化个人 Agent 的隐蔽记忆注入攻击,并给出跨框架、跨记忆后端的成功率数据,可供部署此类 Agent 的团队评估风险。

  8. 论文追踪 · 收录 · 原文 论文38

    TC-UAP:针对图像转视频与微调定制的通用视频保护方法

    研究者提出 Temporally Consistent Universal Adversarial Perturbations(TC-UAP),用于保护视频免遭基于参考的图像转视频生成和基于微调的视频定制两类流程的滥用。该方法在多个视频的滑动窗口上优化身份级多帧通用对抗扰动,以应对视频 VAE 时序压缩、单视频扰动难以迁移以及时序不一致扰动易被时序攻击破坏三个挑战,并引入内在时序建模与外在代理时序攻击损失。实验显示,TC-UAP 在两类定制流程下的身份保护效果优于现有方法,且对多种未见过的时序攻击保持稳健。该工作为 ECCV 2026 LifeGenIP Challenge 提供基础。

  9. 论文追踪 · 收录 · 原文 论文48

    AntiSkillBench:评测 persona skill 的隐私泄露与行为模仿风险

    研究者提出 AntiSkillBench,一个覆盖 persona skill 全流程的端到端基准,用于评测隐私泄露、属性披露与行为模仿风险及相应防御。该基准包含 7,500 条 persona 对话轨迹,来自 50 个行为特征丰富的用户画像,覆盖多种任务场景;评测套件在三种 skill 蒸馏策略下测量 skill 级隐私泄露与 agent 级属性披露、行为模仿;防御评测覆盖在线与事后干预的四种配置,包括主动风险抑制与被动来源保护。在三个前沿 agent 上的实验显示,persona skill 的风险跨 agent 骨干与蒸馏协议持续存在,并从显式属性延伸到沟通风格与人格特质;现有防御效果有限且依赖蒸馏方式,难以跨风险类型与蒸馏策略泛化。作者认为该基准为开发隐私保护与真实性感知的 persona skill 提供了有挑战性的评测工具。

  10. 论文追踪 · 收录 · 原文 论文50

    CoSec:面向社区场景的 LLM Agent 安全基准

    研究者提出 CoSec,一个用于评估 LLM Agent 系统在社区内部及跨社区运行时隐私与授权执行情况的可执行基准。该基准包含 208 个规范场景,覆盖固定与演化的社区边界、属于 Agent 所有者或其他参与者的受保护信息,以及通过对话、环境内容、持久记忆和组合工作流发起的攻击。CoSec 以持久会话、记忆、文件和工具运行完整 Agent 系统,并借助执行轨迹与产物对照当前授权状态验证信息流。结果显示,在不同 harness 与模型配置下,Agent 常能完成正常任务,却违反隐私与授权边界;隐私行为随 harness、攻击面和社区状态而变化,说明记忆、文件、工具与工作流都可能把受保护信息带出授权范围。作者据此指出,任务效用并不代表隐私或授权合规,社区场景下的授权仍是持久化 LLM Agent 尚未解决的安全挑战。

  11. 论文追踪 · 收录 · 原文 论文53

    研究梳理88个AI非自愿私密影像网站依赖的基础设施供应商

    Sarah Morgan、Hany Farid 与 Sophie J. Nightingale研究公开分发AI生成非自愿私密影像的网站及其基础设施。他们在六周检索窗口内找到400个URL,筛出88个相关网站,再分析托管、内容分发、DNS、域名及其他服务。研究认为少数大型供应商在其中扮演重要角色,并呼吁识别违规服务、停止支持和加强治理。样本不代表全网,CDN或代理服务不等同于直接托管,服务关联也不证明供应商知情协助。

  12. 论文追踪 · 收录 · 原文 论文32

    残障披露如何在对话式 AI 中流动:ChatGPT、Claude、Gemini 的记忆、隐私与语境完整性

    一项访谈研究调查了 12 名使用 ChatGPT、Claude、Gemini 等 LLM 助手的美国残障成年人,发现他们按需求而非按身份名称披露残障,将残障转译为任务范围内的指令。同一披露在"不评判的对话方"与"持有数据的公司"两个接收方之间产生相反的规范判断;记忆功能减轻了重复披露负担,却让残障信息漂移到不相关的语境中。参与者希望控制信息的范围、来源、保留与访问权限,而非逐句开关。

  13. arXiv · 收录 · 原文 论文15

    基于差分隐私扩散模型的能源时间序列插补:裁剪感知的目标条件化方法

    针对能源时间序列缺失值插补,研究提出裁剪感知的目标条件化方法,在固定阈值 DP-SGD 下用 v-prediction 缓解余弦扩散调度后期低 SNR 时间步的梯度放大,并引入扩散调度感知的动态加权在裁剪前加强衰减。在五个真实能源时间序列数据集上,覆盖随机点缺失、连续块缺失、持续中断及多种缺失严重程度,该方法在匹配 DP-SGD 设置下插补效用一致优于 ε-prediction 基线。梯度诊断显示裁剪前梯度范数上尾更低、裁剪比例下降,后期低 SNR 时间步衰减更强。

10月2日周五
  1. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文50

    LLMLeak:借 LLM 合法网页抓取实施隐蔽数据外泄

    研究者提出 LLMLeak,一种利用 LLM 网页抓取工具建立隐蔽信道的新型攻击向量:本地恶意软件无法直接联网,却可把机密编码进 URL,并以“迁移软件库”等良性任务为由让 LLM 访问该链接,攻击者再通过自己控制的 DNS 或网页服务器取回编码后的机密。作者指出,直接让 LLM 用生成代码发送数据的输入容易被检测、网络库通常也受限,而 LLMLeak 只依赖 LLM 获取网站信息的工具。在 11 个开放参数模型上的评测显示攻击成功率为 79.7%,作者还对真实聊天机器人做了案例研究。

  2. arXiv · 收录 · 原文 论文20

    Federated Agent Optimization:面向隐私约束下分布式智能体协同优化的联邦智能体优化框架

    这篇论文提出联邦智能体优化(Federated Agent Optimization, FAO),研究分布式 LLM 智能体如何在不上传原始数据、完整轨迹和私有知识的前提下通过受控信息交换实现协同改进。作者将 FAO 定义为平衡智能体效用、隐私泄露与通信成本的多目标问题,并把优化空间划分为策略、记忆、工具使用、奖励以及结构化知识与技能五个维度,刻画私有经验如何被抽象、保护、聚合并适配为可迁移能力。

10月1日周四
  1. arXiv:可解释性 · 收录 · 原文 论文36

    GUARD:在 CosyVoice2 上做说话人身份遗忘以阻止重识别

    研究提出 GUARD,一个轻量级说话人身份遗忘框架,在冻结的 TTS 主干上结合学习到的说话人门控与说话人无关的激活引导,引导向量用组相对奖励优化,把遗忘说话人的输出推向群体层面的冒充者相似度,同时保持可懂度与语音自然度。在 CosyVoice2 上,GUARD 将遗忘说话人相似度从 0.541 降到 0.103,在 150 名说话人库中的重识别准确率从 73.5% 降到 0.5%,并保留了对保留说话人的复现能力。作者指出,仅看相似度下降不足以刻画说话人身份遗忘是否成功,重识别应作为补充评估标准。

  2. arXiv:可解释性 · 收录 · 原文 论文36

    SCALPEL:用对比稀疏自编码器实现选择性表征层遗忘

    研究者提出 SCALPEL,一种对比稀疏自编码器,用于学习更具选择性的遗忘特征,从而在内部表征层面移除目标信息。作者指出基于重建的提取方法存在能量偏置,会偏向占主导的背景结构而忽略低能量的目标成分,并理论证明对比训练能促进目标选择性特征,且其选择分数可控制对背景知识的预期扰动。在 TOFU 数据集上对 Qwen、Llama 和 Gemma 的实验显示,SCALPEL 明显优于 NMF 与标准 SAE 干预,并与 Gradient Difference 和 RMU 相当,连接了机制可解释性与细粒度遗忘。

  3. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文59

    Repeat-After-Me:针对黑盒 VLM 的自适应视觉提示注入攻击

    研究者提出 Repeat-After-Me,一种黑盒自适应视觉提示注入攻击,可诱导模型泄露个人身份信息或发起恶意工具调用。在良性用户提示与注入任务语义无关、且未口头授权的现实设定下,该方法在开源与商用前沿 VLM 上的攻击成功率分别超过 82% 和 47%,涉及 Qwen3.6-27B 与 GPT-5.5。优化后的注入在商用 VLM 和良性样本间具有一定可迁移性,并在自适应文本提示注入失效的场景中仍然有效。在一个接入 Discord 的真实 OpenClaw Agent 中,不受信任的用户可用一张轻度注入的图片覆盖其 TOOLS.md 文件,为之后的远程代码执行和密钥窃取等敏感行为铺路。论文还讨论了潜在防御手段。

    推荐理由论文给出黑盒视觉提示注入在多个前沿 VLM 上的成功率,并演示了在真实 OpenClaw 智能体上覆写配置文件的完整链路。

  4. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文24

    AIOS 的内核管理共享内存:面向系统级个性化的新抽象

    研究提出"内核管理共享内存",由智能体系统内核而非单个智能体统一负责记忆检索、隐私执行与提示注入。该设计在 AIOS 上实现,用 GPT-4o、Llama-3.1:8B、Qwen-2.5:7B 三个助手模型共 1800 次试验,对比 Mem0 等三种方案:个性化得分提升 2.4-4.0 分(5 分制,GPT-4o 上 profile usage 从 1.05 升至 4.69),端到端延迟降低 15-61%,并减少每次调用的 token 用量与推理成本。

  5. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文56

    FlowSeal:用信息流控制阻断 LLM Agent 的隐私泄露

    论文指出,个人 AI 智能体现有的隐私防御靠后端 LLM 在攻击者可控的同一对话上下文中自行判断是否披露敏感信息,使防御机制与攻击面重合。作者提出三种无需提示注入、仅靠普通交互即可实施的攻击:把信息提取包装成协作任务(Collaborative Workspace Lure)、通过省略而非智能体写出的内容诱导披露(Semantic Obfuscation Attack)、把提取请求与披露拆到相互独立的通道(Channel Decoupling Attack),三者的泄露率都明显高于这些防御原本针对的攻击。据此作者提出 FLOWSEAL,在 LLM 上下文之外的工具层拦截器中,依据数据来源和带受控降密的信息流控制格执行保密。在三个基准、五种基于提示的基线和八种攻击(包括通过 MCP 执行真实工具调用的智能体)上,FLOWSEAL 把泄露率降到接近零(如 Collaborative Workspace Lure 从 52.2% 降到 0.5%),同时保持任务效用,且不依赖底层 LLM。

    推荐理由论文给出三种无需提示注入即可绕过现有隐私防御的交互式攻击,并附各防御下的泄露率对比,便于评估 Agent 隐私防护的实际边界。

  6. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文43

    用扩散模型隐空间扰动防御视觉语言模型的地理位置隐私泄露

    研究系统考察了多模态大推理模型(MLRM)从日常照片推断用户地理位置带来的隐私泄露,发现基于拒答的防护严重不足,精心构造的越狱提示词可将模型响应率提高到 100%。作者指出,现有在像素空间注入不可见扰动的防御受结构性限制,黑盒迁移性下降且出现明显视觉伪影。为此提出一种基于扩散模型的主动防御框架,在反向采样过程中向扩散模型隐空间注入扰动,直接作用于高层语义表示,并以与 GPS 坐标对齐的 GeoCLIP 作为代理模型定位和破坏 MLRM 用于位置推断的地理信号。该方法在保持图像感知质量的同时获得更强的黑盒迁移性,便于在社交媒体平台集成。该工作已被 NDSS 2027 接收。

  7. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文43

    HE-Guardrail:面向加密大模型推理的同态护栏防御越狱攻击

    作者指出,基于同态加密的大语言模型推理存在一个安全漏洞:服务端在无法接触明文的情况下,既看不到客户端提交的提示词,也看不到模型生成的回复,因此恶意客户端的越狱攻击难以被检测或拦截,甚至可能完全不被服务端察觉。为此作者提出 HE-Guardrail 框架,在加密数据上完整执行护栏机制,并以同态方式控制目标模型的回复是否返回给客户端。该框架以 Llama Guard、JBShield 和 GradSafe 三种代表性护栏进行实例化,结果显示其在密文域中能较接近地复现对应明文护栏的判定,并在安全性、效率与可用性之间呈现不同的权衡。

  8. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文43

    PMA 攻击:针对隐私保护 LLM 中嵌入到嵌入混淆的语义流形对齐方法

    作者提出 Proxy Manifold Alignment(PMA),一种针对隐私保护 LLM 中 Embedding-to-Embedding Obfuscation(E2EO)方案的密文到明文重建攻击。其核心观察是 E2EO 保留了原始语义结构,因此混淆后的向量流可视为一种符号即向量本身的未知分词语言,攻击被建模为从该未知语言到明文的翻译任务。PMA 仅需访问混淆向量流、目标分词器和公开语料,先用 Word2Vec 分别建模混淆流与公开语料的共现模式并构建两个代理嵌入向量,再基于结构相似性对齐两者的底层流形,最后把混淆向量映射回明文。实验结果显示,PMA 的明文恢复效果持续高于其他 SOTA 攻击方法。

  9. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文27

    面向联邦 LLM 微调的隐私保护拆分学习

    针对联邦拆分学习中 LLM 自回归特性导致中间激活泄露输入、现有扰动防御失效的问题,研究者提出一种可学习的混淆—恢复方案,在保护参与者私有数据集的同时仍能在服务器端训练可独立部署的模型。实验显示该方法在实现强隐私保护的同时仅带来适度的效用损失和系统开销,使基于拆分的联邦 LLM 微调具备实际可行性。