跳到正文
10月8日 · 周四

隐私与数据泄露 · 论文

找到 2 篇
筛选1
同一类里任选其一,不同类之间同时满足;数字是加上其他已选条件后的篇数。
  1. 攻击arXiv:2610.04589 ·

    StegoMemory 红队测试:智能体持久记忆可被用作跨会话隐蔽信道

    用StegoMemory测试智能体持久记忆作为跨会话隐写信道的可行性

    测试
    Llama 3.1 405B、Claude 3.5 Sonnet、GPT-4o 等 13 个应用层
    场景
    AI Agent
    摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密,写入持久化是主要防御瓶颈,呼吁建立记忆完整性防御。
    • 论文定位:论文提出了 StegoMemory,系统评测大语言模型智能体持久化记忆被用作跨会话隐写隐蔽通信信道的安全风险。
    • 解决的核心问题:现有安全评估主要关注显式有害内容与提示词注入,忽视了攻击者利用良性交互在记忆中隐写编码并跨会话重构机密的信息流威胁。
    • 方法核心要点:通过主副任务配对与两会话隔离协议,测试 7 种隐写机制在 13 个模型中的编码、记忆写入持久化及后续良性检索恢复全流程,并配合任务完成与安全合规监视。
    • 主要实验发现:
      1. 在全基准 14,000 次试验中,20.1% 实现了合成机密的确切匹配恢复,且其中 71.4% 同时通过任务完成与独立安全监视(占全试验的 14.4%)。
      2. 13 个模型中有 12 个显示信息损耗集中在记忆写入持久化阶段而非检索阶段(写入阶段存活率为 29.8%,检索可恢复为 25.4%)。
      3. 模型低拒答率不等于高正确编码率,较弱模型在未拒答时大量产生格式错误编码(全模型平均格式错误率为 23.5%,拒答率为 20.6%)。
    • 作者结论与防御启示:作者认为持久化记忆应被视作安全边界而非被动存储介质,单靠表面响应监视无法保证信息流安全,防御应优先部署在记忆写入接口处,实施出处追踪、规范化与跨会话信息流审计。
    完整解读
  2. 评测与基准arXiv:2610.05586 ·

    AgentDoxx:联网搜索 Agent 对匿名访谈文本的再识别评测

    构建AGENTDOXX评测联网搜索智能体对匿名访谈的再识别能力

    测试
    GPT-5.6 Terra、GPT-5 Mini、GPT-4.1 Mini 等 10 个应用层
    场景
    AI Agent
    摘要论文提出了已知身份的重识别基准 AGENTDOXX,揭示搜索与记忆双重风险及现有防御在检索轨迹中的泄露漏洞。
    • 定位与核心问题:本研究评估具备网络搜索工具的大语言模型智能体对去标识化文本的重识别风险;针对现有研究缺乏真实身份标注导致无法可靠测量风险与防御效果的问题,提出了具已知真实身份的评估套件 AGENTDOXX。
    • 评测方法与流程:基于 Reddit 的 r/IAmA 提取 822 位真实个体的公开属性,使用 GPT-5.4-mini 生成 8 轮结构的合成访谈并经双模型与人工脱敏审查;评测 15 种开源与专有模型配置在 Tavily 搜索下的直接重识别表现,并分析搜索时序轨迹与防御手段。
    • 参数化与检索双重风险:开源模型仅凭内部记忆无需搜索即可重识别 15.8%–27.7% 的访谈,搜索则使最强配置准确率达 47.0%–48.3%(Figure 3);目标一旦出现在检索结果中,全配置平均有 91.2% 的案例成功完成重识别(§4.2)。
    • 传统实体脱敏防御不足:基于 Presidio 的 NER 实体遮蔽后,143 篇分层样本中仍有 85.3% 至少被一个攻击者成功重识别(Table 2);属性假值替换虽使平均准确率降至 34.2%,但强推理模型常将事实矛盾视为听录噪音。
    • 提示词约束难以阻断过程泄露:系统提示词隐私约束虽使输出准确率降至 21.6%,但在拒绝给出姓名的样本中,37% 已在搜索过程中检索到了真实姓名,58% 在理由中披露了足以定位身份的关键细节(Table 3)。
    • 作者结论与启示:作者认为搜索增强智能体的隐私评估必须同时审计检索轨迹与最终输出;重识别能力已在开源模型中显现;针对复合属性的定向脱敏比单纯遮蔽命名实体更为必要。
    完整解读
已经到底了