跳到正文

AI 与网络攻防

今天还没有收录新动态
只看论文
AI 与网络攻防

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindMetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月2日周五
  1. arXiv：对齐、欺骗与监督 · 收录 · 原文 论文43

    AuraForge：为训练安全编码 Agent 扩展安全监督

    AuraForge 通过合成并验证可执行的安全测试，为训练安全编码 Agent 提供可扩展的安全监督。该方法结合面向攻击的测试合成、可扩展语言的任务构建以及针对奖励作弊的防护。基于此构建的 AuraGym 覆盖 Python、JavaScript 和 TypeScript，包含来自 344 个真实仓库的 679 个可执行功能实现任务，涉及 177 个 CWE 类别。在带有人工安全测试的子集上，AuraForge 平均生成约 3 倍的测试用例，并将误报率降低 83.23%。用合成安全测试训练 Qwen3.5-4B，在三种语言上的提升大于人工安全测试（平均 19.7 FuncPass 和 6.2 SecPass，对比 14.9 FuncPass 和 4.4 SecPass）。

    防御#阿里巴巴 · Qwen#Agent 安全#防御与护栏#危险能力#AI 与网络攻防#开源模型安全#arXiv
10月1日周四
  1. arXiv：越狱、提示注入、投毒与防御 · 收录 · 原文 论文29

    Sentinel-RL：将拓扑推理从 LLM 智能体中卸载到安全运营中心

    Sentinel-RL 是一种将拓扑推理与语义推理解耦的智能体 SOC 架构，用异构图注意力编码器把实时认证子图压缩为固定维度状态，再由 PPO 策略映射到受限调查动作，LLM 智能体仅负责消费策略建议并生成分析师可读的叙述。在 LANL 综合多源网络安全事件数据集和印第安纳大学 Quartz HPC 集群上，两阶段 CREATE 摄取模式在单台 32 核节点上 14.2 分钟加载 2400 万条边认证子图，比基于 MERGE 的流水线快约 24 倍；PPO 训练 200 次迭代收敛至平均回合回报 8.74±0.31，在标注红队事件上留出集精确率 0.91、召回率 0.87；完整检测-调查-建议-人工批准循环中位耗时 6.3 秒。

    防御#Agent 安全#防御与护栏#危险能力#AI 与网络攻防#arXiv
已经到底了