跳到正文

Agent 安全

今天还没有收录新动态
只看论文
Agent 安全

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindMetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月6日周二
  1. 论文追踪 · 收录 · 原文 论文32

    立场论文：AI 智能体设计正削弱人类监督能力

    一篇立场论文（arXiv:2608.23642）指出，当前 AI 智能体的设计与部署方式不仅妨碍有效的人类监督，长期使用 AI 系统还会削弱监督者所需的认知能力。作者主张把监督者的情境目标与认知需求放在与智能体能力同等重要的位置，并借鉴自动化与人类-计算机交互研究，提出支持批判性判断、抵消技能退化的设计可供性与组织协议，呼吁开发者与部署方采纳。

    观点#Agent 安全#AI 控制#观点与讨论#arXiv
10月5日周一
  1. arXiv · 收录 · 原文 论文21

    面向自主科学发现的智能体经济基础设施

    论文提出为 AI for Science 构建"科学智能体经济、市场与制度"基础设施，以在推理能力提升之外补齐资源管理这一科学发现的关键瓶颈。该基础设施旨在让 AI 智能体与人类科学家协作确定研究优先级、分配贡献归属、追踪问责与责任，并防范恶意使用与信息安全风险。文章还讨论了（半）自主科学发现的宏观社会影响，以支撑治理政策制定，确保 AI 驱动发现及其衍生技术的公平分配。

    观点#Agent 安全#观点与讨论
10月1日周四
  1. arXiv：越狱、提示注入、投毒与防御 · 收录 · 原文 论文34

    面向智能体的高效 HPC 系统：挑战与机遇

    编码智能体已成为 HPC 系统的真实用户，但现有 HPC 抽象、接口与策略仍为人类工作流设计。测量显示，编码智能体用户仅占观测人群的 19.5%，却贡献了 55.8% 的作业提交、29.1% 的 CPU 核心时和 42.7% 的 GPU 时；其命令下发速率是人类的 20.8 倍，并以细粒度 explore-modify-execute 循环和跨昼夜的试错方式追求开放式目标。这给调度器控制面、元数据密集型 I/O、跨会话记忆复用以及提示注入与策略执行带来压力，作者主张将智能体视为一等主体、以协同设计应对。

    观点#提示注入#Agent 安全#观点与讨论#arXiv
已经到底了