研究者提出理解审计机制,以缓解自动化 AI 研究带来的风险
提出 comprehension audits,以人类理解证据作为继续研发门槛
- arXiv
- 2610.10064
- 发表
摘要理解审计把出示人类理解设为继续研发的门禁,并报告开源评审评论率下降。
本文是一份研发过程保障提案:用 comprehension audits 检验责任人是否理解 AI 参与产生的研发贡献,未达标就暂停后续开发与依赖该贡献的发布。。
提出 comprehension audits,以人类理解证据作为继续研发门槛
本文是一份研发过程保障提案:用 comprehension audits 检验责任人是否理解 AI 参与产生的研发贡献,未达标就暂停后续开发与依赖该贡献的发布。。
用均值场博弈分析多智能体集体攻击何时不是均衡
摘要结构阈值给出干预杠杆。
Chan 等论证:自动化 AI 研发可能经软件反馈环形成智能爆炸,把本需数年的进展压进数月或更短。他们关心的不是换硬件的建设周期,而是 AI 扩大有效研发劳动力、再产出更强系统,以及社会能否在能力跃迁前看见、约束并适应这一过程。
作者把高自主 AI scientist 的规模化协调写成经济与制度问题:假设生成变便宜之后,要分配的是稀缺验证资源,并处理信用、问责和恶意使用。
提出双层系统 AIDE2,使研究智能体自改进 Harness 并对比人类研发基线
摘要提出双层递归自改进系统 AIDE2,在固定预算下演化 Harness 代码,多项留出基准超越人类基线并降低奖励黑客。
面向 Internet of Agents 的信任发现架构,用层级注册与解析把异构智能体变成可发现、可核验的身份。。
Lanier、Farmer 与 Vorobeychik 研究仿真型网络安全博弈中,如何在远小于全矩阵的仿真预算下计算可利用性较低的均衡。。收益没有闭式,PSRO 扩大攻防策略池时必须估计每一对的收益,仿真次数随池二次增长。
提出内核管理共享记忆抽象,统一多智能体的检索、隐私过滤与注入
kernel-managed shared memory 把多智能体的检索、隐私和注入收进 agent-system kernel,并在 AIOS 上与三种替代方案比较。
提出以协调情节为单位遏制智能体协同入侵的准则
摘要立场是跨执行保留关系并约束共享状态。
部署方侧的两层证明,用来在多智能体跨部署方委托之后回答两个事后问题:谁放出了这些字节,这条跨部署方边有没有父方授权。
这是一篇关于 LLM 驱动 AI scientists 的 perspective:自主科研能力增强时,误用和意外后果缺少科学情境下的系统防护。