智能体 AI 系统的认知诱发风险:从物理认知到自我指涉认知的三级框架
Understanding Cognition-Induced Risks in Agentic AI Systems
AI 导读
研究者提出一个按认知范围划分的三级框架,系统分析 LLM 驱动的智能体 AI 系统在认知能力扩展中带来的风险,从物理认知、社会认知到自我指涉认知逐级递进,并对应考察其对人类能动性、自主性与控制能力的影响。论文最后提出缓解这些风险、提升智能体 AI 系统可控性的策略,以保障其长期安全发展。该论文已被 IEEE Intelligent Systems 接收。