Apate用AI机器人反制网络诈骗者
澳大利亚公司 Apate 用约 35 万个 AI 机器人接听诈骗电话、潜入诈骗聊天群并回复短信,目标是拖住诈骗者并实时收集情报。目前已收集超过 25 万条诈骗者信息,包括诈骗 URL、钱骡账户和银行信息。其创始人 Dali Kaafar 称 Apate 的通话常持续两小时以上,WIRED 测试的演示版未能让该 AI 上钩。ETH Zurich 研究员 Mark Vero 的研究发现,LLM 驱动的蜜罐能让 AI 攻击者攻击更久,且被识破。
澳大利亚公司 Apate 用约 35 万个 AI 机器人接听诈骗电话、潜入诈骗聊天群并回复短信,目标是拖住诈骗者并实时收集情报。目前已收集超过 25 万条诈骗者信息,包括诈骗 URL、钱骡账户和银行信息。其创始人 Dali Kaafar 称 Apate 的通话常持续两小时以上,WIRED 测试的演示版未能让该 AI 上钩。ETH Zurich 研究员 Mark Vero 的研究发现,LLM 驱动的蜜罐能让 AI 攻击者攻击更久,且被识破。
SK电讯与Upstage联合安博士、SK盾牌等6家安全企业及高丽大学、崇实大学、釜山大学3所高校,共11家机构成立“独立AI网络安全协议体”,将把安全现场数据用于训练SK电讯A.X K系列与Upstage的Solar模型:安全企业提供恶意代码分析、漏洞分析、安全运营等数据,AI企业负责预训练和后训练,高校负责独立验证——高丽大学评测可执行文件分析与攻击防御能力,崇实大学验证安全性能与护栏绕过攻击的应对能力,釜山大学评估下一代模型与轻量模型的性能与安全性。协议体还将推动A.X K与Solar互相红队、互找漏洞,发现的脆弱案例回流为训练数据以强化防御能力。
韩国科学技术信息通信部下属 AI 安全研究所对自主体 AI Agent 开展提示注入攻击评测,各模型平均防御率为 53.3% 至 93.9%,提交给国会的材料写明目前未确认有能完全阻断此类攻击的 LLM;在向 AI 内部存储信息植入恶意指令的攻击中,所有受测模型均出现防御失败,实验中成功窃取认证密钥、配置信息、系统设置和个人信息。韩国金融保安院随后制定并公布《金融领域 AI 智能体安全评估标准》,将 AI 智能体的执行层纳入金融 AI 红队评测范围,标准分为数据投毒、模型投毒、数据与模型提取、规避攻击、AI 智能体安全 5 个领域共 17 个检查项,其中 10 项针对 AI 智能体引入后新增的威胁,重点包括执行权限与隔离管理、外部工具调用与审批流程、可执行任务范围与结果核验、自主执行限制与紧急中止能力;金融保安院表示已分析国内外主要 AI 智能体安全威胁及应对方案并据此提炼检查项,并将把这些内容纳入 AI 红队测试基准,计划今年年底前在金融行业开展试点。
韩联社报道金融保安院AI智能体安全评测标准
韩国AI安全研究所评测七款Agent模型提示注入防御
Anthropic宣布扩展Cyber Verification Program(CVP),将Project Glasswing与CVP合并为单一项目,按网络安全用途分三级:Defense Access面向企业、非营利组织、高校、政府安全团队及有漏洞报告记录的个人研究者,覆盖事件调查、恶意软件分析、漏洞分析与验证;Red Team Access仅限机构,用于授权攻击模拟与渗透测试;Specialized Access用于更专门用途。后两级逐步放宽安全护栏,经审核者可访问Claude Opus 5.5、Sonnet 5.5、Mythos 5.1及后续新模型。Anthropic称Glasswing合作方在4—7月发现至少12.9万个漏洞。
台湾资通安全研究院公布「国家资安防护 2.0」规划,以「AI 对抗 AI」为核心,推动四项重点工作:AI 自动化源代码检测与修补、AI 强化渗透测试及攻防演练、以大型语言模型全自动分析全球威胁情资并转为边界设备阻挡规则,以及建立国家级 AI 资安攻防沙箱。AI 红队渗透演练预计明年 4 月至 10 月针对政府部门展开,由资安院自行设计攻击技能并交由 AI 代理人执行。AI 自动化源代码检测今年底至少验证 3 家政府机关系统,明年扩至重要机关核心系统;漏洞挖掘与攻防演练已完成测试验证,明年全面实施。情资分析系统与 AI 资安攻防沙箱目标明年推出初版,另有报道称 2027 年底推出第一版初步成果。前瞻研究中心以代理式 AI 为核心,采第一年建立、后四年扩大部署的方式推进。
Armadin 创始人兼 CEO Kevin Mandia 在 a16z 播客中提出,AI 让攻击者能以机器速度同时探测数千条路径,防御也必须走向自主化。Armadin 的做法是用 AI 持续攻击客户系统,在对手之前找出可利用漏洞,今年已在生产环境中发现 90 多个零日漏洞。他认为人类无法继续留在检测与响应的循环中,整个安全栈未来几年可能被重塑。a16z 于 2026 年 10 月 1 日宣布领投 Armadin B 轮融资,该公司由 Kevin Mandia、Travis Lanham、Evan Peña 和 David Slater 创办,投资方称其自主安全平台利用智能体持续测试企业资产并帮助定位和修复问题,首个产品为 Armadin Red,上述产品能力为投资方介绍,不能视为独立效果验证。Mandia 还介绍了一种“超攻击”做法:向目标网络投放智能体集群,测绘其所有服务、路由、系统和资产,随后像心跳一样持续轮询这些元数据,捕捉应用、路由或服务的变更,再针对变化发起攻击;他称在 AI 时代需要模型持续施压,在威胁变化、新模型出现、有新情报或网络变动时触发,并提到上周末某流行产品出现零日漏洞后,其心跳机制立即轮询出受影响对象。
CNAS 报告评估了将智能体 AI 引入美国国防部(Department of War)支援职能的近期机会,聚焦供应链、预测性维护和规划三个领域。报告指出,过去以人为中心的自动化努力在国防体系内大多未能落地,海军先进物资追踪等成功案例也规模有限、尚未推广至联合部队。报告同时提示 LLM 幻觉可能误导军事规划人员,数据投毒和对抗样本使 AI 系统成为新的攻击面,并建议分阶段部署、持续监控与全生命周期红队测试。
IAPS 发布报告,主张美国网络政策应优先加固网络环境,以应对可自主执行网络攻击的攻击性网络智能体。报告提到 2026 年 8 月 OpenAI 披露一个未发布模型可能达到其内部定义的“关键网络能力阈值”,即仅凭高层目标就能针对加固目标设计并执行端到端的新型攻击策略。报告认为这类智能体可大规模利用未修补和配置错误的系统,在防御薄弱的关键基础设施中尤其危险,也可能引发失控场景。为此报告建议国会指示 CISA 和 NSA 联合其他联邦机构开展操作性试点,在受控环境和非关键网络中测试 AI 渗透测试与红队系统,以识别规模化部署更高自主性智能体所需的技术与治理实践。
FAR.AI 与联合国反恐中心(UNCCT)联合举办活动,讨论极端分子利用生成式 AI 策划、招募和实施袭击,以及 LLM 带来的 CBRN 风险。Tech Against Terrorism 的基准测试用约 10 万条请求测试了 160 个 AI 模型,许多模型即使用户公开表明恐怖意图仍给出详细回答;一项 7 月发布的实地研究发现博科圣地使用六款前沿模型覆盖从行动策划到制造爆炸物的攻击链。FAR.AI 在开发 AI Security Leaderboard 时发现 Google Gemini 和 SpacexAI Grok 存在数百个通用越狱,成本均低于 300 美元。
Lasso 在 Latio Tech 的 2026 AI 安全市场报告中被评为 Platform Leaders 之一。该报告将市场划分为 Endpoint Agent Specialists、Broader AI Security、Platform Providers、DLP and Insider Threat 和 Developer Governance 五类,并在第一方与第三方智能体安全、意图检测等章节中提及 Lasso,称其 Intent Security Engine 提供较深的意图运行时防护,并支持对本地智能体做红队测试。报告同时提醒读者自行测试厂商功能,因为许多运行时检测引擎的实际能力不及宣传。
Adversa AI 因持续对抗测试 AI 系统的平台获得 2026 人工智能卓越奖安全与对齐类别奖。该平台在部署前识别提示注入、模型操纵、智能体不安全行为与意外操作,评估映射 OWASP AIVSS、NIST 与 CSA 标准。该公司主导 CoSAI Agentic AI Security 工作组,并创建了开源 AI 智能体安全框架 SecureClaw。
Adversa AI 在 RSA Conference 2026 的 Global InfoSec Awards 上获评"最具创新 Agentic AI 安全",其 Agentic AI 安全平台可持续对 GenAI 应用、自主 AI 智能体和 MCP 架构进行压力测试,在部署前发现提示注入、目标劫持和工具滥用等漏洞。该平台评估结果对齐 OWASP AI Vulnerability Scoring System,并已扩展至金融服务、保险和政府的企业级环境。Gartner 预计到 2028 年超过 33% 的企业应用将包含 agentic AI,高于 2024 年的不足 1%。
OWASP GenAI Security Project 发布了面向 LLM 与智能体安全的更新版全景指南及配套资源,并公布其在 RSA 2026 期间的一周活动安排。该项目的《Q2 2026 Updated Landscape Guide for LLM and Agentic Security》新增供应商与工具体系文档以及智能体红队测试分类体系,覆盖开发、测试、部署与治理全生命周期。同期发布的还有自主与智能体 AI 系统风险清单、Secure MCP Server Development 指南、SBOM/AIBOM Generator 开源工具以及 AI 红队服务商评估标准。
FAR.AI 宣布被欧盟委员会 AI Office 选中,牵头 EU AI Act 下 CBRN 风险建模与评估联盟,为法案实施提供技术安全研究。该联盟由 FAR.AI(AI 安全研究与红队)、SecureBio(生物威胁评估)、SaferAI(AI 治理与风险建模)组成,并有 GovAI、Nemesys Insights、Equistamp 作为分包方,中标项目为 EC-CNECT/2025/OP/0032 Lot 1。未来三年,FAR.AI 将与 AI Office 共同开展风险建模与场景开发、评估工具与标准化报告流程建设、红队与对抗测试,以及定期向委员会通报模型、风险来源、诱导技术、缓解措施与事件等新进展。FAR.AI 还将作为分包方参与同一招标 Lot 4 的有害操纵风险建模评估。
Frontier Model Forum 宣布 AI Safety Fund 新一批 11 个受资助方,共获得超过 500 万美元,从 100 多份提案中遴选产生。
FAR.AI 联合创始人兼 CEO Adam Gleave 入选 Schmidt Sciences 的 AI2050 早期职业研究员。本届共有来自 8 个国家、42 家机构的 28 位研究者获得总额超 1800 万美元资助,该计划由 Eric Schmidt 与 James Manyika 共同主持,聚焦确保先进 AI 安全且有益于人类的关键问题。Gleave 将领导开发检测并消除先进 AI 系统中隐藏不良行为的技术,通过红队/蓝队方式先在模型中植入复杂隐蔽行为再研发识别与清除工具,应对恶意攻击者在模型中插入后门以及无意的 AI 失准风险。
Google 在东京举办了一场聚焦 AI 的 bugSWAT 活动,作为其漏洞奖励计划(VRP)的常规配套活动之一。文章同时提及 2025 Hacker Roadshow,但未披露具体漏洞数量、参与人数或攻击成功率等细节。
2025 年 2 月 9 日,约 200 名研究者、工程师和政策制定者在巴黎皇家宫殿参加 FAR.AI 主办的 Paris AI Security Forum,讨论自主网络攻击、AI 智能体被劫持及硬件层防护等安全问题。Yoshua Bengio 指出欧盟《人工智能法案》行为准则仅是必要的第一步,呼吁监管者加快行动以防自我保存型 AI 脱离人类控制;RAND 与 Pattern Labs 警告国家行为体和资金充裕的攻击方已在探测 AI 弱点。Alex Robey 团队通过对自动驾驶汽车、无人地面车辆和机器狗的实验展示了针对 AI 控制机器人系统的越狱攻击路径。
FAR.AI 公布成立一年多来的对齐研究进展,其研究分为鲁棒性科学、价值对齐与模型评估三类。团队发现 KataGo、AlphaGo 等超人级围棋 AI 存在灾难性失效模式,正用机制可解释性方法分析其对抗攻击脆弱性,并探索语言模型鲁棒性的缩放律。该机构认为 RLHF 等现有对齐方法无法提供可证明的安全保证,目标是孵化早期阶段的安全研究议程。
AISC 首届人工智能安全大赛于 9 月 16 日收官,共决出人脸识别安全、自动驾驶安全、深度伪造安全三大赛道冠军。大赛由北京瑞莱智慧等单位联合主办,7 月开启报名后吸引全国 70 多所高校、科研院所及企业机构的超过 400 支团队、600 余名选手参与。现场演示了对抗样本攻击人脸识别门禁与自动驾驶感知系统,并发布《人工智能算力基础设施安全发展白皮书》。