全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv
从 RobustReview 基准到 SciCore：AI 审稿人的修辞鲁棒性评测
研究提出"修辞鲁棒性"（Rhetorical Robustness），要求 AI 审稿人对内容不变但措辞改写的稿件给出稳定评分，同时保持对不同论文的区分度。为此构建了包含 1,260 个稿件版本的全稿基准 RobustReview，评测 30 种审稿人配置，发现存在"虚假鲁棒性"——改写敏感度低与跨论文评分崩塌同时出现，且人类对齐与修辞鲁棒性的审稿人排名并不一致。据此提出双分支审稿人 SciCore，将全稿判断与结构化"科学内核"判断取平均，在 GPT-5.5 对比中取得领先的稳定性-区分度综合表现，并保持有竞争力的人类对齐。
- 论文arXiv
通过心理测量画像衡量大语言模型的行为特征
研究团队开发了一套跨语言心理测量画像框架，用七种心理量表评估九个 LLM，中英文各重复施测五次，未解决的题目保留为 NA。模型呈现结构化的、模型特异的画像，同时共享一种对齐塑造的模式：亲社会与自我调节反应更高，支配性、脱离和有害意图认同更低。NA 反应呈结构化分布，语言条件和提供方来源与画像配置及可作答性相关，重复施测显示高可复现性并可还原模型身份。
- 论文arXiv：越狱、提示注入、投毒与防御
研究提出 AI 安全评测的威胁模型覆盖缺口
作者 Madhava Gaikwad 在论文中提出，近期研究称自动化红队测试比人工红队测试在标准 AI 安全基准上发现更多漏洞且成本更低，但这一比较只衡量了攻击者在开发者预先设定的危害集合内搜索的彻底程度，集合之外的危害对任何攻击者都不可见，作者称之为威胁模型覆盖缺口。作者指出，同样的盲区曾出现在学术密码学和临床药物试验中，内部有效的评测对从未指向的人群保持沉默。作者在一个当前的开源权重模型上发现该缺口依然存在，非英语提示词中出现的危害被英语基准遗漏。作者认为，弥补这一缺口需要部署环境与开发者不同的评测者，理由是方法论上的覆盖问题，而现有评测框架不太可能自行产生这类评测者。
- 论文arXiv：越狱、提示注入、投毒与防御
综述提出智能体 AI 安全的跨维度威胁分类 T={S,B,P,A}
一篇综述对 2022 至 2026 年间发表的 66 项研究做结构化梳理，提出跨维度表示 T={S,B,P,A}，把受影响的系统面、交互或信任边界、被违反的安全属性与实证考察的架构关联起来。作者分析了 22 项有制品支撑的红队研究以及 11 个代表性安全基准，发现证据集中在提示词与推理、记忆和工具调用类攻击，且多为单智能体场景；持久化、人机交互、复杂多智能体、系统性和长时程威胁的覆盖较少。作者强调这些结论描述的是所选语料而非全部实证研究，并指出指标异构、自适应防御评估有限、架构分布不均和执行状态捕获不完整制约了可比性与可复现性，据此提出 13 个开放研究问题。
- 论文arXiv：对齐、欺骗与监督
适应性计算原语理论：用六种原语解释 AI 的幻觉、提示注入与奖励作弊
一篇论文提出「适应性计算原语理论（CPT）」，认为所有适应性系统都需计算六种原语操作：Arouse、Orient、Valence、Position、Boundary 和 Attune，其筛选标准为存在必要性、跨独立演化谱系的普遍性、演化保守性和不可约性。该框架在人工系统中被用来重新审视机器智能的当前挑战，包括 confabulation、提示注入、易分心、奖励作弊和灾难性遗忘，并暗示这些问题可能源于缺少这些计算。作者强调 CPT 目前仍是待完善的工作假设，需通过讨论、实证测试和应用进一步检验。
- 论文arXiv：对齐、欺骗与监督
LLM Judge 验证在稀疏重叠下的问题：从推理到设计
研究证明标注重叠稀疏性是 LLM-as-a-judge 部署决策错误的首要决定因素：5% 成对重叠时错误决策率达 25%，从十个候选评判者中选出错误最优者的概率达 65%。作者推导出最小重叠公式，显示 ρ ≥ 0.25 足以应对非边界评判者，边界案例仍难以解决；零成本分层分配方案在分层有信息量时可将错误拒绝率减半。研究在 10 个 LLM 评判者、四个评估矩阵上验证，覆盖视觉评估、因果推理与摘要任务。
- 论文Hugging Face Daily Papers
研究发现系统提示中隐藏日期影响 LLM 评测结果
研究指出系统提示中被隐藏注入的当前日期是 LLM 评测中一个被忽视的变量，用户无法控制且每天变化。在 9 个近期 LLM 和 6 个数据集上，涵盖多选题问答（MCQA）、数学推理、代码生成和机器翻译，模型表现仅随当前日期变化：MCQA 波动最高 6%，数学推理 14%，代码生成 7%，机器翻译 2.84 BLEU。模型排名也会随之变动，影响排行榜。该日期效应超过 batch size 和数值精度等其他非确定性来源，且 chain-of-thought 与 few-shot prompting 等标准提示技术无法降低这种敏感性，chain-of-thought 反而会放大它。作者据此呼吁采用更严谨的评测协议以保证可复现性和公平比较。
- 动态Help Net Security AI
调查：多数人预计 AI 进入 SOC 会让初级安全岗位更难获得
Swimlane 对 500 名已使用 AI 的安全运营中心（SOC）人员的调查显示，近九成受访者称 AI 让工作更满意，但约四分之一认为 AI 阻碍了自身安全技能的积累，且这两类人的满意度几乎相同（91% 对 92%）。近半数预计初级岗位将因要求更高或机会更少而更难获得，仅 1% 认为分析师职业路径会维持原状。约四成受访者所在组织已围绕高价值工作正式重写分析师岗位，其中 71% 称 AI 显著提升了满意度，无正式调整者仅为 29%。
- 论文arXiv：Agent 与 MCP 安全
SoK 综述：多智能体 LLM 系统为何会一起失效
这篇 SoK 系统梳理了多智能体 LLM 系统（MAS）的安全问题，核心论点是安全智能体也可能一起失效。作者对 197 篇工作做了以执行为中心的分析，归纳出六类交互接口、四种攻击者位置、七类系统级风险和八条反复出现的攻击路径，并提出 A-I-R 框架，按攻击者位置、交互接口和由此产生的系统级风险来组织攻击。防御方面，作者用包含路径目标、观测、干预、信任边界和恢复五部分的契约来归类，指出路径闭合与恢复是主要挑战。作者还审查了 44 项评测与基准工作，指出在隔离交互效应、设计可比且有诊断力的指标、跨 MAS 设计复用以及评估开放系统运行方面仍存在开放问题，并主张以交互感知的视角端到端追踪攻击、检验防御是否闭合路径。
- 论文arXiv：可解释性
复现透明可审查推荐：通过自然语言用户画像探索开放权重模型
一项复现研究验证了自然语言用户画像推荐（UPR）在 Amazon Movies & TV、TripAdvisor 上能达到原论文所称的竞争性重排序性能，并提升推荐透明度。研究用五个随机种子做稳定性检验，并用 nnsight 框架做机制可解释性分析，发现扰动自然语言画像虽会改变预测评分，但各类型均匀偏移、无类型选择性效应，排序不变，即便直接做激活引导也如此。作者将原因归于评分回归目标而非画像接口，排序目标模型在该任务上明显更优。
- 论文arXiv：越狱、提示注入、投毒与防御
面向智能体的高效 HPC 系统：挑战与机遇
编码智能体已成为 HPC 系统的真实用户，但现有 HPC 抽象、接口与策略仍为人类工作流设计。测量显示，编码智能体用户仅占观测人群的 19.5%，却贡献了 55.8% 的作业提交、29.1% 的 CPU 核心时和 42.7% 的 GPU 时；其命令下发速率是人类的 20.8 倍，并以细粒度 explore-modify-execute 循环和跨昼夜的试错方式追求开放式目标。这给调度器控制面、元数据密集型 I/O、跨会话记忆复用以及提示注入与策略执行带来压力，作者主张将智能体视为一等主体、以协同设计应对。
- 论文arXiv
人类对齐的模型是人类行为的模型吗？偏好对齐中的图灵测试差距
论文区分了与人类偏好对齐和与人类行为对齐，指出人们偏好的 AI 回复未必是他们自己会给出的回复，并将此称为图灵测试差距。作者证明偏好对齐仅在一种严格条件下才能保持人类回复分布，且未发现真实人类偏好满足该条件的一致证据。实验显示，人类回复似然度的损失随偏好加权强度增加而增大，与加权方向无关，该差距在标准 DPO 下同样出现。研究据此提出，人类相似性应作为对齐的一个显式维度，而非假定其会随偏好对齐自然产生。
- 论文arXiv
Atria Dawn Preview：智能体超级智能的黎明
研究团队发布面向科研与工程工作流的基础智能体语言模型 Atria Dawn Preview，通过可验证经验管线将工具交互连接到可执行环境与外部验证结果。该模型在覆盖真实科研、工程与数字工作的 16 项基准中与前沿智能体相当，并在其中 5 项取得已报告最高分。基于 56 名参与者、769 条任务记录的分析显示，约三分之一 AI 辅助完成的任务被参与者评为无 AI 则不可行，智能体常提出方法并实施修改，但最终决策仍由人类保留。
- 论文arXiv：危险能力与安全评测
当合规数据伪装成评测：部署后 AI 系统的测量效度问题
论文指出，为运营监控或监管合规收集的数据被当作对比评测证据，是部署后 AI 系统评测中的一类反复出现的失效。以自动驾驶为例，美国脱离接管与碰撞上报机制产生的运营证据，因上报范围、暴露量、部署域、事件捕获和对照构建的差异，无法单独支撑安全性对比结论。作者将其界定为 AI 评测中的测量效度问题，并提出"评测契约"，要求在把运营数据解读为对比性能证据前，先明确预期能力、测量结果、暴露机会、部署域、数据生成过程与评测对照之间的对齐关系。
- 论文arXiv：危险能力与安全评测
防技能退化设计：元认知反馈减少对 LLM 助手的认知卸载
一项预注册在线实验（N=704，2×2 设计加无 AI 对照组）发现，元认知反馈能减少用户向 LLM 助手卸载答案的行为（OR=0.47），并提升随后无辅助测试的成绩（OR=1.51）。实验任务是借助仅在明确请求时才给出解答的 LLM 助手练习分数运算，之后进行无辅助测试。基于努力的奖励对卸载行为和测试成绩均未产生可检测影响。
- 动态雷峰网安全频道
专家解读《2023产业互联网安全十大趋势》：警惕 ChatGPT 隐形危机、数据泄露与勒索攻击风险
腾讯安全、腾讯研究院等机构联合推出《2023产业互联网安全十大趋势》，将 ChatGPT 大模型带来的隐形危机列为趋势之一。编
- 动态雷峰网安全频道
安恒信息范渊：AI+安全不是从0开始
安恒信息董事长范渊在2023西湖论剑·数字安全大会上表示，ChatGPT证明AI应用于安全领域这条路可以走通，而安恒做“AI+安全”并非从0开始。他指出AI大模型本身带来新的网络安全风险，类ChatGPT技术可使自动化生成网络攻击工具和病毒木马的效率提升几百倍，同时“AI+安全大脑”已在产品、平台和服务三个维度加速投入。安恒利用自然语言模型通过迁移学习做数据分类分级，新行业效率提升5倍以上，已积累行业提升10倍到20倍以上。
- 动态雷峰网安全频道
知道创宇赵伟8年前提出“GPT”概念：从APT到AI+大数据驱动的实战防御
知道创宇创始人赵伟早在2015年就提出网络安全领域的“GPT”概念，主张以超级大数据和AI技术支撑更高维度的全局攻防视角。他将网安行业划分为手动分析、自动分析、信息、智能四个时代，并推动知道创宇以“安全产生数据、数据驱动安全”的闭环构建云防御、云监测、云测绘等产品体系。他认为AI已进入“智能时代”，未来攻防趋势是“用云攻击云、用云防御云”。
- 动态雷峰网安全频道
对话安恒刘思宇：做数字资产的守门人
安恒信息副总裁、终端安全负责人刘思宇在2023西湖论剑·数字安全大会上表示，终端安全将朝体系化、一体化方向发展，安恒以EDR切入市场，通过无极架构实现单一客户端按需组合安全能力。据赛迪顾问《中国终端安全检测与响应产品市场研究报告（2022）》，安恒EDR占全国市场份额5%、排名第三。安恒还推出勒索行为检测引擎与智能备份引擎，前者可识别已知和未知勒索病毒，后者基于AI机器学习和内核级技术备份关键数据，两项技术已完成储备、即将推向市场。
- 动态雷峰网安全频道
AGI 大时代，企业安全为什么需要“新进化”？
面对 AGI 时代攻击面扩大与生成式人工智能被用于编写攻击脚本、恶意软件和钓鱼邮件，雷峰网提出企业安全需从单点防御转向“数字安全免疫力”。腾讯安全与 IDC 于 6 月 13 日“数字安全免疫力研讨论坛”联合发布数据安全免疫力模型及《加强数字安全免疫力，促进数字化时代下的韧性发展》白皮书，强调前置投入、动态轻量实时响应，把安全融入战略、管理与运营流程。
- 动态雷峰网安全频道
对话奇安信齐向东：数智时代，老方法解决不了新难题
奇安信董事长齐向东在 BCS2023 北京网络安全大会上表示，数智时代老办法解不了数据安全新难题，须以"内生安全"应对。他称数据正从"死"变"活"、从虚变实、从贱变贵，带来行为真假难辨、"三员"违规难控、软件供应链漏洞后门难防三大难题，82% 的数据泄露与内部有关。他认为 ChatGPT 是双刃剑，奇安信将在可直接交付时发布自研大模型。
- 动态雷峰网安全频道
ISC 2023：360 智脑支持的 AI 数字人如何成为大模型入口
ISC 2023 第十一届互联网安全大会以"安全即服务，开启人工智能时代数字安全新范式"为主题，打造全球首场 AI 数字安全峰会，开幕式由 360 智脑驱动的数字主持人"可心"全程主持。大会还开设线上数字小镇，50 位企业家、学者与技术专家以 AI 数字人身份围绕漏洞检测、威胁流量检测、数据安全等话题展开 50 余场演讲。周鸿祎称 AI 数字人是大模型最重要的应用入口，360 将借此降低 prompt 使用门槛，推动大模型在消费级与企业级场景落地。
- 动态雷峰网安全频道
安全大模型层出不穷：安恒、360、奇安信等网安厂商也忍不住了
安恒信息、360、奇安信等多家安全厂商相继发布安全大模型，网络安全行业加速拥抱GPT。安恒恒脑·安全垂域大模型已用于成都大运会及杭州亚运会，安全运营成效提升70%以上；奇安信推出Q-GPT安全机器人，360则以安全大模型打造智能中枢系统。但多位
- 动态雷峰网安全频道
亚信安全发布安全大模型信立方，用AI对抗AI攻击
亚信安全在C3安全大会·2024上发布网络安全行业自研大模型信立方，用于精准问答、告警日志解读和网络安全事件分析，并同步推出"信计划"（XPLAN），涵盖安全为AI与AI为安全两大方向。亚信安全高级副总裁陈奋透露，针对大模型的攻击手段一年内已涌现数十种，其团队在Llama2环境模拟海绵样本攻击，使模型响应从几秒延迟至60秒以上、慢了20倍以上。信计划已落地东数西算成都节点的算力云安全保护，并通过红队测试从八个方向为大模型提供上线前安全检查。