Skip to content

Translation in progress Some entries still include text in the original language.

arXiv:Agent 与 MCP 安全· arXiv:2609.10707· Anna Gazani·Indexed by this site · Originally published

面向 AI-SOC 的神经符号防御框架:用 SIEM 解码器与 NeMo Guardrails 阻断日志投毒提示注入

Architecting the Secure AI-SOC: A Neurosymbolic Framework for Pipeline Integrity and Threat Mitigation

Quick read

Defenses

Based on 论文 PDF (AI 生成); refer to the original

作者用Wazuh与NeMo保护AI-SOC;Gemma 3(12B)上Layer 2在N=20中拦截18/20。

Threat model攻击者无SIEM后端和LLM API密钥的直接访问,借助间接提示注入,把载荷放入日志或CTI/API,让系统在检索时将其送入认知域。

Questions
LLM接入SOC后,对手可把指令藏进系统日志或外部CTI,借SIEM送入模型上下文,形成promptware杀链。作者认为只做正则清洗会漏掉语义混淆,只做神经检查则延迟和开销不适合海量日志,还会被体积填充拖垮。
Methods
架构分两层。Wazuh解码器在关联前抽取可疑字段、按长度截断并替换已知签名;NeMo输入轨和输出轨让LLM自检告警与响应,答Yes就阻断。被拦事件写回日志,由仪表板展示给分析员。
Experiments and results
本地Gemma 3(12B)上,合成Wazuh告警N=20中Layer 1拦截3条、Layer 2拦截18条;漏掉的是1条工具滥用和1条指令覆盖越狱。另一次SSH填充投毒在摄入端被清洗。论文未报告耗时、误拦和重复次数。
Limitations and future work
作者称按单条告警处理时,多轮漂移和跨会话记忆投毒仍可能发生,PCRE2也处理不了图像或音频promptware。后续计划做会话级意图分类,并给预过滤加轻量视觉。实验只使用Gemma 3(12B),主集N=20,未报告耗时与误拦。
Experimental setupGemma 3 (12B) · 合成Wazuh安全告警(N=20)、MITRE ATT&CK et al. · 拦截次数(N=20)
Threat model
攻击者无SIEM后端和LLM API密钥的直接访问,借助间接提示注入,把载荷放入日志或CTI/API,让系统在检索时将其送入认知域。论文取最坏假设:攻击者可嵌入成功注入所需的任意内容。后续影响包括覆盖系统提示、外泄、上下文耗尽和未授权处置命令。
Evaluated models
Gemma 3 (12B)
Benchmarks
合成Wazuh安全告警(N=20)MITRE ATT&CKMITRE ATLAS
Metrics
拦截次数(N=20)
AI summary论文提出一种神经符号纵深防御架构,用于保障 LLM 接入安全运营中心(SOC)后的管道完整性,应对通过日志投毒实施的间接提示注入。作者指出,攻击者可在系统日志中嵌入恶意载荷,形成多步 promptware 攻击链,劫持 LLM 的操作逻辑;而确定性防御语义盲、纯神经评估延迟高且存在概率性缺陷。该框架第一层用定制 SIEM 解码器作为确定性预过滤,在数据摄入边缘做结构化清洗,消除体量填充和基于签名的注入;第二层用 NeMo Guardrails 在 LLM 处理前对结构化 SIEM 告警做自检式语义边界校验;同时集成闭环遥测系统,在 SOC 仪表盘中为人工介入提供被拦截攻击的可见性。

论文提出一种神经符号纵深防御架构,用于保障 LLM 接入安全运营中心(SOC)后的管道完整性,应对通过日志投毒实施的间接提示注入。作者指出,攻击者可在系统日志中嵌入恶意载荷,形成多步 promptware 攻击链,劫持 LLM 的操作逻辑;而确定性防御语义盲、纯神经评估延迟高且存在概率性缺陷。该框架第一层用定制 SIEM 解码器作为确定性预过滤,在数据摄入边缘做结构化清洗,消除体量填充和基于签名的注入;第二层用 NeMo Guardrails 在 LLM 处理前对结构化 SIEM 告警做自检式语义边界校验;同时集成闭环遥测系统,在 SOC 仪表盘中为人工介入提供被拦截攻击的可见性。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    AI-SOC中,日志或CTI里的间接注入可沿promptware杀链劫持后端LLM。

    AI-SOC将日志和CTI送入LLM时,间接提示注入可沿promptware杀链劫持认知域。

    • 场景:作者认为,LLM承担CTI分析、分诊和响应后,载荷只要出现在SIEM会读的日志或外部情报里,就可能覆盖操作逻辑,并导致外泄、上下文耗尽或未授权处置。
    • 现有做法:作者将单层防御分成两类:正则、分类器、输入过滤和plan-then-execute较轻,但作者称其对语义混淆是盲的,且须持续更新签名;对抗训练、指令层级和LLM行为监测是概率性的,作者认为不适合直接扫海量原始日志。单独的可编程护栏还会被体积填充耗尽上下文。
    • 观察:作者认为应把防御拆开:符号层挡体积与已知签名,神经层只审结构化告警,遥测把事件交回分析员。
    • 提出的架构:作者提出神经符号纵深架构:Wazuh解码器与原子规则做预过滤,NeMo输入轨和输出轨做自检,被拦事件回到仪表板。评测映射到MITRE ATLAS。
    • 威胁模型:
      • 目标:在不能直接访问SIEM后端和LLM API密钥的条件下进入认知域。作者列出的影响包括覆盖系统提示、外泄、上下文耗尽和未授权处置命令。
      • 知识:间接提示注入。作者称攻击的是系统必定会处理的外部内容,而不是模型接口本身;并取最坏假设,即攻击者可以嵌入成功注入所需的任何内容。
      • 能力:内部为日志投毒,可写入用户代理、认证错误或DNS等字段。外部为污染CTI描述,或经MitM、攻陷第三方改写API返回的JSON;作者称后者是检索依赖的持久化。
      • 受害系统:不可信遥测进入半信任SIEM(例子为Wazuh)。关联告警若含载荷,会被送入作者所称「可信但易受攻击」的LLM上下文。
  2. What related research exists?

    相关研究覆盖智能体隔离、promptware、结构防御和可编程护栏,作者把防御前移到摄入管道。

    作者把相关工作放在SOC中的LLM,以及对付提示注入的结构防御和神经护栏上。

    SOC中的LLM与智能体防护

    • 综述:Zhang等(2025)综述LLM用于流量分析、漏洞报告关联和CTI生成。论文未把它当作实验对照。
    • 运行时隔离:Wu等的IsolateGPT(2024)隔离被攻陷智能体所能接触的敏感数据;Hu等的AgentSentinel(2025)在计算机使用任务中实时监测并校验智能体意图。作者称这两项着重运行时隔离和行为监测,自己则把防御前移到SIEM摄入管道。

    间接注入与promptware

    • 入口:引言用Greshake等(2023)的间接提示注入,以及日志投毒文献[20, 16],说明载荷可以写进SOC会收集的日志。
    • 杀链:Brodt等(2026)把提示注入写成多步恶意软件交付,即promptware。作者用该说法组织初始访问、提权、持久化和达成目标,并在第3.5节按ATLAS编号做映射。

    结构防御、神经对齐与护栏

    • 结构路线:引言把正则或简单分类器、输入过滤[13]和plan-then-execute[5]归为确定性防御,并称它们对语义混淆是盲的。Chen等(2025)的StruQ用预定义模式分开数据与控制;Li等(2025)的ACE使用plan-then-execute;Debenedetti等(2025)主张程序化的指令与数据分离。
    • 过滤工具:Pienaar与Anver的Rebuff(2023)用多阶段启发式和分类器检测注入。作者称社区逐渐转向结构与架构防御,并称单独把可编程轨或plan-then-execute用在SIEM原始日志上会带来开销和延迟,且暴露于AML.T0040。
    • 神经与护栏:引言把对抗训练(Niu等,2024)、指令层级(Wallace等,2024)和SmoothLLM(Robey等,2023)归入纯神经路线,称其仍可能幻觉并遇上零日越狱。Rebedea等的NeMo Guardrails(2023)用可编程轨做策略化意图分类。作者把它放在确定性预过滤之后。

    作者把区别写成:焦点在摄入管道而不是智能体运行时,并以SIEM解码器作为神经护栏的前置,使护栏只处理结构化告警。论文没有把上述系统列为同集实验基线。

  3. How does the paper address this problem?

    Wazuh在摄入端做截断和签名清洗,NeMo输入/输出轨对结构化告警做自检。

    作者的神经符号纵深架构(Neurosymbolic Defense-in-Depth)把确定性预过滤和语义自检串在同一条SOC管道上。符号层负责长度和结构,神经层此后做策略自检;被拦记录回到仪表板,而不是静默丢弃。

    信任边界与两层分工

    • 三个域:外部遥测不可信,含终端日志和第三方CTI;SIEM关联域半信任,文中引擎为Wazuh;认知域对结构化告警做分诊、摘要和自动响应,作者称之为可信但易受攻击。
    • 失守点:作者认为,系统指令和不可信日志被拼进同一上下文时,LLM难以分开二者。SIEM到上下文窗口的界面被作者称为最关键的信任边界。
    • 分工:符号层在摄入阶段做归一化,限制长度、清理畸形结构(文中举JSON注入)、丢弃已知签名或Base64等编码。神经层只做语义检查,对象包括对话式越狱、角色扮演和未授权工具调用。作者称这样可避免神经层被体积噪声淹没。

    Wazuh确定性预过滤

    • 时机:自定义解码器位于原生预解码之后、多事件关联之前,处理终端、认证、操作系统、网络、云和CTI。Figure 1标出Raw System Logs与Poisoned CTI Feeds进入Layer 1,长度超限则Drop Event,并写出llm_injection_payload与Structural Sanitization。
    • 抽取与规则:PCRE2解码器按已知指令覆盖启发式做prematch,把可疑串放进llm_injection_payload,并保留取证元数据。正文中的原子规则是Rule ID 100050、Level 10(local_rules.xml)。Figure 1的文字写的是Level 0/1 Triggers。论文未解释这一差异。
    • 清洗:该规则触发后,主动响应先按预定义上限截断,论文未给出这个上限的数值;再用模式匹配把已知注入构造换成不可变安全标记。作者将截断对应AML.T0040,将打标对应AML.T0051。
    • 延迟说法:引言写zero latency,第3.1节写near-zero latency,并称开销很小。论文未报告计时。

    NeMo输入轨与输出轨

    • 封装:Python服务包裹NeMo。第4.2节称用Colang定义语义检查,并举例底层模型可为Llama 3或GPT-4。Figure 2的顺序是Sanitized Alert、Input Rails、Safe Prompt、AI-SOC LLM Engine、Raw Output、Output Rails、Safe Response、SOC Dashboard。
    • 输入轨:自检提示与告警一起交给LLM,判断指令覆盖、角色操纵、提示词套取、未授权动作,以及藏在日志或文档中、指向模型而非分析员的指令。回答Yes则不进入主流程。第4.2节写明,本身不是攻击的安全讨论不拦截。附录A.1给出完整提示词。
    • 输出轨:响应回到仪表板或执行管道之前,模型检查其是否为带action的合法JSON,action是否属于批准集合block_ip、delete_file、kill_process、none,以及是否出现任意命令、shell,或并未执行却被声称已执行的动作。回答Yes则阻断。附录A.2给出完整提示词。
    • 分析模板:通过后,编排器用附录A.3的active_response模板,要求模型以SOC分析员身份输出thought、action、action_input、reasoning、injection_attempt和threat_indicators。附录给出完整提示词。

    遥测闭环与ATLAS对应

    • HITL:作者认为静默丢弃会造成黑盒。输入轨返回SOC_INPUT_RAIL_BLOCKED,输出轨返回SOC_OUTPUT_RAIL_BLOCKED。编排器改发预定义回退JSON,并把理由、触发轨和上下文写入/var/ossec/logs/injection-alerts.log。Wazuh用Rule ID 100300、Level 12把事件归入llm与injection组,仪表板标记PROMPT_INJECTION_ATTEMPT。
    • 映射:作者称该设计拆解其所说的七阶段promptware杀链,并点名初始访问、提权、侦察、检索依赖持久化、C2、横向移动和达成目标。AML.T0051放在摄入边缘;AML.T0054和侦察交给自检;持久化在形成C2前被挡住;AML.T0053与AML.T0057靠工具校验和输出扫描,用来切断未授权SOAR命令和AML.T0040。这是第3.5节的架构对应,不是分阶段实测。
  4. What experiments did the paper conduct?

    Gemma 3(12B)上N=20:Layer 1为3/20,Layer 2为18/20,另漏两类各1次。

    实验设置

    • 环境与模型:模拟AI-SOC中,编排器把Wazuh告警以JSONL逐条送入全管道。分析提示提交给本地Ollama上的Gemma 3(12B)。论文未写温度、种子或其他被测模型。第4.2节的Llama 3、GPT-4只是实现举例。
    • 主集:合成Wazuh告警N=20。背景遥测对应四类ATT&CK:T1070(Windows审计日志清除,Event ID 1102)、T1098(账户修改,4738)、T1484(从本地Administrators组移除成员,4733)、T1499(内存耗尽,论文未给Event ID)。注入在SIEM摄入前写入这些日志的原始字段。
    • 注入构成:直接指令覆盖8条(AML.T0054);角色扮演或人格采纳3条,论文未给ATLAS编号;未授权工具滥用与横向移动6条(AML.T0053);达成目标与数据外泄3条(AML.T0057)。另有1次SSH登录失败投毒,不计入这8/3/6/3。
    • 基线:论文未设对照防御,也未与Rebuff、StruQ或ACE做同集比较。
    • 判定:输入轨和输出轨都由LLM自检,回答Yes即阻断。论文将管线底层模型写作Gemma 3(12B),未另给独立评审模型、分数阈值或人工复核。
    • 重复:每条告警走一遍管道。论文未报告重复次数。SSH案例为单次模拟。

    主结果

    观测结果条件与出处
    Layer 1(Wazuh预过滤)3/20合成告警N=20,第5节
    Layer 2(语义护栏)18/20同一N=20;底层模型Gemma 3(12B),第5节
    Layer 2未拦截2/20同上,第5节
    • 作者称Layer 1的设计重点是结构异常和显式签名,而不是深层语义。论文未按四类注入分别给出Layer 1的拦截数,也未说明两层命中是否互斥,因此没有端到端联合结果。
    • 未拦截案例分别属于未授权工具滥用(横向移动)和复杂指令覆盖;作者称后者已经形成模型越狱,并称这对应零日语义操纵下的概率性局限。
    • 第5节建议用绕过样本充实Colang意图、升级嵌入模型并收紧意图相似度阈值、向分类提示加入few-shot,并强制输出轨作最后检查。论文未给出当前嵌入模型名称和阈值,也未报告这些改动后的新结果。

    SSH日志投毒案例

    • 测了什么:失败SSH认证中,用显式覆盖指令替换用户名,并垫入大量随机字符,目标是AML.T0051式的上下文劫持与耗尽。
    • 结果:作者称自定义解码器在认知处理之前识别结构异常和预定义启发式,完成清洗,并触发Rule 100300(Level 12),只有归一化遥测进入神经层。
    • 规则口径:第4.1节把载荷抽取写成Rule 100050(Level 10);第4.3节把Rule 100300(Level 12)写成护栏遥测写回后触发的规则。第5节则把同号规则记在这次摄入端拦截上。论文未解释两处编号的关系。

    其他消融与分析

    • 论文未报告消融、阈值扫描、良性告警误拦、延迟或统计检验。
    • 引言的zero latency与第3.1节的near-zero latency都没有第5节的计时数字。
    • 角色扮演3条和外泄3条没有单独拦截数;论文只点名两类失败各1次。
  5. What are some points that can be further explored?

    作者称单条告警设定下,多轮漂移、跨会话记忆投毒和多模态载荷仍可能生效。

    作者指出的局限与后续方向

    • 单条处理:现实现把SIEM告警当作孤立实例。作者称,若认知引擎保留跨会话状态,管道仍可能受到多轮语义攻击(context shifting)和与检索无关的持久化(memory poisoning)。出自第7节。
    • 模态:作者称Layer 1的文本PCRE2解码器对多模态promptware是盲的,例如隐写在图像或音频CTI中的对抗指令。出自第7节。
    • 会话状态:作者计划在语义护栏中加入有状态、会话感知的意图分类。出自第7节。
    • 视觉预过滤:作者计划用轻量计算机视觉模块增强确定性预过滤,以便在进入LLM之前拦截多模态异常。出自第7节。

    实验覆盖范围

    • 被测模型为Ollama上的Gemma 3(12B),共1个。第4.2节举例Llama 3或GPT-4,第5节没有这二者的结果。
    • 主集为合成Wazuh告警N=20,注入写在T1070、T1098、T1484、T1499四类遥测的原始字段中;另有1次带填充的SSH登录失败投毒。
    • 二十条的构成为指令覆盖8、角色扮演3、工具滥用6、外泄3。论文给出两层合计拦截,并点名两类失败各1条;论文未报告端到端联合数、其余类别的分层数、重复次数、良性告警误拦、人工一致性、延迟和查询次数。
    • 阻断由LLM自检的Yes/No决定。论文未写独立评审模型、分数阈值或采样设置。
    • 第2.2节定义了日志投毒和CTI/API两类入口;第5节写的是把载荷嵌入日志原始字段,以及一次SSH用户名字段替换。第5节提出按绕过样本修改护栏,未给出修改后的数字。
  6. Summarize the main content of the paper

    Gemma 3(12B)的N=20上两层分别拦截3与18次;作者称多轮与多模态仍可能绕过。

    神经符号纵深防御把AI-SOC里的间接提示注入分到Wazuh摄入层和NeMo自检层,并把拦截写回分析员仪表板。

    • 问题:对手没有SIEM后端或LLM API密钥时,仍可经日志投毒或受污染的CTI/API,把promptware送进模型上下文,追求覆盖系统提示、外泄、上下文耗尽或未授权处置。
    • 方法:PCRE2解码器把可疑串抽到llm_injection_payload,原子规则再做长度截断和签名打标;输入轨与输出轨让LLM自检,回答Yes则阻断。批准动作限于四个固定项。护栏阻断会写回日志,并由Rule 100300(Level 12)升成告警。
    • 结果:在本地Gemma 3(12B)和合成Wazuh告警N=20上,确定性层拦截3次,语义层拦截18次;漏掉的是1次工具滥用和1次已形成越狱的指令覆盖。一次填充型SSH投毒在摄入端被清洗。论文未给出两层联合成功率,也未给出耗时。
    • 作者的结论:作者称两层合在一起可以拆掉promptware杀链,用可核验约束包住LLM的随机性,并保持HITL可见性。作者同时写明,按单条告警处理时,多轮语境漂移和跨会话记忆投毒仍可能发生,文本解码器也处理不了图像或音频中的载荷。
Read originalarxiv.org