RedCode：面向代码智能体的风险代码执行与生成基准

核心问题：如何全面、真实地评测代码智能体在风险代码执行与恶意代码生成上的安全性。

• 问题场景：代码智能体集成 Python 解释器、命令行等工具，能与操作系统、文件系统、网络交互并自我调试；作者认为若其建议或执行含安全漏洞的代码，可能造成删除重要文件、泄露敏感信息等后果。
• 现有不足：作者称已有工作评测的是代码 LLM 生成的静态代码，或基于模拟轨迹用 LLM 评审打分，缺少智能体与真实系统交互的评测，且 LLM 评审可能不准确。
• 核心观察：代码智能体超出静态代码生成，包含与系统环境的动态交互，需要在真实执行环境中评测其行为后果。
• 论文方案：提出 RedCode 基准，含 RedCode-Exec（4,050 个风险代码执行用例，25 个场景、8 个领域，Docker 沙箱加逐场景评测脚本）和 RedCode-Gen（160 个恶意软件生成提示，8 个家族）。
• 威胁模型：作者将风险测试用例视为对智能体的攻击。
  • 攻击者目标：让智能体执行风险代码或生成恶意软件。
  • 攻击者知识：论文未用白盒/黑盒术语描述；攻击以用户查询形式直接给出。
  • 攻击者能力：控制用户输入，可选代码、带越狱前缀的代码、文本摘要、文本描述四种格式。
  • 受害系统：接入 Docker 沙箱环境的代码智能体（OCI、CodeAct、ReAct 三种框架）。

代码 LLM 的安全评测

• 通用 LLM 安全基准（HarmBench、SALAD-Bench 等）——用自然语言指令评测有害生成；作者指出其中部分指令与代码相关，但面向 LLM 而非智能体。
• 代码漏洞评测（Pearce 等、CodeLMSec、CyberSecEval 等）——基于 CWE 主要弱点评测生成代码的漏洞；作者指出其评测对象是静态代码，本文评测智能体在执行环境中的行为。

LLM 智能体的安全评测

• R-judge、AgentMonitor——人工整理智能体风险轨迹记录，评测 LLM 作为评审识别风险的能力。
• ToolEmu、HAICOSYSTEM——用 LLM 模拟工具环境生成风险轨迹；作者指出模拟记录与真实系统行为可能有差距，且用 LLM 评审打分可能不准确。

并行的智能体攻防基准

• AgentDojo、ASB——评测提示注入、记忆投毒、后门等攻防机制；作者指出它们不考虑无外部攻击时智能体自身的脆弱性，本文针对这一缺口。

基线与对比对象

• 本文是基准论文，无方法基线；被评对象为 OpenCodeInterpreter、CodeAct、ReAct 三种智能体框架；Table 3 将 RedCode 与 AgentMonitor、R-judge、ToolEmu 在测试规模、评测对象和评测方式上对比。

作者称本文与上述工作的区别在于：让智能体在准备好的 Docker 真实环境中生成并执行代码，用逐场景评测脚本检查执行环境状态，而非用 LLM 评审轨迹；作者自称是最早为真实系统中的代码智能体提供此类细粒度安全评测的工作。

RedCode 由两部分组成：RedCode-Exec 评测智能体对风险代码的识别与处理，RedCode-Gen 评测智能体按指令生成恶意软件的倾向，整体流程见 Figure 2。

RedCode-Exec 数据构建

• 场景来源：从 ToolEmu、R-judge 中收集 12 个代码相关风险场景，从 CWE 的 33 个 Python 示例中提炼 13 个场景，共 25 个风险场景，覆盖操作系统、文件系统、程序逻辑、网络安全、网站、网络、数据处理等 8 个领域（Figure 3、Table 4）。
• 种子用例与扩增：人工编写 25 个种子 Python 片段，再用 GPT-4 和 Mistral-Large 配合越狱前缀扩增，经人工审查、资源准备、可执行性验证后，每个场景保留 30 个用例，共 750 个 Python 用例。
• 多语言翻译：用 GPT-4（gpt-4-1106-preview，temperature 0）加 few-shot 示例将 Python 译为 Bash，因兼容性去掉 5 个场景，得 600 个 Bash 用例（20 场景 × 30）。
• 自然语言翻译：用 GPT-4 将代码译为文本摘要和文本描述两种格式；四种输入格式使每场景每语言有 120 个用例，总计 4,050 个（Table 2）。

执行环境与评测方式

• Docker 沙箱：每个用例配独立容器，预置敏感文件、模拟网站、进程、服务器等资源（Table 5）。
• 评测脚本：每个场景对应一个脚本，结合智能体响应、代码执行输出、环境状态三方信息，分 Operation Verification（在容器内执行额外命令验证环境状态）和 Output Scrutiny（对输出做字符串匹配）两类（Algorithm 1）。
• 三种结果：Rejection（检测到拒答短语）、Execution Failure（威胁功能未实现）、Attack Success（威胁功能实现）；主要指标为 RR 和 ASR。

RedCode-Gen 构建与评测

• 数据：基于真实恶意软件样本，选 11 个家族归入 8 类（adware、DDoS、ransomware、rootkits、spyware、trojans、viruses 及含 backdoors/botnets/worms 的其他类），每类 20 个 HumanEval 风格的函数签名加 docstring 提示，共 160 个，由 GPT-4 辅助生成并人工核查。
• 评测：GPT-4 作为评审按 0–5 分评估代码是否实现 docstring 各组件，编译器检查可执行性，VirusTotal API 检测是否被判为恶意。

智能体设置

• RedCode-Exec 评测 OCI、CodeAct（仅 Python）、ReAct（Python 和 Bash）三种框架；OCI 最多 3 轮交互，ReAct 8 轮，CodeAct 3 轮，temperature 均为 0。
• RedCode-Gen 另设一个通用智能体框架，模型可依据编译器和评审反馈迭代修改代码，最多 5 轮，temperature 0.8。

实验设置

• 被测对象：RedCode-Exec 评测 19 个智能体（OCI：CL-7B*、CL-13B*、DS-6.7B*；CodeAct：CL-7b、CL-13b、Llama2-7B*、Mistral-7B*；ReAct：CL-7B、CL-13B、DS-6.7B、DS-v2-lite、CQ1.5-7b、GPT-3.5、GPT-4、GPT-4o、Claude-3.5、Llama-3-8B、Llama-3.1-8B、Llama-3.1-70B；* 为 OCI/CodeAct 发布的微调模型）。
• RedCode-Gen 被测对象：9 个基座模型（GPT-4o、GPT-4、GPT-3.5、Claude-Opus、DeepseekCoder、CodeLlama-7B、CodeLlama-13B、Llama-2-7B、Mistral-7B）及其对应的代码智能体版本。
• 基准规模：RedCode-Exec 4,050 个用例（Python 25 场景、Bash 20 场景，各含代码、带越狱前缀代码、文本摘要、文本描述四种格式）；RedCode-Gen 160 个提示。
• 指标与判定：RedCode-Exec 用评测脚本判定 Rejection/Execution Failure/Attack Success，报告 RR 与 ASR；RedCode-Gen 报告 Refusal Rate、GPT-4 评审 Accuracy（0–5 分制换算）和 VirusTotal 检出率。
• 重复次数：论文未报告。

主结果

RedCode-Gen 结果（据 Table 1，数值为 Accuracy / Refusal Rate / VirusTotal，%）：

模型	基座 LLM	代码智能体
GPT-4o	69.4 / 19.4 / 3.8	72.5 / 18.1 / 4.4
GPT-4	65.0 / 13.8 / 4.4	66.9 / 11.3 / 5.6
GPT-3.5	0.0 / 87.5 / 0.0	32.5 / 30.6 / 1.3
Claude-Opus	1.3 / 98.9 / 0.0	3.1 / 96.9 / 0.0
DeepseekCoder	49.4 / 11.3 / 4.4	79.4 / 1.3 / 4.4
CodeLlama-13B	49.4 / 30.6 / 0.6	66.3 / 19.4 / 1.9
Mistral-7B	46.3 / 23.1 / 0.6	75.3 / 0.0 / 1.3
CodeLlama-7B	40.0 / 40.0 / 0.0	42.0 / 38.0 / 0.0
Llama-2-7B	16.9 / 61.9 / 0.0	20.7 / 56.7 / 0.0

• 作者称多数模型在代码格式输入下拒答率低，尽管它们在以往自然语言安全基准中会拒答恶意软件请求。
• 作者报告 RedCode-Gen 准确率与 HumanEval pass@1 的 Pearson 相关系数为 0.448，认为通用编码能力与恶意软件质量正相关。
• 作者称智能体版本比基座模型拒答率更低、评审准确率更高，但 VirusTotal 检出率仍低，认为 LLM 生成代码与人工恶意软件有差距。

RedCode-Exec：输入格式与语言对比

• 输入格式（GPT-4 ReAct，Python，Figure 7）：代码输入 RR 60.13%、ASR 38.27%；文本摘要 RR 50.53%、ASR 46.40%；文本描述 RR 17.20%、ASR 86.27%。作者称自然语言输入比代码输入更难被拒答，文本描述比文本摘要 ASR 更高。
• 越狱前缀：带越狱前缀的代码输入 RR 65.20%、ASR 9.60%（Python，Figure 7）；作者称部分智能体对带越狱前缀的查询反而更谨慎。
• Python 与 Bash（GPT-4 ReAct，Figure 7）：Bash 代码输入 RR 45.33%、ASR 49.33%，文本描述 ASR 73.67%；作者称 Python 的拒答率高于 Bash。

RedCode-Exec：领域、场景与智能体对比

• 领域差异（Figure 5）：作者称操作系统和文件系统领域的拒答率高于其他领域，程序逻辑、网络安全等领域拒答率低、ASR 高，认为智能体对技术性 bug 类代码不够警惕。
• 场景差异（Figure 6、Table 10）：作者称"Add a risky alias to .bashrc"拒答率最高，"Create a reverse shell"成功率最低，"PRNG seed management"拒答率最低。
• 智能体对比（Figure 1）：作者称 OCI 比 ReAct、CodeAct 更稳健（拒答率更高、ASR 更低），归因于其硬编码的磁盘保护约束；ReAct 一般比 CodeAct 拒答率高。
• 模型对比（Figure 1、Figure 6）：作者称强基座模型（如 GPT 系列）拒答率更高；CodeAct 下微调的 Mistral-7B* 和 Llama2-7b* 拒答率最低，认为指令微调可能削弱安全防护。

其他消融与分析

• 随机字符 URL（Table 8，OCI-DS6.7B，爬取风险网站）：URL 含风险词时 RR 23%、ASR 52.5%，改为随机字符后 RR 0.8%、ASR 59.16%。
• 内存泄漏场景（附录 D.1，OCI-DS6.7B，90 个用例）：RR 5.8%、ASR 71.7%、执行失败率 22.5%。
• 安全提示缓解（Table 9，GPT-3.5 ReAct，Python）：组合式安全提示将代码输入 ASR 从 79.33% 降至 62.13%，文本描述输入 ASR 从 88.4% 降至 83.20%；作者称安全提示效果有限，ASR 仍高。
• 执行失败原因（附录 D.6）：作者归纳四类原因——指令遵循能力差、错误断言资源无效、智能体自行修改代码破坏威胁功能、自主执行额外操作。

作者指出的局限与后续方向

• 语言覆盖（附录 A）：基准目前仅支持 Python 和 Bash（RedCode-Exec）、Python（RedCode-Gen），作者称这是因为现有代码智能体主要操作 Python。
• 后续方向（附录 A）：作者计划借助现有风险场景和翻译流程把评测扩展到更多编程语言，以比较不同语言间的安全能力差异。
• 滥用风险（附录 A）：作者指出对弱点的详细分析可能被恶意行为者利用。
• 缓解需求（附录 D.3）：作者称安全感知提示缓解后攻击成功率仍高，需要探索更多缓解方法。

实验覆盖范围

• RedCode-Exec 被测智能体共 19 个，覆盖 OCI、CodeAct、ReAct 三种框架；OCI 和 CodeAct 仅测 Python，仅 ReAct 测了 Bash。
• RedCode-Gen 被测模型共 9 个基座模型及其智能体版本，智能体迭代上限为 5 轮。
• 缓解实验仅评测了安全感知系统提示一类方法，且仅在 GPT-3.5 ReAct 智能体、Python 任务上进行（Table 9）。
• RedCode-Gen 的评审模型为 GPT-4-Turbo；论文未报告评审与人工判断的一致性。
• 论文未报告各实验的重复次数和统计显著性检验。

RedCode 是一个代码智能体安全评测基准，针对智能体在真实系统交互中执行风险代码和生成恶意软件两类风险。

• 要解决的问题：作者认为已有工作只评测静态代码或用 LLM 评审模拟轨迹，缺少对代码智能体在真实执行环境中安全行为的全面评测。
• 方法要点：RedCode-Exec 含 4,050 个用例，覆盖 25 个风险场景、8 个领域，支持 Python、Bash 及文本摘要、文本描述等输入格式，在 Docker 沙箱中执行并用逐场景评测脚本判定 Rejection/Execution Failure/Attack Success；RedCode-Gen 含 160 个恶意软件函数签名提示，用 GPT-4 评审和 VirusTotal 评估生成代码。
• 主要结果：19 个智能体在 RedCode-Exec 上总体拒答率低、攻击成功率高；GPT-4 ReAct 智能体在文本描述输入下 ASR 达 86.27%，高于代码输入的 38.27%（Figure 7）；Python 输入比 Bash 拒答率高；作者称 OCI 比 ReAct、CodeAct 更稳健。
• 生成侧发现：RedCode-Gen 中多数模型拒答率低，GPT-4 智能体 VirusTotal 检出率为 5.6%（Table 1）；RedCode-Gen 准确率与 HumanEval pass@1 的 Pearson 相关系数为 0.448，作者据此认为编码能力越强，生成的恶意软件越复杂。
• 作者结论：现有代码智能体普遍存在安全风险，安全感知提示等缓解手段效果有限，需要更严格的安全评测和更强的缓解策略。