OpenPCC：基于商用 TEE 的开放机密 LLM 推理服务
OpenPCC: Open and Confidential LLM Serving on Commodity TEEs
AI 导读
论文提出 OpenPCC，一个基于商用 TEE、不依赖专有硬件的开放机密 LLM 推理框架，并实现开源原型。作者先分析构建安全且开放的云推理服务所需的基本要求，再在 Llama-3 8B 的 vLLM 负载上做端到端评估，将 OpenPCC 自身开销与底层 TEE 硬件开销分开统计。论文称分析与评估表明该系统可行且具备安全性。