MemeTrace：面向安全感知表情包溯源分析的多模态 LLM 智能体

平台审核meme时缺少来源、传播、文化象征和社会风险的溯源，单张图的安全/不安全分类不够。

• 场景：作者称meme随新闻快速变化，并依赖文化语境；幽默、反讽和讽刺会掩盖意图。作者以叠脸画面为例，说明阴谋论可以藏在画面暗示里。涉及的不安全内容包括仇恨意识形态、错误信息、宣传和阴谋论。
• 现有不足：既有研究多做封闭集分类，主要看表层视觉或叠字，不解释为何有害，也缺少最新事件和平台用法，作者称因此难以泛化到新meme。
• 作者的设定：判断是否有害需要provenance，即数据来源、复用历史和其他上下文。静态VLM不能纳入最新知识，只能识别过时的表层元素。
• 本文提出：作者形式化Meme Provenance，从单张图生成11字段报告；并给出智能体MemeTrace、100条的Meme100，以及从报告文本计算的自动质量指标。

封闭集有害meme分类

• SemEval Memotion（Sharma et al., 2020）用CNN图像特征与BiLSTM文本特征融合，预测meme情感或是否含冒犯内容。
• MOMENTA（Pramanick et al., 2021b）融合图像与叠字特征，做有害meme检测。
• 引言还将Lippe et al. (2020)、Zhou and Chen (2020)、Pramanick et al. (2021a)、Kiela et al. (2020a,b)、Muennighoff (2020)、Cao et al. (2022, 2023)列入同类分类研究。作者称这类方法只看表层元素，对缺少最新背景的新meme泛化差。

谱系、演化与意识形态

• Zannettou et al. (2018)、Ling et al. (2021)做meme谱系或起源；Qu et al. (2023a)做演化分析。
• Bi et al. (2023)、Ma et al. (2025)、Lin et al. (2024b)关注meme代表的社会政治意识形态。相关工作把Qu et al. (2023b)也列入这一组引用，但点名的演化工作是2023a。
• 作者称这些工作仍依赖静态多模态模型，一次只分析一个维度，不能纳入实时在线证据。

LLM智能体做meme分析

• Lin et al. (2024a)、Liu et al. (2025)、Huang et al. (2024, 2025)被放在一组：用LLM智能体做meme分析。作者称这些方法仍限于单条meme分类，没有系统建模更广背景。

基线与评测数据

• 主基线是GPT-4o：与MemeTrace同一报告提示词，但不使用外部证据。附录J另有GPT-4o native web search，同一骨干和提示词，只依赖内置文本搜索。评测集是作者构建的Meme100。

作者把本文定位为：用动态外部知识和分步推理，把一张meme分解成11字段溯源报告，而不是静态封闭集分类。

MemeTrace是多模态LLM智能体：不靠一次VLM推断，而用Think–Act–Evaluate循环协调感知、检索、证据评估和报告合成。Figure 2给出六个模块的闭环。

任务与报告字段

• 输入是单张meme图。输出是结构化报告，字段在Section 2与Appendix A的Table 5中固定为11个。
• 五组为：语义（About、Structure），传播（Origin、Spread），文化（Culture、Usage、Target Audience），心理影响（Emotional Impact、Cognitive Load、Persuasive Technique），安全（Safety Flag）。
• Safety Flag从固定集合选取，可多标：abusive、hateful、misogynous、cyberbullying、disinformation、fake misattribution、propaganda、offensive language、derogatory、trolling、sarcasm、unethical、political、satire、sensitive。
• About、Origin、Spread参考KnowYourMeme条目结构，其余字段由作者扩展，用来写文化语境、用法和风险。

感知与本地检索

• OCR：EasyOCR抽取英文文本。作者称原输出常含水印等无关内容，因此用GPT-4o复核、改错并保留meme的核心文字。
• MemeDB：本地库存KnowYourMeme的confirmed条目。Appendix B写明截至2025年6月为21,305条；正文亦写21K+。每条含标识、文本、时间、来源、地区和标签。
• 图像与文本元数据用CLIP编码后拼接，FAISS取top-3。作者称CLIP近邻可能只是视觉相近、语义无关，因此GPT-4o再打0–10的语义分，只保留高于8的候选及元数据。附录B称本地库是为了加快检索，并避免相似meme重复搜索。

两路外部检索

• RIS：用Google反向图片搜索取相关网页。域名评分按质量的置信下界加衰减探索奖励排序，只爬top-5，以避免爬无关URL。GPT-4o的RIS evidence checker清理网页噪声，生成带行内引用的摘要，并给每个来源0–1的usefulness，再写回域名分。
• Tavily有两种模式。Element-Extraction Mode在RIS证据不足时做宽检索：抽出显著视觉和文本元素，尤其是人、组织、地点等专名，取排名前两组成查询，最多取5条带短摘要和链接的结果。Evaluator-Query Mode在部分字段仍不确定、不完整或不一致时，由置信评估器按当前证据状态写查询。质量检查器同样给0–1分。

路由与报告合成

• 置信评估器在每次工具调用后判断证据是否充分或冲突，并选择继续检索、改查询或合成报告。Figure 3的输出含new_confidence_score、next_action、justification、next_query。
• 顺序是：先本地库；不足则RIS；仍不足则Tavily的Element-Extraction；再不足则Evaluator-Query，结合本地库、RIS和Tavily历史改写关键词并迭代。证据充分或达到迭代上限即停止。默认上限为5。上限到达时也会合成报告。
• 报告合成用GPT-4o和专门提示词，按Section 2的schema整合已收集证据。主实验temperature为0，经OpenAI API。实现用LangGraph；域名分和MemeDB元数据存SQLite，执行日志存Markdown。
• 换骨干时，迭代上限、temperature和提示词模板不变。Gemini-Pro-1.5与Qwen2.5-VL-72B-Instruct经OpenRouter调用；结果节亦把二者写作Gemini 1.5 Pro与Qwen2.5-VL-72B。

实验设置

• 被测系统：默认骨干是GPT-4o，它同时承担OCR复核、本地候选语义打分、RIS/Tavily检查、置信评估和报告合成。骨干替换为Gemini-Pro-1.5与Qwen2.5-VL-72B-Instruct。CLIP只用于MemeDB编码，不单独报告分数。temperature均为0。
• 数据：Meme100共100条，含KnowYourMeme中出现超过10年的经典模板，以及过去一年内借高影响事件出现的新meme。平台为Reddit、Twitter/X、4chan、Facebook、TikTok、YouTube、Instagram；筛选互动超过5,000的帖子。事件例子包括2024年美国总统选举、俄乌冲突和2025年中洛杉矶大规模抗议。附录G按话题、平台、模态（text-dominant、image-dominant、hybrid）和稀疏度统计，但正文未给出各类条数。
• 子集：ablation subset为20条，话题、平台、稀疏度和模态分布与主集对齐。稳健性子集由该20条做三种变换：Gaussian blur（σ=2.5）、border cropping（15%）、顶部UI overlay（约12%覆盖）。
• 基线：GPT-4o使用同一报告提示词、无外部证据。附录J另评GPT-4o native web search。论文未与MOMENTA等分类器在Meme100上做数值对比。
• 人工评分：研究团队内三名领域专家盲评。每个字段评Informativeness（信息是否完整）和Correctness（事实是否正确），五点Likert，取标注者平均。adjusted_score是二者均值。主实验在Meme100；消融和稳健性用对应子集。每名标注者7,920个评分项，三人合计23,760分。ICC为0.502–0.600；附录I称0.502为moderate reliability。
• 外部复核与自动指标：附录J由两名非共同作者志愿者盲评，去掉系统标识并随机化顺序。自动指标从报告文本计算：每100词的数字、四位年份、日历日期、hedge和平台提及，以及about/origin/spread上的spaCy实体数。论文未使用LLM裁判，也未报告对同一张图重复生成以估计报告方差。

主结果

表格较宽，可左右滑动

系统	Informativeness	Correctness	adjusted_score
GPT-4o VLM-only baseline	4.050	4.205	4.128
MemeTrace（骨干GPT-4o）	4.838	4.843	4.841

据Table 2，Meme100，三名标注者平均。baseline与MemeTrace共用报告提示词；baseline没有外部证据。

• 作者报告这三项差距的p < .001，并称adjusted score整体提升17%。
• Table 1中，MemeTrace在11个字段的两项分数都高于baseline。作者特别指出about、origin、spread。safety_flag的信息量为4.777对4.483，正确性为4.670对4.400。摘要称不安全meme检测更准确，尤其是disinformation和sensitive content；正文没有另给检测准确率或F1。
• Table 3：digits_per100w为2.088对0.631，years_per100w为0.880对0.168，dates_per100w为0.380对0.020，hedge_per100w为0.640对1.420，platforms_per100w为0.653对1.162，ner_person_unique为3.220对1.960。作者称基线缺少证据时更常并列多个平台，MemeTrace的平台提及更少并绑定证据。

模块消融与骨干替换

• Table 4在20条子集上：full的adjusted score为4.853；去掉Tavily为4.227，去掉RIS为4.317，去掉LocalDB为4.388。该子集上的VLM baseline为3.961。作者称Tavily贡献最大，RIS次之，LocalDB再次之。
• Table 9的Informativeness中，full的about/origin/spread为4.967/4.733/4.700；去掉Tavily为4.517/4.067/3.950；去掉RIS的spread为4.000。作者称Tavily主要补about和origin，去掉RIS会削弱传播信息。
• 同一20条上，Gemini版adjusted score为4.451，Qwen版为4.575，都高于3.961，低于GPT-4o版的4.853。作者认为n=20不能区分这两个骨干，因此不排序。

扰动与外部盲评

• Table 4的adjusted score：UI overlay为4.297，Gaussian blur为4.247，border cropping为4.229，对照full的4.853。作者称下降约0.56–0.62，大约12%；UI降幅最小。作者认为模糊主要降低正确性，因为文字变糊妨碍识别；裁边因边缘信息缺失，两项都下降。Table 4中模糊的信息量/正确性为4.292/4.202，裁边为4.277/4.180。
• 作者称Table 9里about、origin、structure相对稳定。该表Informativeness中，模糊子集这三项为4.633、4.367、4.083，full为4.967、4.917、4.733。origin的降幅大于about。
• 附录J的两名外部标注者在同一20条上：MemeTrace的adjusted score为4.790，GPT-4o native web search为4.594，无检索基线为3.964。MemeTrace在20条中的18条上更高。合并ICC(C,k)=0.801。作者称外部证据提高溯源质量，而相对通用网页搜索的增益来自专门检索模块。这组标注者与Table 4的三名专家不是同一批。

安全标记

• Section 5.4只分析Meme100报告中的safety_flag，人工分见Table 1。作者称disinformation出现在44%的报告中，sensitive content为16%（Figure 13a）。
• 作者称政治与地缘meme的disinformation比例最高，约为50%；技术相关meme很少被标为sensitive（Figure 13b）。Figure 13c的共现矩阵上，作者称disinformation与fake misattribution共现较强，并认为错误信息常伴随错误的来源归属。图中具体格子数值文本未列出。
• Appendix L用移民/收费公路、企鹅关税、最后的晚餐戏仿及UI遮挡变体做对比。作者称MemeTrace写到事件背景，基线多复述可见文字或画面；UI遮挡下仍保留部分解释。此处不复述报告原文。

其他消融与分析

• 自动指标与人工分的最强相关为Pearson r=0.78、Spearman ρ=0.94；作者称实体类指标对齐较强，hedge频率和平台枚举与人工分为负相关（Section 5.1，Appendix H，Figure 9）。正文未把0.78和0.94指定到某一个指标名。
• 主实验平均每条meme 18.46步、11.54次多模态LLM调用、3.92次外部搜索API（Tavily 2.92、SerpApi 1.00），另有约3次本地操作；成本0.1259美元，端到端约111秒（Appendix O）。作者称时延和API成本主要来自LLM迭代推理。
• Figure 15（n=100）坐标为Iteration 1–5、Confidence 0–1.00，含mean与±1 std。作者称平均置信度随迭代上升，并在第五步附近稳定，以此支持上限取5。端点数值文本未给出。
• 附录I：MemeTrace（full）的overall评分方差为0.1076，baseline为0.6025；正文将主实验overall方差写为0.108。去掉Tavily的overall方差为1.4739。
• 负面或例外按作者表述：三个模块去掉后分数都低于full；两种替代骨干低于GPT-4o版；三种扰动低于未扰动子集；n=20不区分Gemini与Qwen。

作者指出的局限与后续方向

• MemeDB规模还不能覆盖meme模板的多样性，尤其是新出现的或非英语变体（Limitations）。
• 系统需要多轮LLM调用和在线检索，作者称成本较高；效率、时延和部署成本的分析放在Appendix O（Limitations）。
• 当前评测主要针对自然扰动，系统化red-teaming尚未做（Limitations）。
• 作者列出的潜在脆弱性包括：搜索引擎优化或低质量网站造成的source pollution，以及网页中恶意注入或模板化内容。域名评分能减轻其中一部分，但不能完全防止信息污染（Limitations）。
• 自动报告质量指标仍不完美。作者举例：日期或数字出现频率只能反映信息密度，不能反映事实准确性（Limitations）。

实验覆盖范围

• 主评测为Meme100，共100条；每条生成一份溯源报告。三名研究团队内专家对11个字段的Informativeness和Correctness打分；另有两名非共同作者在20条ablation subset上盲评三种系统（Section 4.3，Appendix J）。
• 骨干为GPT-4o、Gemini-Pro-1.5、Qwen2.5-VL-72B-Instruct。对照为无外部证据的GPT-4o，以及附录J中的GPT-4o native web search（Section 4.2、5.2）。
• 模块消融分别关闭Local Database Retrieval、RIS和Tavily，在20条子集上评分（Section 5.2，Table 4、Table 9）。
• 稳健性变换为Gaussian blur（σ=2.5）、border cropping（15%）和顶部UI overlay（约12%），均基于ablation subset（Section 4.1、5.3）。
• OCR模块只写明抽取英文（Section 3.3.1）。论文报告了ICC、与人工分的Pearson/Spearman相关，以及Appendix O的平均调用次数、成本和时延；未报告对同一张图重复生成报告以估计方差（Section 4.2将temperature设为0）。

MemeTrace是一个从单张图生成安全相关溯源报告的多模态LLM智能体。

• 问题：作者认为meme审核不能停在安全/不安全分类。画面依赖新闻、文化和反讽，静态VLM缺少最新背景，也解释不了隐含风险。
• 做法：给定一张图，系统按Think–Act–Evaluate循环抽取英文叠字，用CLIP/FAISS查MemeDB（21,305条confirmed条目，语义分高于8才采用），不足时依次做Google反向搜图和Tavily。置信评估器决定是否改查询。默认最多5轮，temperature为0，最后由GPT-4o写成11个字段，其中包括固定类别的Safety Flag。
• 主结果：Meme100上，三名专家给出的adjusted score为4.841，无检索GPT-4o为4.128；作者报告p < .001，并称整体提升17%。safety_flag正确性为4.670对4.400。作者称disinformation出现在44%的报告中。
• 消融与迁移：20条子集上，full为4.853；去掉Tavily降至4.227，是三个模块中降幅最大的。Gemini版为4.451，Qwen版为4.575，都高于该子集基线3.961，低于GPT-4o版。作者认为n=20不能给这两个骨干排序，并认为增益来自智能体设计，而不是某一个VLM。
• 复核：两名外部标注者的adjusted score为4.790，高于带原生网页搜索的GPT-4o（4.594）和无检索基线（3.964），20条中有18条更高。自动指标与人工分的最强相关为Pearson r=0.78、Spearman ρ=0.94。
• 作者的结论：外部上下文对判断meme意图是必要的；报告可作研究标注，也可给审核者补充分类器没有的语境。作者同时指出MemeDB未覆盖新模板和非英语变体，多轮检索成本较高，系统化red-teaming尚未做，数字频率也不能代替事实核查。