️虚假信息 campaigns 正在利用 AI 讲述引人入胜但虚假的故事。
️由 Dr. Mark Finlayson 提供
计算机科学副教授
佛罗里达国际大学
️由 Azwad Anjum Islam 翻译
计算机与信息科学专业的博士生
佛罗里达国际大学
简介人们最关心和相信的事情往往不是由冷冰冰的事实决定的，而是由一个精彩故事的影响力和熟悉感决定的。无论是感人至深的亲身经历，个人证词，还是回响着熟悉文化叙事的梗图，故事往往能让我们铭记于心、触动心灵并塑造我们的信念。
这种讲故事的特性恰恰是错误之手利用它时如此危险的原因。几十年来，外国对手一直使用叙事策略试图在美国操控公众舆论。社交媒体平台为这些活动带来了新的复杂性和放大效应。这种现象在 2016 年大选前夕，有证据显示俄罗斯实体在 Facebook 上影响选举相关材料后，引发了公众的广泛关注。
虽然人工智能在加剧这一问题，但它同时正成为对抗此类操控的最强大防御之一。研究人员一直在使用机器学习技术来分析虚假信息内容。
在佛罗里达国际大学的认知、叙事与文化实验室，我们正在开发 AI 工具，以帮助检测使用叙事说服工具的虚假信息运动。我们正在训练 AI 超越表面语言分析，理解叙事结构，追踪人物和时间线，并解码文化参考。
虚假信息与错误信息2024 年 7 月，司法部中断了一个由克里姆林宫支持的操作，该操作使用了近一千个虚假社交媒体账号传播虚假叙事。这些并不是孤立事件。它们是部分由 AI 驱动的有组织运动的一部分。
虚假信息与错误信息有着本质的区别。错误信息仅仅是不准确或错误的信息——即事实错误，而虚假信息则是故意编造并特意传播以误导和操控。2024 年 10 月的一个例子显示了这一点，当时一段声称显示宾夕法尼亚州一名选举工作人员撕毁了标记有唐纳德·特朗普选票的视频在 X 平台和 Facebook 等平台上迅速传播。
几天之内，联邦调查局追踪到了这段视频 ，发现其源头是一家俄罗斯影响机构，但在此之前，这段视频已经积累了数百万次的观看量。这个例子生动地展示了外国影响活动如何人为地制造和放大虚假故事，以操控美国政治并加剧美国人的分歧。
人类天生是通过故事来处理世界的。从小，我们就在听故事、讲述故事，并用故事来理解复杂的信息。叙事不仅帮助人们记住信息，还帮助我们感受情感。它们促进了情感联系，并塑造了我们对社会和政治事件的解读。
️故事对人类的信念和行为有着深远的影响。
这使它们成为极具说服力的工具——也因此成为传播虚假信息的强大工具。一个引人入胜的故事可以超越怀疑，比大量统计数据更能影响观点。例如，一只鼻孔里插着塑料吸管的海龟救援故事，往往比大量的环境数据更能引起人们对塑料污染的关注。
用户名、文化背景和叙事时间利用 AI 工具拼凑故事叙述者的形象、他们讲述故事的时间线以及故事发生地特有的文化细节，可以帮助识别故事是否存在逻辑漏洞。
叙述不仅限于用户分享的内容，还延伸到用户构建的用于讲述这些内容的人设。甚至一个社交媒体账号也可以传递有说服力的信号。我们开发了一个系统，用于分析用户名以推断出诸如姓名、性别、位置、情感甚至个性等人口统计和身份特征，前提是这些线索嵌入在用户名中。这项工作在 2024 年于国际网络与社会媒体会议上展示，强调了即使是一串简短的字符也可以反映用户希望其受众如何看待他们。
例如，一个试图显得像是可信记者的用户可能会选择像@JamesBurnsNYT 这样的用户名，而不是更随意的@JimB_NYC。两者都可能暗示用户来自纽约，但前者带有机构可信度的分量。 信息操纵活动往往通过打造模仿真实声音或关联的用户名来利用这些感知。
尽管一个用户名本身不能确认一个账号是否真实，但它在评估整体真实性方面扮演着重要角色。通过将用户名视为账号整体叙事的一部分，AI 系统可以更好地评估一个身份是否是为获得信任、融入目标社区或放大有说服力的内容而制造出来的。这种语义上的解释有助于采取一种更全面的方法来检测虚假信息——不仅考虑说了什么，还考虑是谁在说以及为什么这么说。
此外，故事并不总是按时间顺序展开。社交媒体线程可能会从一个震惊的事件开始，然后闪回到更早的时刻，跳过中间的关键细节。
人类处理这种情况毫不费力——我们习惯于碎片化的叙事。但对于 AI 来说，基于叙事内容确定事件的顺序仍然是一个重大挑战。
我们的实验室也在开发时间线提取方法 ，教导 AI 识别事件、理解其顺序，并映射它们之间的关系，即使故事是以非线性方式讲述的。
物体和符号在不同的文化中往往承载着不同的意义，如果没有文化意识，AI 系统可能会错误地解读它们分析的叙事。外国对手可以利用文化细微差别来构建更能打动特定受众的信息，从而增强虚假信息的说服力。
考虑以下句子：“穿着白色连衣裙的女子充满了喜悦。”在西方语境中，这句话唤起的是快乐的形象。但在亚洲部分地区，白色象征哀悼或死亡，因此这句话可能会让人感到不安，甚至冒犯。
为了利用 AI 检测那些利用符号、情感和叙事在目标社群中进行信息操控的虚假信息，赋予 AI 这种文化素养至关重要。在我们的研究中，我们发现，对多元文化叙事进行训练可以提高 AI 对这些区别的敏感度。
谁将受益于叙事感知 AI？叙事感知型 AI 工具可以帮助情报分析师迅速识别有组织的影响活动或情绪化的故事情节，这些故事情节正在异常快速地传播。他们可能会使用 AI 工具处理大量社交媒体帖子，以绘制有说服力的叙事弧线，识别几乎相同的故事线，并标记社交媒体活动的协调时间。随后，情报机构可以实时采取反制措施。
此外，危机应对机构可以迅速识别有害叙事，例如自然灾害期间的虚假紧急声明。社交媒体平台可以使用这些工具高效地将高风险内容路由给人类审核，而不会进行不必要的审查。研究人员和教育者也可以从中受益，通过追踪故事在不同社区中的演变，使叙事分析更加严谨和可分享。
普通用户也可以从中受益。这些 AI 工具可以实时标记社交媒体帖子，作为潜在的虚假信息，使读者对可疑的故事持怀疑态度，从而在这些谬误扎根之前对其进行抵制。
随着 AI 在监测和解读在线内容中扮演越来越重要的角色，其超越传统语义分析理解叙事的能力变得至关重要。为此，我们正在构建系统以揭露隐藏的模式、解码文化信号并追踪叙事时间线，以揭示虚假信息是如何传播的。
最初发表于 The Conversation，2025 年 5 月 29 日
