文献分享 Vol. 12｜AI与事实核查说服效果的比较

Journal of Experimental Political Science

摘要

对于不断扩大的错误信息问题，事实核查被视为一种最有希望的补救手段。然而，尚不清楚是什么让事实核查更有效。本研究探讨了事实核查方类型（AI 与人类核查）和党派性（核查者的立场）对事实核查有效性的影响。在一项预注册的在线实验（N = 949）中，研究者发现对于有争议的政治主张，AI 核查者的事实核查结果与人类核查者（即传统媒体事实核查）的结果同样有效。进一步分析发现，与来自立场一致的信息源（如所属政党）的事实核查相比，AI 核查的感知可信度更高，但修正效果却更低。

理论背景

错误信息可能在无意中被传播（例如，基于错误信念发表评论），也可能有意被传播（例如，意图误导他人）。对于错误信息的问题，事实核查是最重要的补救手段之一。事实核查是指对政治人物或公众人物提出的特定政治主张进行的细致调查，旨在评估其准确性。

事实核查的三大决定因素包括：核查主体、核查对象与核查主张。在核查对象方面，既有研究聚焦于被核查者的党派身份（co-partisans vs. counter-partisans），结果表明，当错误信息来自与受众同属一党的政治人物时，人们更不愿意接受事实核查（Ditto et al., 2019）。在核查主张方面，研究发现事实核查在修正事实性主张（如统计数据）方面效果更好，但在情感性或价值判断类主张上的作用较为有限（Nyhan & Reifler, 2010）。

相较而言，对核查主体的研究仍有待深入。目前已有研究表明，事实核查者的来源对修正效果具有影响。通常来说，事实核查来源的可信度越高，其效果越好（Vraga & Bode, 2017）。然而，来源可信度是一个复杂构念，受到来源的准确性、公正性、可靠性等多重因素影响（Gaziano & McGrath, 1986）。

AI作为事实核查方

从理论上讲，AI 作为核查方可能同时具有优势与劣势。

一方面，AI 被认为更”中立”与”客观”，因此人们可能认为 AI 的判断较少受到党派偏见的影响。研究表明，人们在信息呈现方式上倾向于信任被标注为”算法生成”而非”人为撰写”的内容（Sundar, 2008）。这一现象被称为”机器启发式”（machine heuristic），即受众假设机器在决策中不带主观性（Sundar & Nass, 2001）。

另一方面，AI 事实核查可能面临可信度的质疑。尤其在政治性较强的议题上，公众可能怀疑 AI 系统本身被某一意识形态或政党”编程”或”训练”（Weeks, 2015；Shin et al., 2022）。此外，部分群体对 AI 的技术能力存有怀疑——他们认为 AI 无法像人类那样理解政治语境的微妙之处（Logg, Minson & Moore, 2019）。

因此，AI 事实核查的效果如何，仍是一个待验证的问题。

来源的党派性（Partisan cue）

事实核查来源的党派性是否影响其说服效果？现有研究表明，党派认同强烈影响人们对信息的接受程度，尤其是当信息与受众既有信念不一致时（Levendusky, 2013；Druckman et al., 2013）。

在事实核查领域，这一效应同样显著。Porter 与 Wood（2021）发现，人们更倾向于接受来自”同党派”来源的事实核查。但也有研究指出，过于明显的党派来源反而会引发反感，被视为”政治攻击”而非”中立核查”。

本研究进一步探讨：当事实核查来源的党派立场明确时，AI 核查与传统媒体核查的效果是否存在差异？

研究假设

H1：AI 事实核查与传统媒体事实核查在减少受众对错误信息信任方面的效果无显著差异。

H2：来自与受众立场一致政党的事实核查比 AI 核查更具信任感，但其修正效果并不更优（可能因党派偏见而被折扣）。

H3：AI 事实核查的修正效果不受被核查者党派身份的影响，而传统媒体核查则受此影响显著。

研究设计与数据

实验设计

研究者在美国开展了一项 2×3 的预注册在线实验（N = 949），变量设计如下：

被核查者党派（2）：民主党 / 共和党政客
核查方类型（3）：AI核查 / 同党派媒体核查 / 对立党派媒体核查
另设一个无核查对照组

材料与程序

所有受访者首先观看一段虚构但现实感强的政治错误信息（例如某位参议员声称”移民犯罪率比本地居民高三倍”）。之后，实验组受访者会看到一段事实核查，核查来源被标注为：

AI（标注为”Artificial Intelligence Fact-checker”）
同党派媒体（若受访者为民主党，来源标为”Democratic Policy Media”）
对立党派媒体（若受访者为民主党，来源标为”Republican Policy Media”）

事实核查内容在所有处理组中保持一致，仅来源不同。

测量指标

核查可信度（Perceived credibility）：核查来源被认为准确、可靠、无偏见的程度（7点量表）
修正效果（Correction effectiveness）：观看核查后，受访者对原始错误主张的信任程度变化（7点量表）
态度变化（Attitude change）：对相关议题（如移民政策）的态度是否因核查而变化

结果

H1得到支持：AI 核查在减少对错误信息信任方面，与传统媒体核查的效果无显著差异。

H2得到支持：来自同党派来源的核查被认为更可信，但其修正效果略低于 AI 核查。

H3得到部分支持：AI 核查的效果较少受”被核查者党派”影响，而传统媒体核查在面对对立党派错误信息时更有效、在面对同党派错误信息时效果打折。

原文信息

文献来源： Shin, J., & Valenzuela, S. (2022). A Comparison of AI Versus Human Fact-Checkers: Credibility Perceptions and Correction Effectiveness. Journal of Experimental Political Science, 1–13.

原文链接： 请点击左下方【阅读原文】