文献分享 Vol. 10｜论证强度的测量

Communication Methods and Measures

摘要

本研究通过分析总共 7,961 场现实世界辩论和 42,716 项修辞质量判断，探讨了如何在自然主义环境中使用理论驱动的方法大规模地计算提取无价值和价值驱动的论证强度 (MAS; Measures of Argument Strength) 度量。在第一项研究中，无价值 MAS 与论证的修辞质量（即说服力）显著相关。结果表明，提供更多信息来源引用、较少定量特异性、更多独特词语和更抽象语言的一方更有可能在辩证论证中被认为是有说服力的，在辩证论证中，两个人正在交换相反的论点。在第二项研究中，研究了价值驱动的 MAS 的附加影响。结果表明，论点中所体现的道德价值观与论点接受者所关注的道德价值观之间的相似性可以预测修辞质量。该研究展示了如何大规模测量和预测修辞质量，以及如何将自然产生的论点用于说服研究的科学进步。

具有说服力的论证（Persuasive arguments）

“论证理论”是一个涵盖论证的生成与评估研究的总称。论证与形式逻辑（如演绎推理与蕴含）相似，都将论证视为由前提与逻辑推导出的结论组成（Hitchcock, 2006）。二者的区别在于论证的辩证性——即对立观点之间的交锋（Blair & Johnson, 1987；van Eemeren et al., 2009）。因此，论证的评价具有相对性，需要同时考虑论证本身及其对立论证（Habernal & Gurevych, 2016）。本研究关注的是论证的修辞质量（有关论证质量的其他维度见 Wachsmuth, Naderi, Habernal 等, 2017）。评估修辞质量意味着将论证的目的视为说服受众支持某一立场（Blair, 2012；Mercier & Sperber, 2011），这也符合 Mercier 和 Sperber（2011）对推理的界定：构建有说服力的论证、将其表达出来以说服他人，以及评估并接受他人论证的结论（p. 59）。在接下来的讨论中，修辞质量、论证质量与论证力度将交替使用。

根据亚里士多德的观点，修辞质量可由 ethos、pathos 和 logos 等因素构成（McCormack, 2014）；在拉斯韦尔的传播模式中，则涉及传播者、信息、媒介与受众（Lasswell, 1948）。鉴于这些因素之间可能存在交互作用（如双加工模型中受众特征与论证力度的交互；Petty & Cacioppo, 1986），有必要区分论证本身的特质与受众差异所带来的修辞效果。为此，研究 1 侧重于通过计算方式提取论证特征，以预测主要独立于受众价值体系的说服效果（即价值中立 MAS）。研究 2 则考察受众的道德价值体系与论证的道德内容之间的附加与交互影响（即价值驱动 MAS）。

Study 1: 价值中立 MAS

大量说服研究已经识别出多种能够预测论证力度的论证或信息特征（如论证是单面呈现还是涵盖多种观点；综述见 Cialdini, 2008b；O’Keefe, 2002）。然而，其中许多特征需要人类进行外部评估，包括受众（即论证的接收者）的自我报告，以及人工编码者的内容分析（Baesler & Burgoon, 1994）。除了依赖少数人的判断之外，以往研究论证特征与论证质量关系的实验通常还依赖研究者自行构造的、不够系统的信息变体（O’Keefe & Jackson, 1995）。这些做法在近年来的说服研究中仍然常见（如 C. Y. Li, 2013；Stavraki et al., 2021；Wall & Warkentin, 2019；Yi et al., 2013）。

相比之下，论证挖掘（argumentation mining）领域也探讨了语言特征与论证质量之间的关系（如 H. Li et al., 2020；Luu et al., 2019；Tan et al., 2016）。这些研究基于更自然的情境，使用大量来自在线辩论的论证质量评价。然而，这些工作在理论界定上仍显不足，尤其缺乏对”为何某些特征会影响修辞质量”这一机制的清晰解释。

为弥合说服研究与论证挖掘研究之间的差距，我们提出了一个非穷尽性的五项论证特征列表，这些特征满足以下六个标准：(1) 在说服文献中具有理论相关性；(2) 在论证之间具有足够的变异；(3) 可以通过自动文本分析进行评估（无需人工编码者）；(4) 所用自动化分析工具经过验证并易于传播学者使用；(5) 能预测由大量、异质受众评估的论证说服力；(6) 预测结果独立于受众的个人价值体系。

五项论证特征

信息来源引用（Information-source citation）

信息来源引用指的是在论证中明确标示支持性证据的出处。根据 O’Keefe（1998），引用信息来源是提升论证明确性的一种方式；而更明确的论证通常具有更高的修辞质量，因为提供证据会让受众认为论证者可靠且信息充分。O’Keefe 对 23 项研究的元分析表明，信息来源引用与论证的说服力呈正相关（r = .06，95% CI = [.01, .11]）。

H1：论证中信息来源引用越多，其修辞质量越高。

定量具体性（Quantitative specificity）

定量具体性指在论证中提供明确的量化信息（如百分比或具体数值）。例如，”由于拥挤，伦敦交通局的服务延误自 2013 年以来增加了两倍”属于定量具体性，因为包含”两倍”和”2013”等数字；相反，”延误较以往大幅增加”则不具有定量具体性。提供量化数据意味着论证有可测量的证据支持，因此可能被视为更可靠。使用统计证据即是一种定量具体性——研究表明，相较于缺乏数字的轶事性证据，统计证据更具说服力（H. Hoeken & Hustinx, 2009）。

然而，与此相反，示例理论认为，人们对论证质量的判断更容易受到具体案例而非数字的影响（Zillmann, 1999）。

RQ1：定量具体性的使用与论证的修辞质量之间存在怎样的关系？

论证长度（Argument length）

论证长度（或论证量）可能与其修辞质量呈正相关。研究表明，更具说服力的论证通常包含更多的词语、句子和段落（Tan et al., 2016）。

RQ2：论证长度与其修辞质量之间的关系如何？

论证情感（Arguement sentiment）

人们在论证中自然会混合理性与情绪判断（Villata et al., 2017）。论证中的情绪具有信息价值，受众在评价论证质量时会将其纳入考量（Gilbert, 2004）。

H2：论证使用越多负面情绪，其修辞质量越高。

论证具体性（Argument concreteness）

论证的具体性指观点表达的充分性与明确性。”回避、隐瞒和巧妙规避……不应出现在理想的批判性讨论中”（van Eemeren et al., 1993, p. 173）。O’Keefe（1998）认为，具体的论证因其逻辑与证据表达清晰，比抽象论证更具说服力。然而，也有观点指出，抽象论证可能在修辞质量上占优，因为它们提供的细节更少，从而减少被反驳或被指出逻辑漏洞的机会（Sinnott-Armstrong, 2018）。

RQ3：论证中词语的具体性与其修辞质量之间有何关联？

结果与讨论

与 H1 一致，提供更多信息来源引用的一方更具说服力（比值比 = 1.47）。更具说服力的立场也更少使用定量具体性（比值比 = 0.60）、篇幅更长（比值比 = 3.87）、语言更不具体（比值比 = 0.81），分别回答了 RQ1、RQ2 与 RQ3。关于 H2，负向词汇的使用与论证质量之间的关系并不显著。

换言之，相比对方，多提供一个标准差数量的超链接（即多 5.86 个），使被认为更具说服力的概率提高 47%。少使用一个标准差的定量具体性（即少 48.01 个）使说服力提高 40%。论证篇幅增加一个标准差（即多 162.26 个独特词）使获得更高说服力的机会提高三倍以上。而语言具体性增加一个标准差（即多 0.22 分）则使说服力降低 20%。

Study 2: 价值驱动 MAS

Study 1 聚焦于语言层面的价值中立 MAS，但受众在判断论证说服力时并不会仅依赖语言特征，而是会将论证与自身既有态度和价值体系相比较（Boote, 1981；Shen & Edwards, 2005；Watt et al., 2008）。

基于特定受众价值的论证框架（Audience-specific value-based argumentation framework）

受众价值取向论证框架（AVAF；Bench-Capon, 2003）指出，哪一方论证更具说服力取决于：论证所倡导的价值，以及受众自身所偏好的价值。AVAF 将论证视为彼此支持或攻击的关系结构，每个论证都关联某一社会或道德价值，而受众之间的价值偏好不同，因此对论证质量的评价也具有主观性。

道德价值体系（Moral value-system）

根据 AVAF，了解受众的价值偏好有助于预测他们如何评价论证。本研究聚焦在跨议题适用的价值体系——道德价值。道德价值深刻影响人的态度与身份，因此论证评价的差异很大程度上可归因于受众的道德取向。

道德基础理论（MFT）为构建受众与论证的道德价值画像提供了结构化方法。MFT 认为五大跨文化共享的道德领域（关怀、公平、忠诚、权威、神圣）构成人类的核心道德直觉，这些领域可被”维护”或”违反”，从而形成由 10 个维度构成的道德向量。借此，我们可以为受众构建”道德价值系统”，为论证构建”道德内容画像”，并衡量二者的相似性。

H3：论证的道德内容画像越接近受众的道德价值系统，受众对其修辞质量的评价越高。

结果与讨论

Study 2 表明，聚焦论证道德框架与受众道德价值体系的价值驱动 MAS 是论证质量的显著预测因素（尽管效应量较小）。这一发现与既有研究一致：受众的价值与信念会影响他们对论证质量的判断（Lukin et al., 2017；Sherman & Cohen, 2002），且人们往往认为与自身信念一致的论证更具说服力（J. A. L. Hoeken & van Vugt, 2016；Mercier & Sperber, 2011）。本研究不仅支持了 Wachsmuth 等人（2017）关于”论证质量具有主观性”的观点，还展示了如何使用 MFT 与 eMFD 的计算方法测量这种主观性。

总结

本研究的两个子研究展示了：论证的修辞质量可以通过价值中立 MAS 与价值驱动 MAS 在大规模数据上进行预测。在辩证式论证中，具有更多引用、较少定量具体性、篇幅更长、语言更抽象的立场往往更具说服力。Study 2 进一步关注论证的道德框架及受众的道德价值体系，结果显示：当论证的道德内容与受众自身的道德价值更相似时，他们更可能认为该立场具有说服力。Study 2 也发现情绪对修辞质量具有显著影响，但价值中立与价值驱动 MAS 之间的交互效应并未显著。

在自然情境下大规模识别论证质量对于说服研究具有重要意义。在线辩论平台提供了远比实验室环境更自然的论证建构过程，可推动论证、说服与态度改变理论的发展，并为研究道德化议题提供丰富素材。自动化的 MAS 也有潜力替代依赖自我报告的操控检验。随着网络讨论空间的扩大与道德化辩论的增加，自动化评估论证优劣对于平台设计、内容监管与公共舆论理解尤为重要。

原文信息

文献来源： Youk, S., Malik, M., Chen, Y., Hopp, F. R., & Weber, R. (2024). Measures of argument strength: a computational, large-scale analysis of effective persuasion in real-world debates. Communication Methods and Measures, 18(1), 7-29.

原文链接： 请点击左下方【阅读原文】