验证人工智能时代的信息:横向阅读和发现幻觉
今天的学习者面临着大量的信息,其中一些是准确的,其中一些是误导或发明的。 随着现在产生令人信服的文本的语言模型,验证已成为一项核心技能,不仅对记者和研究人员而言。 本文提供了基于已发表研究的实用工具,用于评估数字信息和人工智能输出。
信息障碍:三种类型
Claire Wardle 和 Hossein Derakhshan 的 2017 年欧洲委员会报告区分了三种类型的“信息障碍”:
- 错误信息:无意伤害共享的虚假信息。
- 虚假信息:故意共享虚假信息以误导或造成伤害。
- 错误信息:以伤害意图共享的真实信息,例如暴露某人的私人生活。
这种区别有助于选择正确的反应:有时更正就足够了,而故意的虚假信息则需要更深入地了解来源及其动机。
横向阅读:专家如何验证?
Sam Wineburg 和 Sarah McGrew 研究了专业事实检查者如何评估网站与历史学家和大学生的比较。 他们发现事实核查者不会在页面本身上徘徊,也不会依赖它的外观或它对自身的评价。 相反,他们会迅速打开新标签以查看其他来源对发布商的评价。 研究人员将这种做法称为“横向阅读”,并表明它可以在更短的时间内做出更准确的判断。
验证的实际步骤
在他们2023年的书中,Mike Caulfield和Sam Wineburg总结了一种可在几分钟内应用的实用方法:
- 停止:在您分享或相信之前,问问自己您是否知道来源以及这些信息是否会引发您强烈的情绪。
- 调查来源:在自己的网站外查找出版商并了解其专业知识和兴趣。
- 找到更好的覆盖范围:可靠的消息来源是否报告了同样的事情? 他们说什么?
- 将主张追溯到其起源:回到原始研究、文档或图像,并确保上下文没有被扭曲。
语言模型中的幻觉
Ji 及其同事在 2023 年发表的一份综合评论指出,“幻觉”,即源头不正确或不支持的内容,是自然语言生成系统中的一个众所周知的现象,其原因与训练数据和文本的生成方式有关。 它在教育中最常见的形式包括:
- 看起来真实但不存在的科学参考资料。
- 精确的数字和错误的日期。
- 引用归因于从未说过的人的名言。
- 添加原始文本不包含的内容的摘要。
如何检查 AI 输出
- 在学术数据库或出版商网站上按其标题搜索每个参考资料; 链接的存在是不够的。
- 将数据与官方主要来源(如统计报告和国际组织)进行比较。
- 重新表述问题,看看答案是否改变; 较大的变化表明可靠性较弱。
- 要求该工具命名其来源,然后自己检查它们。
- 区分可以验证的内容和什么是意见或估计。
概要
验证比复杂的工具更需要常规习惯:停止、横向阅读、追踪其来源,以及将 AI 输出视为需要检查的草稿。
参考文献
- Wardle, C., & Derakhshan, H. (2017). Information Disorder: Toward an Interdisciplinary Framework for Research and Policymaking. Strasbourg: Council of Europe.
- Wineburg, S., & McGrew, S. (2019). Lateral reading and the nature of expertise: Reading less and learning more when evaluating digital information. Teachers College Record, 121(11).
- Caulfield, M., & Wineburg, S. (2023). Verified: How to Think Straight, Get Duped Less, and Make Better Decisions about What to Believe Online. Chicago: University of Chicago Press.
- Ji, Z., et al. (2023). Survey of hallucination in natural language generation. ACM Computing Surveys, 55(12), Article 248.
