AI Çağında Bilgilerin Doğrulanması: Yanal Okuma ve Halüsinasyonları Tespit Etme
Bugün öğrenenler, bazıları doğru ve bazıları yanıltıcı veya icat edilmiş olan büyük miktarda bilgiyle karşı karşıyadır. Artık ikna edici metinler üreten dil modelleri ile doğrulama, yalnızca gazeteciler ve araştırmacılar için değil, temel bir beceri haline geldi. Bu makale, dijital bilgi ve AI çıktılarını değerlendirmek için yayınlanmış araştırmalara dayalı pratik araçlar sunmaktadır.
Bilgi bozukluğu: Üç tip
Claire Wardle ve Hossein Derakhshan tarafından hazırlanan 2017 Avrupa Konseyi raporu, üç tür "bilgi bozukluğu"nu ayırt ediyor:
- Yanlış Bilgi: Zarar verme niyeti olmadan paylaşılan yanlış bilgiler.
- Dezenformasyon: Yanlış yönlendirmek veya zarar vermek için kasıtlı olarak paylaşılan yanlış bilgiler.
- Kötü Bilgi: Birinin özel hayatını ifşa etmek gibi zarar verme niyetiyle paylaşılan gerçek bilgiler.
Bu ayrım, doğru yanıtı seçmeye yardımcı olur: bazen bir düzeltme yeterlidir, kasıtlı dezenformasyon kaynağa ve güdülerine daha derin bir bakış gerektirir.
Yan okuma: Uzmanlar nasıl doğrular?
Sam Wineburg ve Sarah McGrew, profesyonel doğrulayıcıların web sitelerini tarihçiler ve üniversite öğrencileriyle karşılaştırıldığında nasıl değerlendirdiğini inceledi. Doğrulayıcıların sayfanın kendisinde oyalanmadığını veya onun görünümüne veya kendisi hakkında söylediklerine güvenmediğini buldular. Bunun yerine, diğer kaynakların yayıncı hakkında ne söylediğini görmek için hızlı bir şekilde yeni sekmeler açarlar. Araştırmacılar bu uygulamayı "yanal okuma" olarak adlandırdılar ve daha kısa sürede daha doğru yargılara yol açtığını gösterdiler.
Doğrulama için pratik adımlar
Mike Caulfield ve Sam Wineburg, 2023 tarihli kitaplarında dakikalar içinde uygulanabilecek pratik bir yaklaşımı özetliyor:
- DUR: Paylaşmadan veya inanmadan önce kendinize kaynağı bilip bilmediğinizi ve bilgilerin sizde güçlü bir duyguyu tetikleyip tetiklemediğini kendinize sorun.
- Kaynağı araştırın: Yayıncıya kendi web sitesinin dışında bakın ve uzmanlığı ve ilgi alanları hakkında bilgi edinin.
- Daha iyi kapsama alanı bulun: Güvenilir kaynaklar aynı şeyi bildirdi mi? ne diyorlar?
- İddiayı kökenine kadar takip edin: orijinal çalışma, belge veya resme geri dönün ve bağlamın bozulmadığından emin olun.
Dil modellerinde halüsinasyon
JI ve meslektaşları tarafından 2023'te yayınlanan kapsamlı bir inceleme, kaynak tarafından yanlış veya desteklenmeyen içerik anlamına gelen "halüsinasyon"un, eğitim verileri ve metnin üretilme şekliyle ilgili çeşitli nedenlerle doğal dil oluşturma sistemlerinde iyi bilinen bir fenomen olduğunu belirtiyor. Eğitimde en yaygın biçimleri şunlardır:
- Gerçek görünen ama var olmayan bilimsel referanslar.
- Yanlış olan kesin görünümlü rakamlar ve tarihler.
- hiç söylemeyen insanlara atfedilen alıntılar.
- Orijinal metnin içermediği şeyleri ekleyen özetler.
AI çıkışları nasıl kontrol edilir
- bilimsel bir veritabanında veya yayıncının sitesinde başlığına göre her referansı arayın; Bir bağlantının varlığı yeterli değildir.
- Rakamları istatistiksel raporlar ve uluslararası kuruluşlar gibi resmi bir birincil kaynakla karşılaştırın.
- Soruyu yeniden ifade edin ve cevabın değişip değişmediğini görün; Büyük bir değişiklik, zayıf güvenilirliği işaret eder.
- Araçtan kaynaklarını adlandırmasını isteyin, ardından kendiniz kontrol edin.
- Neyin doğrulanabileceği ile görüş veya tahminin ne olduğu arasında ayrım yapın.
Özet
Doğrulama, karmaşık araçlardan daha fazla düzenli alışkanlıklara ihtiyaç duyar: durdurmak, yanal okumak, kökenlerine ilişkin iddiaları takip etmek ve AI çıktılarını kontrol edilmesi gereken taslaklar olarak ele almak.
referanslar
- Wardle, C., & Derakhshan, H. (2017). Information Disorder: Toward an Interdisciplinary Framework for Research and Policymaking. Strasbourg: Council of Europe.
- Wineburg, S., & McGrew, S. (2019). Lateral reading and the nature of expertise: Reading less and learning more when evaluating digital information. Teachers College Record, 121(11).
- Caulfield, M., & Wineburg, S. (2023). Verified: How to Think Straight, Get Duped Less, and Make Better Decisions about What to Believe Online. Chicago: University of Chicago Press.
- Ji, Z., et al. (2023). Survey of hallucination in natural language generation. ACM Computing Surveys, 55(12), Article 248.
