Seçim bilgisinde yapay zekânın güncellik sınavı

ABD’de 3 Kasım ara seçimleri sırasında yayımlanan bir NPR incelemesi, yapay zekâ sohbet araçlarının seçmene verdiği bilgilerin güncelliğini yeniden tartışmaya açtı. Haberin dayandığı araştırmada bazı yanıtlar eski veya yanlış oy verme bilgileri içeriyordu. Sorun, siyasal görüş bildirmekten farklı: Yanlış bir tarih veya işlem bilgisi, seçmenin yapması gereken işi zamanında tamamlamasını zorlaştırabilir.

NPR’nin haberi, Innovating for Public Good tarafından yayımlanan araştırmayı kendi denemeleri ve şirketlerin yanıtlarıyla birlikte ele alıyor. Bu kaynaklar aynı şeyi ölçmüyor. Araştırma belirli sorulara verilen yanıtları sınıflandırıyor; haberin denemeleri ise bazı araçların yönlendirici taleplere nasıl karşılık verdiğini gösteriyor. İkisinden de bütün seçmenlerin bu yanıtları aldığı sonucu çıkarılamaz.

Büyük toplam yerine doğru örnekleme bakmak

Innovating for Public Good tarafından yayımlanan raporda, 5–18 Ekim arasında toplanan oy verme işlemlerine ilişkin 3.054 yanıt ayrıca inceleniyor. Bu grupta yüzde 13,9 oranında eski veya yanlış bilgi; yüzde 5,9 oranında ise seçmenin yapacağı işlemi yanlış yönlendirebilecek yanıt saptandığı belirtiliyor. İki oran ayrı hata düzeylerini gösteriyor; toplanarak yeni bir oran üretilemez.

Raporun daha geniş veri kümesindeki yanıt sayısı, bu hesaplamanın paydası değil. Araştırmacılar doğrulamada seçim kurulları ve resmî kayıtlar gibi dayanaklardan yararlandıklarını açıklıyor. Sonuçlar, belirli tarihlerdeki seçilmiş sorular ve sistemler için geçerli. Hata ihtimalini gösteriyor; kaç kişinin bu bilgilere göre hareket ettiğini ölçmüyor.

Rapordaki somut örneklerden biri, Texas seçmen sorgulama sayfasının değişen adresi. İncelenen ChatGPT yanıtlarındaki 57 hatanın 44’ü eski adresin tekrarından kaynaklanıyor. Bu sayı bütün platformların hata dağılımını değil, araştırmadaki belirli yanıt grubunu açıklıyor.

Bilginin eskimesi de bir güvenilirlik sorunu

Seçim bilgisinde doğruluk, tarihten bağımsız düşünülemez. Geçmişte geçerli bir açıklama yeni işlem döneminde yanlış yönlendirebilir. Yanıtın düzgün cümlelerle yazılması bu farkı görünür kılmaz. Kaynağın adı yanında bilginin hangi döneme ait olduğu ve ne zaman kontrol edildiği de önemlidir.

Bir sistemin kaynak göstermesi yararlıdır. Ancak kaynak bağlantısının bulunması, yanıttaki tarih ve işlem bilgisinin o kaynaktan doğru aktarıldığını garanti etmez. Burada denetlenmesi gereken, bilginin resmî kayıttan kullanıcıya gelene kadar geçirdiği aşamalardır. Güncellemenin hangi noktada geciktiği belirlenmeden yalnız daha iyi bir açıklama yazmak yeterli olmayabilir.

Şirketlerin karşılığı nasıl değerlendirilmeli?

NPR, şirketlerin testlerin kapsamına ilişkin itirazlarına da yer veriyor. Anthropic, araştırmalarda kullanılan teknik erişim biçiminin tüketici uygulamasındaki bütün korumaları içermeyebileceğini belirtirken OpenAI, özellikle belirli çıktıları elde etmeye çalışan testlerin sıradan kullanımı temsil etmeyebileceğine dikkat çekiyor. Bu itirazlar örneklemi değerlendirmek için gerekli; gözlenen bütün hataların giderildiğini göstermiyor.

Anthropic’in 14 Ekim tarihli açıklaması ise farklı bir yaklaşım duyurmuştu: Democracy Works tarafından resmî seçim kaynaklarından toplanan oy verme bilgilerinin yanıtların içine alınması. Açıklamada bunun ay içinde başlayacağı söyleniyordu. Bu duyuruyu, bütün kullanıcılarda uygulamanın doğrulandığı veya hataların ortadan kalktığı biçiminde okuyamayız.

Resmî veriye bağlanma, bilginin güncelliğini korumak için anlamlı bir yol sunabilir. Fakat kullanılan kaydın yenilenmesi, yanıtla doğru eşleştirilmesi ve belirsizlik halinde kullanıcıya açıkça gösterilmesi birlikte işlemeli. Bu aşamalardan biri aksadığında resmî kaynak etiketi tek başına sorunu çözmez.

Seçim sonrası değerlendirmede asıl ihtiyaç, hangi hatanın ne zaman düzeltildiğini gösteren kayıtlardır. Yanıt kalitesini böyle izlemek, genel başarı oranlarından daha açıklayıcı olabilir. Seçmene işlem bilgisi sunan sistemin güvenilirliği, doğru cevap üretme kapasitesi kadar eski cevabı zamanında kullanımdan kaldırabilmesine de bağlıdır.