Yapay zekâya "bu paragraf için beş güncel kaynak ver" dediğinizde önünüze gelen liste genellikle kusursuz görünür. Dergi adı doğrudur, yazarlar alanın tanıdık isimleridir, DOI biçimi doğru kurgulanmıştır. Sorun tam da burada: dil modelinin işi bibliyografik bir veri tabanından kayıt çekmek değil, olası görünen metin üretmektir. Gerçek bir dergiyi gerçek bir araştırmacıyla birleştirip hiç var olmamış bir makale ortaya çıkarabilir.
Bunun ne ölçekte bir sorun olduğunu ve klinik görsellerde nasıl karşılığı olduğunu 4.046 hayalet kaynak vakasında ayrıntılı ele aldık. Bu yazı vakayı değil, iş akışını konu alıyor: elinizdeki künye listesini gönderim öncesinde hangi sırayla, hangi ölçütle denetleyeceğinizi.
Sahte künye, riskin yalnızca bir türü
Kaynak denetimini "bu makale var mı?" sorusuna indirgemek, dört hata türünden yalnız birini yakalar.
Kaynak denetiminde dört ayrı hata türü
Kolay yakalananlar
- ⚠Tamamen uydurma künye: başlık, yazar veya DOI hiçbir kayıtla eşleşmiyor
- ⚠Başka makaleye ait DOI: bağlantı açılıyor ama farklı bir çalışmaya gidiyor
Gözden kaçanlar
- ✗Gerçek makale, yanlış iddia: kaynak var ama sizin cümlenizi desteklemiyor
- ✗Yanlış kapsam: çocuk popülasyonundaki bulgu erişkin bağlamında kullanılıyor
- ✗Statüsü değişmiş yayın: düzeltme, endişe bildirimi veya geri çekilme kaçırılıyor
İlk iki tür bir arama motoruyla dakikalar içinde bulunur. Son üçü ancak tam metne bakılarak fark edilir ve hakem sürecinde en çok soru alan grup da budur.
Sorunun büyüklüğü ölçülmüş durumda. Mount Sinai ekibi psikiyatri literatürü için üretilen 35 künyeyi tek tek denetlediğinde yalnız 2 tanesinin gerçek olduğunu buldu; 12 künye var olan makalelere benziyordu ancak yazar listesi, dergi veya yıl bilgisi yanlıştı, kalan 21'i ise birden fazla gerçek makalenin harmanlanmasından oluşan inandırıcı ama var olmayan kayıtlardı (McGowan ve ark., Psychiatry Res 2023; PMID: 37499282). Aynı bulgu kardiyoloji (Blum, 2023) ve baş ağrısı literatüründe (Moskatel ve Zhang, 2024) bağımsız olarak tekrarlandı.
Benzeyen künye, uydurma künyeden daha tehlikeli
Tamamen hayalî bir kaynak aramada hemen boşa düşer. Yazar listesi bozulmuş ya da yılı kaymış bir künye ise arama sonucunda "yakın" bir makale döndürür ve kontrol eden kişi çoğu zaman bunu doğrulama sanır. Eşleşme "yakın" değil, birebir olmalıdır.
Yedi adımlı doğrulama protokolü
Her künye için sırayla uygulanan denetim
Künyenin kimliğini çözün
Başlık, ilk yazar, dergi, yıl, cilt ve DOI alanlarını ayrı ayrı eşleştirin. Tıp kaynaklarında ilk durak PubMed, DOI için Crossref veya yayıncının kendi sayfasıdır. Google Scholar keşif için işe yarar; nihai bibliyografik kayıt olarak tek başına yeterli değildir.
İddianın tam metinde geçtiği yeri bulun
Özet çoğu zaman yetmez. Cümleniz bir alt gruba, güven aralığına veya yöntem ayrıntısına dayanıyorsa ilgili tabloyu veya paragrafı görmelisiniz. 'Çalışma X'i değerlendirdi' ile 'X'i kanıtladı' aynı ifade değildir.
Çalışma tasarımını etiketleyin
Randomize çalışma, kohort, vaka-kontrol, kesitsel, tanı doğruluğu, sistematik derleme, kılavuz veya deneysel çalışma. Cümlenin gücü tasarımın verebileceği çıkarımı aşmamalı: 'ilişkili bulundu', 'öngördü', 'ayırt etti' ve 'neden oldu' farklı iddialardır.
Popülasyon ve müdahaleyi eşleştirin
Yaş grubu, hastalık evresi, merkez tipi, ölçüm cihazı, doz, izlem süresi ve karşılaştırıcı sizin bağlamınızla uyuşuyor mu? Yoğun bakım kohortunda belirlenmiş bir eşik, ayaktan hasta popülasyonuna doğrudan taşınamaz.
Sayısal sonucu özgün tablodan okuyun
Yüzdeyi, etki büyüklüğünü ve güven aralığını makalenin kendi tablosundan yeniden alın. Paydanın randomize edilen tüm hastalar mı, takip edilenler mi, yoksa analiz edilen alt grup mu olduğuna dikkat edin; yuvarlanmış bir oran payda sorununu görünmez kılar.
Yayın statüsünü denetleyin
Yayıncı sayfasında correction, erratum, expression of concern veya retraction işareti arayın; PubMed'de bağlantılı bildirimleri kontrol edin. Sistematik derleme ve meta-analizlerde dâhil edilen çalışmaların statüsü gönderim öncesi yeniden taranmalıdır.
Künyeyi kaynak yöneticisine temiz aktarın
Doğrulanmış kaydı PubMed, Crossref veya yayıncıdan RIS/BibTeX olarak indirin. Yapay zekânın düz metin verdiği künyeyi doğrudan Zotero, EndNote veya Mendeley'e yapıştırmak hatayı olduğu gibi taşır. Aynı makalenin online-first ve basılı sürümünü ayırın.
"DOI açılıyor" neden yeterli bir kontrol değil?
Bir DOI'nin açılması yalnız belirli bir dijital nesneye yönlendiğini gösterir. Şu üç soruyu ayrıca yanıtlamaz:
- Bu DOI, listelenen başlık ve yazarlara mı ait?
- Açılan makale, paragraftaki iddiayı gerçekten destekliyor mu?
- Makalenin güncel yayın statüsü temiz mi?
Ayrıca editoryal yazının, düzeltme bildiriminin, konferans özetinin ve protokol kaydının da kendi DOI'si olur. Kaynak türü görülmeden yalnız DOI varlığına güvenmek, bir editoryale özgün araştırma muamelesi yapmakla sonuçlanabilir.
Gönderimden önce son tarama
| Kontrol | Sorulacak soru | Kabul ölçütü |
|---|---|---|
| Kimlik | Künye birebir bulunuyor mu? | Başlık, yazar, dergi ve DOI aynı kayıtta eşleşiyor |
| İçerik | İddia gerçekten destekleniyor mu? | İlgili sonuç tam metinde bulundu |
| Tasarım | Çıkarım tasarımı aşıyor mu? | Nedensellik ve öngörü dili tasarımla uyumlu |
| Kapsam | Popülasyon ve ölçüm uyuşuyor mu? | Genelleme sınırı metinde açıkça belirtildi |
| Sayı | Payda ve güven aralığı doğru mu? | Özgün tabloyla aynı |
| Statü | Düzeltme veya geri çekilme var mı? | Güncel yayıncı ve PubMed kaydı kontrol edildi |
| Aktarım | Künye nasıl kaydedildi? | Doğrulanmış RIS/BibTeX kaydı üzerinden |
Tabloya ek olarak metin düzeyinde beş soru daha var:
- Her sayı bir tabloya veya resmî kaynağa bağlanıyor mu?
- İkincil kaynak yerine özgün çalışmaya ulaşılabiliyor mu?
- Geri çekilmiş bir çalışma listede kaldıysa statüsü açıkça belirtiliyor mu?
- Aynı DOI iki farklı künye altında görünüyor mu?
- Kaynakça ile metin içi atıflar birebir örtüşüyor mu?
Yapay zekâ kullanımının beyanı ayrı bir konu
Kaynakların doğrulanmış olması, aracın kullanıldığının beyan edilmesi gereğini ortadan kaldırmıyor. Beyan metninin nasıl kurulacağını ve derginin hangi aşamada ne sorduğunu yapay zekâ ile makale yazımı ve beyan yazımızda ele aldık.
İkinci soru: bu kaynak bu iddiayı destekliyor mu?
Üretken yapay zekâ literatür keşfini hızlandırıyor; kaynak doğrulamasını tamamlamıyor. Güvenilir bir akademik metin "bu kaynak var mı?" sorusundan sonra "bu kaynak, bu iddiayı, bu popülasyonda, bu güçte destekliyor mu?" sorusunu da yanıtlar. Aradaki fark, hakem raporunda en çok karşılaşılan yorumların da kaynağıdır.
Gönderim öncesinde kaynakçanızı bu ölçütlerle taratmak isterseniz, referans–iddia tutarlılığını, sayısal kaynak zincirini ve yayın statülerini referans doğruluk denetimi kapsamında denetliyoruz; süreci başvuru formumuz üzerinden birlikte şekillendiriyoruz.
Kullanılan kaynaklar
- McGowan A, Gui Y, Dobbs M, ve ark. ChatGPT and Bard exhibit spontaneous citation fabrication during psychiatry literature search. Psychiatry Res. 2023;326:115334. PMID 37499282 · DOI
- Blum M. ChatGPT Produces Fabricated References and Falsehoods When Used for Scientific Literature Search. J Card Fail. 2023;29(9):1332-1334. PMID 37406729 · DOI
- Moskatel LS, Zhang N. Comparative prevalence and characteristics of fabricated citations in large language models in headache medicine. Headache. 2024;64(1):93-95. PMID 37837216 · DOI