Paper Mill Şüphesi Uyandıran Makaleler: İstatistiksel ve Yapısal Kırmızı Bayraklar

Tek bir tuhaf cümle, tekrarlanan bir standart sapma ya da benzer bir görüntü paper mill kanıtı değildir. Güçlü bir değerlendirme; veri, yöntem, metin, görsel ve yayın ağı gibi birbirinden bağımsız katmanların aynı yönde sinyal verip vermediğine bakar. Amaç bir makaleyi "sahte" ilan etmek değil; güven zincirinin kurulup kurulmadığını sınamaktır.

Eylül 2025'te STM Integrity Hub, 35'ten fazla yayıncının ayda 125 binden fazla gönderiyi ortak araçlarla taradığını açıkladı. Sistem, her ay yaklaşık 1.000 başvuruyu olası paper mill bağlantısı nedeniyle işaretliyordu (STM açıklaması). Bu sayı "ayda 1.000 sahte makale kanıtlandı" demek değil. Bir tarama sistemi şüpheli gönderiyi ayırır; son kararı belge, alan bilgisi ve insan incelemesi verir.

STM'nin Ocak 2026 raporunda Hub'ın 49 kurumsal üyeye ulaştığı bildirildi. Yayıncılar artık kimlik, metin, kaynak, görsel, hakemlik döngüsü ve gönderiler arası benzerlik gibi birçok sinyali birlikte inceliyor. Raporda yanlış pozitiflerin hâlâ önemli bir sorun olduğu ve araçların editoryal kararın yerini alamayacağı açıkça belirtiliyor (STM 2026 raporu). Bir makaleyi değerlendirirken de aynı ilke geçerli: tek işaret tanı koydurmaz; bağımsız işaretlerin kümelenmesi açıklama ve daha ayrıntılı inceleme gerektirir.

Paper mill nedir, ne değildir?

Paper mill, araştırma yapılmış gibi görünen makale, veri, görsel ya da yazarlık konumlarını üretip satan yapılar için kullanılan genel bir ad. Bazı modellerde bütün makale hazırlanır; bazılarında hazır bir makaleye yazarlık yeri satılır. Sahte hakem hesabı, yönlendirilmiş atıf ya da ele geçirilmiş editoryal süreç de paketin parçası olabilir. COPE ve STM'nin ortak raporu bu yapıları, ücret karşılığında üretilmiş yazıları yayın sürecine sokan ve kimi zaman yazarlık satan üçüncü taraflar olarak ele alıyor (COPE–STM raporu).

Her kötü makale paper mill ürünü değildir. Özensiz analiz, zayıf İngilizce, yanlış tablo ya da kopyala–yapıştır hatası benzer izler bırakabilir; bireysel veri uydurma ile ticari ölçekte üretilen makale de aynı kavram değildir. Meşru istatistik danışmanlığı, dil düzenlemesi veya medikal yazım desteği de paper mill değildir. Ayrım nettir: araştırma gerçekten yapılır, ham veri denetlenebilir durumdadır, katkılar dergi kurallarına göre açıklanır ve isimleri yazan araştırmacılar çalışmanın sorumluluğunu taşır. ICMJE, yazarlığın katkı kadar son metni onaylama ve çalışmanın doğruluğu için hesap verebilme şartı da taşıdığını belirtir (ICMJE yazarlık ölçütleri).

Güncel sayılar bize ne söylüyor?

Paper mill konusunda büyük sayılar kolayca yanlış sunulabiliyor; her sayının paydasını ve nasıl üretildiğini bilmek gerekiyor.

PNAS araştırması, şüpheli paper mill ürünlerinin sayısının gözlenen verilerde yaklaşık 1,5 yılda ikiye katlandığını; toplam bilimsel yayınların ikiye katlanma süresinin ise yaklaşık 15 yıl olduğunu hesapladı (Richardson ve ark., 2025). Bu çarpıcı bir fark; fakat yazarlar önemli sınırlılıkları da yazdı. Korpus yakalanmış ve raporlanmış olaylara dayanıyor, alanlar eşit temsil edilmiyor, tarama çabası yıllar içinde arttı. Görülen yükselişin bir bölümü sorunun büyümesini, bir bölümü de daha fazla vakanın bulunmasını yansıtabilir.

Neden tek kırmızı bayrak yetmez?

Bir sinyalin duyarlı olması, özgül olduğu anlamına gelmez. Duyarlılık, sorunlu kayıtları yakalayabilmeyi; özgüllük ise sorunsuz kayıtları yanlışlıkla şüpheli saymamayı anlatır. Tuhaf bir cümle güçlü bir metin sinyali olabilir, ama kötü çeviriden de doğabilir. Aynı görüntünün iki panelde görünmesi manipülasyon ihtimalini düşündürür; yanlış panel yerleştirme de aynı görüntüyü üretir. Tekrarlanan standart sapmalar veri üretimiyle uyumlu olabilir; yuvarlama ya da şablondaki hücre hatası da olabilir.

Bu nedenle güvenilir tarama beş ayrı katmanı birlikte ele alır: sayısal iç tutarlılık, yöntem ve veri kaynağının inandırıcılığı, metin ve makale yapısı, görsel provenansı (kaynağın ve işlem geçmişinin izlenebilirliği) ve yazar–atıf–editoryal ağ. Katmanlar birbirinden bağımsızsa şüphe güçlenir. Aynı hatanın farklı tablolarda tekrarlanması ise çoğu zaman tek bir kök nedene dayanır ve beş ayrı kanıt sayılmaz.

İstatistiksel kırmızı bayraklar nelerdir?

İlk kontrol, makalenin kendi içinde yapılır. Ham veriye ulaşmadan da bazı sayıların birlikte doğru olup olamayacağı görülebilir.

Sayı, yüzde ve toplam uyuşuyor mu? Tablodaki yüzde, belirtilen payda ile yeniden hesaplanır. Örneğin 7 olayın 40 kişideki oranı yüzde 17,5'tir; makalede yüzde 27,5 yazıyorsa yuvarlama bunu açıklamaz. Akış şemasındaki hasta sayısı, tablodaki gruplar ve analizde kullanılan n de birbirini tutmalıdır. Tek uyumsuzluk genellikle raporlama hatasıdır; aynı makalede farklı paydalar, olanaksız yüzdeler ve kaybolan hastalar birlikte görülüyorsa kaynak veri istenir.

Ortalama, SD ve aralık mümkün mü? Ortalama, bildirilen en küçük ve en büyük değerin dışında kalamaz. Standart sapma da örneklem büyüklüğü ve değer aralığıyla matematiksel olarak bağdaşmalıdır. Tam sayı üreten ölçeklerde bazı ortalamalar verilen n ile hiç oluşamaz; GRIM testi bu granülerliği kontrol eder. Ancak yalnızca uygun tam sayı verilerinde çalışır ve bir tutarsızlık bulması veri uydurmayı kanıtlamaz; yanlış n, yanlış yuvarlama ya da yazım hatasını da yakalayabilir (Brown ve Heathers, 2017).

Test, p değeri ve güven aralığı aynı şeyi mi söylüyor? Test istatistiği, serbestlik derecesi, p değeri ve güven aralığı yaklaşık olarak yeniden hesaplanır. Aynı model ve karşılaştırmada, fark ölçüsünün yüzde 95 güven aralığı sıfırı dışlarken iki yönlü p>0,05 bildirilmesi açıklama gerektirir. Burada amaç sonuçları yeniden analiz etmek değil, raporlanan parçaların aynı hesaptan çıkıp çıkmadığını görmektir.

"Fazla düzgün" veri nasıl değerlendirilir? Grupların başlangıçta benzer olması randomizasyonun doğal sonucu olabilir; her değişken için anlamsızlık testi yapıp tek bir yüksek p değerini kanıt saymak doğru değildir. Şüphe, bütün tablonun beklenmedik biçimde kusursuz görünmesi, standart sapmaların bağımsız ölçümlerde tekrar etmesi, uç değerlerin hiç bulunmaması ve bu örüntünün başka çalışmalarla da paylaşılması halinde güçlenir. O zaman randomizasyon listesi, tarih damgalı veri ve analiz kodu incelenir.

Yöntem ile veri gerçekten aynı çalışmayı mı anlatıyor?

İstatistik doğru görünse bile araştırmanın yapılabilirliği sorgulanmalıdır. Tek merkezli bir çalışmanın kısa sürede olağan dışı sayıda nadir hasta toplaması açıklama gerektirir. Makalede kullanılan cihaz, test kiti ya da hücre hattı kurumda bulunuyor mu? Etik kurul tarihi ilk hasta tarihinden önce mi? Kayıt, protokol, makale ve ek dosya aynı primer sonlanımı ve aynı örneklem büyüklüğünü mü gösteriyor?

İnsan gen araştırmalarını inceleyen Nucleic Acids Research makalesi; gerekçesiz geniş deney paketi, saydam olmayan yöntem, yanlış tanımlanmış reaktif, inandırıcı olmayan veri dağılımı ve ikna edici ham verinin sunulamamasını birlikte değerlendirilmesi gereken işaretler arasında sayıyor (Byrne ve ark., 2022). Burada da bağlam önemli: kötü yazılmış bir yöntem bölümü, deneyin yapılmadığını göstermez. Fakat cihaz kaydı, örnek kimliği, ham dosya ve etik belge aynı anda yoksa yalnızca metne güvenmek zorlaşır.

Tortured phrase ve şablon metin ne anlatır?

Tortured phrase, yerleşik bilimsel terimin eş anlamlı değiştirme aracıyla anlamsız ya da dolambaçlı hale gelmesidir. "Artificial intelligence" yerine "counterfeit consciousness" yazılması sık verilen örnektir. Springer Nature, Temmuz 2025'te bu tür standart dışı ifadeleri tarayan aracını duyurdu; sistem, Problematic Paper Screener'ın açık kataloğundan yararlanıyor ve anlamsız metin, ilgisiz kaynak ve görüntü benzerliği kontrolleriyle birlikte çalışıyor (Springer Nature açıklaması).

Tek bir garip ifade çeviri hatası olabilir. Farklı yazarlara ait makalelerde aynı başlık kalıbı, aynı paragraf sırası, aynı etik kurul cümlesi ve aynı sonuç dili tekrar ediyorsa daha geniş karşılaştırma gerekir. Pratik bir kontrol, şüpheli cümleyi tırnak içinde aramakla başlar; ardından yalnızca kelime benzerliğine değil, şekil sırası, örneklem yapısı, tablo başlıkları ve kaynak dizisinin de eşleşip eşleşmediğine bakılır.

Görsel benzerliği ve yazar ağı ne zaman anlamlıdır?

Western blot bantları, mikroskopi alanları ya da doku örnekleri farklı deneyleri temsil ettiği halde tekrar edebilir; aynı parça döndürülmüş, aynalanmış, yeniden ölçeklenmiş veya kontrastı değiştirilmiş olabilir. Görüntü benzerliği bir tarama bulgusudur, niyeti göstermez. Önce panellerin gerçekten farklı örnekleri temsil edip etmediği şekil açıklamasından kontrol edilir; sonra ham görüntü, kesilmemiş blot, cihaz metadata'sı ve paneli üreten işlem günlüğü istenir. Farklı makaleler arasında aynı görüntü kümelerinin bulunması daha güçlü bir ağ sinyalidir. PNAS çalışması, 2.213 şüpheli makaleyi 4.188 makaleler arası görüntü tekrarı üzerinden bağlayan bir ağ kurdu; yazarlar bu yapıyı toplu üretim modeliyle uyumlu buldu, ama her düğüm için tek başına kesin köken kanıtı olarak sunmadı.

Gerçek iş birlikleri zaman içinde tekrar eden ortaklıklar, kurum ilişkileri ve alan sürekliliği bırakır. Yazarlık satışı ise birbirini daha önce tanımamış kişileri tek seferlik makalelerde bir araya getirebilir. 2024 tarihli bir Scientific Reports çalışması, yazarlık satışı ağlarında kısa yayın geçmişi, az tekrarlanan ortaklık, düşük ağ kümelenmesi ve alan normuna göre fazla yazar gibi özellikleri modelledi; yazarlar yöntemin aykırı ağları bulduğunu, fakat aykırılığın nedenini tek başına söylemediğini özellikle belirtti (Porter ve McIntosh, 2024). İstatistikçiler, merkez laboratuvarları ve büyük konsorsiyumlar doğal olarak çok sayıda, birbirinden farklı ekiple yayın yapabilir; bu yüzden ORCID profili, kurum kaydı, CRediT katkı rolleri ve önceki ortaklıklar birlikte okunmalıdır. Atıf tarafında da tek bir ilgisiz kaynak kötü bir literatür taramasıdır, atıf karteli kanıtı değil.

Sinyal, masum açıklama ve gereken kontrol

Bu tablo bir puanlama sistemi değildir; paper mill için evrensel, doğrulanmış bir eşik yoktur.

Şüpheli makale nasıl denetlenir?

Önce kaydı dondurun: DOI, başlık, yayın tarihi, sürüm, düzeltme ve retraksiyon durumunu kaydedin, erişim tarihini yazın. Sonra yeniden üretilebilir bir bulgu çıkarın: "veriler garip" yerine hangi tablo, satır ve formülün uyuşmadığını gösterin. Ardından alternatif açıklamayı yazın: her bulgunun yanına en makul masum açıklamayı ekleyin; bu adım suçlayıcı dili azaltır ve hangi belgenin sorunu çözebileceğini gösterir. Sonra bağımsız katman arayın: aynı kökten çıkan üç tablo hatası üç bağımsız kanıt değildir; sayısal sorun metin şablonu, görsel tekrarı ya da doğrulanamayan yazarlıkla birleşiyorsa inceleme genişletilir. En son uygun kanala bildirin: yayımlanmış makale için derginin editörü ya da yayıncının araştırma bütünlüğü iletişimi kullanılır; bildirim DOI'yi, yeniden üretilebilir gözlemi, kullanılan dosyayı ve yorumun sınırını içermelidir.

Kamuya açık suçlama yapmak, kişilere niyet atfetmek ya da ülke üzerinden genelleme yapmak doğru değildir. Dergi bilimsel kaydı inceler; kurum ise araştırma davranışını ve olası suistimali soruşturur. Kısa bir bildirim şöyle kurulabilir:

Amaç suçlama değil, güven zincirini sınamaktır

Paper mill makaleyi tek bakışta ele veren sihirli bir test yoktur. İyi bir denetim "bu çalışma sahte" diye başlamaz; "bu sayı hangi veriden geldi, bu görüntü hangi örneğe ait, bu kişiler hangi katkıyı yaptı?" diye başlar. Tek sinyal açıklama ister; birbirinden bağımsız sinyaller ayrıntılı inceleme ister. Kaynak veri, yöntem ve sorumluluk zinciri kurulamıyorsa dergi ya da kurum düzeyinde resmî değerlendirme gerekir.

Makale gönderiminden önce tablo ile veri arasındaki uyumu sınamak için veri giriş hatalarını önleme rehberinden yararlanılabilir; indeks kararlarının ne söyleyip ne söylemediğini ise Web of Science'tan çıkarılan dergiler rehberinde anlattık. Veri kalite kontrolü çalışmamız, araştırma bütünlüğü hakkında hüküm üretmeden sayısal tutarlılık, kaynak veri ve raporlama zincirinin denetlenmesini destekliyor.

Kullanılan kaynaklar

• STM Association. Safeguarding Scholarly Communication: Publisher Practices to Uphold Research Integrity, Ocak 2026. · STM
• STM Association. STM Integrity Hub in action: a chronicle, 12.09.2025. · STM
• Richardson RAK, Hong SS, Byrne JA, Stoeger T, Amaral LAN. The entities enabling scientific fraud at scale are large, resilient, and growing rapidly. PNAS. 2025;122(32):e2420092122. · DOI
• COPE, STM. Paper Mills — Research report from COPE & STM, 2022. · DOI
• Byrne JA, Park Y, Richardson RAK, ve ark. Protection of the human gene research literature from contract cheating organizations known as research paper mills. Nucleic Acids Research. 2022;50(21):12058–12070. · PMC
• Porter SJ, McIntosh LD. Identifying fabricated networks within authorship-for-sale enterprises. Scientific Reports. 2024;14:29569. · Nature
• Springer Nature. Springer Nature expands its portfolio of research integrity tools to detect non-standard phrases, 17.07.2025. · Springer Nature
• Brown NJL, Heathers JAJ. The GRIM Test. Social Psychological and Personality Science. 2017;8(4):363–369. · DOI
• ICMJE. Defining the Role of Authors and Contributors. · ICMJE