Impact Factor Yeterli mi? Dergi Metriklerini Doğru Okumak

Bir derginin impact factor'ü (IF; Türkçe kullanımıyla etki faktörü) çoğu zaman kalitesinin tek ölçütü sayılıyor. Oysa IF dergi düzeyinde bir ortalama: ne tek bir makalenin atıf performansını, ne de alanın atıf hızını yansıtıyor. Aynı "2,3" değeri kardiyolojide vasat, biyoistatistikte üst düzey anlamına gelebiliyor — çünkü sayı, bağlamından koparıldığında yorumlanamaz hâle geliyor.

Dergi düzeyi metrikler, yazar düzeyi metriklerden (h-indeksi gibi) ayrıdır ve birini diğerinin yerine kullanmak yaygın bir hata. Bu yazı IF'in nasıl hesaplandığını, nerede yanılttığını ve CiteScore, SJR, SNIP, Eigenfactor gibi tamamlayıcı metriklerin hangi boşluğu doldurduğunu ele alıyor. Amaç tek bir sayıyı reddetmek değil, onu doğru bağlama oturtmak.

IF nasıl hesaplanıyor, nerede yanıltıyor?

Impact Factor'un formülü basit: bir derginin son iki yılda yayımladığı makalelere bu yıl yapılan atıf sayısı, bölü o iki yılda yayımlanan makale sayısı. Metriğin kökenini ve asıl amacını tanımlayan Garfield'ın kendisi de (JAMA, 2006) IF'in bir dergi ölçütü olduğunu, tek tek makaleleri değerlendirmek için tasarlanmadığını vurgular.

2022-2023'te 200 makale yayımlandıysa ve bunlara 2024'te 600 atıf yapıldıysa, IF = 3,0.

Ama formülde sinsi bir asimetri var. Pay (atıflar) dergideki her şeyi kapsıyor: editöryel yazılar, mektuplar, düzeltme notları dahil. Payda ise sadece araştırma ve derleme makalelerini sayıyor. Bu asimetri, dergilerin IF'lerini şişirmesine kapı aralıyor.

Daha temel bir sorun: IF bir ortalama değer ama dergideki atıf dağılımı ileri derecede çarpık. Makalelerin %15-20'si toplam atıfların %50'sinden fazlasını alıyor. IF=5 olan bir dergide yayımlanan makale hiç atıf almamış da olabilir, 50 atıf almış da. IF bunu söylemiyor. Seglen'in klasikleşen çalışması (BMJ, 1997) bu asimetri ve çarpık dağılım nedeniyle IF'in bireysel araştırma değerlendirmesinde kullanılmaması gerektiğini gösterdi.

Bu ilke sonradan kurumsal olarak da benimsendi: 2013 tarihli DORA (San Francisco Declaration on Research Assessment) ve 2015 tarihli Leiden Manifestosu, dergi düzeyi bir metriğin tek tek makalelerin ya da araştırmacıların niteliğini ölçmek için kullanılmamasını açıkça öneriyor.

Disiplinler arası karşılaştırma ise tamamen yanıltıcı:

Biyoistatistik alanında IF=3 olan bir dergi mükemmel konumdayken, kardiyolojide IF=3 ortalama altı sayılır. IF'i karşılaştırırken mutlaka aynı alan içinde kalmak gerekiyor.

CiteScore hangi sorunu çözüyor?

Elsevier'in 2016'da tanıttığı CiteScore, IF'in bazı sorunlarını gideriyor:

• 4 yıllık pencere (IF 2 yıl). Atıf döngüsü yavaş alanlarda daha temsili.
• Simetrik sayım. Hem pay hem payda aynı belge türlerini içeriyor; IF'teki asimetri sorunu yok.
• Scopus tabanlı. WoS'tan daha geniş kapsam, özellikle mühendislik ve sosyal bilimler için.
• Ücretsiz. scopus.com/sources adresinden erişilebiliyor.

CiteScore Tracker ise yıl içinde aylık güncelleniyor; derginin o anki performansını izlemeye yarıyor.

SJR atıfın kaynağını nasıl tartıyor?

SCImago Journal Rank, Google'ın PageRank mantığıyla çalışıyor. Tüm atıfları eşit saymıyor; prestijli bir dergiden gelen atıf daha ağırlıklı. Bu özellik SJR'yi öz-atıf manipülasyonuna karşı IF'ten daha dirençli kılıyor.

scimagojr.com'dan ücretsiz erişiliyor. SCImago ayrıca her dergiyi kendi kategorisinde Q1-Q4 çeyrekliğine (quartile) yerleştiriyor. Bu sıralama, disiplinler arası karşılaştırma için IF'ten çok daha anlamlı.

SNIP alanlar arası farkı nasıl gideriyor?

Leiden Üniversitesi'nde geliştirilen SNIP, her alanın atıf potansiyelini normalize ediyor. Atıf potansiyeli düşük bir alandaki dergi, aynı ham atıf sayısıyla yüksek potansiyelli bir alandaki dergiden daha yüksek SNIP değeri alıyor.

SNIP=1,0 her disiplinde "kendi ortalamasında" performans demek. Biyoistatistik dergisinin IF=2 değeri ile kardiyoloji dergisinin IF=10 değerini karşılaştırmak yanıltıcıyken, SNIP bu iki derginin kendi alanlarındaki göreli konumunu net gösteriyor. Farklı alanlardaki dergileri karşılaştırmak gerekiyorsa SNIP en güvenilir ölçü.

Eigenfactor ve altmetri ne ekliyor?

Eigenfactor: WoS verileriyle hesaplanıyor, öz-atıfları tamamen dışarıda bırakıyor, 5 yıllık pencere kullanıyor. Article Influence Score (AIS) ise Eigenfactor'u makale sayısına normalize ediyor. eigenfactor.org'dan ücretsiz erişiliyor.

Altmetri (altmetrics): Atıf dışı etkiyi ölçüyor — sosyal medya paylaşımları, haber medyası, politika belgeleri, Wikipedia referansları, Mendeley kayıtları. Altmetric Attention Score bir makalenin çevrimiçi ilgisini özetliyor. Geleneksel metriklerin yerini almıyor ama tamamlayıcı olarak değerli; özellikle genç araştırmacılar için çalışmanın toplumsal görünürlüğünü izlemek yararlı.

Türkiye'de hangi metrik önemli?

Türk akademik sisteminde dergi metrikleri üç farklı noktada doğrudan etkili:

ÜAK doçentlik kriterleri. Yayınlar tarandıkları indekse göre kademelendiriliyor: en üst düzeyde SCI-Expanded, SSCI ve AHCI kapsamındaki dergiler; ardından ESCI ve Scopus; sonra ULAKBİM TR Dizin ve diğer ulusal hakemli dergiler. Kategori kodları ve puanlar temel alana göre değiştiği ve dönemsel güncellendiği için başvuru öncesi güncel ÜAK doçentlik tablosu esas alınıyor. IF'e göre doğrudan puan farkı olmasa da jüri değerlendirmesinde Q1-Q2 yayınlar olumlu izlenim bırakıyor. Yayın listesinin bu kategorilere göre nasıl düzenleneceğini akademik CV hazırlama ve doçentlik başvuru kriterleri yazılarımızda ele aldık.

TÜBİTAK UBYT. Yayın teşvik sistemi doğrudan JCR çeyrekliğine bağlı. Q1 en yüksek teşvik, Q3-Q4 düşük veya teşvik dışı. UBYT sınıflandırması her yıl güncelleniyor; başvuru öncesi kontrol etmekte fayda var.

Üniversite iç yönetmelikleri. Birçok üniversite ÜAK'ın ötesinde kendi ek koşullarını belirlemiş durumda. Belirli sayıda Q1-Q2 yayın zorunluluğu veya asgari IF eşiği gibi kriterler olabiliyor. Kendi kurumunuzun atama-yükseltme yönetmeliğini bilmek önemli.

Dergi değerlendirme tablosu nasıl kurulur?

Hedef dergiler için şöyle bir tablo hazırlamak karar sürecini kolaylaştırıyor:

Bir derginin son beş yıllık IF eğilimine bakmak da önemli. Sürekli düşüş gösteren dergi indeksten çıkarılma riski taşıyor olabilir; nitekim Web of Science'tan çıkarılan dergiler yazımızda bu sürecin nasıl işlediğini ele aldık. Son yıllarda ani IF sıçraması gösteren dergileri ise şüpheyle karşılamakta fayda var; Clarivate "Suppressed" (baskılanmış) etiketi koyabiliyor.

Metrik analizi, dergiyi seçmenin yalnızca bir boyutu; kapsam uyumu, kabul oranı ve hakem süreci de en az metrik kadar belirleyici. Açık erişim dergi seçimi ve şüpheli (predatör) dergilerin tespiti yazılarımız bu boyutları tamamlıyor.

Model İstatistik olarak dergi seçim sürecinde metrik performansından kapsam uyumuna, kabul oranından hakem sürecine kadar tüm etkenleri birlikte değerlendirerek araştırmacıya rehberlik ediyoruz. Tek bir sayıya güvenmek yerine göstergeleri birlikte okumak, hem ret riskini azaltıyor hem de çalışmanın doğru okur kitlesine ulaşmasını sağlıyor.

Not: Dergi metrikleri, çeyreklik atamaları ve indeks kapsamları her yıl güncelleniyor; buradaki aralıklar ve örnekler yol gösterici niteliktedir. Bağlayıcı değerlendirme için JCR/Clarivate, Scopus ve güncel ÜAK/TÜBİTAK yönergeleri esas alınır.

Kullanılan kaynaklar

• Garfield E. The history and meaning of the journal impact factor. JAMA. 2006;295(1):90-3. PMID 16391221 · DOI
• Seglen PO. Why the impact factor of journals should not be used for evaluating research. BMJ. 1997;314(7079):498-502. PMID 9056804 · DOI
• Hicks D, Wouters P, Waltman L, de Rijcke S, Rafols I. Bibliometrics: The Leiden Manifesto for research metrics. Nature. 2015;520(7548):429-31. PMID 25903611 · DOI
• San Francisco Declaration on Research Assessment (DORA), 2013. sfdora.org