Bir major revizyon kararının ekinde çoğu zaman birkaç sayfalık hakem raporu gelir; ilk okumada "Methodology is flawed" ya da "Statistics are inappropriate" gibi cümleler bunaltıcı görünebiliyor. Ama raporu okur okumaz yanıt yazmaya kalkışmak, ilk tepkinin yanıtın tonuna sızmasına yol açabiliyor.
Eleştirilerin bir kısmı gerçekten metodolojik, bir kısmı tercihe dayalı, bir kısmı da yanlış anlamadan kaynaklanıyor. Hangi eleştirinin hangi kategoride olduğunu bilmeden yazılan yanıtlar süreci uzatıyor; oysa sistematik bir sınıflandırma revizyonu yönetilebilir kılıyor.
İlk 48 saat kuralı
Hakem raporu geldiğinde ilk tepki savunmacı olabiliyor; akla "Bu haksız bir eleştiri" ya da "Bunu zaten yapmıştık" gibi cümleler geliyor. Bu tepki insani ama yanıt yazımında zararlı.
Bu yüzden raporu okuduktan sonra en az bir gün beklemek (Annesley, 2011) ya da ilk tepkileri bir taslağa döküp asıl yanıta birkaç gün sonra geçmek (Noble, 2017) öneriliyor. Bu bekleme süresi raporu sindirmeye ve duygusal tepkiyi geçirmeye yetebiliyor; ikinci okumada eleştirilerin önemli bir kısmının makaleyi güçlendirebileceği daha kolay görülüyor.
Eleştirileri sınıflandırmak
Hakem raporundaki her cümle aynı ağırlıkta değil. Sistematik sınıflandırma, revizyonu yönetilebilir parçalara bölüyor.
Eleştiri sınıflandırma süreci
Numaralama
Her hakem yorumu ayrı bir numara alıyor; uzun paragrafların içinde birden fazla eleştiri saklı olabiliyor.
Kategori atama
Her eleştiri 'major', 'minor' veya 'editöryal' olarak sınıflandırılıyor.
Aksiyon belirleme
Her eleştiri için 'kabul + değişiklik', 'kısmi kabul + açıklama' veya 'kibarca reddetme + gerekçe' kararı veriliyor.
Önceliklendirme
Önemli eleştiriler ve iki hakemin ortaklaştığı noktalar listenin başına alınabiliyor; tek hakemin eleştirisi de aynı özenle yanıtlanıyor.
Her eleştiri bir çizelgeye (spreadsheet) ya da tabloya aktarıldığında revizyon planı somutlaşıyor. Hakem 1 Yorum 3, Hakem 2 Yorum 7 gibi referans numaraları, hakem yanıt mektubu yazımında da kolaylık sağlıyor.
Major vs minor ayrımı
Tüm eleştiriler eşit değil. Önemli (major) eleştiriler çalışmanın temel geçerliliğini sorgulayan konuları kapsıyor: istatistiksel yöntem seçimi, örneklem büyüklüğü yetersizliği, eksik kontrol grubu, yanlılık (bias) riski. Küçük (minor) eleştiriler ise sunum kalitesiyle ilgili: tablo formatı, referans eksikliği, dil düzeltmeleri.
Eleştiri türleri ve öncelikleri
Major — öncelikli
- ⚠İstatistiksel yöntem değişikliği talebi
- ⚠Ek analiz veya duyarlılık analizi beklentisi
- ⚠Çalışma tasarımına yönelik temel soru
- ⚠Yanlılık veya karıştırıcı endişesi
Minor — ikincil
- •Tablo ve şekil formatı düzeltmesi
- •Ek referans eklenmesi talebi
- •Dil ve yazım düzeltmeleri
- •Küçük açıklama veya netleştirme
İki hakemin de aynı noktayı eleştirmesi özellikle dikkat gerektiriyor, çünkü ortaklaşan eleştiri metinde gerçek bir boşluğa işaret edebilir. Tek hakemin getirdiği eleştiri de ayrı ve tam bir yanıt bekliyor (Annesley, 2011).
Eleştiri arkasındaki gerçek soruyu bulmak
Hakem "The statistical analysis is inappropriate" dediğinde, bu bazen testin kendisinin yanlış olduğunu, bazen varsayımların kontrol edilmediğini, bazen de raporlamanın yetersiz olduğunu kastediyor. Yüzeysel ifadenin arkasındaki gerçek endişeyi anlamak, doğru yanıt için kritik.
"Discussion is superficial" eleştirisi genellikle bulguların literatürle yeterince karşılaştırılmadığını, klinik çıkarımların eksik olduğunu ya da sınırlılıklar bölümünün yetersiz kaldığını ifade ediyor.
Eleştirinin satır arasını okumak zaman alıyor ama doğru müdahaleyi sağlıyor. Yanlış anlaşılan bir eleştiriye verilen yanıt, ikinci bir revizyon turuna yol açabilir.
Ortak eleştiri kalıpları
Hakem raporlarında tekrarlayan kalıplar var. Bunları tanımak, daha hızlı ve daha etkili yanıt vermeyi sağlıyor.
"Justify your sample size." Bu eleştiri, güç analizi raporlanmamışsa ya da yetersizse deneyimimizde sık geliyor. A priori güç analizi yapıldıysa varsayımlarıyla birlikte raporlanarak yanıtlanıyor; yapılmadıysa post-hoc güç yerine etki büyüklüğünün güven aralığı ve mevcut örneklemle saptanabilecek en küçük etkiyi gösteren bir duyarlılık analizi sunuluyor.
"Control for confounders." Hakem, gözlemsel bir çalışmada karıştırıcıların yeterince hesaba katılmadığını düşündüğünde bu yorumu yapıyor. Çok değişkenli (multivariable) analiz yapıldıysa raporlamanın netleştirilmesi, yapılmadıysa ek bir analiz bekleniyor.
"Discuss the limitations more thoroughly." Bu istek, sınırlılıklar bölümü kısa kalan makalelere yöneltiliyor. Her sınırlılık için sınırlılığın kendisini, sonuca olası etkisini, varsa alternatif yaklaşımları ve alınan önlemi yazmak öneriliyor (Ross ve Bibler Zaidi, 2019).
"The novelty is unclear." Bu yorum Giriş'te araştırma boşluğunun yeterince vurgulanmadığını gösteriyor. Boşluğu ilgili literatüre dayanarak göstermek ve çalışmanın amacına bağlamak gerekiyor; "To our knowledge, this is the first study to..." türü bir öncelik iddiasından ise ICMJE kaçınmayı öneriyor.
İpucu
İki hakemin birbiriyle çelişen talepleri olduğunda (biri "kısaltın", diğeri "detaylandırın") çelişkiyi editöre ayrı bir notla bildirmek (Noble, 2017) ya da hangi önerinin makaleyi daha çok iyileştireceğine karar verip iki hakeme de gerekçesini yazmak (Annesley, 2011) mümkün; editörle yazışma kuralları bu tür mesajların tonunu ele alıyor. Editör de hangi önerinin öne çıkacağı konusunda yönlendirme yapabilir.
Yanıt planı oluşturmak
Sınıflandırma tamamlandıktan sonra yanıt planı şekilleniyor. Her eleştiri için üç şey netleştirilmeli: makalede ne değişecek, yanıt mektubunda ne yazılacak ve bu değişiklik için tahmini süre ne kadar.
Önemli eleştiriler ek analiz gerektirebiliyor ve bu süre alıyor. Küçük eleştiriler çoğunlukla metin düzenleme düzeyinde kalıyor. Major revizyon stratejisi bu planlamayı daha geniş bir perspektiften ele alıyor.
Süre yönetimi de önemli. Revizyon süresi karar mektubunda belirtiliyor ve dergiye göre değişiyor; bu süreyi geriye doğru planlamak daha verimli. Son hafta son okumaya, ortadaki haftalar ek analizlere, ilk haftalar en büyük değişikliklere ayrılabilir.
Kibarca reddetmek
Her eleştiriyi kabul etmek zorunlu değil. Bazı hakem talepleri çalışmanın kapsamı dışında kalabiliyor ya da metodolojik olarak uygun olmayabiliyor.
Reddetme tonunun saygılı ama gerekçeli olması kritik: "We appreciate the reviewer's suggestion. However, [gerekçe] precludes this analysis. We have addressed this concern by [alternatif]." Gerekçesiz bir ret, editörün ve hakemin ikna olmasını zorlaştırıyor. Katılmadığınız eleştirilere kanıtla itiraz etmenin ayrıntılı yöntemini rebuttal (itiraz) mektubu rehberimizde ele alıyoruz.
Son karar editöre ait; derginin itiraz (appeal) süreci ise ayrı bir yol. Bir hakem önerisini gerekçeyle reddetmek, editörün bu gerekçeyi kabul edeceği anlamına gelmiyor; editör gerekçeyi yetersiz bulursa yeni bir revizyon isteyebilir ya da makaleyi reddedebilir. Minor revizyon sürecindeki dikkat noktaları da benzer bir mantıkla çalışıyor.
Uyarı
Hakem eleştirilerini kişisel almak önemli bir tuzak. "The authors failed to..." ifadesi araştırmacıya yönelik bir saldırı değil, makaledeki bir eksikliğe dikkat çeken profesyonel bir geri bildirim. Bunu içselleştirmek hem yanıt kalitesini hem de süreci kolaylaştırıyor.
Model İstatistik CRO olarak revizyon ve hakem yanıt süreçlerinde araştırmacının yanında duruyoruz; hakem eleştirilerini sınıflandırıyoruz, istatistiksel tutarlılığı kontrol ediyoruz, gerekirse ek analizlerde istatistiksel destek veriyoruz ve araştırmacının yanıt mektubu için editöryel öneriler sunuyoruz. Yanıt metni ve bilimsel cevaplar araştırmacıya aittir; biz istatistik, tutarlılık ve dil yönleriyle rehberlik sağlarız.
Kullanılan kaynaklar
- Noble WS. Ten simple rules for writing a response to reviewers. PLoS Computational Biology. 2017;13(10):e1005730. · DOI
- Annesley TM. Top 10 tips for responding to reviewer and editor comments. Clinical Chemistry. 2011;57(4):551-554. · DOI
- Ross PT, Bibler Zaidi NL. Limited by our limitations. Perspect Med Educ. 2019;8(4):261-264.
- Silbiger NJ, Stubler AD. Unprofessional peer reviews disproportionately harm underrepresented groups in STEM. PeerJ. 2019;7:e8247. PMID 31844596
- ICMJE. Recommendations for the Conduct, Reporting, Editing, and Publication of Scholarly Work in Medical Journals, IV.A.3 (Preparing a Manuscript).