Çoklu Karşılaştırma Düzeltmeleri: Hangi Yöntem, Hangi Durumda?

ANOVA anlamlı çıktığında sıra ikili karşılaştırmalara geliyor ve burada çok sayıda yöntem birbiriyle çelişebiliyor. Bonferroni sonuçların çoğunu siler, Tukey HSD birkaçını korur, Games-Howell biraz daha fazlasını, Fisher LSD ise neredeyse hepsini anlamlı bulur. Hangisi doğru? Aslında hepsi farklı bir soruya yanıt veriyor; asıl mesele yöntemlerin çelişmesi değil, araştırmacının hangi soruyu sorduğunu netleştirmemesi. Çoklu karşılaştırma düzeltmelerini hangi durumda hangisinin uygun olduğuna göre bir harita gibi okumak bu yüzden işe yarıyor.

Çoklu karşılaştırma problemi: kısa özet

Tek bir test için alfayı 0,05 koyduğunuzda %5 yanlış pozitifi kabul ediyorsunuz; sorun yok. Ama 10 test yaparsanız en az birinde yanlış pozitif bulma olasılığınız %40'a, 20 testte %64'e çıkıyor (testler bağımsızsa ve hiçbir gerçek fark yoksa).

Bu birikime family-wise error rate (FWER) deniyor. Düzeltme yöntemlerinin hepsi bu şişmeyi kontrol etmeyi amaçlar; ama ne kadar sıkı davrandıkları, hangi bağlamda çalıştıkları ve ne kadar güç kaybettirdikleri çok farklı. İki temel yaklaşımdan FWER kontrolü en az bir yanlış pozitif çıkma olasılığını en fazla %5 ile sınırlamayı, FDR kontrolü ise anlamlı bulunan sonuçlar arasındaki yanlışların beklenen oranını en fazla %5 ile sınırlamayı hedefliyor. Curran-Everett (2000) çoklu karşılaştırmadaki bu yaklaşımları özetliyor ve yanlış keşif oranı yöntemini pratik bir çözüm olarak öneriyor. Yöntem seçimi de hangi yaklaşımın benimsendiğini netleştirmekle başlıyor.

Hangi durumda hangi yöntem?

Düzeltme seçimi, sorunun türüne ve amacın doğrulayıcı mı keşifsel mi olduğuna göre birkaç gruba ayrılıyor:

ANOVA sonrası post-hoc: Tukey, Dunnett, Scheffé

ANOVA sonrası özelleştirilmiş yöntemlerden Tukey tüm çiftleri, Dunnett de kontrolle karşılaştırmaları Bonferroni'den daha yüksek güçle sınıyor, çünkü karşılaştırmaların birbirine bağlı olduğunu (ortak dağılımlarını) hesaba katıyorlar. Ancak yalnızca birkaç karşılaştırma planlanmışsa Bonferroni'nin güven aralıkları daha dar, yani gücü daha yüksek olabilir.

Tukey HSD. Tüm grup çiftlerini karşılaştıracaksanız ilk seçenek. John Tukey'in 1953'te geliştirdiği yöntem studentized range dağılımını kullanır, gruplar eşit büyüklükteyse FWER'yi tam olarak alfa düzeyinde tutar ama Bonferroni kadar acımasız değildir. Eşit ya da yakın grup büyüklüklerinde en güçlü sonucu verir; eşit olmayan gruplarda Tukey-Kramer düzeltmesi kullanılır.

Dunnett testi. Her tedavi grubunu yalnızca kontrol grubuyla karşılaştırıyorsanız çok daha güçlü. 4 tedavi + 1 kontrol varsa Tukey 10, Dunnett yalnızca 4 karşılaştırma yapar; karşılaştırma sayısı azaldıkça güç artar. Plasebo ya da tek bir kontrol grubuyla karşılaştırılan çok kollu çalışmalarda sık kullanılıyor; doz-yanıt ilişkisinin varlığı ya da biçimi soruluyorsa testlerin doz sırasını hesaba katması gerekebiliyor (ICH E9).

Scheffé testi. İkili değil, karmaşık kontrastları test etmek istiyorsanız uygun seçenek ("A ve B gruplarının ortalaması C'den farklı mı?"). Ancak sırf ikili karşılaştırma için kullanılırsa hem Tukey'den hem Bonferroni'den daha muhafazakârdır; yanlış bağlamda Scheffé seçmek gereksiz güç kaybı demek.

Genel amaçlı düzeltmeler: Bonferroni, Holm, Hochberg

Bu yöntemler ANOVA'ya özel değil; herhangi bir test kombinasyonuna uygulanabilir. Farklı türde testler (t-testi + ki-kare + korelasyon) söz konusuysa bu kategori gerekli. Bonferroni (alfa/k) basit, güvenli ama acımasızdır; az sayıda test için uygundur, çok sayıda testte gereksiz güç kaybı yaratır. Holm-Bonferroni, Bonferroni'nin adımsal sürümüdür; aynı FWER kontrolünü daha yüksek güçle sağlar. Hochberg, en büyük p değerinden başlayıp aşağı iner; testler bağımsız ya da pozitif bağımlıysa Holm'dan bile güçlüdür, ama negatif bağımlılıkta FWER kontrolü garanti edilmez.

Bu üç yöntem arasında Holm, Bonferroni'nin yaptığı her şeyi yapıp daha fazla bulgu koruduğu için onun yerine sıkça önerilen yöntem hâline geldi; adımsal eşiklerin somut bir örnekte bir bulguyu daha nasıl kurtardığını Bonferroni düzeltmesi yazımızda gösterdik.

FDR: keşif amaçlı analizlerin çözümü

1000 gen taradığınızda FWER kontrolüyle alfa eşiğiniz 0,00005'e iner ve neredeyse hiçbir şey bulamazsınız. Ama amaç doğrulama değil de hangi genlerin aday olduğunu bulmaksa ve testler bağımsız ya da pozitif bağımlıysa Benjamini-Hochberg (BH) prosedürü bu noktada uygun. FWER yerine yanlış keşif oranını (False Discovery Rate) kontrol eder: "anlamlı bulduklarım arasında yanlış pozitiflerin beklenen oranı %5'i aşmasın."

100 karşılaştırmadan 20'si anlamlı çıktıysa FDR kontrolü, bu 20 sonuç arasındaki yanlışların beklenen oranını en fazla %5 ile sınırlar; bu, kabaca 20 bulguda ortalama 1 yanlışa karşılık geliyor. Tek bir çalışmada 2 ya da 3 yanlış bulgu yine de çıkabilir. FWER kontrolü ise 100 testin herhangi birinde yanlış pozitif çıkma olasılığını en fazla %5 ile sınırlar ve aradaki güç farkı büyüktür. BH prosedürü p değerlerini küçükten büyüğe sıralar, her p(i) için (i/k) × q kritik değerini hesaplar (q genellikle 0,05) ve p(i) ≤ (i/k) × q koşulunu sağlayan en büyük i'yi bulur; o i ve altındaki tüm sonuçları anlamlı sayar. R'da tek satır:

p.adjust(p_degerleri, method = "BH")

Ne zaman FDR, ne zaman FWER? Temel kural, doğrulayıcı çalışmada (önceden belirlenmiş hipotezler) FWER'yi, keşifsel çalışmada (çok sayıda değişken taraması) FDR'yi kullanmak. Klinik denemelerde genellikle FWER; genomik, proteomik ve epidemiyolojik taramalarda genellikle FDR. Test sayısına dayalı kurallar (örneğin 10'dan az testte FWER, 50-100 ve üzerinde FDR) yalnız kaba birer yol gösterici; asıl ölçüt çalışmanın doğrulayıcı mı keşifsel mi olduğu.

Non-parametrik post-hoc: Kruskal-Wallis sonrası

Veriler normal dağılmıyorsa Kruskal-Wallis testi kullanılıyor ve anlamlı çıktığında post-hoc seçenekleri parametrik dünyadan daha sınırlı ama yeterli. Dunn testi, Kruskal-Wallis sonrası sık kullanılan bir yöntem; sıra ortalamalarını karşılaştırır. SPSS'te bağımsız örneklemler için parametrik olmayan testler yordamının ikili karşılaştırma seçeneğiyle alınabiliyor; R'daki dunn.test paketi birçok düzeltmeyle çalışıyor, ama varsayılanı düzeltmesiz olduğu için düzeltme yöntemini ayrıca seçmek gerekiyor. Yalnızca Kruskal-Wallis anlamlı çıktığında uygulanan Conover testi Dunn'dan daha güçlü bir seçenek. Mann-Whitney U + Bonferroni ise her çift için ayrı test yapmayı mümkün kılıyor, ama her karşılaştırma kendi sıralamasını kullandığından sonuçlar Kruskal-Wallis'in sıralamasıyla tutarsız olabiliyor. Ayrıntı için non-parametrik test seçimi yazımıza bakabilirsiniz.

SPSS'te ne var, ne yok?

SPSS'in post-hoc menüsü zengin görünür ama önemli eksikleri var. Menüde var: Tukey HSD, Bonferroni, Scheffé, Dunnett, Games-Howell, Tamhane T2, LSD ("Equal Variances Assumed" ve "Not Assumed" olarak). Menüde yok: Holm düzeltmesi, FDR (Benjamini-Hochberg), Conover testi. Bunlar için R gerekir; menüdeki "Hochberg's GT2" ise yukarıda anlatılan adımsal Hochberg yöntemi değil. Holm'u elle de yapabilirsiniz ama 15 karşılaştırmada bu hata riski taşır; R'da p.adjust() fonksiyonu hepsini tek satırda uygular:

p.adjust(p_degerleri, method = "holm")
p.adjust(p_degerleri, method = "BH")
p.adjust(p_degerleri, method = "hochberg")

Varyanslar homojen değilse?

Levene testi anlamlı çıktıysa varyanslar eşit değil demektir ve Tukey HSD'nin varsayımı ihlal edilmiştir. Bu durumda Games-Howell uygun seçenek. Welch t-testinin çoklu karşılaştırma karşılığı gibi düşünülebilecek bu yöntem, her karşılaştırma için kendi hata varyansını ve serbestlik derecesini hesaplar. Tamhane T2, Tip I hataya karşı daha sıkı koruma sağlayan ama daha çok güç kaybettiren muhafazakâr bir alternatif; grup başına gözlem çok azsa Games-Howell liberal kalabildiği için T2 öne çıkıyor. Pratik kural: Levene anlamlıysa SPSS'te "Equal Variances Not Assumed" bölümünden Games-Howell tercih edilmeli.

Keşifsel ve doğrulayıcı analizleri ayırmak

Makale yöntem bölümünde hangi analizlerin birincil (primary), hangilerinin keşifsel (exploratory) olduğunu açıkça yazmak hakem sürecinde şeffaflık sağlıyor. Alt grup analizleri bu ayrımın en tartışmalı alanı; alt gruplar arasındaki farkın düzeltmeyle değil etkileşim testiyle sınanması gerekiyor. Birincil analizler protokolde tanımlı, önceden planlı hipotez testleridir ve FWER kontrolü uygulanır. Keşifsel analizler veriyi gördükten sonra ortaya çıkan, yeni hipotez üreten analizlerdir; bunlara FDR kontrolü uygulanır ya da bunlar "exploratory" olduğu belirtilerek düzeltmesiz raporlanır. ICH E9, keşifsel analizlerin açıkça bu şekilde tanımlanmasını, düzeltme yapılmadan bulunan anlamlı sonuçların da dikkatle yorumlanmasını istiyor. Bu ayrımı baştan belirtmek, hakemin "düzeltme eksik" eleştirisini önden karşılıyor.

Model İstatistik olarak çoklu karşılaştırma stratejisini çalışmanın tasarım aşamasında, istatistik analiz planına yazarak belirlemeyi öneriyoruz. Veri toplandıktan sonra yöntem seçmek hem bilimsel hem hakem açısından zayıf bir konum yaratıyor. Doğru düzeltme yöntemi sonuçların güvenilirliğini artırır; yanlışı ise ya gerçek bulguları eler ya da sahte bulguları ayakta tutar.

Not: Buradaki eşikler ve örnek değerler yol gösterici niteliktedir; yöntem seçimi çalışmanın tasarımına, test sayısına ve amacına (doğrulayıcı/keşifsel) göre kesinleştirilir.

Kullanılan kaynaklar

• Curran-Everett D. Multiple comparisons: philosophies and illustrations. American Journal of Physiology - Regulatory, Integrative and Comparative Physiology. 2000;279(1):R1-R8. · DOI
• Benjamini Y, Hochberg Y. Controlling the false discovery rate: a practical and powerful approach to multiple testing. Journal of the Royal Statistical Society: Series B. 1995;57(1):289-300. · DOI
• ICH E9 Expert Working Group. Statistical Principles for Clinical Trials (ICH E9). 1998.