Bonferroni Düzeltmesi: Ne Zaman Yeterli, Ne Zaman Yetersiz?

Bonferroni düzeltmesi çoğu araştırmacının tanıdığı bir yöntemdir. Dört grup arasında ANOVA yaptıktan sonra hakem "Bonferroni uygulanmamış" dediğinde, 0,05'i karşılaştırma sayısına bölersiniz ve daha önce anlamlı görünen farklar bir anda anlamsızlaşır. Ama Bonferroni'nin ne zaman yeterli olduğu, ne zaman gereğinden fazla muhafazakâr davrandığı ve alternatiflerinin ne olduğu çoğu zaman gözden kaçıyor. Armstrong'un (2014) hatırlattığı gibi, Bonferroni rutin bir refleks değil, koşullara bağlı bir tercih olmalı.

Bonferroni'nin mantığı: basit bir bölme

Carlo Emilio Bonferroni'nin eşitsizliğine dayanan yöntemin formülü kısa:

Düzeltilmiş alfa = alfa / k

Burada k, yapılan test sayısıdır. 6 karşılaştırma yapıyorsanız 0,05/6 = 0,0083; her karşılaştırmanın p değeri bu eşiğin altındaysa anlamlı, üstündeyse anlamsız. (Alternatif olarak p değerlerini k ile çarpıp 0,05 ile karşılaştırmak da aynı sonucu verir.) Bonferroni'nin en büyük avantajı bu basitliktir. Elle hesaplanabilir, yazılım gerektirmez, t-testinden ki-kareye her test türüne uygulanabilir, testler arasındaki ilişki için ek varsayım istemez ve aile bazında hata oranını (family-wise error rate, FWER) testler arasındaki ilişki ne olursa olsun en fazla seçilen alfa düzeyinde tutar. Ama basitliğin bir bedeli var.

Bonferroni neden acımasız?

6 karşılaştırmada eşik 0,0083'tür ve bu kabul edilebilir bir düzeydir. 10 karşılaştırmada 0,005, 20 karşılaştırmada 0,0025; artık p = 0,01 bile anlamlı sayılmıyor.

Küçük örneklemli bir çalışmada 20 karşılaştırma yapılıyorsa Bonferroni sonrasında gerçek bir farkı yakalamak pratikte çok zorlaşır. Bonferroni testlerin birbirinden bağımsız olmasını şart koşmaz; aynı test ailesindeki geçerli p değerlerine uygulandığında, bağımlılık yapısı ne olursa olsun FWER'nin seçilen alfa düzeyini (çoğu çalışmada 0,05) aşmamasını sağlar. Bedeli temkinliliktir. ANOVA sonrası ikili karşılaştırmalar aynı veri setinden gelir ve aynı hata varyansını paylaşır, yani birbiriyle ilişkilidir. Bonferroni bu ilişkiyi hesaba katmadığı için gereğinden temkinli kalabilir.

Bonferroni ne zaman gerçekten işe yarar?

Bir klinik çalışmada tedavi grubunda ağrı skorunun düşüp düşmediğinin (t-testi), yan etki oranının farklı olup olmadığının (ki-kare) ve hastanede kalışın kısalıp kısalmadığının (Mann-Whitney) sınandığını varsayalım. Önceden planlanmış bu üç test aynı aile içinde değerlendiriliyorsa Bonferroni basit ve savunulabilir bir seçimdir; test başına eşik 0,05/3, yani yaklaşık 0,0167 olur.

Ama ANOVA sonrası 6 grup çiftini karşılaştırıyorsanız durum farklı; tüm ikili karşılaştırmalarda test istatistiklerinin ortak dağılımı bilinir ve Tukey HSD bu yapıyı kullanarak gereksiz temkinden kaçınır, Bonferroni ise gereğinden sıkı kalır. Holm-Bonferroni de her durumda en az Bonferroni kadar güçlüdür. Danışanlarımızda en sık gördüğümüz kalıp da bu: "ANOVA yaptım, post-hoc'ta Bonferroni seçtim, sonuçlar anlamsız çıktı." Oysa aynı veriyle Tukey HSD belki iki karşılaştırmayı anlamlı bırakacaktı.

Holm-Bonferroni: aynı güvenlik, daha az kayıp

Sture Holm 1979'da, Bonferroni'nin tüm testlere aynı sıkı eşiği uyguladığına dikkat çekti; oysa p değerleri sıralandığında en küçüğe en sıkı eşiği, sonrakilere giderek gevşeyen eşikleri vermek daha mantıklıdır. Önce p değerlerini küçükten büyüğe sıralayıp en küçüğünü alfa/6 ile karşılaştırmak gerekir (Bonferroni ile aynı); anlamlıysa ikincisi alfa/5, üçüncüsü alfa/4 ile karşılaştırılır ve eşik her adımda bu şekilde gevşer. İlk anlamsız sonuçta süreç durur ve geri kalan karşılaştırmaların hepsi anlamsız sayılır.

Somut bir örnekte 6 karşılaştırmanın p değerleri 0,003; 0,009; 0,015; 0,022; 0,041 ve 0,190 olsun. Bonferroni eşiği tüm testler için 0,0083 olduğundan yalnızca p = 0,003 anlamlı. Holm eşikleri ise sırasıyla 0,0083; 0,010; 0,0125; 0,0167; 0,025 ve 0,050'dir. Buna göre p = 0,003 anlamlı, p = 0,009 anlamlı (0,009 < 0,010), p = 0,015 ise anlamsızdır (0,015 > 0,0125) ve süreç burada durur. Bu örnekte Bonferroni bir, Holm iki bulgu korudu; iki yöntem de FWER'yi en fazla 0,05 düzeyinde tutar, Holm bunu daha az güç kaybıyla yapar.

Gerçek örnek: 4 tedavi grubu, 6 karşılaştırma

Randomize kontrollü bir çalışmada dört tedavi protokolü karşılaştırılıyor; 4 grup ve 6 çiftli karşılaştırma var, ANOVA sonucu F = 3,87, p = 0,011. Post-hoc karşılaştırmalardan üçünde p değeri Grup A-B için 0,038 (Cohen's d = 0,42), Grup A-D için 0,007 (d = 0,68) ve Grup B-C için 0,044 (d = 0,39) bulunuyor (öteki üç çiftte p > 0,05). Bonferroni eşiği 0,05/6 = 0,0083 olduğundan yalnızca A-D anlamlı; Holm da (0,007 < 0,0083 anlamlı; 0,038 > 0,010 anlamsız) burada Bonferroni ile aynı sonucu veriyor.

A-B'de Cohen's d = 0,42, yani küçük ile orta arasında bir etki. Bu farkın klinik önemi yalnız d değerinden okunmaz; ölçeğin klinik yorumu ve güven aralığının genişliği birlikte değerlendirilir. Makaleye yazılabilecek cümle şöyle: "Grup A ile Grup D arasındaki fark Bonferroni düzeltmesi sonrasında anlamlıdır (ham p = 0,007; düzeltilmiş p = 0,042; d = 0,68). Grup A ile Grup B arasındaki karşılaştırma düzeltme sonrasında anlamlılık eşiğini karşılamamıştır (ham p = 0,038; düzeltilmiş p = 0,228; d = 0,42). Etki büyüklükleri %95 güven aralıklarıyla birlikte tabloda verilmiştir." Bu cümle hakemin üç sorusuna aynı anda yanıt verir: düzeltme uyguladınız mı (evet), sonuç ne (A-D anlamlı), kalan farkları nasıl yorumluyorsunuz (etki büyüklüğü ile).

Bonferroni sonrası hepsi anlamsız çıktığında

ANOVA'nın anlamlı çıkıp düzeltme sonrasında hiçbir çiftin anlamlı kalmaması sık görülen bir durumdur ve paniğe gerek yoktur. Birkaç yol var. İlki, düzeltme yönteminin tasarıma uyup uymadığına bakmak. Klasik ANOVA varsayımları altında tüm ikili karşılaştırmalarda Tukey HSD Bonferroni'den daha az güç kaybettirir; aynı hipotez ailesinde Holm ise en az Bonferroni kadar güçlüdür. Ancak yöntem analiz planında, sonuçlar görülmeden seçilir ve sonuca bakıp "hangisi anlamlılığı koruyacak" diye yöntem denemek p-hacking'dir. Planda tasarıma uymayan bir yöntem seçildiyse değişiklik, gerekçesi ve iki sonuç birlikte raporlanır. İkincisi, etki büyüklüklerini güven aralıklarıyla birlikte raporlamak. p anlamsız olsa bile Cohen's d = 0,6 gibi bir tahminin güven aralığı genişse, bu sonuç etkinin olmadığını göstermez; tahmin belirsiz kalmıştır. Üçüncüsü, sorunun kaynağı örneklem büyüklüğü olabilir; güç analizi ile gelecek çalışmaların örneklemini klinik açıdan önemli kabul edilen etkiye göre planlamak ve bunu tartışma bölümünde belirtmek. Dördüncüsü, bazı karşılaştırmalar protokolde planlı karşılaştırma olarak belirtildiyse bunlar için düzeltme gerekmediğini savunabilirsiniz. Ancak bu savunma "veriyi gördükten sonra planlıydı" biçiminde olamaz; istatistik analiz planının bunu belgelemesi gerekir.

Planlı karşılaştırma: düzeltmeden meşru kaçış

Çalışmaya başlamadan önce "Grup A ile Grup D arasındaki farka bakacağım, çünkü teorik gerekçem şu" diye yazdıysanız, bu planlı karşılaştırmadır; sayısı az (2-3) ve bilimsel gerekçesi güçlü olmalıdır. Planlı karşılaştırmalarda düzeltme genellikle gerekmez, ama bunu savunmak için karşılaştırmanın veriye bakılmadan önce yazılı bir belgede (protokol, etik kurul başvurusu ya da analiz planı) yer alması gerekir; istatistik analiz planı bu kaydın en uygun yeridir. "Veri bitince bakayım hangisi ilginç" yaklaşımı planlı karşılaştırma değil, p-hacking'dir.

Hakeme nasıl yanıt verilir?

"Çoklu karşılaştırma düzeltmesi uygulanmamış" diyen hakeme yanıt birkaç adımdan oluşur. İlk adım uygun düzeltmeyi uygulamak (ANOVA post-hoc için genellikle en savunulabilir seçim Tukey HSD, ayrı hipotezler için Holm-Bonferroni) ve sonuçları tabloya eklemektir. Ardından düzeltme öncesi ve sonrasını karşılaştırıp değişen sonuçları açıkça belirtmek gerekir: "Düzeltme sonrasında bu karşılaştırmalar istatistiksel anlamlılık eşiğini karşılamamıştır; etki büyüklükleri %95 güven aralıklarıyla birlikte tabloda verilmiştir." p değeri anlamsız çıksa bile etki büyüklüğü tahminin yönünü ve büyüklüğünü gösterir; bu yüzden her karşılaştırma için Cohen's d veya odds ratio %95 güven aralığıyla birlikte raporlanmalı. Son adım, hangi düzeltmenin neden seçildiğini literatür referansıyla gerekçelendirmektir. "Hangi düzeltme anlamlılığı koruyor" diye yöntem denemek ise kabul edilemez; doğru olan, duruma en uygun yöntemi seçip sonucu olduğu gibi raporlamaktır.

Alt grup analizleri: unutulan tuzak

Çoklu karşılaştırma problemi yalnızca post-hoc testlerde değil. Yaş grubu, cinsiyet, komorbidite, sigara durumu ve hastalık evresi için üç sonuç değişkeninin her birinde birer etkileşim testi yapılırsa toplam 15 test (5 × 3) oluşur. Sıfır hipotezlerinin hepsi doğru ve testler bağımsızsa, her testi 0,05 düzeyinde değerlendirmek en az bir yanlış pozitif bulma olasılığını yaklaşık %54'e çıkarır (1 − 0,95¹⁵). Testler birbirine bağımlıysa bu olasılık testlerin ortak dağılımına göre değişir. Hakemler bunu fark eder; etmese bile alt grup analizlerinde düzeltme bilimsel bir sorumluluktur. Pratik bir yaklaşım, alt grupları "birincil" (protokolde tanımlı ve klinik gerekçeli; Bonferroni yeterli) ve "keşifsel" (exploratory olduğu belirtilip FDR uygulanan) olarak ayırmaktır. Yöntem seçim haritasının tamamı için çoklu karşılaştırma düzeltmeleri yazımıza bakabilirsiniz. Alt grup farkının düzeltmeyle değil doğrudan etkileşim testiyle sınanması gerektiğini ise ayrı bir yazıda ele aldık.

Model İstatistik olarak çoklu karşılaştırma stratejisini çalışmanın tasarım aşamasında, veri toplamadan önce belirlemeyi öneriyoruz. Düzeltme yöntemi ne olursa olsun etki büyüklüğü de raporlanmalı; çünkü p değeri düzeltmeyle değişir, Cohen's d'nin nokta tahmini ise değişmez.

Not: Buradaki p değerleri ve etki büyüklükleri kavramı göstermek için seçilmiş örneklerdir; yöntem ve eşik seçimi çalışmanın tasarımına ve test sayısına göre kesinleştirilir.

Kullanılan kaynaklar

• Armstrong RA. When to use the Bonferroni correction. Ophthalmic & Physiological Optics. 2014;34(5):502-508. · DOI
• Holm S. A simple sequentially rejective multiple test procedure. Scandinavian Journal of Statistics. 1979;6(2):65-70.