Aylarca veri toplayıp analizi çalıştırdıktan sonra p = 0,12 görmek, çoğu araştırmacıda "bunca emek boşa mı gitti?" hissi uyandırıyor. Oysa istatistiksel olarak anlamsız bir sonuç, verinin değersiz olduğu anlamına gelmiyor — doğru okunduğunda çoğu zaman beklenenden çok daha fazlasını söylüyor. Anahtar, p değerinin gerçekte ne dediğini ve ne demediğini ayırt etmekte.
p > 0,05 aslında ne diyor?
p değeri 0,05'in üstünde çıktığında istatistiğin söylediği tek şey var: elimdeki veri, gruplar arasında fark olduğunu gösterecek kadar güçlü bir kanıt sunmuyor. "Fark yok" demiyor, "kanıt yetmedi" diyor — ve bu ikisi birbirinden çok farklı. Altman ve Bland'ın (1995) meşhur ifadesiyle, "kanıtın yokluğu, yokluğun kanıtı değildir."
Şöyle düşünmek işe yarıyor: karanlık bir odada fil arıyorsunuz, el yordamıyla dolaştınız ama file dokunmadınız. Bu "odada fil yok" mu demek, yoksa "ışık yoktu, yeterince bakamadım" mı? Çoğu zaman ikincisi. Burada iki farklı hata riski var: Tip I hata, olmayan bir farkı varmış gibi görmek (bunu alfa düzeyiyle kontrol ediyoruz); Tip II hata ise var olan bir farkı gözden kaçırmak. p > 0,05 çıktığında akla gelmesi gereken ilk soru şu: acaba Tip II hata mı yaptım — fark gerçekten var ama çalışmam onu yakalayacak güçte değil miydi? Bu sorunun yanıtı etki büyüklüğünde ve güven aralığında saklı.
Bir de kritik bir dil ayrıntısı: hakemlere "gruplar arasında fark yoktur" yazmak istatistiksel bir hata sayılıyor. Doğru ifade "istatistiksel olarak anlamlı fark saptanmamıştır" biçiminde; küçük bir ayrıntı gibi görünse de hakemler bu farkı ciddiye alıyor.
Anlamsız p sonrası üç tuzak
p anlamlı çıkmadığında birkaç yaygın refleks ortaya çıkıyor; danışanlarımızda da sık gördüğümüz durumlar bunlar.
Alt grup avı. Genel sonuç anlamsız çıkınca "kadınlarda ayrı bakalım, 50 yaş üstünde ayrı bakalım, diyabetli grupta ayrı bakalım" arayışı başlıyor. Yeterince alt gruba bakıldığında bir yerden anlamlılık çıkıyor — ama bu gerçek bir bulgu değil, istatistiksel gürültü. Örneğin 200 kişilik bir çalışmada 8 farklı alt grup karşılaştırması yapıldığında, tamamen rastgele bile olsa en az birinden anlamlı sonuç çıkma olasılığı %34'e ulaşıyor (1 − 0,95⁸). Alt grup analizi gerçekten gerekliyse, önceden protokole yazılmış olması ve çoklu karşılaştırma düzeltmesi uygulanması şart.
Seçici uç değer çıkarma. "Şu iki hastayı çıkarınca p = 0,04 oluyor" mantığı cazip gelebiliyor. Ama önceden tanımlanmış bir uç değer protokolü yoksa bu yola girmemek çok daha sağlıklı; sonuca bakıp geriye dönük veri temizliği yapmak, hakemler için ciddi bir kırmızı bayrak.
Hipotezi sonradan değiştirmek. Birincil sonuç ölçütü anlamsız çıkınca ikincil bir ölçütü ana hipotezmiş gibi sunmak — buna HARKing (Hypothesizing After Results are Known) deniyor ve bilimsel dürüstlükle arasındaki çizgi çok ince. Bu üç tuzağın herhangi biri, p = 0,12'den çok daha büyük bir kariyer riski taşıyor.
Etki büyüklüğü neden daha çok şey anlatıyor
p değeri yalnızca "var mı yok mu" sorusuna yanıt veriyor; etkinin klinik olarak önemli mi yoksa ihmal edilebilir mi olduğunu söylemiyor. Bunun için etki büyüklüğü hesaplamak gerekiyor — Sullivan ve Feinn'in (2012) vurguladığı gibi, sonucun pratik önemini p değil etki büyüklüğü ortaya koyuyor.
Somut bir örnek: yeni bir ilacın kan basıncını ortalama 8 mmHg düşürdüğünü gördünüz ama p = 0,12 çıktı. Cohen's d hesapladığınızda 0,6 buluyorsunuz — orta-büyük bir etki. Sorun ilacın etkisiz olması değil, çalışmanın bu etkiyi yakalayacak kadar büyük olmaması: toplam 45 kişiyle (grup başına ~22) çalıştıysanız istatistiksel güç yaklaşık %50 düzeyinde kalıyor, yani gerçek bir farkı ancak yarı yarıya yakalayabilecek bir tasarım.
Böyle bir durumda "ilaç etkisizdir" yazmak doğru değil. "Klinik olarak anlamlı olabilecek bir etki gözlenmiş olmakla birlikte, mevcut örneklem büyüklüğü bu etkiyi istatistiksel olarak doğrulamaya yetmemiştir" çok daha isabetli bir ifade — ilki hakemi tatmin etmiyor, ikincisi ediyor.
Güven aralığı, p'nin söylemediğini söylüyor
p değeriyle birlikte güven aralığını raporlamak birçok dergide zaten zorunlu. Aynı p > 0,05'in iki farklı hikâye anlatabildiğini görmek nedenini netleştiriyor:
İkisinde de p > 0,05, ama hikâyeler tamamen farklı. Güven aralığı bu farkı net biçimde ortaya koyarken, p değeri tek başına koyamıyor.
Post-hoc güç analizi yanılgısı
"Gücümüz düşükmüş, o yüzden anlamsız çıktı" diyerek post-hoc güç analizi yapıp tartışmaya koymak yaygın bir tercih. Ama burada ciddi bir sorun var: gözlenen güç, p değerinin matematiksel bir dönüşümünden ibaret. p anlamsız çıkmışsa gözlenen güç zaten düşük çıkacaktır; yeni bir bilgi vermez, bilineni farklı bir sayıyla tekrarlar. İşe yarayan yöntem farklı — gözlenen etki büyüklüğünü referans alıp "bu etkiyi %80 güçle yakalamak için gelecekte kaç kişilik örneklem gerekir?" hesabı çok daha değerli.
Bu ileriye dönük örneklem hesabı, tartışma bölümünde gerçekten yararlı bir bilgi ve hakemler de bunu görmek istiyor. Güç analizi kavramını daha yakından incelemek isterseniz o yazıya göz atabilirsiniz.
Negatif sonucu yayına hazırlamak
Negatif sonuçlu bir çalışmayı yayınlanabilir kılan şey, raporlama kalitesi. Sonuçlar bölümünde test istatistiği, p değeri, etki büyüklüğü ve güven aralığını birlikte vermek gerekiyor; "anlamsız çıktı" deyip geçmek yerine şöyle bir formülasyon çok daha güçlü bir izlenim bırakıyor: "İki grup arasında ortalama fark 3,4 birim olup (%95 GA −1,2, 8,0; p = 0,14; Cohen's d = 0,32) istatistiksel olarak anlamlı bulunmamıştır." Tartışma bölümünde güven aralığının klinik anlamını, örneklem sınırlılığını ve gelecek çalışmalar için gereken örneklemi ele almak; negatif sonucu bir eksiklik olarak değil bir bulgu olarak konumlandırmak hem daha doğru hem de hakemler üzerinde daha olumlu. Dergi seçiminde PLOS ONE, BMJ Open ve Trials gibi dergiler negatif sonuçlara açık; Registered Reports formatında ise protokol önceden kabul edildiği için makale sonuçtan bağımsız yayınlanıyor. Tez savunmasında jüri "hipotezini doğrulayamadın" diyebiliyor; güç analizinin yapılmış olması, etki büyüklüğünün raporlanması ve metodolojinin sağlamlığı böyle bir durumda en güçlü savunma oluyor.
İpucu
Makalede "anlamlı fark bulunamamıştır" yerine "istatistiksel olarak anlamlı fark saptanmamıştır" ifadesini tercih edin. İlki farkın olmadığını ima ediyor, ikincisi kanıt yetersizliğine işaret ediyor. Küçük bir nüans ama hakemler bu ayrımı dikkatle takip ediyor.
Negatif sonuçla ne yapılacağı konusunda tereddüt yaşarsanız ya da raporlama sürecinde desteğe ihtiyaç duyarsanız, Model İstatistik CRO ekibi olarak araştırmacıya rehberlik ediyoruz. p > 0,05 bir çalışmanın sonu değil; doğru okunduğunda bir sonrakinin başlangıç noktası.
Not: Buradaki güç, etki büyüklüğü ve güven aralığı değerleri kavramı göstermek için seçilmiş örneklerdir; gerçek değerler çalışmanın verisine göre değişir.