İki gözlemci bir bulguyu vakaların %90'ında aynı şekilde işaretlemiş, ama kappa katsayısı 0,30 çıkmış. İlk bakışta çelişki gibi görünen bu tablo, kappayı yorumlarken bilinen bir tuzak. Ham uyum yüksek, kappa düşük; hangisine güvenmeli?
Kappa değerini doğru yorumlamak, hem yaygın kullanılan yorum bantlarını hem de bu bantların gizlediği bir istatistiksel tuzağı bilmeyi gerektiriyor.
Landis-Koch Bantları
Kappa değerini sözel bir yoruma çevirmek için yaygın olarak Landis ve Koch'un 1977'deki bantları kullanılıyor [1]. Bantlar, −1 ile +1 arasındaki kappa değerini altı kademeye ayırıyor.
| Kappa | Yorum |
|---|---|
| < 0,00 | Zayıf (poor) |
| 0,00 – 0,20 | Hafif (slight) |
| 0,21 – 0,40 | Orta-altı (fair) |
| 0,41 – 0,60 | Orta (moderate) |
| 0,61 – 0,80 | Kayda değer (substantial) |
| 0,81 – 1,00 | Neredeyse tam (almost perfect) |
Kaynak: Landis & Koch 1977 [1]. Bu tabloya göre 0,40'lık bir kappa orta-altı ile orta bantların sınırında; 0,30 ise orta-altı (fair) bandın içinde kalıyor.
Bantlar Mutlak mı?
Bu bantlar pratik birer kılavuz, evrensel bir geçer not değil. Landis ve Koch bu bölmelerin açıkça keyfi olduğunu, kendi örneklerini tartışmak için ise kullanışlı kıyas noktaları sunduğunu belirtti [1]. Tanısal karar gibi yüksek riskli bir bağlamda 0,70'lik bir kappa yetersiz sayılabilirken, keşifsel bir kodlama çalışmasında aynı değer kabul edilebilir olabiliyor.
Bu yüzden bir makalede kappayı yalnızca banda oturtup geçmek yerine, çalışmanın bağlamına göre yorumlamak daha doğru. Bandın kendisi bağlamı bilmiyor.
Kappa Paradoksu
Baştaki çelişkinin kaynağı burada. Kappa, gözlenen uyumdan şans eseri beklenen uyumu çıkarıyor ve şans düzeltmesi, kategorilerin dağılımına (prevalansa) çok duyarlı. Bir bulgu çok nadir ya da çok yaygınsa, gözlemciler neredeyse her vakaya aynı kategoriyi verdiğinden şans uyumu da yüksek hesaplanıyor; bu da yüksek ham uyuma rağmen kappayı aşağı çekiyor.
Feinstein ve Cicchetti 1990'da bu paradoksu tanımladı [3]; aynı yıl yayımlanan ikinci makale onu ayrıntılı biçimde çözümledi ve paradoksun, dengesiz kategori dağılımının doğal bir sonucu olduğunu gösterdi [2]. Yazarlar kappayı tek başına raporlamak yerine, pozitif ve negatif kararlardaki uyumu ayrı ayrı (duyarlılık ve özgüllüğe benzer biçimde) vermeyi önerdi [2].
Bu yüzden düşük kappa her zaman kötü uyum anlamına gelmiyor, ama iyi bir uyumu gizlediği de varsayılamaz. Nadir bir bulguda ham uyumu çoğunlukla negatif vakalar taşır; bu durumda düşük kappa, pozitif kararlardaki zayıf uyuma işaret eder ve yüksek ham uyum bunu gizleyebilir. Pozitif ve negatif uyum oranları uyumun hangi kategoride bozulduğunu ayrı ayrı ortaya koyuyor; bu nedenle ham uyumu ve bu iki oranı birlikte bildirmek tabloyu dürüst kılıyor.
Ağırlıklı Kappa
Kategoriler sıralıysa, örneğin "hafif / orta / şiddetli" gibi, standart kappa bir eksik bırakıyor, çünkü hafif ile şiddetli arasındaki uyumsuzluğu hafif ile orta arasındaki uyumsuzlukla aynı ağırlıkta cezalandırıyor. Ağırlıklı kappa bu farkı hesaba katıyor; komşu kategoriler arasındaki uyumsuzluğu daha az, uzak kategoriler arasındaki uyumsuzluğu daha çok cezalandırıyor. Ağırlıklandırma doğrusal ya da karesel olabiliyor ve seçilen şema raporlanmalı.
Raporlamada Ne Belirtilmeli?
Kappa değerini dürüst biçimde raporlamak için değerin yanında hangi bandın kullanıldığını, kategoriler sıralıysa ağırlıklandırma şemasını ve dağılım dengesizse ham uyum ile pozitif/negatif uyum oranlarını vermek gerekiyor. Bu ek bilgiler, kappa paradoksunun yol açtığı yanlış yorumu önlüyor.
Yöntem seçimi ve üç uyum katsayısının nerede kullanıldığı için gözlemciler arası uyum: kappa, Fleiss ve ICC yazısı temeli veriyor; hesaplama için gözlemciler arası uyum aracı kullanılabilir. Dosya incelemesine dayanan araştırmalarda gözlemciler arası uyumun nasıl planlanıp raporlanabileceğini hasta güvenliği araştırmalarında veri toplama yazımızda ele aldık.
Kaynaklar
- Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159-174. PMID 843571
- Cicchetti DV, Feinstein AR. High agreement but low kappa: II. Resolving the paradoxes. J Clin Epidemiol. 1990;43(6):551-558. PMID 2189948 · DOI
- Feinstein AR, Cicchetti DV. High agreement but low kappa: I. The problems of two paradoxes. J Clin Epidemiol. 1990;43(6):543-549. PMID 2348207
Bu yazı bilgilendirme amaçlıdır. Güvenilirlik ve uyum çalışmalarınızda katsayı seçimi, paradoks kontrolü ve raporlama tarafında yol almak isterseniz, süreci başvuru formumuz üzerinden birlikte şekillendiriyoruz.