İki gözlemci bir bulguyu vakaların %90'ında aynı şekilde işaretlemiş, ama kappa katsayısı 0,30 çıkmış. İlk bakışta çelişki gibi görünen bu tablo, kappayı yorumlarken en sık karşılaşılan tuzak. Ham uyum yüksek, kappa düşük; hangisine güvenmeli?
Kappa değerini doğru yorumlamak, hem yaygın kullanılan yorum bantlarını hem de bu bantların gizlediği bir istatistiksel tuzağı bilmeyi gerektiriyor. İkisini birlikte ele alalım.
Landis-Koch Bantları
Kappa değerini sözel bir yoruma çevirmek için en çok Landis ve Koch'un 1977'deki bantları kullanılıyor [1]. Bantlar, −1 ile +1 arasındaki kappa değerini altı kademeye ayırıyor.
| Kappa | Yorum |
|---|---|
| < 0,00 | Uyumsuz |
| 0,01 – 0,20 | Önemsiz düzey |
| 0,21 – 0,40 | Zayıf |
| 0,41 – 0,60 | Orta |
| 0,61 – 0,80 | Güçlü |
| 0,81 – 1,00 | Neredeyse tam |
Kaynak: Landis & Koch 1977 [1]. Bu tabloya göre 0,40'lık bir kappa zayıf ile orta sınırında; 0,30 ise zayıf bandın içinde kalıyor.
Bantlar Mutlak mı?
Bu bantlar pratik birer kılavuz, evrensel bir geçer not değil. Landis ve Koch bantları önerirken bunların keyfi bölmeler olduğunu ve bağlama göre değerlendirilmesi gerektiğini vurguladı [1]. Tanısal karar gibi yüksek riskli bir bağlamda 0,70'lik bir kappa yetersiz sayılabilirken, keşifsel bir kodlama çalışmasında aynı değer kabul edilebilir olabiliyor.
Bu yüzden bir makalede kappayı yalnızca banda oturtup geçmek yerine, çalışmanın bağlamına göre yorumlamak daha doğru. Bandın kendisi bağlamı bilmiyor.
Kappa Paradoksu
Baştaki çelişkinin kaynağı burada. Kappa, gözlenen uyumdan şans eseri beklenen uyumu çıkarıyor; ve şans düzeltmesi, kategorilerin dağılımına (prevalansa) çok duyarlı. Bir bulgu çok nadir ya da çok yaygınsa, gözlemciler neredeyse her vakaya aynı kategoriyi verdiğinden şans uyumu da yüksek hesaplanıyor; bu da yüksek ham uyuma rağmen kappayı aşağı çekiyor.
Cicchetti ve Feinstein 1990'da bu durumu ayrıntılı biçimde çözümledi ve paradoksun, dengesiz kategori dağılımının doğal bir sonucu olduğunu gösterdi [2]. Önerileri, kappayı tek başına raporlamak yerine, pozitif ve negatif kararlardaki uyumu ayrı ayrı (duyarlılık ve özgüllüğe benzer biçimde) vermek [2].
Pratik sonuç: düşük kappa her zaman kötü uyum anlamına gelmiyor. Nadir bir bulguda düşük kappa, gözlemcilerin uyumsuzluğundan çok, dağılımın çarpıklığından kaynaklanabiliyor. Bu durumda ham uyumu ve pozitif/negatif uyum oranlarını da birlikte bildirmek tabloyu dürüst kılıyor.
Ağırlıklı Kappa
Kategoriler sıralıysa, örneğin "hafif / orta / şiddetli" gibi, standart kappa bir eksik bırakıyor: hafif ile şiddetli arasındaki uyumsuzluğu, hafif ile orta arasındaki uyumsuzlukla aynı ağırlıkta cezalandırıyor. Ağırlıklı kappa bu farkı hesaba katıyor; komşu kategoriler arasındaki uyumsuzluğu daha az, uzak kategoriler arasındaki uyumsuzluğu daha çok cezalandırıyor. Ağırlıklandırma lineer ya da kuadratik olabiliyor ve seçilen şema raporlanmalı.
Raporlamada Ne Belirtilmeli?
Kappa değerini dürüst biçimde raporlamanın birkaç bileşeni var: değerin yanında hangi bandın kullanıldığı, kategoriler sıralıysa ağırlıklandırma şeması ve dağılım dengesizse ham uyum ile pozitif/negatif uyum oranları. Bu ek bilgiler, kappa paradoksunun yol açtığı yanlış yorumu önlüyor.
Yöntem seçimi ve üç uyum katsayısının nerede kullanıldığı için gözlemciler arası uyum: kappa, Fleiss ve ICC yazısı temeli veriyor; hesaplama için gözlemciler arası uyum aracı kullanılabilir.
Kaynaklar
- Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159-174. PMID 843571
- Cicchetti DV, Feinstein AR. High agreement but low kappa: II. Resolving the paradoxes. J Clin Epidemiol. 1990;43(6):551-558. PMID 2189948 · DOI
Bu yazı bilgilendirme amaçlıdır. Güvenilirlik ve uyum çalışmalarınızda katsayı seçimi, paradoks kontrolü ve raporlama tarafında yol almak isterseniz, süreci başvuru formumuz üzerinden birlikte şekillendiriyoruz.