İki radyolog aynı görüntüye bakıp farklı karar verdiğinde, "ne kadar uyumlular?" sorusunun yaşanmış bir karşılığı var. Ölçek geliştiren, tanısal bir bulguyu iki uzmana değerlendirten ya da bir kodlama şemasını birden çok araştırmacıya uygulatan herkes aynı ihtiyaçla karşılaşıyor: gözlemciler arasındaki uyumu tek bir sayıyla, savunulabilir biçimde ifade etmek.
İlk akla gelen çözüm, "kaç vakada aynı kararı verdiler?" diye bakıp yüzde hesaplamak. Ama bu ham uyum yüzdesi yanıltıcı; çünkü iki gözlemci rastgele işaretleseydi bile belli bir oranda tesadüfen aynı sonuca varırlardı. Gerçek soru, gözlemcilerin şans eseri beklenenin ötesinde ne kadar uyuştuğu. Kappa ve ICC ailesi tam bu şans düzeltmesini yapıyor.
Neden Ham Uyum Yüzdesi Yetmez?
Bir örnek işi netleştiriyor. İki gözlemci nadir bir bulguyu değerlendirsin; bulgu vakaların yalnızca %5'inde var. İkisi de neredeyse her vakaya "yok" dese, ham uyumları %90'ın üzerinde çıkar. Oysa bu yüksek yüzde, gerçek bir tanısal uzlaşıdan çok, sonucun zaten büyük çoğunlukla "yok" olmasından kaynaklanıyor.
Kappa istatistiği bu sorunu, gözlenen uyumdan şans eseri beklenen uyumu çıkararak çözüyor. Değer −1 ile +1 arasında: 1 tam uyumu, 0 şans düzeyinde uyumu, negatif değerler ise şanstan bile kötü bir uyumu gösteriyor. Böylece uyum, sonuç dağılımının çarpıklığından arındırılmış oluyor.
Cohen Kappa
Cohen kappa, iki gözlemcinin kategorik bir değişkende ne kadar uyuştuğunu ölçen temel araç. İki patoloğun aynı biyopsiyi "iyi huylu / kötü huylu" diye sınıflaması ya da iki hekimin bir görüntüyü "var / yok" diye işaretlemesi tipik kullanım alanı.
Kategoriler sıralı olduğunda, örneğin "hafif / orta / şiddetli" gibi, her uyumsuzluk aynı ağırlıkta değil: hafif ile şiddetli arasındaki fark, hafif ile orta arasındaki farktan daha büyük. Bu durumda ağırlıklı kappa kullanılıyor; komşu kategoriler arasındaki uyumsuzluk daha az, uzak kategoriler arasındaki daha çok cezalandırılıyor. Ağırlıklandırma lineer ya da kuadratik olabiliyor.
Fleiss Kappa
Cohen kappa yalnızca iki gözlemci içindir. Üç ya da daha fazla gözlemci aynı özneleri değerlendirdiğinde Fleiss kappa devreye giriyor. Fleiss'in formülü, her öznede kaç gözlemcinin hangi kategoriye oy verdiğini temel alarak çoklu gözlemci uyumunu tek bir katsayıya indiriyor.
Burada önemli bir tasarım ayrıntısı var: klasik Fleiss kappa, her özneyi aynı sayıda gözlemcinin değerlendirdiği dengeli bir düzen varsayıyor. Gözlemci sayısı özneden özneye değişiyorsa, farklı bir yöntem gerekiyor.
İçsel Sınıf Korelasyon Katsayısı (ICC)
Kappa ailesi kategorik veri içindir; değerlendirme sürekli bir ölçüyse, örneğin iki gözlemcinin ölçtüğü tümör çapı ya da bir ölçekten alınan puan, ICC kullanılıyor. ICC, gözlemciler arasındaki tutarlılığı veya mutlak uyumu, varyans bileşenlerine ayırarak hesaplıyor.
Shrout ve Fleiss'in 1979'daki çalışması ICC'nin tek bir formül olmadığını, seçime bağlı altı farklı biçimi olduğunu ortaya koydu [2]. Seçim iki soruyla belirleniyor: gözlemciler sabit mi yoksa daha geniş bir havuzdan rastgele mi seçildi (model), ve tek bir gözlemcinin ölçümü mü yoksa gözlemci ortalaması mı raporlanacak (birim). Bu yüzden bir makalede ICC raporlarken hangi biçimin kullanıldığını (örneğin ICC 2,1 veya 2,k) açıkça belirtmek gerekiyor; aksi halde değer yorumlanamaz hâle geliyor.
Hangisi Nerede ve Değer Nasıl Yorumlanır?
Aşağıdaki tablo yöntem seçimini özetliyor.
| Durum | Yöntem |
|---|---|
| Kategorik, 2 gözlemci | Cohen kappa |
| Kategorik, sıralı kategoriler | Ağırlıklı kappa |
| Kategorik, ≥ 3 gözlemci | Fleiss kappa |
| Sürekli ölçüm | ICC (Shrout-Fleiss biçimi belirtilerek) |
Kappa değerini yorumlamak için en çok Landis ve Koch'un 1977'deki bantları kullanılıyor [1]. ICC için ise Koo ve Li'nin 2016'daki eşikleri yaygın referans [3].
| Kappa (Landis-Koch) | Yorum | ICC (Koo-Li) | Yorum |
|---|---|---|---|
| < 0,00 | Uyumsuz | < 0,50 | Zayıf |
| 0,01 – 0,20 | Önemsiz düzey | 0,50 – 0,75 | Orta |
| 0,21 – 0,40 | Zayıf | 0,75 – 0,90 | İyi |
| 0,41 – 0,60 | Orta | > 0,90 | Mükemmel |
| 0,61 – 0,80 | Güçlü | ||
| 0,81 – 1,00 | Neredeyse tam |
Bu bantlar pratik birer kılavuz, mutlak eşik değil. Tanısal karar gibi yüksek riskli bağlamlarda genellikle daha katı bir uyum (kappa > 0,80) bekleniyor; bandın kendisi bağlamdan bağımsız bir geçer not vermiyor. Kappanın, yüksek ham uyuma rağmen düşük çıkabildiği durumları Cohen kappa yorumlama ve kappa paradoksu yazısında, hangi katsayının hangi tasarıma uyduğunu ise hangi uyum katsayısı seçim rehberi yazısında ele alıyoruz. Analizden önce hangi testin sorunuza uyduğunu görmek için istatistiksel test seçimi yazısı da yardımcı olabilir.
Kaynaklar
- Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159-174. PMID 843571
- Shrout PE, Fleiss JL. Intraclass correlations: uses in assessing rater reliability. Psychol Bull. 1979;86(2):420-428. PMID 18839484 · DOI
- Koo TK, Li MY. A guideline of selecting and reporting intraclass correlation coefficients for reliability research. J Chiropr Med. 2016;15(2):155-163. PMID 27330520 · DOI
Bu yazı bilgilendirme amaçlıdır. Ölçek validasyonu, tanısal uyum ve güvenilirlik çalışmalarınızda katsayı seçimi, hesaplama ve raporlama tarafında yol almak isterseniz, süreci başvuru formumuz üzerinden birlikte şekillendiriyoruz.