Bir güvenilirlik analizinde yanlış uyum katsayısını seçmek, çoğu zaman en geç hakem aşamasında geri dönüyor: "Sürekli veri için kappa kullanılmış, ICC beklenirdi" ya da "Üç gözlemci var ama Cohen kappa raporlanmış." Doğru katsayı, verinin türü ve çalışmanın tasarımıyla baştan belirleniyor; seçim rastgele değil, birkaç net soruyla çözülüyor.
Bu yazıda uyum katsayısı seçimini adım adım bir karar akışına döküyoruz ve sık yapılan hatalara değiniyoruz.
İlk Ayrım: Kategorik mi Sürekli mi?
Seçimin ilk ve en belirleyici sorusu bu. Değerlendirme kategorikse (var/yok, iyi/kötü, evre 1/2/3) kappa ailesi devreye giriyor. Değerlendirme sürekli bir ölçümse (tümör çapı, bir ölçekten alınan puan, kan basıncı) içsel sınıf korelasyon katsayısı (ICC) kullanılıyor. Bu ilk ayrım yanlış yapılırsa, sonraki tüm adımlar da yanlış katsayıya götürüyor.
Gözlemci Sayısı
Kategorik veride ikinci soru gözlemci sayısı. İki gözlemci varsa Cohen kappa; üç ya da daha fazla gözlemci aynı özneleri değerlendiriyorsa Fleiss kappa uygun. Fleiss kappa, çoklu gözlemcinin oy dağılımını tek bir katsayıya indiriyor. Klasik biçimi her özneyi aynı sayıda gözlemcinin değerlendirdiğini varsaydığından, gözlemci sayısı özneden özneye değişiyorsa bu varsayımı gözden geçirmek gerekiyor.
Sıralı Kategoriler
Kategoriler sıralıysa, örneğin "hafif / orta / şiddetli" ya da bir görüntüleme derecesi gibi, standart kappa bir eksik bırakıyor: her uyumsuzluğu aynı ağırlıkta cezalandırıyor. Oysa hafif ile şiddetli arasındaki uyumsuzluk, hafif ile orta arasındakinden daha büyük. Ağırlıklı kappa bu farkı hesaba katıyor; uzak kategoriler arasındaki uyumsuzluğu daha çok cezalandırıyor. Ağırlıklandırma lineer ya da kuadratik seçilebiliyor ve seçilen şema raporlanmalı.
ICC Formları
Sürekli veride ICC tek bir formül değil. Shrout ve Fleiss'in 1979'daki çalışması altı farklı biçim tanımladı ve seçim iki soruyla belirleniyor [1]. Birincisi model: gözlemciler sabit mi (yalnız bu gözlemciler ilgileniliyor) yoksa daha geniş bir havuzdan rastgele mi seçildi (sonuç genellenecek). İkincisi birim: tek bir gözlemcinin ölçümü mü (ICC 2,1) yoksa gözlemci ortalaması mı (ICC 2,k) raporlanacak. Ayrıca mutlak uyum mu yoksa tutarlılık mı ölçüldüğü de belirtiliyor. Bu yüzden bir makalede yalnızca "ICC = 0,85" yazmak yetersiz; kullanılan biçim açıkça belirtilmeli, aksi halde değer yorumlanamıyor [2].
| Senaryo | Önerilen katsayı |
|---|---|
| Kategorik · 2 gözlemci | Cohen kappa |
| Kategorik · sıralı kategoriler | Ağırlıklı kappa |
| Kategorik · ≥ 3 gözlemci | Fleiss kappa |
| Sürekli · genellenecek gözlemci havuzu | ICC (2,1 veya 2,k) |
Sık Yapılan Seçim Hataları
Birkaç hata tekrar tekrar karşımıza çıkıyor. Sürekli bir ölçümü yapay olarak kategorilere bölüp kappa hesaplamak, bilgi kaybına ve yanlış katsayıya yol açıyor. Üç gözlemci varken Cohen kappayı ikişerli çiftlere uygulayıp ortalamak, Fleiss kappanın yerini tutmuyor. Sıralı kategorilerde ağırlıksız kappa kullanmak uyumu olduğundan düşük gösteriyor. ICC raporlarken biçimi belirtmemek ise değeri yorumlanamaz kılıyor. Bu hataların çoğu, baştaki iki soruyu (veri türü ve gözlemci sayısı) net yanıtlayarak önlenebiliyor.
Katsayıların hesaplanması ve yorum bantları için gözlemciler arası uyum: kappa, Fleiss ve ICC, kappa değerinin yorumu ve paradoksu için Cohen kappa yorumlama yazısı temeli veriyor; hesaplama için gözlemciler arası uyum aracı kullanılabilir.
Kaynaklar
- Shrout PE, Fleiss JL. Intraclass correlations: uses in assessing rater reliability. Psychol Bull. 1979;86(2):420-428. PMID 18839484 · DOI
- Koo TK, Li MY. A guideline of selecting and reporting intraclass correlation coefficients for reliability research. J Chiropr Med. 2016;15(2):155-163. PMID 27330520 · DOI
- Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159-174. PMID 843571
Bu yazı bilgilendirme amaçlıdır. Ölçek validasyonu ve güvenilirlik çalışmalarınızda katsayı seçimi, ICC biçimi ve raporlama tarafında yol almak isterseniz, süreci başvuru formumuz üzerinden birlikte şekillendiriyoruz.