Gözlemciler Arası Uyum: Kappa, Fleiss ve ICC

İki radyolog aynı görüntüye bakıp farklı karar verdiğinde, "ne kadar uyumlular?" sorusunun yaşanmış bir karşılığı var. Ölçek geliştiren, tanısal bir bulguyu iki uzmana değerlendirten ya da bir kodlama şemasını birden çok araştırmacıya uygulatan herkes, gözlemciler arasındaki uyumu tek bir sayıyla ve savunulabilir biçimde ifade etme ihtiyacıyla karşılaşıyor.

İlk akla gelen çözüm, "kaç vakada aynı kararı verdiler?" diye bakıp yüzde hesaplamak. Ama bu ham uyum yüzdesi yanıltıcı; çünkü iki gözlemci rastgele işaretleseydi bile belli bir oranda tesadüfen aynı sonuca varırlardı. Gerçek soru, gözlemcilerin şans eseri beklenenin ötesinde ne kadar uyuştuğu. Kappa ve ICC ailesi tam bu şans düzeltmesini yapıyor.

Neden Ham Uyum Yüzdesi Yetmez?

Bir örnek işi netleştiriyor. İki gözlemci nadir bir bulguyu değerlendirsin; bulgu vakaların yalnızca %5'inde var. İkisi de neredeyse her vakaya "yok" dese, ham uyumları %90'ın üzerinde çıkar. Oysa bu yüksek yüzde, gerçek bir tanısal uzlaşıdan çok, sonucun zaten büyük çoğunlukla "yok" olmasından kaynaklanıyor.

Kappa istatistiği, gözlenen uyumdan şans eseri beklenen uyumu çıkarıp bu farkı şansın bıraktığı en büyük uyum payına bölüyor. Değer −1 ile +1 arasında değişiyor; 1 tam uyumu, 0 şans düzeyinde uyumu, negatif değerler ise şanstan bile kötü bir uyumu gösteriyor. Böylece şans eseri uyum hesaba katılmış oluyor; ama kappa sonuç dağılımının çarpıklığından etkileniyor ve yukarıdaki gibi nadir bulgularda yüksek ham uyuma rağmen düşük çıkabiliyor [5].

Cohen Kappa

Cohen kappa, iki gözlemcinin kategorik bir değişkende ne kadar uyuştuğunu ölçen temel araç. İki patoloğun aynı biyopsiyi "iyi huylu / kötü huylu" diye sınıflaması ya da iki hekimin bir görüntüyü "var / yok" diye işaretlemesi tipik kullanım alanı.

Kategoriler sıralı olduğunda, örneğin "hafif / orta / şiddetli" gibi, her uyumsuzluk aynı ağırlıkta değil; hafif ile şiddetli arasındaki fark, hafif ile orta arasındaki farktan daha büyük. Bu durumda ağırlıklı kappa kullanılıyor; komşu kategoriler arasındaki uyumsuzluk daha az, uzak kategoriler arasındaki daha çok cezalandırılıyor. Ağırlıklandırma doğrusal ya da karesel olabiliyor.

Fleiss Kappa

Cohen kappa yalnızca iki gözlemci içindir. Üç ya da daha fazla gözlemci aynı özneleri değerlendirdiğinde Fleiss kappa devreye giriyor. Fleiss'in formülü, her öznede kaç gözlemcinin hangi kategoriye oy verdiğini temel alarak çoklu gözlemci uyumunu tek bir katsayıya indiriyor.

Burada önemli bir tasarım ayrıntısı var. Klasik Fleiss kappa, her özneyi aynı sayıda gözlemcinin değerlendirdiği dengeli bir düzen varsayıyor; özneleri değerlendiren gözlemcilerin aynı kişiler olması gerekmiyor [6]. Gözlemci sayısı özneden özneye değişiyorsa, farklı bir yöntem gerekiyor.

İçsel Sınıf Korelasyon Katsayısı (ICC)

Kappa ailesi kategorik veri içindir; değerlendirme sürekli bir ölçüyse, örneğin iki gözlemcinin ölçtüğü tümör çapı ya da bir ölçekten alınan puan, ICC kullanılıyor. ICC, gözlemciler arasındaki tutarlılığı veya mutlak uyumu, varyans bileşenlerine ayırarak hesaplıyor. İki ölçüm yönteminin birbirinin yerine kullanılıp kullanılamayacağı sorulduğunda ise tek bir katsayının yanında uyum sınırlarına ve klinik kabul ölçütüne de bakılır; bu yaklaşımı laboratuvar yöntem karşılaştırması yazımızda anlattık.

Shrout ve Fleiss'in 1979'daki çalışması ICC'nin tek bir formül olmadığını, seçime bağlı altı farklı biçimi olduğunu ortaya koydu [2]. Seçimi üç soru belirliyor. Her özneyi aynı gözlemciler mi değerlendirdi? Gözlemciler daha geniş bir havuzdan rastgele mi seçildi, yoksa yalnız bu gözlemcilerle mi ilgileniliyor (model 1, 2 ya da 3)? Tek bir gözlemcinin ölçümü mü, yoksa gözlemci ortalaması mı raporlanacak (birim)? Koo ve Li'nin aktardığı McGraw ve Wong sınıflaması bunlara tutarlılık ile mutlak uyum arasındaki seçimi de ekliyor [3]. Bu yüzden bir makalede ICC raporlarken hangi biçimin kullanıldığını (örneğin ICC(2,1) veya ICC(3,k)) açıkça belirtmek gerekiyor; aksi hâlde değer yorumlanamaz hâle geliyor.

Hangisi Nerede ve Değer Nasıl Yorumlanır?

Aşağıdaki tablo yöntem seçimini özetliyor.

Kappa değerini yorumlamak için Landis ve Koch'un 1977'deki bantları yaygın olarak kullanılıyor [1]. ICC için ise Koo ve Li'nin 2016'daki bantları öne çıkıyor; yazarlar bu bantları nokta tahminine değil, ICC'nin %95 güven aralığına (GA) uyguluyor (örneğin GA 0,83–0,94 ise güvenilirlik "iyi" ile "mükemmel" arasında) [3].

Bu bantlar pratik birer kılavuz, mutlak eşik değil. Sağlık araştırmalarında daha katı ölçütler öneriliyor; örneğin McHugh 0,60'ın altındaki kappayı yetersiz sayıyor [4]. Bandın kendisi bağlamdan bağımsız bir geçer not vermiyor. Kappanın, yüksek ham uyuma rağmen düşük çıkabildiği durumları Cohen kappa yorumlama ve kappa paradoksu yazısında, hangi katsayının hangi tasarıma uyduğunu ise hangi uyum katsayısı seçim rehberi yazısında ele alıyoruz. Analizden önce hangi testin sorunuza uyduğunu görmek için istatistiksel test seçimi yazısı da yardımcı olabilir.

Kaynaklar

1. Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159-174. PMID 843571
2. Shrout PE, Fleiss JL. Intraclass correlations: uses in assessing rater reliability. Psychol Bull. 1979;86(2):420-428. PMID 18839484 · DOI
3. Koo TK, Li MY. A guideline of selecting and reporting intraclass correlation coefficients for reliability research. J Chiropr Med. 2016;15(2):155-163. PMID 27330520 · DOI
4. McHugh ML. Interrater reliability: the kappa statistic. Biochem Med (Zagreb). 2012;22(3):276-282. PMID 23092060
5. Feinstein AR, Cicchetti DV. High agreement but low kappa: I. The problems of two paradoxes. J Clin Epidemiol. 1990;43(6):543-549. PMID 2348207
6. Fleiss JL. Measuring nominal scale agreement among many raters. Psychol Bull. 1971;76(5):378-382. doi:10.1037/h0031619

Bu yazı bilgilendirme amaçlıdır. Ölçek validasyonu, tanısal uyum ve güvenilirlik çalışmalarınızda katsayı seçimi, hesaplama ve raporlama tarafında yol almak isterseniz, süreci başvuru formumuz üzerinden birlikte şekillendiriyoruz.