Cohen's kappa, Fleiss' kappa ve ICC ile gözlemciler arası uyum ve güvenilirliği hesaplayın.
Gözlemciler arası uyum hesaplayıcısı, aynı özneleri değerlendiren gözlemcilerin ne ölçüde tutarlı olduğunu ölçen bir güvenilirlik aracıdır. Kategorik veride Cohen's kappa (Cohen 1960, iki gözlemci) ve Fleiss' kappa (Fleiss 1971, çok gözlemci); sürekli veride ICC (Shrout & Fleiss 1979, iki yönlü rastgele etki) hesaplar. Ölçek validasyonu, tanısal uyum ve güvenilirlik çalışması yürüten araştırmacılar, biyoistatistikçiler ve tez öğrencileri için tasarlanmıştır.
3 Yöntem
Cohen · Fleiss · ICC
Ağırlıklı κ
Sıralı kategoriler
Landis-Koch
Yorum eşikleri
Uyum katsayısı seçimi veri türüne ve çalışma tasarımına bağlıdır; yanlış katsayı yanıltıcı sonuç verir. ICC form seçimi Koo & Li (2016) rehberine göre gerekçelendirilmeli ve güven aralığıyla raporlanmalıdır.
2 gözlemci, kategorik veri (k×k uyum matrisi)
Her satır bir kategoriyi (Gözlemci 1), her sütun aynı kategorileri (Gözlemci 2) temsil eder. Hücreye o kombinasyondaki gözlem sayısını girin. Satırlar yeni satırla, hücreler boşluk veya virgülle ayrılır; ondalık için nokta kullanın.
Sonuçlar burada görünecek
Yöntemi seçin, veri matrisini girin ve Hesapla tuşuna basın
Kaynak künyeli, biyoistatistik ve klinik araştırma perspektifiyle hazırlanmıştır.
Gözlemciler arası uyum hesaplayıcısı, aynı özneleri değerlendiren birden fazla gözlemcinin kararlarının ne ölçüde tutarlı olduğunu ölçen bir güvenilirlik aracıdır. Kategorik veride Cohen’s kappa (iki gözlemci) ve Fleiss’ kappa (çok gözlemci); sürekli/ölçüm verisinde ICC (Intraclass Correlation Coefficient) hesaplar. Sıralı kategorilerde ağırlıklı kappa seçeneği sunar.
Bir ölçüm yönteminin, tanısal testin veya derecelendirme ölçeğinin güvenilir olması için farklı gözlemcilerin benzer sonuçlara ulaşması gerekir. Gözlemciler arası uyum, ölçek validasyonu, tanısal çalışmalar ve çok merkezli araştırmalarda veri kalitesinin temel göstergesidir; düşük uyum, sonuçların yorumunu ve genellenebilirliğini sınırlar.
Ölçek geliştirme/uyarlama, tanısal doğruluk ve güvenilirlik çalışması yürüten araştırmacılar, psikometristler, radyologlar/patologlar (görüntü/preparat değerlendirmesi) ve biyoistatistikçiler için tasarlanmıştır.
Veri türünüze göre yöntemi seçin: iki gözlemci-kategorik için Cohen (sıralı kategorilerde ağırlık seçin), çok gözlemci-kategorik için Fleiss, sürekli ölçüm için ICC. Veri matrisini yapıştırın (satırlar yeni satırla, hücreler boşluk/virgülle ayrılır; ondalık için nokta). Hesapla tuşuna bastığınızda katsayı, uyum düzeyi ve hesaplama dökümü sunulur.
Kappa için Landis & Koch (1977): <0,20 önemsiz, 0,21–0,40 zayıf, 0,41–0,60 orta, 0,61–0,80 iyi, 0,81–1,00 çok iyi uyum. ICC için Koo & Li (2016): <0,50 zayıf, 0,50–0,75 orta, 0,75–0,90 iyi, >0,90 mükemmel güvenilirlik. Bu eşikler kaba rehberlerdir; güven aralığı ve çalışma bağlamıyla birlikte yorumlanmalıdır.
Cohen’s kappa gözlenen ve şansa dayalı beklenen uyumu karşılaştırır (ağırlıklı biçimde yakın kategorilere kısmi kredi verilir). Fleiss’ kappa çok gözlemcili tasarıma genellenir. ICC, varyans bileşenlerine dayanır; bu araç iki yönlü rastgele etki, mutlak uyum, tek ölçüm ICC(2,1) formunu (Shrout & Fleiss 1979) hesaplar. Hesaplama sunucu tarafında yürütülür.
Uyum katsayısı seçimi veri türüne, gözlemci sayısına ve çalışma tasarımına bağlıdır; yanlış katsayı yanıltıcı sonuç verir. Kappa, kategori prevalansına ve dengesizliğine duyarlıdır ("kappa paradoksu"). ICC form seçimi (tek/çok ölçüm, mutlak uyum/tutarlılık, rastgele/sabit etki) Koo & Li (2016) rehberine göre gerekçelendirilmeli ve güven aralıklarıyla raporlanmalıdır.
Güvenilirlik çalışması tasarımı, uygun uyum katsayısının seçimi, güven aralığı ve örneklem büyüklüğü hesabı ile ölçek validasyonunda (iç tutarlılık, faktör analizi) biyoistatistik desteği sunuyoruz.
Gözlemciler arası uyum (inter-rater reliability), aynı özneleri değerlendiren birden fazla gözlemcinin kararlarının ne ölçüde tutarlı olduğunu gösterir. Bir ölçüm yönteminin, tanısal testin veya derecelendirme ölçeğinin güvenilir olması için farklı gözlemcilerin benzer sonuçlara ulaşması gerekir. Uygun uyum katsayısı verinin türüne göre seçilir.
Kategorik veriler için kappa katsayıları kullanılır: iki gözlemcide Cohen’s kappa (sıralı kategorilerde ağırlıklı), üç ve daha fazla gözlemcide Fleiss’ kappa. Sürekli/ölçüm verileri için ICC (Intraclass Correlation Coefficient) kullanılır; bu araç Shrout & Fleiss (1979) ICC(2,1) formunu hesaplar. Kappa sonuçları Landis & Koch (1977), ICC sonuçları Koo & Li (2016) eşiklerine göre yorumlanır.
Gözlemciler arası uyum (inter-rater agreement/reliability), aynı özneleri değerlendiren iki veya daha fazla gözlemcinin ne ölçüde tutarlı sonuçlar verdiğini gösterir. Bir ölçüm yönteminin, ölçeğin veya sınıflandırmanın güvenilir olması için farklı gözlemcilerin benzer kararlara varması beklenir. Bu araç, verinizin türüne göre Cohen’s kappa, Fleiss’ kappa veya ICC hesaplar.
Kappa (Cohen ve Fleiss) kategorik (nominal/ordinal) veriler için kullanılır; örneğin "var/yok" veya "evre 1/2/3" gibi sınıflamalar. ICC (Intraclass Correlation Coefficient) ise sürekli/ölçüm verileri (örn. kan basıncı, uzunluk, skor) için kullanılır. Veri türü yanlış seçilirse sonuç yanıltıcı olur; bu nedenle önce ölçüm ölçeğinizi belirlemelisiniz.
Cohen’s kappa tam olarak iki gözlemci arasındaki uyum için tasarlanmıştır. Üç veya daha fazla gözlemci olduğunda Fleiss’ kappa kullanılır; Fleiss, her özne için gözlemcilerin kategori dağılımını değerlendirir ve gözlemciler özneler arasında değişebilir. İki gözlemcide sıralı (ordinal) kategoriler varsa, ağırlıklı kappa yakın kategorilere kısmi kredi verir.
Ağırlıklı kappa, kategoriler sıralı (ordinal) olduğunda kullanılır; örneğin "hafif/orta/şiddetli" gibi. Ağırlıksız kappa tüm uyumsuzlukları eşit ceza sayarken, ağırlıklı kappa birbirine yakın kategoriler arasındaki uyumsuzluğa daha az ceza verir. Doğrusal ağırlık uzaklıkla orantılı, kuadratik ağırlık uzaklığın karesiyle orantılı ceza uygular; kuadratik ağırlık ICC ile yakın sonuç verir.
ICC’nin birden fazla formu vardır (Shrout & Fleiss 1979). Bu araç, en yaygın kullanılan ICC(2,1) formunu hesaplar: iki yönlü rastgele etki modeli, mutlak uyum, tek ölçüm. Bu form, gözlemcilerin daha büyük bir gözlemci havuzundan rastgele seçildiği ve sonuçların başka gözlemcilere genellenmek istendiği güvenilirlik çalışmaları için uygundur. Ortalama ölçüm güvenilirliği için ICC(2,k) değeri de sunulur. Form seçimini Koo & Li (2016) rehberine göre gerekçelendirin.
Kappa için Landis & Koch (1977) eşikleri yaygındır: <0,20 önemsiz, 0,21–0,40 zayıf, 0,41–0,60 orta, 0,61–0,80 iyi, 0,81–1,00 çok iyi uyum. ICC için Koo & Li (2016): <0,50 zayıf, 0,50–0,75 orta, 0,75–0,90 iyi, >0,90 mükemmel güvenilirlik. Bu eşikler kaba rehberlerdir; güven aralığı ve çalışma bağlamıyla birlikte yorumlanmalıdır.
Bu araç eğitim ve araştırma desteği amaçlıdır. Uyum katsayısı seçimi veri türüne (kategorik/sürekli), gözlemci sayısına ve çalışma tasarımına bağlıdır; yanlış katsayı yanıltıcı sonuç verir. ICC form seçimi (tek/çok ölçüm, mutlak uyum/tutarlılık, rastgele/sabit etki) Koo & Li (2016) rehberine göre gerekçelendirilmeli ve güven aralıklarıyla birlikte raporlanmalıdır.
Bu hesaplayıcıyla birlikte kullanabileceğiniz araçlar
Bu aracı daha iyi kullanmanıza yardımcı olacak rehberler
Kategorik ve sürekli verilerde Cohen kappa, Fleiss kappa ve ICC ile gözlemciler arası uyumu değerlendirin.
Kappa değeri 0,40 zayıf mı, orta mı?
Kategorik mi sürekli mi veri, iki mi çok mu gözlemci?
Verilerinizi doğru testlerle analiz ediyor, yayın formatında raporluyoruz. Yöntem seçiminden hakem yanıtına kadar yanınızdayız.
Hizmeti inceleyinKlinik çalışmanız için gereken minimum örneklem büyüklüğünü hesaplıyoruz.
Hizmeti inceleyinTasarımdan yöntem seçimine ve sonuçların yorumuna kadar çalışmanızın istatistik kararlarında baştan sona yanınızdayız.
Hizmeti inceleyinGözlemciler arası uyum, ölçek validasyonu (Cronbach alfa, faktör analizi) ve güvenilirlik analizleri dahil metodolojik biyoistatistik desteği sunuyoruz.