Cohen's kappa, Fleiss' kappa ve ICC ile gözlemciler arası uyum ve güvenilirliği hesaplayın.
Gözlemciler arası uyum hesaplayıcısı, aynı özneleri değerlendiren gözlemcilerin ne ölçüde tutarlı olduğunu ölçen bir güvenilirlik aracıdır. Kategorik veride Cohen's kappa (Cohen 1960, iki gözlemci) ve Fleiss' kappa (Fleiss 1971, çok gözlemci); sürekli veride ICC(Shrout & Fleiss 1979, iki yönlü rastgele etki) hesaplar. Ölçek validasyonu, tanısal uyum ve güvenilirlik çalışması yürüten araştırmacılar, biyoistatistikçiler ve tez öğrencileri için tasarlanmıştır.
3 Yöntem
Cohen · Fleiss · ICC
Ağırlıklı κ
Sıralı kategoriler
Landis-Koch
Yorum eşikleri
Uyum katsayısı seçimi veri türüne ve çalışma tasarımına bağlıdır; yanlış katsayı yanıltıcı sonuç verir. ICC form seçimi Koo & Li (2016) rehberine göre gerekçelendirilmeli ve güven aralığıyla raporlanmalıdır.
2 gözlemci, kategorik veri (k×k uyum matrisi)
Her satır bir kategoriyi (Gözlemci 1), her sütun aynı kategorileri (Gözlemci 2) temsil eder. Hücreye o kombinasyondaki gözlem sayısını girin. Satırlar yeni satırla, hücreler boşluk veya virgülle ayrılır; ondalık için nokta kullanın.
Sonuçlar burada görünecek
Yöntemi seçin, veri matrisini girin ve Hesapla tuşuna basın
Kaynak künyeli, biyoistatistik ve klinik araştırma perspektifiyle hazırlanmıştır.
Gözlemciler arası uyum hesaplayıcısı, aynı özneleri değerlendiren birden fazla gözlemcinin kararlarının ne ölçüde tutarlı olduğunu ölçen bir güvenilirlik aracıdır. Kategorik veride Cohen’s kappa (iki gözlemci) ve Fleiss’ kappa (çok gözlemci); sürekli/ölçüm verisinde ICC (Intraclass Correlation Coefficient) hesaplar. Sıralı kategorilerde ağırlıklı kappa seçeneği sunar.
Bir ölçüm yönteminin, tanısal testin veya derecelendirme ölçeğinin güvenilir olması için farklı gözlemcilerin benzer sonuçlara ulaşması gerekir. Gözlemciler arası uyum, ölçek validasyonu, tanısal çalışmalar ve çok merkezli araştırmalarda veri kalitesinin temel göstergesidir; düşük uyum, sonuçların yorumunu ve genellenebilirliğini sınırlar.
Ölçek geliştirme/uyarlama, tanısal doğruluk ve güvenilirlik çalışması yürüten araştırmacılar, psikometristler, radyologlar/patologlar (görüntü/preparat değerlendirmesi) ve biyoistatistikçiler için tasarlanmıştır.
Veri türünüze göre yöntemi seçin: iki gözlemci-kategorik için Cohen (sıralı kategorilerde ağırlık seçin), çok gözlemci-kategorik için Fleiss, sürekli ölçüm için ICC. Veri matrisini yapıştırın (satırlar yeni satırla, hücreler boşluk/virgülle ayrılır; ondalık için nokta). Hesapla tuşuna bastığınızda katsayı, uyum düzeyi ve hesaplama dökümü sunulur.
Kappa için Landis & Koch (1977): <0,20 önemsiz, 0,21–0,40 zayıf, 0,41–0,60 orta, 0,61–0,80 iyi, 0,81–1,00 çok iyi uyum. ICC için Koo & Li (2016): <0,50 zayıf, 0,50–0,75 orta, 0,75–0,90 iyi, >0,90 mükemmel güvenilirlik. Bu eşikler kaba rehberlerdir; güven aralığı ve çalışma bağlamıyla birlikte yorumlanmalıdır.
Cohen’s kappa gözlenen ve şansa dayalı beklenen uyumu karşılaştırır (ağırlıklı biçimde yakın kategorilere kısmi kredi verilir). Fleiss’ kappa çok gözlemcili tasarıma genellenir. ICC, varyans bileşenlerine dayanır; bu araç iki yönlü rastgele etki, mutlak uyum, tek ölçüm ICC(2,1) formunu (Shrout & Fleiss 1979) hesaplar. Hesaplama sunucu tarafında yürütülür.
Uyum katsayısı seçimi veri türüne, gözlemci sayısına ve çalışma tasarımına bağlıdır; yanlış katsayı yanıltıcı sonuç verir. Kappa, kategori prevalansına ve dengesizliğine duyarlıdır ("kappa paradoksu"). ICC form seçimi (tek/çok ölçüm, mutlak uyum/tutarlılık, rastgele/sabit etki) Koo & Li (2016) rehberine göre gerekçelendirilmeli ve güven aralıklarıyla raporlanmalıdır.
Güvenilirlik çalışması tasarımı, uygun uyum katsayısının seçimi, güven aralığı ve örneklem büyüklüğü hesabı ile ölçek validasyonunda (iç tutarlılık, faktör analizi) biyoistatistik desteği sunuyoruz.
Bu hesaplayıcıyla birlikte kullanabileceğiniz araçlar
Araştırmanızı bir üst seviyeye taşıyacak profesyonel destek
Gözlemciler arası uyum, ölçek validasyonu (Cronbach alfa, faktör analizi) ve güvenilirlik analizleri dahil metodolojik biyoistatistik desteği sunuyoruz.
Gözlemciler arası uyum (inter-rater reliability), aynı özneleri değerlendiren birden fazla gözlemcinin kararlarının ne ölçüde tutarlı olduğunu gösterir. Bir ölçüm yönteminin, tanısal testin veya derecelendirme ölçeğinin güvenilir olması için farklı gözlemcilerin benzer sonuçlara ulaşması gerekir. Uygun uyum katsayısı verinin türüne göre seçilir.
Kategorik veriler için kappa katsayıları kullanılır: iki gözlemcide Cohen’s kappa (sıralı kategorilerde ağırlıklı), üç ve daha fazla gözlemcide Fleiss’ kappa. Sürekli/ölçüm verileri için ICC (Intraclass Correlation Coefficient) kullanılır; bu araç Shrout & Fleiss (1979) ICC(2,1) formunu hesaplar. Kappa sonuçları Landis & Koch (1977), ICC sonuçları Koo & Li (2016) eşiklerine göre yorumlanır.
Bu araç eğitim ve araştırma desteği amaçlıdır. Uyum katsayısı seçimi veri türüne (kategorik/sürekli), gözlemci sayısına ve çalışma tasarımına bağlıdır; yanlış katsayı yanıltıcı sonuç verir. ICC form seçimi (tek/çok ölçüm, mutlak uyum/tutarlılık, rastgele/sabit etki) Koo & Li (2016) rehberine göre gerekçelendirilmeli ve güven aralıklarıyla birlikte raporlanmalıdır.