ROC Analizi ve Cut-off Seçimi: AUC Tek Başına Neden Yetmez?

Tıbbi makalelerde sık görülen bir sonuç cümlesi var: "ROC analizinde AUC 0,71 bulundu. Optimal cut-off 4,8 idi; duyarlılık %78, özgüllük %65."

Cümle sayısal ve kesin görünüyor. Ama şu soruların hiçbirini cevaplamıyor: Hastalar nasıl seçildi? Gerçek hastalık durumu hangi referans standartla belirlendi? Eşik önceden mi belirlendi, yoksa aynı veriden mi seçildi? Yanlış pozitifle yanlış negatifin klinik maliyeti aynı mı? Güven aralıkları ne kadar geniş?

ROC analizi bu soruların yerine geçmiyor — onları sorulabilir hâle getiriyor.

AUC neyi ölçer, neyi ölçmez?

AUC, hasta olan ve olmayan iki kişi rastgele seçildiğinde testin bunları doğru sıralama olasılığını özetliyor. 0,5 civarı rastgele sıralamaya yakın; 1,0'a yaklaştıkça ayrım güçleniyor.

"0,7 kabul edilebilir, 0,8 iyi" gibi evrensel sınıflar ise klinik bağlamdan bağımsız kullanılmamalı. Aynı AUC, farklı eşiklerde çok farklı duyarlılık ve özgüllük üretebiliyor.

Bir tanı testinde hedef kullanım, referans standart ve hasta spektrumu; bir risk tahmin modelinde ise ayrımın yanında kalibrasyon ve karar analizi değerlendirilmeli. Olabilirlik oranlarının bu tabloya ne kattığını LR yorumlama yazımızda ele aldık.

En kritik ayrım: eşik nereden geldi?

Bu, ROC raporlamasının en çok atlanan noktası.

Önceden tanımlı eşik, kılavuz, üretici, önceki doğrulama çalışması veya klinik karar sınırından geliyor. Veri görülmeden belirlenmiş; çalışmanın amacı bu eşikteki performansı ölçmek.

Keşifsel eşik ise aynı veride hesaplanıyor: Youden indeksi (duyarlılık + özgüllük − 1) veya benzer bir ölçüt en yüksek değeri veren noktayı seçiyor. Bu eşik hem seçildiği hem değerlendirildiği veri aynı olduğu için iyimser performans gösteriyor.

STARD 2015, tanı doğruluğu çalışmalarında raporlanması gereken 30 maddelik listeyi veriyor ve test pozitifliği eşiklerinin önceden mi tanımlandığı yoksa sonuçlar görüldükten sonra mı belirlendiği ayrımının açıkça belirtilmesini istiyor.

Youden her klinik soruya uygun mu?

Youden indeksi duyarlılık ve özgüllüğe eşit ağırlık veriyor. Oysa klinik maliyetler çoğu zaman eşit değil:

Eşik seçimi hedef kullanıma, kararın sonucuna ve kabul edilen hata maliyetine bağlanmalı. "Önceden tanımlanan en az %90 duyarlılığı sağlayan en yüksek özgüllük" gibi bir kural, birçok klinik soruda Youden'den daha anlamlı oluyor — ve önceden yazıldığı için keşifsel seçim sorununu da azaltıyor.

Hasta seçimi AUC'yi nasıl şişirir?

İleri evre hastaları tamamen sağlıklı kontrollerle karşılaştırmak, testin ayrımını gerçek klinik kullanımdan daha yüksek gösteriyor. Bu, spektrum yanlılığı olarak biliniyor.

Testin kullanılacağı gerçek hasta yolunu yansıtan örneklem, tanı belirsizliği bulunan ve benzer semptomlarla başvuran ardışık hastalardan oluşuyor. Dahil etme biçiminin — ardışık mı, rastgele mi, uygunluk örneklemi mi — raporlanması bu yüzden önemli.

Referans standart ve körleme

Yeni testin doğruluğu, gerçek hastalık durumunu belirleyen referans standarda göre hesaplanıyor. Referans standart hatalıysa duyarlılık ve özgüllük de bozuluyor.

Yazılması gerekenler: referans standardın tanımı ve seçim gerekçesi, tüm hastalara aynı standardın uygulanıp uygulanmadığı, indeks test sonucunun referans değerlendirmede bilinip bilinmediği, belirsiz veya teknik olarak başarısız sonuçların nasıl yönetildiği, iki test arasındaki zaman aralığı ve bu sürede tedavi değişikliği olup olmadığı.

Körleme yoksa gözlemci beklentisi sınıflandırmayı etkileyebiliyor — özellikle görüntüleme ve patoloji gibi yorum gerektiren testlerde.

Güven aralıkları ve iki ayrı payda

AUC, duyarlılık ve özgüllük nokta tahminleri %95 güven aralıklarıyla raporlanmalı. Toplam örneklem büyük görünse bile hastalığı olan ve olmayan grupların ayrı paydaları belirleyici: 200 kişilik bir çalışmada prevalans %5 ise duyarlılık yalnız 10 hasta üzerinden hesaplanır ve güven aralığı çok geniş kalır.

Eşik aynı veride seçildiyse standart güven aralıkları seçim belirsizliğini tam yansıtmayabiliyor. Bootstrap ile iç doğrulama veya ayrı bir doğrulama örneklemi iyimserliği değerlendirmeye yardımcı oluyor. Küçük veri setini rastgele ikiye bölmek her zaman iyi bir çözüm değil — her iki parçadaki bilgi azalıyor; bootstrap çoğu geliştirme senaryosunda daha verimli.

İki AUC'yi karşılaştırmak yeterli mi?

Yeni bir biyobelirteç mevcut modele eklendiğinde AUC çok az değişebiliyor. Bu tek başına klinik katkının yokluğunu da varlığını da kanıtlamıyor. Birlikte incelenmesi gerekenler:

• Kalibrasyon eğrisi ve kalibrasyon eğimi
• Brier skoru gibi genel performans ölçüleri
• Klinik olarak anlamlı eşiklerdeki duyarlılık ve özgüllük değişimi
• Karar eğrisi ve net yarar
• İç değerlendirme, mümkünse dış değerlendirme

Burada bir çerçeve sorusu da var: çalışma bir tanı testi doğruluğu çalışması mı, yoksa bir risk tahmin modeli çalışması mı? İkisi farklı raporlama ailelerine ait; tahmin modeli geliştiriyorsanız klinik tahmin modeli ve TRIPOD+AI yazımıza bakmanız daha uygun.

Örnek raporlama

İndeks testin referans standarda göre ayrım performansı ROC analiziyle değerlendirildi ve AUC %95 güven aralığıyla raporlandı. Klinik uygulamada yüksek duyarlılık hedeflendiği için eşik, önceden belirlenen en az %90 duyarlılığı sağlayan en yüksek özgüllük ölçütüne göre seçildi. Eşik geliştirme örnekleminde belirlendi; bootstrap ile iç doğrulama yapıldı. Aynı veride seçilen eşik, doğrulanmış klinik karar sınırı olarak yorumlanmadı.

Gerçek çalışmada hangi yöntem uygulandıysa metin ona göre yazılmalı — bu paragraf bir şablon değil, netlik düzeyinin örneği.

Raporlama kontrol listesi

• Çalışma başlıkta tanı doğruluğu çalışması olarak tanımlandı mı?
• Testin hedef kullanımı ve klinik rolü açık mı?
• Katılımcı seçimi ve örnekleme yöntemi yazıldı mı?
• İndeks test ve referans standart ayrıntılı anlatıldı mı?
• Eşik önceden mi tanımlandı, keşifsel mi? Açıkça belirtildi mi?
• Körleme durumu açıklandı mı?
• Belirsiz ve eksik sonuçların yönetimi yazıldı mı?
• Örneklem gerekçesi hastalığı olan ve olmayan sayılarını içeriyor mu?
• Akış şeması ve testler arası zaman aralığı var mı?
• AUC, duyarlılık ve özgüllük güven aralıklarıyla verildi mi?
• Seçilen eşik bağımsız veya iç doğrulamada değerlendirildi mi?
• Öngörü değerleri prevalans bağlamında yorumlandı mı?

ROC eğrisinden sonra ne gelir?

ROC eğrisi bir başlangıç, klinik kararın tamamı değil. En belirleyici ayrım da önceden tanımlı eşik ile aynı veriden seçilmiş keşifsel cut-off arasında.

AUC'nin yanına hasta seçimi, referans standart, güven aralığı, doğrulama ve klinik hata maliyeti konmadan "optimal eşik" iddiası kurulamıyor. Bu ayrımı kendi verinizde kurmak isterseniz, eşik kararını çalışmanın amacı ve örneklem yapısıyla birlikte değerlendirdiğimiz biyoistatistik analiz sürecinde yanınızda olabiliriz.

Tanı doğruluğu ölçülerini kendi verinizle denemek isterseniz tanısal doğruluk hesaplayıcısını ve test sonrası olasılık için Fagan nomogramını kullanabilirsiniz.

Kullanılan kaynaklar

• Bossuyt PM, Reitsma JB, Bruns DE, ve ark. STARD 2015: an updated list of essential items for reporting diagnostic accuracy studies. BMJ. 2015;351:h5527. PMID 26511519 · DOI
• Collins GS, Moons KGM, Dhiman P, ve ark. TRIPOD+AI statement: updated guidance for reporting clinical prediction models that use regression or machine learning methods. BMJ. 2024;385:e078378. PMID 38626948 · DOI