Bir risk skorunun yayımlandığı çalışmada başarılı olması, kendi hastalarınızda da aynı doğrulukla çalışacağını göstermez. Model hastaları risklerine göre iyi sıralarken olay olasılıklarını sistematik olarak yüksek ya da düşük hesaplayabilir. Yerel doğrulamada bu iki özellik ayrı ayrı incelenir.
Yayımlanmış bir modelin, örneğin kalp cerrahisinde EuroSCORE II'nin, geliştirildiği veriden ayrı yeni bir hasta grubunda sınanması dış doğrulama (external validation) olarak geçer; bir merkezin kendi hastalarında yaptığına "yerel doğrulama" ya da "yerel validasyon" da denir. Modelin geliştirildiği popülasyonda, örneğin veriyi rastgele bölerek ya da yeniden örneklemeyle yapılan değerlendirme ise iç doğrulamadır; onu klinik tahmin modeli geliştirmeyi anlattığımız yazıda ele aldık.
Skor hangi hastalar, hangi sonlanım ve hangi süre için geliştirildi?
TRIPOD+AI raporlama rehberi, tahmin edilen sonlanımın nasıl ve ne zaman ölçüldüğüyle birlikte açıkça tanımlanmasını, tahmin ufkunun (time horizon) belirtilmesini ve geliştirme ile doğrulama verileri arasındaki farkların sağlık hizmeti ortamı, uygunluk ölçütleri, sonlanım ve öngörücüler açısından raporlanmasını istiyor. Sonlanımın tanımı ya da tahmin ufku modelinkinden farklıysa karşılaştırma, modelin yaptığı tahmini değil başka bir tahmini sınar. Hasta grubundaki ve sonlanımın saptanışındaki farklar ise dış doğrulamanın konusudur; sonuç bu farklarla birlikte yorumlanır.
Kalp cerrahisi dışından yakın tarihli bir örnek bu farkların sonuca nasıl yansıyabileceğini gösteriyor. Kohn ve arkadaşlarının 11 Eylül 2026'da çevrim içi yayımlanan prognostik çalışması, Epic'in geliştirdiği ve bir yıllık ölüm riskini tahmin eden End-of-Life Care Index'i (EOLCI) iki ABD sağlık sistemine bağlı 39 hastanede, 2022 yılındaki yatışlar üzerinde dış doğrulamayla değerlendirdi. Model ağırlıklı olarak ayaktan başvurulardan oluşan bir veriyle geliştirilmişti; doğrulama ise yatan hastalarda, yatışın 36. saatine en yakın skorla yapıldı.
Hastaları sıralamak ile doğru risk vermek
Ayrım (discrimination), modelin olayı yaşayan hastalara olayı yaşamayanlardan ne ölçüde daha yüksek risk verdiğidir. İkili sonlanımlarda çoğunlukla C istatistiğiyle, yani ROC eğrisi altındaki alanla (AUC) ölçülür. Kalibrasyon ise modelin verdiği risklerin gözlenen olay oranıyla ne kadar uyuştuğunu gösterir. Van Calster ve arkadaşlarının kalibrasyon üzerine makalesi, iyi ayrım gösteren bir modelin bile risk tahminlerinin güvenilmez olabileceğinin sık gözden kaçtığını vurguluyor.
EOLCI çalışması bu farkı gösteriyor. C istatistiği Trinity Health'te 0,76, Kaiser Permanente Southern California'da (KPSC) 0,81 bulundu; yazarlar ayrımı orta ile yüksek düzeyde, kalibrasyonu ise iki sistemde de kötü olarak niteliyor. Trinity Health'te model bir yıllık ölüm riskini olduğundan yüksek tahmin etti. KPSC'de gözlenen risk %30'un altındayken kalibrasyon iyiydi, daha yüksek risklerde ise yine fazla tahmin vardı. Yazarlara göre skor başlangıçta risk sınıflaması amacıyla tasarlanmıştı. Gözledikleri kalibrasyon sorununu büyük olasılıkla analizlerinde skoru kalibre edilmiş bir olasılık gibi ele almalarına ve geliştirme verisi (ağırlıklı olarak ayaktan başvurular) ile doğrulama verisi (yatan hastalar) arasındaki belirgin hasta profili farkına bağlıyorlar.
Sonlanımın nasıl saptandığı da sonucu etkiler. Çalışmada ölümler ancak elektronik sağlık kayıtlarında yer alıyorsa saptanabildi. Yazarlara göre sistem dışı ölümler hayatta kalmış sayılacağından model riski olduğundan fazla tahmin ediyor gibi görünebilir; bu mekanizma özellikle Trinity Health'te gözlenen fazla tahminin bir kısmını açıklayabilir, entegre bir sistem olan KPSC'de ise bu kaygı büyük ölçüde azalıyor.
AUC değerleri neredeyse aynı olan iki model, farklı sayıda hastayı yüksek riskli sayabilir. Van Calster ve arkadaşlarının aktardığı, Birleşik Krallık'ta 2 milyon hastalık bir dış doğrulamada 10 yıllık kardiyovasküler hastalık riskini tahmin eden QRISK2–2011'in kalibrasyonu iyiydi (AUC 0,771). NICE Framingham'ın AUC'si biraz daha yüksekti (0,776), ama riski fazla tahmin ediyordu. Müdahale için %20 risk eşiği kullanılsaydı QRISK2–2011, 35–74 yaş arasındaki her 1000 erkekten 110'unu yüksek riskli sayacak, NICE Framingham ise neredeyse iki katını, 206'sını seçecekti. Yazarlara göre fazla tahmin gereğinden fazla tedaviye, eksik tahmin yetersiz tedaviye yol açar. Bu nedenle yalnız AUC değerine bakarak modelin kendi hastalarınızda kullanılabilir olduğuna karar verilemez.
Kalibrasyon eğrisi ve özet ölçütler
Van Calster ve arkadaşları kalibrasyonu giderek sıkılaşan düzeylerde ele alıyor. En temel düzey, ortalama tahmin edilen riski genel olay oranıyla karşılaştıran ortalama kalibrasyondur (calibration-in-the-large). Riley ve arkadaşları bu düzeyi örneğin gözlenen/beklenen (O/E) oranıyla ölçüyor; 1'in altındaki değer fazla tahmini, üstündeki değer eksik tahmini gösterir. Bir sonraki düzeyde kalibrasyon kesişimi ve kalibrasyon eğimi incelenir. Kesişimin hedef değeri 0, eğiminki 1'dir. 1'den küçük eğim tahminlerin fazla uç olduğunu, yani yüksek riskli hastalara fazla, düşük riskli hastalara az risk verildiğini düşündürür. Daha sıkı bir değerlendirmede tahmin edilen risk ile gözlenen oran, esnek bir kalibrasyon eğrisiyle bütün risk aralığında karşılaştırılır.
Kesişimin 0'a, eğimin 1'e yakın olması eğrinin köşegene yakın olduğunu garanti etmez. Kalibrasyon eğimi grafikteki çizginin gözle görülen eğimi de değildir; ikili sonlanımlarda lojit ölçeğinde kestirilen bir sayıdır. Van Calster ve arkadaşları dış doğrulamada kalibrasyon eğrisine, kesişime ve eğime birlikte odaklanılmasını öneriyor. Hosmer–Lemeshow testi sık sık bir kalibrasyon testi olarak sunulsa da aynı yazarlar kalibrasyonu değerlendirmek için bu testin kullanılmamasını öneriyor. Gerekçeleri, testin hastaları yapay risk gruplarına ayırması, kalibrasyon sapmasının türü ve büyüklüğü hakkında bilgi vermeyen bir p değeri üretmesi ve gücünün düşük olmasıdır.
Tek bir özet oran alt gruplardaki sapmaları da örtebilir. EuroSCORE II'yi 22 çalışma ve 145.592 ameliyat üzerinden değerlendiren Guida ve arkadaşlarının meta-analizinde genel O/E oranı 1,019 bulundu (%95 güven aralığı 0,899–1,139); izole koroner arter baypas ameliyatında ise model ölüm riskini anlamlı düzeyde fazla tahmin etti (O/E 0,829; %95 güven aralığı 0,677–0,982), yüksek riskli işlemlerdeki eksik tahmin anlamlı değildi (O/E 1,253; %95 güven aralığı 0,936–1,570). Çalışmalar arasında anlamlı heterojenlik vardı. Yazarlara göre heterojenliği ve genel kestirimi güçlü biçimde etkileyen Virginia çalışması (50.588 işlem) çıkarıldığında koroner baypastaki fazla tahmin anlamlılığını yitiriyor, yüksek riskli işlemlerdeki eksik tahmin ise anlamlı hâle geliyordu; bu analizin verileri makalede gösterilmiyor. Bu sonuçlar belirli bir merkezdeki performansı göstermez. EuroSCORE II'nin hangi hastalarda yanıldığını ayrı bir yazıda ele aldık.
Örneklem hesabında performans ölçütlerinin kesinliği nasıl dikkate alınır?
C istatistiğini ve kalibrasyon eğimini kestirmek için önerilen kaba kural en az 100 olay ve olayı yaşamayan (olaysız) 100 hasta, kalibrasyon eğrisi için ise 200 olay ve 200 olaysız hastadır. Riley ve arkadaşları bu kuralları bir başlangıç noktası sayıyor ama sorunlu buluyor. Kurallar modele ve klinik ortama özgü değildir; performans ölçütlerinin kesinliği olay ve olaysız hasta sayısının yanında tahmin edilen risklerin dağılımına da bağlıdır. Bu yüzden kaba kurallar gerektiğinden küçük ya da gereksiz ölçüde büyük örneklemlere yol açabilir.
Yazarlar ikili sonlanımlar için dört ayrı hesap öneriyor. Bu hesaplar O/E oranının, kalibrasyon eğiminin, C istatistiğinin ve model klinik karar için kullanılacaksa net faydanın yeterli kesinlikte kestirilmesini hedefler. Gereken bilgiler beklenen olay oranı, beklenen C istatistiği, O/E ve eğim için varsayımlar, modelin tahmin ettiği risklerin dağılımı, varsa klinik karar eşikleri ve her ölçüt için hedeflenen güven aralığı genişliğidir. Hesap, Stata ve R için geliştirilen pmvalsampsize paketiyle yapılabiliyor.
Yazarların örneğinde (olay oranı %43 ve C istatistiği 0,77 varsayılan bir klinik kötüleşme modeli) net fayda dâhil dört ölçütün hepsi için en az 949 hasta ve 408 olay gerekti; en büyük gereksinim kalibrasyon eğiminden geliyordu. Yazarlara göre bu, 100 (ya da 200) olay ve aynı sayıda olaysız hasta öngören kaba kuraldan çok daha büyük bir örneklemdir. Sayı o modele ve o varsayımlara özgüdür; risk dağılımı daha dar varsayıldığında büyüyordu, dağılım aynı tutulup kalibrasyon eğimi 0,9 ya da C istatistiği 0,72 varsayıldığında ise 949'un altına iniyordu. Yazarlara göre kalibrasyon eğrisinin tamamını yüksek kesinlikle kestirmek çok büyük örneklemler gerektirebilir; eğri en azından klinik karar eşiklerinin bulunduğu bölgede yeterince kesin olmalıdır. Tahmin modelleri için örneklem hesabının genel çerçevesi tahmin modeli ve tanı doğruluğu çalışmalarında örneklem büyüklüğünü anlattığımız yazıda yer alıyor.
Eksik veriler ve hasta grupları arasındaki farklılıklar
Eksik veri, toplanması gereken hasta sayısını artırdığı gibi sonuçlarda yanlılığa da yol açabilir. TRIPOD+AI'ye göre eksik verinin nasıl ele alındığı, dışarıda bırakılan verilerin gerekçesi ve eksik veri miktarı raporlanır; eksik verinin yanlılık ve belirsizlik üzerindeki etkisi de sınırlılıklar arasında tartışılır. Eksik veriye yaklaşımlar eksik veri analizi yöntemlerini anlattığımız yazının konusu.
Hasta grupları da bir merkezden öbürüne değişir. Van Calster ve arkadaşları, hasta özelliklerinin ve hastalık sıklığının merkezler, bölgeler ve ülkeler arasında çoğu zaman büyük farklılık gösterdiğini yazıyor. Olay sıklığı yüksek bir ortamda geliştirilen bir model, sıklığın daha düşük olduğu bir ortamda riski sistematik olarak fazla tahmin edebilir. Hasta grupları zamanla da değişir; Van Calster ve arkadaşlarına göre modeller ideal olarak yerel ortamda sürekli izlenmelidir.
TRIPOD+AI'ye göre performans tahminleri güven aralıklarıyla ve önemli alt gruplar için de raporlanır. EOLCI çalışmasında, değerlendirmeyi başlatan klinik deneme için önceden seçilen %70 risk eşiğinde model önceden belirlenen alt grupların çoğunda benzer performans gösterdi; yaş arttıkça performans kötüleşti, kalibrasyon da özellikle en yaşlı grupta ve bazı tanı gruplarında kötüydü. Yazarlar sağlık sistemlerinin performansı kendi hedef hasta gruplarında incelemesi gerektiğini belirtiyor.
Risk skorunda yerel doğrulama ve güncelleme nasıl ayrılır?
Dış doğrulama, mevcut modelin yeni hastalarda nasıl çalıştığını ölçer; güncelleme ise modelin kendisini değiştirir. Van Calster ve arkadaşlarına göre doğrulamada kötü kalibrasyon bulunduğunda modelin güncellenmesi düşünülmelidir. Regresyona dayalı modellerde güncelleme, ortalama kalibrasyonu düzeltmek için kesişimin değiştirilmesiyle başlayabilir; modelin bütünüyle yeniden kestirilmesi ise yeterli veri gerektirir ve yazarlara göre doğrulama örneklemi görece büyükse kalibrasyonu iyileştirir. Güncellemede kullanılan verideki uyum, güncellenmiş modelin yeni hastalardaki performansının yerini tutmaz. TRIPOD+AI yapılan güncellemenin, güncellenmiş modelin ve sonraki performansının ayrıca raporlanmasını istiyor.
EuroSCORE II'yi geliştiren ekip, skorun kullanımında birimlere ve cerrahlara özgü bir düzeltme öneriyor. Nashef ve arkadaşlarına göre her birim ve cerrah, gözlenen ölüm oranını modelin tahmin ettiği ölüm oranına bölerek risk düzeltilmiş mortalite oranını (RAMR) hesaplamalıdır; bu oran yukarıdaki O/E oranının kendisidir. Yazarlara göre hastaya bildirilebilecek en doğru tahmin, EuroSCORE II tahmini ile birimin ya da cerrahın RAMR'ının çarpımıdır; RAMR ancak en az bir yıllık iş yükünü temsil eden, yeterince büyük bir hasta grubunda yeterli güvenle verilebilir ve düzenli aralıklarla güncellenmelidir. Bu çarpım olasılık ölçeğinde yapılan bir düzeltmedir; lojit ölçeğinde kesişimin güncellenmesiyle aynı işlem değildir.
Başka bir model olan EOLCI'de ise yazarlar modeli yeniden kalibre etmedi ya da yeniden kestirmedi; bunların kalibrasyonu iyileştirebileceğini kabul ediyor, ama modeli bugün kullanılabildiği hâliyle değerlendirmeyi amaçlıyorlar. Üreticinin pratik bir kural olarak önerdiği ve veri setine özgü olduğunu belirttiği ölçek düzeltmesini (skoru 3'e bölmek) doğrulanmamış olduğu için kullanmadılar; klinik kullanımdan önce yerel doğrulamanın önemini vurguladılar.
Bulgular ve modelin sınırları nasıl raporlanmalı?
TRIPOD+AI, modelin regresyonla ya da makine öğrenmesiyle kurulmuş olmasına bakmadan tahmin modeli çalışmaları için 27 maddelik bir kontrol listesi sunuyor ve TRIPOD 2015 listesinin artık kullanılmaması gerektiğini belirtiyor. Dış doğrulamada veri kaynakları ve tarihleri, geliştirme ve doğrulama verileri arasındaki farklar, örneklem gerekçesi, eksik veri, kullanılan performans ölçütleri ve grafikler, alt gruplar dâhil güven aralıklı tahminler ve varsa güncelleme ayrı maddelerdir. Örneklemin temsil gücüne, büyüklüğüne ya da eksik veriye bağlı sınırlılıkların yanlılık, istatistiksel belirsizlik ve genellenebilirlik üzerindeki etkisi de tartışılır.
| Sık görülen ifade | Sorunu | Daha sağlam yaklaşım |
|---|---|---|
| "AUC 0,80, model iyi" | Ayrım, verilen risklerin doğruluğunu göstermez; genel bir AUC eşiği modele ve kullanım amacına özgü değildir | Ayrım, kalibrasyon eğrisi, kesişim ve eğim birlikte; model karar için kullanılacaksa klinik fayda |
| "Hosmer–Lemeshow p > 0,05, kalibrasyon iyi" | Yapay gruplama, sapmanın türünü ve büyüklüğünü göstermeyen p değeri, düşük güç | Esnek kalibrasyon eğrisi, kesişim ve eğim |
| "100 olay yeterli" | Kural modele ve ortama özgü değildir; kesinlik risklerin dağılımına da bağlıdır | Hedeflenen kesinliğe göre hesap |
| "Model yeniden kalibre edildi, sorun çözüldü" | Güncelleme modeli değiştirir; veri yeterliliği ve sonraki performans ayrıca gösterilmelidir | Güncelleme yöntemi, güncellenmiş model ve performansı ayrı raporlanır |
TRIPOD+AI'yi hazırlayan grup, doğrulanmış tahmin modeli diye bir şey olmadığını da yazıyor. Bir model, değerlendirildiği hasta grubunda ve değerlendirildiği sonlanım ile süre için belirli bir performans gösterir. Modelin dış doğrulaması ve gerekiyorsa güncellenmesi, ayrı amaçlar ve analiz adımları olarak ileri düzey istatistik modelleme kapsamında değerlendirilebilir.
Bir risk skorunun yerel doğrulaması istatistiksel bir incelemedir; skorun klinik kararlarda nasıl kullanılacağı ilgili klinik ekibin kararıdır.
Kullanılan kaynaklar
- Kohn R, Courtright KR, Grau-Sepulveda M, ve ark. Accuracy and Equity of the End-of-Life Care Index in Predicting 1-Year Mortality. JAMA Netw Open. 2026;9(9):e2633038. PMID 42726481 · DOI
- Van Calster B, McLernon DJ, van Smeden M, ve ark. Calibration: the Achilles heel of predictive analytics. BMC Med. 2019;17(1):230. PMID 31842878 · DOI
- Riley RD, Snell KIE, Archer L, ve ark. Evaluation of clinical prediction models (part 3): calculating the sample size required for an external validation study. BMJ. 2024;384:e074821. PMID 38253388 · DOI
- Collins GS, Moons KGM, Dhiman P, ve ark. TRIPOD+AI statement: updated guidance for reporting clinical prediction models that use regression or machine learning methods. BMJ. 2024;385:e078378. PMID 38626948 · DOI
- Nashef SAM, Roques F, Sharples LD, ve ark. EuroSCORE II. Eur J Cardiothorac Surg. 2012;41(4):734-44; discussion 744-5. PMID 22378855 · DOI
- Guida P, Mastro F, Scrascia G, ve ark. Performance of the European System for Cardiac Operative Risk Evaluation II: a meta-analysis of 22 studies involving 145,592 cardiac surgery procedures. J Thorac Cardiovasc Surg. 2014;148(6):3049-57.e1. PMID 25161130 · DOI