"Yapay zekâ modeli %92 doğrulukla mortaliteyi tahmin etti." Bu cümle klinik kullanım için yeterli bilgi taşımıyor. Olay oranı %8 ise herkese "yaşayacak" diyen bir model de %92 doğruluk gösterir — ve hiçbir hastaya yardımcı olmaz.
Modelin hangi hastada, hangi anda, hangi kararı desteklemek için kullanılacağı belirtilmeden performans sayıları anlam kazanmıyor.
Önce tahmin anını tanımlayın
İyi bir tahmin modeli şu cümleyi tek seferde kurabilmeli:
[Hedef popülasyonda], [belirli bir zaman noktasında mevcut bilgilerle], [belirli bir zaman penceresindeki sonucu] tahmin etmek.
Örnek: "Koroner baypas sonrası yoğun bakıma kabul anındaki bilgilerle 30 günlük mortalite riskini tahmin etmek."
Bu cümle kurulduğunda bir kural da otomatik doğuyor: tahmin anında mevcut olmayan hiçbir bilgi modele giremez. Ameliyat sonrası 48. saatte oluşan bir komplikasyonu prediktör olarak eklemek veri sızıntısıdır — geleceği modele taşır ve performansı gerçekte olmadığı kadar yüksek gösterir.
Sızıntının sessiz biçimleri
Sızıntı yalnız "gelecekteki değişkeni eklemek" değildir. Eksik değerleri tüm veri üzerinde tamamlamak, değişkenleri tüm veride seçmek, ölçekleme parametrelerini tüm veriden hesaplamak ve ardından veriyi eğitim-test diye bölmek de test bölümüne bilgi sızdırır. Performans gerçekte olduğundan yüksek görünür.
Prediktör seçimi p değerine bırakılmamalı
Tek değişkenli p < 0,05 filtresi kararsız ve eksik modeller üretiyor. Aday prediktörler klinik erişilebilirlik, ölçüm güvenilirliği, zamanlama ve önceki kanıta göre belirlenmeli.
Sürekli değişkenleri "normal/anormal" diye kesmek bilgi kaybettiriyor; doğrusal olmayan ilişkiler spline gibi yöntemlerle değerlendirilebilir.
Makine öğrenmesi de otomatik olarak daha iyi model üretmiyor. Küçük ve orta örneklemde iyi kurulmuş cezalı regresyon, karmaşık algoritmalardan daha kararlı ve yorumlanabilir olabiliyor. Algoritma seçimi performansa, veri büyüklüğüne ve uygulama ihtiyacına bağlanmalı.
Eğitim–test bölmesi neden her zaman iyi fikir değil?
300 hastayı rastgele %70–30 bölmek, geliştirme için 210 ve değerlendirme için 90 kişi bırakıyor. Sonlanım nadirse test parçasında çok az olay kalıyor ve performans tahmini aşırı belirsizleşiyor.
İç doğrulamada bootstrap veya tekrarlı çapraz doğrulama veriyi daha verimli kullanıyor. Ancak hiperparametre ayarı ile performans değerlendirmesi aynı döngüde yapılırsa iyimserlik oluşuyor; iç içe çapraz doğrulama gerekebiliyor.
İç doğrulama, dış doğrulama değildir. Aynı merkezden ve aynı veri üretim sürecinden yapılan rastgele bir ayrım, modelin başka bir hastanede çalışacağını göstermez.
AUC'nin yanında kalibrasyon
AUC, olay yaşayanların daha yüksek riskle sıralanıp sıralanmadığını gösteriyor. Kalibrasyon ise verilen olasılıkların gerçek olay oranlarıyla uyumu.
Bir model yüksek AUC'ye rağmen herkese iki kat yüksek risk verebilir. Klinik kararda %20 eşiği kullanılıyorsa bu ciddi sonuç doğurur: model sıralamayı doğru yapar ama eşik yanlış yerde çalışır.
En az şu ölçüler birlikte düşünülmeli:
| Ölçü | Neyi gösterir |
|---|---|
| AUC / c-istatistiği | Ayrım: olay yaşayanlar daha yüksek riskle mi sıralanıyor |
| Kalibrasyon grafiği | Tahmin edilen olasılık ile gözlenen oranın uyumu |
| Kalibrasyon kesişimi | Genel olarak fazla mı az mı risk veriliyor |
| Kalibrasyon eğimi | Risk tahminleri aşırı mı yayılmış, aşırı mı sıkışmış |
| Brier skoru | Genel tahmin hatası (ayrım + kalibrasyon birlikte) |
| Karar eğrisi / net yarar | Belirli eşik aralığında klinik yarar var mı |
Hosmer–Lemeshow testi tek başına kalibrasyon değerlendirmesi değil; örneklem büyüklüğüne ve gruplamaya duyarlı.
Mevcut bir skoru kendi merkezinizde değerlendiriyorsanız risk skoru yerel validasyonu yazımız daha doğrudan bir rehber.
"Model valide edildi" ifadesi neden sorunlu?
TRIPOD+AI, kalıcı bir kalite izlenimi veren bu tür dilden kaçınıyor ve model performansının belirli bir veride değerlendirildiğini vurguluyor. Bir merkezde iyi performans gösteren model, farklı prevalans, farklı ölçüm cihazı veya farklı bakım süreci altında bozulabilir.
Değerlendirme türleri birbirinden ayrı: zamansal (daha sonraki bir dönemde), coğrafi (başka merkez veya bölge), alan (farklı ama ilgili klinik ortam), taşıma veya yeniden kalibrasyon (yeni popülasyonda ayarlama).
Gerçek bir dış değerlendirmede model denklemi ve eşikler dondurulmuş olmalı. Yeni veride modeli yeniden seçmek, değerlendirmeyle geliştirmeyi karıştırmaktır.
Örneklem ve olay sayısı
Tahmin modeli örneklemi "değişken başına 10 olay" kuralıyla belirlenmemeli. Güncel yöntem literatürü aday parametre sayısını, olay oranını, toplam örneklemi, beklenen model performansını ve aşırı uyum ölçütlerini birlikte değerlendiriyor.
Parametre sayısı ile değişken sayısı da aynı şey değil: dört kategorili bir değişken üç parametre, spline terimi birkaç parametre, etkileşimler ek parametre tüketiyor.
Az olaylı veri katsayıları kararsızlaştırıyor, değişken seçimini rastlantısal yapıyor, AUC'yi iyimser gösteriyor, kalibrasyonu bozuyor ve alt grup performansını değerlendirmeyi imkânsızlaştırıyor. Ceza ve shrinkage yardımcı oluyor ama bilgi yokluğunu ortadan kaldırmıyor.
Kullanım senaryosu performansı değiştirir
Aynı model, tarama amacıyla düşük eşikte yüksek duyarlılık; yoğun kaynak gerektiren bir girişime yönlendirmede ise yüksek pozitif öngörü değeri gerektirebilir. Eşik, sonuç verisine bakarak "en uygun" noktaya taşınmamalı; yanlış pozitif ve yanlış negatiflerin klinik maliyetiyle belirlenmeli.
Prevalans değiştiğinde pozitif ve negatif öngörü değerleri de değişiyor. Bu yüzden vaka-kontrol örnekleminden elde edilen öngörü değerlerini doğrudan gerçek kliniğe taşımak hatalı olabiliyor. Eşik ve ayrım konusunun tanı testi tarafını ROC analizi ve cut-off yazımızda ele aldık.
Model güncellendiğinde yeni bir sürüm doğar
Başka bir merkezde kesişimi düzeltmek, katsayıları yeniden tahmin etmek veya yeni prediktör eklemek aynı modelin basit bir doğrulaması değil; güncellenmiş bir sürüm. Hangi sürümün hangi kurumda kullanıldığı, eğitim verisi, kod ve tarih kaydedilmeli. Klinik yazılım içinde sessiz model değişikliği hem yeniden üretilebilirliği hem güvenliği bozuyor.
Eksik veri ve alt grup performansı
Model geliştirmede yalnız tam vakaları kullanmak belirli hasta gruplarını sistematik olarak dışlayabiliyor. İmputasyon, geliştirme ve gelecekteki kullanım koşullarıyla uyumlu planlanmalı: gerçek klinikte bir prediktör sık eksikse modelin o durumda ne yapacağı önceden belirlenmeli.
TRIPOD+AI, performansın önemli sosyodemografik ve klinik alt gruplarda değerlendirilmesini ve adalet konularının raporlanmasını vurguluyor. Ancak küçük bir alt grupta elde edilen belirsiz performans tahmini "eşit çalışıyor" kanıtı değil. Temsil edilmeyen gruplar açıkça belirtilmeli.
Modeli yayımlamak için gerekenler
- Tüm katsayılar ve kesişim, ya da çalışır model nesnesi
- Değişkenlerin tam tanımı ve birimleri
- Eksik veriyle kullanım kuralı
- Prediktör dönüşümleri ve varsa kesme noktaları
- Yazılım ve paket sürümleri
- Eğitim ve değerlendirme veri akışı
- Kalibrasyon ve ayrım sonuçları
- Kod ve protokol erişimi
- Modelin kullanım amacı ve dışlanma koşulları
Yalnız bir nomogram görseli yayımlamak çoğu zaman yeniden üretim için yeterli olmuyor.
TRIPOD+AI ile kritik sorular
TRIPOD+AI 2024, regresyon veya makine öğrenmesiyle geliştirilen ya da değerlendirilen tahmin modelleri için 27 maddelik bir raporlama çerçevesi sunuyor ve TRIPOD 2015 kontrol listesinin yerini alıyor — eski liste artık kullanılmamalı.
- Çalışma model geliştirme mi, performans değerlendirme mi?
- Hedef popülasyon ve tahmin anı açık mı?
- Sonlanım kör ve güvenilir biçimde tanımlandı mı?
- Aday prediktörler ve ölçüm zamanları belirtildi mi?
- Örneklem gerekçesi var mı?
- Eksik veri ve veri sızıntısı yönetildi mi?
- Tüm model geliştirme adımları raporlandı mı?
- İç doğrulama iyimserliği düzeltiyor mu?
- AUC'nin yanında kalibrasyon var mı?
- Klinik yarar uygun eşiklerde incelendi mi?
- Alt grup performansındaki belirsizlikler raporlandı mı?
- Model yeniden uygulanabilecek kadar açık mı?
AUC'nin yanına ne konmalı?
Klinik tahmin modeli bir algoritma yarışması değil; belirli bir klinik anda güvenilir olasılık üretme işi. AUC'nin yanına kalibrasyon, doğrulama, veri kalitesi ve kullanım koşulu konmadan model klinik araca dönüşmüyor.
Model İstatistik olarak ileri düzey istatistik modelleme sürecinde tahmin sorusunu, örneklem gereksinimini, geliştirme–değerlendirme ayrımını ve TRIPOD+AI raporlama gereksinimlerini araştırmacıyla birlikte gözden geçiriyoruz.
Kullanılan kaynaklar
- Collins GS, Moons KGM, Dhiman P, ve ark. TRIPOD+AI statement: updated guidance for reporting clinical prediction models that use regression or machine learning methods. BMJ. 2024;385:e078378. PMID 38626948 · DOI
- van Smeden M, Moons KGM, de Groot JAH, ve ark. Sample size for binary logistic prediction models: Beyond events per variable criteria. Stat Methods Med Res. 2019;28(8):2455-2474. PMID 29966490 · DOI