Pilot çalışma, klinik araştırmaların en çok yanlış anlaşılan aşamalarından biri. Kimi makaleler pilotla başlıyor, kimileri hiç anmıyor; ortada tek bir standart yokmuş gibi görünüyor. Oysa standart var; asıl sorun, pilotun zaman zaman yanlış amaçla yapılması. Pilotun ne zaman gerçekten gerekli olduğunu anlamak için önce ne işe yaradığını netleştirmek gerekiyor.
Pilot çalışma hipotez testi değildir
Pilot çalışmanın gerçek amacı ana hipotezi test etmek değil, çalışmanın yürütülebilirliğini (fizibilite) sınamaktır. Şu tür sorular sorgulanır: veri toplama aracı çalışıyor mu, katılımcı bulunabilecek mi, bir hastayı değerlendirmek 10 dakika mı yoksa 45 dakika mı sürüyor, onam formu anlaşılıyor mu, hastalar çekiniyor mu? Bunların hepsi metodolojik sorudur; pilotun yanıtladığı da tam olarak bunlardır.
"25 kişiyle analiz yaptım, p=0,03 çıktı" biçiminde pilot sonucu raporlayan makaleler var; bu yaklaşım hatalı. 25 kişilik bir örneklemde hipotez testinin istatistiksel gücü genellikle yetersizdir; sonuç anlamlı çıksa da çıkmasa da güvenilir değildir. Lancaster ve arkadaşlarının (2004) vurguladığı gibi, pilot çalışmalar yanlış kullanılabiliyor; net amaç ve hedeflerle kurulmadıklarında hem yanıltıcı oluyor hem de yalnızca "eldeki az sayıda hasta" gerekçesiyle yapılan çalışmalara dönüşüyor.
Ne zaman şart?
Her çalışmada pilot gerekmez. Ama bazı durumlarda atlamak ana çalışmayı batırır.
Pilot Çalışma Gereksinim Değerlendirmesi
Veri toplama aracını sorgulamak
Yeni bir anket veya form geliştirildiyse pilot şart; Türkçeye yeni uyarlanmış bir ölçek için de şart. Anlaşılırlık testi pilot olmadan yapılamıyor; ön madde analizi ve Cronbach alfa için ilk veri de pilottan geliyor. Bu amaçla 30-50 kişilik bir örneklem kaba bir başlangıç aralığı; kesin sayı pilotun amacına göre belirleniyor.
Müdahale karmaşıklığını değerlendirmek
6 haftalık bir fizyoterapi programında, 12 haftalık beslenme danışmanlığında ya da çok bileşenli bir müdahalede katılımcıların protokole uyup uymayacağı ve kayıp oranı belirsiz. Küçük bir pilot bu belirsizlikler için ilk veriyi sağlıyor; kayıp oranını örneklem hesabına dâhil etmek de gerekiyor.
Maliyet hesabı yapmak
Pahalı işlemler (MRI, genetik test, biyokimyasal analiz) varsa pilotla gereksiz testler elenebilir, zamanlama iyileştirilebilir ve bütçe daha gerçekçi planlanabilir.
Literatür boşluğunu kontrol etmek
Benzer çalışma yoksa güç analizi için gereken standart sapma bilinmez. Pilot, etki büyüklüğünü 'kesin' vermek için değil, standart sapma gibi tasarım parametrelerini tahmin etmek için kullanılır; küçük bir pilotun etki büyüklüğü tahmini oynak olur. Literatür zenginse ve bu parametreler mevcutsa bu adım atlanabilir.
Karar: pilot mı, ana çalışma mı?
Yukarıdaki dört durumdan hiçbiri geçerli değilse, örneğin retrospektif kayıt taraması, standart araçlarla ölçüm ya da basit bir karşılaştırma söz konusuysa, doğrudan ana çalışmaya geçmek daha verimli; pilot yapmak zaman kaybı olur.
Akademik Not
Pilot örneklem büyüklüğü amaca göre değişir. Hertzog (2008) grup başına 10-40 kişilik pilotları farklı fizibilite amaçları için değerlendiriyor; Whitehead ve arkadaşları (2016) ana çalışmanın beklenen etki büyüklüğüne göre kol başına 10 ile 75 arasında sayılar öneriyor. Amaç, ana çalışmanın örneklem hesabı için standart sapmayı tahmin etmekse Teare ve arkadaşları (2014) sürekli sonlanımlar için grup başına en az 35 (toplam ~70) katılımcı öneriyor; ikili sonlanımlarda bu sayı grup başına 60'a çıkabiliyor.
Ne zaman gereksiz?
Retrospektif çalışmalarda zaten mevcut verilerle çalışılır; ortada toplanacak yeni form ya da uygulanacak müdahale olmadığından pilotun sınayacağı bir şey de yoktur. Doğrudan ana çalışmaya geçmek mantıklıdır.
Türkçe geçerliği gösterilmiş standart araçlar (örneğin Beck Depresyon Envanteri, SF-36, VAS) kullanılıyorsa tekrar pilot yapmaya gerek yoktur; bu araçların ölçüm özellikleri yayımlanmış çalışmalarla gösterilmiştir ve 30 kişilik bir pilot yeni bir bilgi üretmez.
İki grubun HbA1c değerlerinin karşılaştırıldığı, veri toplamanın basit, tek ölçümlü ve düşük hata paylı olduğu bir çalışmada pilot gereksizdir.
Çok kısa süreli çalışmalarda (tek seans, tek anket, tek ölçüm) ayrı bir pilot ayırmak bile mantıksız kaçar; deneyimimize göre ilk 5-10 katılımcıdan alınan geri bildirimle yapılacak ufak düzeltmeler çoğu zaman yeterli oluyor.
Pilottan ana çalışmaya geçiş
Pilot tamamlandığında ilk iş verilere bakmaktır. Katılım oranı hedefin altındaysa dahil etme kriterlerini genişletmek düşünülmeli. Kayıp oranı yüksekse (örneğin %20'nin üzerindeyse) protokol çok ağır olabilir ve sadeleştirmek gerekiyor. Eksik veri çoksa form karmaşık olabilir; basitleştirmek faydalı. Katılımcı başına 10 dakika denmişti ama 30 dakika sürdüyse zaman planını yeniden yapmak şart. Küçük bir pilotta bu oranlar geniş bir belirsizlik taşıdığı için güven aralığıyla birlikte okunmalı.
Pilot sonuçlarına göre protokolü güncellemek gerekiyor. Olgu rapor formu (CRF) düzeltilmeli, kriterler ayarlanmalı, örneklem büyüklüğü yeniden hesaplanmalı.
Etik kurul dosyasında pilot sonuçlarından bahsetmek güçlü bir gerekçe sağlıyor. "Pilot çalışmada veri toplama formunun üç sorusunun anlaşılmadığı tespit edildi, ifade değişikliği yapıldı" cümlesi, protokol güncellemesinin gerekçesini açıkça gösteriyor.
Pilot verileri ana çalışmayla birleşir mi?
Yanıt, pilotun baştan nasıl planlandığına bağlı. Ana çalışmanın ilk evresi olarak planlanan iç pilotun verileri ana analize girer; ayrı bir çalışma olarak yürütülen dış pilotun verileri girmez.
İç pilot (internal pilot), ana çalışmanın ilk evresi olarak baştan planlanır. Bu evrenin sonunda standart sapma gibi önceden seçilen parametreler yeniden tahmin edilip örneklem büyüklüğü gerekirse güncellenir ve son analiz bütün verileri kapsar (Wittes ve Brittain, 1990). İç pilot evresinden sonra form ya da dâhil etme kriterleri değiştiyse, iki farklı koşulda toplanan veriyi birleştirmek ayrıca gerekçe ister; örneklem büyüklüğünün güncellenmesi ise tasarımın parçasıdır. Makaleye şöyle yansır: "Çalışmanın ilk 30 katılımcısı, protokolde önceden tanımlanan iç pilot evresini oluşturdu; bu evrede standart sapma yeniden tahmin edilip örneklem büyüklüğü güncellendi ve iç pilot verileri ana analize dâhil edildi."
Dış pilot (external pilot) ise ana çalışmadan önce ayrı bir çalışma olarak yürütülür ve verileri ana analize girmez. Dış pilot makaleye şöyle yansır: "Ana çalışmadan önce 30 katılımcıyla ayrı bir pilot çalışma yapıldı; pilot sonuçlarına göre protokol güncellendi ve pilot verileri ana analize dâhil edilmedi."
İpucu
İç pilot kararı etik kurul başvurusundan önce verilmeli. Başvuruda "ilk N katılımcı iç pilot evresini oluşturacaktır; bu evrenin sonunda standart sapma yeniden tahmin edilerek örneklem büyüklüğü gerekirse güncellenecek ve iç pilot verileri ana analize dâhil edilecektir" ifadesine yer vermek daha doğru. Sonradan (post-hoc) değil, prospektif karar vermek güvenilirliği artırır.
Raporlamada ne yazılır, ne yazılmaz?
Yöntem bölümünde pilotun amacı ("fizibilite testi" ya da "ölçek pilot uygulaması") açıkça belirtilmeli. Kaç kişiyle yapıldığı, hangi değişikliklerin uygulandığı ve pilot verilerinin ana analize dâhil edilip edilmediği de raporlanmalı.
Yazılmaması gerekenler ise şunlar: detay verilmeyen "pilot çalışma yapıldı" cümlesi tek başına anlamsızdır; "pilot çalışmada p=0,03 bulduk" ifadesi yanıltıcıdır, çünkü pilot hipotez testi için değildir; "pilot verileri dâhil edildi" ifadesi de gerekçesi açıklanmadan güvenilir sayılmaz.
Pilot, ayrı bir makale olarak da yayımlanabilir. Randomize pilot ve fizibilite çalışmaları CONSORT'un pilot ve fizibilite uzantısına (Eldridge ve ark. 2016) göre raporlanır; randomize olmayan pilotlar da bu ilkelerin çoğundan yararlanabilir. Özellikle kompleks müdahalelerde (çok bileşenli rehabilitasyon programları, teknoloji tabanlı müdahaleler) pilot makalesi kendi başına değerli bir katkıdır.
Pilotun asıl değeri
Pilot çalışma bir ritüel değildir; "yapılması gereken bir adım" diye yaklaşıldığında zaman kaybına dönüşür. Doğru zamanda yapılan pilot ana çalışmayı kurtarır, yanlış zamanda yapılan pilot ise yalnızca süreci geciktirir.
Yeni bir araç geliştiriyor, kompleks bir müdahale planlıyor ya da literatürde tasarım parametresi tahmini bulamıyorsanız pilot gereklidir. Buna karşılık retrospektif kayıt taraması veya standart araçlarla basit bir karşılaştırma söz konusuysa pilot gereksizdir.
Model İstatistik CRO ekibi olarak araştırma sorusunun netleştirilmesinden pilotun gerekli olup olmadığına, gerekliyse örneklem ve fizibilite parametrelerinin planlanmasına kadar araştırmacıya rehberlik ediyoruz. İyi bir tasarım, ne gereksiz adımlar atmak ne de gerekli adımları atlamak üzerine kuruludur.
Kullanılan kaynaklar
- Browne RH. On the use of a pilot sample for sample size determination. Statistics in Medicine. 1995;14(17):1933-1940. · PMID: 8532986
- Lancaster GA, Dodd S, Williamson PR. Design and analysis of pilot studies: recommendations for good practice. Journal of Evaluation in Clinical Practice. 2004;10(2):307-312. · PMID: 15189396
- Teare MD, Dimairo M, Shephard N, Hayman A, Whitehead A, Walters SJ. Sample size requirements to estimate key design parameters from external pilot randomised controlled trials: a simulation study. Trials. 2014;15:264. · DOI
- Eldridge SM, Chan CL, Campbell MJ, Bond CM, Hopewell S, Thabane L, Lancaster GA. CONSORT 2010 statement: extension to randomised pilot and feasibility trials. BMJ. 2016;355:i5239. · DOI
- Wittes J, Brittain E. The role of internal pilot studies in increasing the efficiency of clinical trials. Statistics in Medicine. 1990;9(1-2):65-71. · PMID: 2345839
- Hertzog MA. Considerations in determining sample size for pilot studies. Research in Nursing & Health. 2008;31(2):180-191. · PMID: 18183564
- Whitehead AL, Julious SA, Cooper CL, Campbell MJ. Estimating the sample size for a pilot randomised trial to minimise the overall trial sample size for the external pilot and main trial for a continuous outcome variable. Statistical Methods in Medical Research. 2016;25(3):1057-1073. · PMID: 26092476