Pilot Çalışma Ne Zaman Gerekli, Ne Zaman Gereksiz?

Pilot çalışma, klinik araştırmaların en çok yanlış anlaşılan aşamalarından biri. Kimi makaleler pilotla başlıyor, kimileri hiç anmıyor; ortada tek bir standart yokmuş gibi görünüyor. Oysa standart var — asıl sorun, pilotun sıklıkla yanlış amaçla yapılmasında. Pilotun ne zaman gerçekten gerekli olduğunu anlamak için önce ne işe yaradığını netleştirmek gerekiyor.

Pilot çalışma hipotez testi değildir

Pilot çalışmanın gerçek amacı ana hipotezi test etmek değil, çalışmanın yürütülebilirliğini (fizibilite) sınamaktır. Şu tür sorular sorgulanır: veri toplama aracı çalışıyor mu, katılımcı bulunabilecek mi, bir hastayı değerlendirmek 10 dakika mı yoksa 45 dakika mı sürüyor, onam formu anlaşılıyor mu, hastalar çekiniyor mu? Bunların hepsi metodolojik sorudur; pilotun yanıtladığı da tam olarak bunlardır.

"25 kişiyle analiz yaptım, p=0,03 çıktı" biçiminde pilot sonucu raporlayan makaleler var — bu yaklaşım hatalı. 25 kişilik bir örneklemde hipotez testinin istatistiksel gücü yetersizdir; sonuç anlamlı çıksa da çıkmasa da güvenilir değildir. Lancaster ve arkadaşlarının (2004) vurguladığı gibi, pilot çalışmalar sıklıkla yanlış kullanılıyor; net amaç ve hedeflerle kurulmadıklarında hem yanıltıcı oluyor hem de yalnızca "eldeki az sayıda hasta" gerekçesiyle yapılan çalışmalara dönüşüyor.

Ne zaman şart?

Her çalışmada pilot gerekmez. Ama bazı durumlarda atlamak ana çalışmayı batırır.

Ne zaman gereksiz?

Retrospektif çalışmalarda zaten mevcut verilerle çalışılır; ortada toplanacak yeni form ya da uygulanacak müdahale olmadığından pilotun sınayacağı bir şey de yoktur. Doğrudan ana çalışmaya geçmek mantıklıdır.

Beck Depresyon Envanteri, SF-36, VAS gibi Türkçe geçerliliği kanıtlanmış standart araçlar kullanılıyorsa tekrar pilot yapmaya gerek yoktur; bu araçlar binlerce hastada test edilmiştir ve 30 kişilik bir pilot yeni bir bilgi üretmez.

İki grubun HbA1c değerlerinin karşılaştırıldığı, veri toplamanın basit, tek ölçümlü ve düşük hata paylı olduğu bir çalışmada pilot gereksizdir.

Çok kısa süreli çalışmalarda — tek seans, tek anket, tek ölçüm — ayrı bir pilot ayırmak bile mantıksız kaçar; ilk 5-10 katılımcıdan alınan geri bildirimlerle yapılacak ufak düzeltmeler yeterlidir.

Pilottan ana çalışmaya geçiş

Pilot tamamlandığında ilk iş verilere bakmaktır. Katılım oranı hedefin altındaysa dahil etme kriterlerini genişletmek düşünülmeli. Kayıp oranı %20'nin üzerindeyse protokol çok ağır olabilir — sadeleştirmek gerekiyor. Eksik veri çoksa form karmaşık demektir — basitleştirmek faydalı. Katılımcı başına 10 dakika denmişti ama 30 dakika sürdüyse, zaman planını revize etmek şart.

Pilot sonuçlarına göre protokolü güncellemek gerekiyor. CRF düzeltilmeli, kriterler ayarlanmalı, örneklem büyüklüğü yeniden hesaplanmalı.

Etik kurul dosyasında pilot sonuçlarından bahsetmek güçlü bir gerekçe sağlıyor. "Pilot çalışmada veri toplama formunun üç sorusunun anlaşılmadığı tespit edildi, ifade değişikliği yapıldı" — bu cümle protokol güncellemeyi meşrulaştırıyor.

Pilot verileri ana çalışmayla birleşir mi?

Kısa yanıt genellikle hayır; ama bu, pilottan sonra protokolün değişip değişmediğine bağlıdır.

Pilotta protokol değiştirilmediyse — sadece fizibilite test edildiyse, veri toplama yöntemi aynı kaldıysa, kriterler değişmediyse — verileri birleştirmek mümkündür. Buna iç pilot (internal pilot) deniyor ve makaleye şöyle yansır: "Çalışmanın ilk 30 katılımcısı iç pilot olarak değerlendirildi; protokolde değişiklik gerekmediği için bu veriler ana analize dahil edildi."

Pilotta protokol değiştirildiyse — form revize edildiyse, kriterler değiştiyse, örneklem hesabı güncellendiyse — verileri birleştirmek doğru olmaz; iki farklı koşulda toplanan veriyi aynı analize sokmak metodolojik bir hatadır. Bu durumda makaleye şöyle yazılır: "30 katılımcı ile pilot çalışma yapıldı; pilot sonuçlarına göre protokol güncellendiği için pilot verileri ana analize dahil edilmedi."

Raporlamada ne yazılır, ne yazılmaz?

Yöntem bölümünde pilotun amacı açıkça belirtilmeli: "fizibilite testi" ya da "ölçek pilot uygulaması" net olmalı. Kaç kişiyle yapıldığı, hangi değişikliklerin uygulandığı ve pilot verilerinin ana analize dahil edilip edilmediği raporlanmalı.

Yazılmaması gerekenler ise şunlar: detay verilmeyen "pilot çalışma yapıldı" cümlesi tek başına anlamsızdır; "pilot çalışmada p=0,03 bulduk" ifadesi yanıltıcıdır, çünkü pilot hipotez testi için değildir; "pilot verileri dahil edildi" ifadesi de gerekçesi açıklanmadan güvenilir sayılmaz.

Pilot, ayrı bir makale olarak da yayımlanabilir. Fizibilite çalışması olarak, CONSORT'un pilot ve fizibilite uzantısı (Eldridge ve ark. 2016) kılavuzuna göre raporlanır. Özellikle kompleks müdahalelerde — çok bileşenli rehabilitasyon programları, teknoloji tabanlı müdahaleler — pilot makalesi kendi başına değerli bir katkıdır.

Pilotun asıl değeri

Pilot çalışma bir ritüel değildir; "yapılması gereken bir adım" diye yaklaşıldığında zaman kaybına dönüşür. Doğru zamanda yapılan pilot ana çalışmayı kurtarır, yanlış zamanda yapılan pilot ise yalnızca süreci geciktirir.

Özetle, yeni bir araç geliştiriyor, kompleks bir müdahale planlıyor ya da literatürde tasarım parametresi tahmini bulamıyorsanız pilot gereklidir. Buna karşılık retrospektif kayıt taraması veya standart araçlarla basit bir karşılaştırma söz konusuysa pilot gereksizdir.

Model İstatistik CRO ekibi olarak araştırma sorusunun netleştirilmesinden pilotun gerekli olup olmadığına, gerekliyse örneklem ve fizibilite parametrelerinin planlanmasına kadar araştırmacıya rehberlik ediyoruz. İyi bir tasarım, ne gereksiz adımlar atmak ne de gerekli adımları atlamak üzerine kuruludur.

Kullanılan kaynaklar

• Lancaster GA, Dodd S, Williamson PR. Design and analysis of pilot studies: recommendations for good practice. Journal of Evaluation in Clinical Practice. 2004;10(2):307-312. · PMID: 15189396
• Teare MD, Dimairo M, Shephard N, Hayman A, Whitehead A, Walters SJ. Sample size requirements to estimate key design parameters from external pilot randomised controlled trials: a simulation study. Trials. 2014;15:264. · DOI
• Eldridge SM, Chan CL, Campbell MJ, Bond CM, Hopewell S, Thabane L, Lancaster GA. CONSORT 2010 statement: extension to randomised pilot and feasibility trials. BMJ. 2016;355:i5239. · DOI