Anket soruları hazırlandıktan sonra ne yapılır? Pilot uygulama ve son kontrol
Güncelleme tarihi: 11 Eyl
İstatistik Dersleri: Ders 31
Anket sorularını tamamlamak, veri toplamaya hemen başlanabileceği anlamına gelmez. Araştırmacının kendisine açık ve anlaşılır gelen bir soru, hedef kitle tarafından farklı yorumlanabilir. Cevap seçenekleri bazı katılımcıların durumunu karşılamayabilir veya çevrim içi formdaki bir yönlendirme hatası, kişilerin cevaplamaması gereken bölümlere geçmesine neden olabilir.
Bu tür sorunlar anket yüzlerce kişiye uygulandıktan sonra fark edildiğinde soruları değiştirmek kolay değildir. Uygulama devam ederken yapılan değişiklikler, katılımcıların farklı formları cevaplamasına ve verilerin karşılaştırılabilirliğinin bozulmasına yol açabilir.
Bu nedenle hazırlanan anket önce içerik, dil, yöntem ve teknik işleyiş bakımından gözden geçirilmeli; daha sonra hedef kitleye benzeyen sınırlı bir grupla denenmelidir. Bu yazıda anket soruları tamamlandıktan sonra yapılması gereken kontrolleri ve pilot uygulama sürecini adım adım açıklayacağız. Henüz soru türlerini belirleme aşamasındaysanız önce anket soru türleri nelerdir? başlıklı yazımızı inceleyebilirsiniz.
1. Anketi araştırma amacıyla karşılaştırın
İlk kontrol yalnızca yazım hatalarını bulmak için yapılmamalıdır. Anketteki her bölümün ve sorunun araştırmanın amacıyla ilişkisi yeniden değerlendirilmelidir.
Her soru için şu kontroller yapılabilir:
Bu soru hangi araştırma sorusuna cevap verecek?
Toplanan bilgi hangi analizde kullanılacak?
Aynı bilgi başka bir soruda tekrar toplanıyor mu?
Araştırma için gerekli bir değişken unutulmuş mu?
Bu soru araştırmanın kapsamı dışında mı kalıyor?
Katılımcıdan gereksiz veya hassas bir bilgi isteniyor mu?
Örneğin araştırmada memnuniyet düzeyinin mesleki deneyime göre karşılaştırılması planlanıyorsa çalışma süresi bilgisi ankette bulunmalıdır. Bu değişken veri toplandıktan sonra eklenemez. Buna karşılık medeni durum hiçbir araştırma sorusunda kullanılmayacaksa yalnızca alışkanlık nedeniyle sorulmamalıdır.
Anket ile araştırmanın amacı arasında uyum kurmakta zorlanıyorsanız araştırma yöntemi danışmanlığı hizmetimizin kapsamını inceleyebilirsiniz. Bu değerlendirmede anket formunu araştırma soruları, değişkenler, örneklem ve analiz planıyla birlikte ele alıyoruz.
2. Soruları bir süre sonra yeniden okuyun
Sorular tamamlandıktan hemen sonra yapılan kontrolde bazı hatalar fark edilmeyebilir. Araştırmacı, yazdığı cümlenin ne anlama geldiğini zaten bildiği için eksik veya belirsiz ifadeleri zihninde tamamlayabilir.
Mümkünse anket formu kısa bir süre bekletildikten sonra yeniden okunmalıdır. İkinci okumada sorular ilk kez görülüyormuş gibi değerlendirilmelidir:
Cümle tek okumada anlaşılıyor mu?
Bir soruda yalnızca tek konu mu bulunuyor?
Belirsiz zaman ifadeleri kullanılmış mı?
Katılımcıyı belirli bir cevaba yönlendiren kelimeler var mı?
Olumsuz veya karmaşık cümleler bulunuyor mu?
Teknik terimler hedef kitle tarafından biliniyor mu?
Cevap seçenekleri soruyla aynı özelliği mi ölçüyor?
Anket yalnızca bilgisayar ekranından değil, uygulanacağı görünüm üzerinden de okunmalıdır. Çevrim içi form telefondan cevaplanacaksa kontrolün mutlaka telefon ekranında da yapılması gerekir.
3. Yazım, noktalama ve biçim birliğini kontrol edin
Yazım hataları tek başına araştırmanın yöntemini değiştirmese de anketin anlaşılmasını ve katılımcının araştırmaya duyduğu güveni etkileyebilir. Özellikle aynı kavramın farklı bölümlerde farklı ifadelerle kullanılması karışıklık oluşturabilir.
Şu noktalar kontrol edilmelidir:
Yazım ve noktalama işaretleri
Başlıkların ve bölüm adlarının biçimi
Soru numaralarının sırası
Cevap seçeneklerinin aynı düzende sunulması
Ölçek noktalarının sıralaması
Zorunlu ve isteğe bağlı sorular
Yönerge ile sorular arasındaki tutarlılık
Aynı kavram için kullanılan ifadelerin birliği
Örneğin bir bölümde en olumlu cevap solda, başka bir bölümde sağda bulunuyorsa katılımcı fark etmeden yanlış seçeneği işaretleyebilir. Farklı ölçeklerin özgün cevap düzenleri korunacaksa bölüm geçişlerinde bu değişiklik açıkça belirtilmelidir.
4. Cevap seçeneklerini tek tek deneyin
Araştırmacı her soruyu farklı katılımcıların bakış açısından cevaplamaya çalışmalıdır. Böylece seçeneklerin bütün olasılıkları kapsayıp kapsamadığı görülebilir.
Özellikle şu sorunlara dikkat edilmelidir:
Yaş veya çalışma süresi aralıklarının çakışması
Bazı katılımcılara uygun seçenek bulunmaması
Aynı anlama gelen iki seçeneğin yer alması
Tek cevap istenirken birden fazla cevabın mümkün olması
Birden fazla cevap verilebileceğinin açıklanmaması
“Diğer” seçeneğinin bulunmasına rağmen açıklama alanı verilmemesi
Hizmeti kullanmayan kişiler için “Uygulanamaz” seçeneğinin olmaması
“Bilmiyorum” ile “Kararsızım” cevaplarının birbirine karıştırılması
Örneğin bir katılımcı çevrim içi kütüphane hizmetini hiç kullanmadıysa bu hizmetten ne ölçüde memnun olduğunu değerlendirmesi istenmemelidir. Önce kullanım durumu sorulmalı ve kullanmayanlar sonraki bölümü atlamalıdır.
5. Uzman görüşü alın
Anket formunun araştırma konusunu yeterince kapsayıp kapsamadığını değerlendirmek için ilgili alanda çalışan uzmanlardan görüş alınabilir. Uzmanın yalnızca soruların “uygun” veya “uygun değil” olduğunu belirtmesi yerine, belirli ölçütler üzerinden değerlendirme yapması daha yararlı olur.
Uzmanlardan şu konularda görüş istenebilir:
Soruların araştırma amacına uygunluğu
İncelenen konunun yeterince kapsanması
Gereksiz veya tekrar eden sorular
Hedef kitleye uygunluk
İfadelerin açıklığı ve anlaşılırlığı
Cevap seçeneklerinin yeterliliği
Soruların sıralaması
Hassas veya yönlendirici ifadeler
Alan uzmanı, ölçme-değerlendirme uzmanı ve dil uzmanı ankete farklı açılardan katkı sağlayabilir. Ancak her araştırmada aynı sayıda ve aynı uzmanlık alanlarında kişiden görüş alınması gerektiğine ilişkin tek bir kural yoktur. Uzman seçimi, hazırlanan aracın niteliğine ve araştırmanın alanına göre gerekçelendirilmelidir.
Uzmanların önerileri doğrudan ve sorgulanmadan uygulanmamalıdır. Birbiriyle çelişen görüşler olabilir. Yapılan her değişiklik araştırmanın amacı, kuramsal çerçevesi ve hedef kitlesi dikkate alınarak değerlendirilmelidir.
6. Anket ile ölçek geliştirmeyi birbirinden ayırın
Araştırma için birkaç kişisel bilgi ve davranış sorusu hazırlamak ile yeni bir psikolojik veya eğitsel ölçme aracı geliştirmek aynı süreç değildir.
Yeni bir ölçek geliştiriliyorsa uzman görüşü ve pilot uygulama yalnızca soruların anlaşılır olup olmadığını görmek için yapılmaz. Maddelerin ölçülmek istenen yapıyı temsil etmesi, faktör yapısı, madde performansı, geçerlik ve güvenirlik kanıtları gibi daha kapsamlı değerlendirmeler gerekir.
Pilot gruptan elde edilen yüksek bir Cronbach Alpha değeri, ölçeğin geçerli olduğu veya tek boyutlu çalıştığı anlamına gelmez. Katsayı madde sayısından ve örneklem özelliklerinden etkilenebilir. Özellikle küçük bir pilot grupta elde edilen sonuçlar kesin kanıt olarak sunulmamalıdır.
Özgün bir ölçme aracı geliştiriyor veya başka bir dildeki ölçeği Türkçeye uyarlıyorsanız ölçek geliştirme ve uyarlama danışmanlığı hizmetimizin kapsamını inceleyebilirsiniz.
7. Bilişsel ön değerlendirme yapın
Katılımcının bir soruyu cevaplayabilmesi için önce soruyu anlaması, gerekli bilgiyi hatırlaması, cevabını zihninde oluşturması ve sunulan seçeneklerden uygun olanı seçmesi gerekir. Bu aşamalardan herhangi birinde yaşanan sorun, cevabın niteliğini etkileyebilir.
Bilişsel ön değerlendirmede hedef kitleye benzeyen birkaç kişiden soruları cevaplarken ne düşündüklerini açıklamaları istenebilir. Katılımcıya şu tür sorular yöneltilebilir:
Bu soruyu nasıl anladınız?
Cevabınızı verirken hangi durumu düşündünüz?
Kullanılan kelimelerden anlamadığınız oldu mu?
Size uygun bir cevap seçeneği bulabildiniz mi?
Bu soruyu cevaplamakta neden zorlandınız?
Soruda sizden hangi bilginin istendiğini düşündünüz?
Bu çalışma, sıradan bir yazım kontrolünde görülmeyen yorum farklılıklarını ortaya çıkarabilir. Özellikle çocuklar, yaşlı bireyler, hastalar veya belirli teknik kavramlara aşina olmayan gruplar için hazırlanan anketlerde hedef grubun dili ayrıca dikkate alınmalıdır.
8. Pilot uygulama nedir?
Pilot uygulama veya ön uygulama, hazırlanan anketin ana veri toplama başlamadan önce hedef kitleye benzer daha küçük bir grupta denenmesidir. Temel amaç mümkün olduğunca çok veri toplamak değil, anketin nasıl çalıştığını görmektir.
Pilot uygulamada şu noktalar incelenebilir:
Soruların anlaşılabilirliği
Cevap seçeneklerinin yeterliliği
Anketin tamamlanma süresi
Sık boş bırakılan sorular
Katılımcıların zorlandığı bölümler
Birbirine çok benzeyen veya tekrar eden maddeler
Yönlendirmelerin doğru çalışması
Formun telefon ve bilgisayardaki görünümü
Verilerin istenen biçimde kaydedilmesi
Kodlama ve puanlama planının uygulanabilirliği
Pilot uygulama, yalnızca anket bağlantısının açılıp açılmadığını kontrol etmek değildir. Teknik deneme ile hedef kitle üzerinde yapılan ön uygulama birbirini tamamlayan fakat farklı amaçlara sahip kontrollerdir.
Pilot uygulama kaç kişiyle yapılır?
Pilot uygulamanın kaç kişiyle yapılması gerektiğine ilişkin bütün araştırmalar için geçerli tek bir sayı yoktur. Gerekli katılımcı sayısı anketin amacı, soru yapısı, hedef grubun çeşitliliği ve pilot uygulamada yapılacak incelemelere göre değişir.
Yalnızca ifadelerin anlaşılırlığı ve formun teknik işleyişi değerlendirilecekse daha sınırlı bir grupla çalışılabilir. Maddelere ilişkin istatistiksel incelemeler yapılacak veya yeni geliştirilen bir ölçme aracının yapısı araştırılacaksa daha geniş ve ayrı bir örnekleme ihtiyaç duyulabilir.
Bu nedenle “Pilot uygulama mutlaka 20, 30 veya 50 kişiyle yapılmalıdır” biçimindeki genel ifadeler dikkatli kullanılmalıdır. Seçilen sayının çalışmanın amacıyla gerekçelendirilmesi daha doğrudur.
Pilot grupta hedef kitlenin farklı özelliklerini temsil eden kişilerin bulunması da önemlidir. Örneğin anket hem lisans hem lisansüstü öğrencilere uygulanacaksa yalnızca tek bir sınıftaki öğrencilerle yapılan deneme bazı sorunların görülmesini engelleyebilir.
Pilot uygulamaya kimler katılmalıdır?
Pilot uygulamaya katılan kişilerin, anketin asıl hedef kitlesine mümkün olduğunca benzemesi gerekir. Üniversite öğrencileri için hazırlanan bir anketin yalnızca araştırmacının çalışma arkadaşlarıyla denenmesi, hedef grubun yaşayacağı anlama sorunlarını göstermeyebilir.
Pilot katılımcılar seçilirken şu özellikler dikkate alınabilir:
Yaş ve eğitim düzeyi
Meslek veya öğrenim alanı
Araştırma konusuna aşinalık
Dil ve okuma düzeyi
Anketin uygulanacağı ortam
Çevrim içi araçları kullanma deneyimi
Pilot uygulamada yer alan kişilerin ana araştırmaya yeniden dâhil edilip edilmeyeceği de önceden kararlaştırılmalıdır. Pilot uygulama sonrasında sorularda veya uygulama biçiminde değişiklik yapılmışsa eski ve yeni formlardan elde edilen cevapların aynı veri setinde kullanılması uygun olmayabilir.
Bu nedenle pilot verileri ana araştırma verilerinden ayrı tutulmalı ve araştırma protokolünde aksi açıkça planlanmadıkça ana örneklemin yerine kullanılmamalıdır.
9. Cevaplama süresini gerçek katılımcılarla ölçün
Araştırmacı kendi hazırladığı anketi hedef kitleden daha hızlı tamamlayabilir. Sorulara ve cevap seçeneklerine zaten aşina olduğu için kendi süresi gerçekçi bir tahmin vermeyebilir.
Pilot uygulamada katılımcıların anketi ne kadar sürede tamamladıkları kaydedilmelidir. Yalnızca ortalama süreye değil, farklı katılımcılar arasındaki değişime de bakılabilir. Bazı kişilerin belirli bir bölümde uzun süre kalması, soruların anlaşılmadığını veya işlemin gereğinden fazla zor olduğunu gösterebilir.
Anket yönergesinde belirtilen tahminî cevaplama süresi pilot uygulama sonuçlarına dayanmalıdır. “Anket yalnızca beş dakikanızı alacaktır” denildiği hâlde formun 15 dakika sürmesi, katılımcının güvenini ve anketi tamamlama isteğini azaltabilir.
10. Boş bırakılan ve aynı cevap verilen soruları inceleyin
Pilot uygulama sonuçları incelenirken yalnızca toplam puanlara bakılmamalıdır. Belirli soruların sık boş bırakılması, cevap seçeneklerinin yetersiz veya ifadenin anlaşılmaz olduğunu gösterebilir.
Şu durumlar kontrol edilebilir:
Belirli bir sorunun sık boş bırakılması
Katılımcıların aynı maddede iki seçenek arasında kalması
“Diğer” seçeneğinin beklenenden çok kullanılması
Açık uçlu sorulara ilgisiz cevaplar verilmesi
Bir bölümde anketi bırakma oranının artması
Bütün katılımcıların aynı cevabı vermesi
Matris sorularda sürekli aynı sütunun işaretlenmesi
Birbiriyle çelişen cevapların bulunması
Bütün katılımcıların aynı cevabı vermesi her zaman sorunun hatalı olduğunu göstermez. Ancak soru hedef gruptaki farklılıkları belirlemek amacıyla hazırlanmışsa yeterince ayırt edici olmayabilir veya cevap seçenekleri uygun olmayabilir.
11. Değişiklikleri kayıt altına alın
Uzman değerlendirmesi ve pilot uygulama sonrasında ankette yapılan değişiklikler kayıt altına alınmalıdır. Hangi sorunun neden değiştirildiği, çıkarıldığı veya eklendiği daha sonra yöntem bölümünün yazılmasını kolaylaştırır.
Basit bir değişiklik tablosu kullanılabilir:
İlk ifade veya sorun | Belirlenen problem | Yapılan değişiklik |
Kütüphaneyi sık kullanıyor musunuz? | “Sık” ifadesi kişiden kişiye değişiyor. | Son 30 gündeki kullanım sayısı soruldu. |
Yaş seçenekleri çakışıyordu. | 25 yaş iki grupta yer alıyordu. | Aralıklar 18–24 ve 25–34 olarak düzenlendi. |
Çevrim içi hizmeti kullanmayanlar değerlendirme yapıyordu. | Filtre sorusu yoktu. | Kullanım sorusu ve bölüm yönlendirmesi eklendi. |
Bu kayıtlar, değişikliklerin rastgele değil belirli gözlemler ve değerlendirmeler sonucunda yapıldığını gösterir.
12. Etik kurul ve kurum izinlerini kontrol edin
Pilot uygulama da insan katılımcılardan veri toplamayı içerebilir. Bu nedenle pilot çalışmaya başlamadan önce üniversitenizin veya ilgili kurumun etik kurul ve izin koşulları kontrol edilmelidir.
Bazı araştırmalarda etik kurul başvurusunda kullanılacak anketin son hâlinin sunulması istenirken bazı süreçlerde pilot uygulama ayrıca açıklanabilir. Uygulama kuralları kuruma ve araştırmanın niteliğine göre değişebileceği için “Pilot uygulamayı önce yapar, etik izni sonra alırım” şeklinde varsayımda bulunulmamalıdır.
Katılımcı bilgilendirme metni, gönüllü katılım, kişisel verilerin korunması ve araştırmadan çekilme hakkı pilot uygulamada da dikkate alınmalıdır.
13. Anketi çevrim içi uygulamaya hazırlayın
Çevrim içi formda soruların doğru olması kadar teknik ayarların da doğru çalışması gerekir. Veri toplamadan önce anket hem bilgisayar hem telefon üzerinden birkaç kez denenmelidir.
Şu teknik kontroller yapılabilir:
Anket bağlantısı doğru formu açıyor mu?
Form farklı telefon ve tarayıcılarda görüntülenebiliyor mu?
Zorunlu sorular gerçekten gerekli mi?
Bölüm geçişleri doğru çalışıyor mu?
“Hayır” cevabını verenler ilgili soruları atlayabiliyor mu?
Birden fazla cevap verilmesi gereken sorular buna izin veriyor mu?
Aynı kişi birden fazla cevap gönderebiliyor mu?
Katılımcıdan istemeden e-posta adresi toplanıyor mu?
Cevaplar doğru sütunlara kaydediliyor mu?
Ölçek seçeneklerinin sırası tutarlı mı?
Form gönderildikten sonra uygun bir teşekkür mesajı gösteriliyor mu?
Çevrim içi uygulamanın nasıl kurulacağını Google Forms ile anket hazırlama ve veri toplama yazımızda adım adım ele alıyoruz.
14. Veri kodlama planını hazırlayın
Veri toplama başlamadan önce her sorunun veri dosyasında nasıl gösterileceği belirlenmelidir. Bunun için bir kodlama anahtarı veya değişken sözlüğü hazırlanabilir.
Değişken adı | Soru | Cevapların kodlanması |
cinsiyet | Cinsiyetiniz | 1=Kadın, 2=Erkek, 3=Diğer/Belirtmek istemiyorum |
kut_kullanim | Son 30 günde kütüphaneyi kullandınız mı? | 0=Hayır, 1=Evet |
mem1 | Çalışma saatlerini yeterli buluyorum. | 1=Kesinlikle katılmıyorum, 5=Kesinlikle katılıyorum |
yas | Yaşınız | Katılımcının belirttiği sayı |
Değişken adları kısa fakat anlaşılır olmalı; aynı cevap düzeni mümkün olduğunca aynı kodlarla gösterilmelidir. Eksik cevaplar için kullanılacak gösterim de önceden belirlenmelidir.
Ters puanlanan ölçek maddeleri varsa bunlar veri dosyasında işaretlenmeli ve toplam puan hesaplanmadan önce doğru biçimde yeniden kodlanmalıdır. Birden fazla cevaplı soruların ise her seçenek için ayrı değişken gerektirip gerektirmediği planlanmalıdır.
Veri kodlama, SPSS’e aktarma, ölçek puanlarını hesaplama ve uygun analizleri belirleme konusunda desteğe ihtiyaç duyarsanız SPSS analizi hizmetimizin kapsamını inceleyebilirsiniz.
15. Ana uygulamadan önce son sürümü sabitleyin
Uzman görüşleri ve pilot uygulama değerlendirildikten sonra gerekli değişiklikler tamamlanmalı ve anketin ana uygulamada kullanılacak son sürümü oluşturulmalıdır.
Son sürümde şu unsurlar birlikte saklanmalıdır:
Katılımcı bilgilendirme ve onam metni
Anketin bütün soruları
Kullanılan ölçekler ve uygulama izinleri
Cevap seçenekleri
Bölüm ve soru yönlendirmeleri
Puanlama yönergesi
Değişken ve kodlama listesi
Uygulama bağlantısı
Sürüm tarihi veya numarası
Veri toplama başladıktan sonra zorunlu olmayan değişiklikler yapılmamalıdır. Önemli bir hata fark edilirse değişikliğin hangi tarihte yapıldığı ve kaç katılımcının önceki formu cevapladığı kayıt altına alınmalıdır.
Anketi dağıtmadan önce son kontrol listesi
Ana veri toplamaya geçmeden önce şu sorulara cevap verilmelidir:
Bütün sorular araştırma amaçlarından biriyle ilişkili mi?
Gerekli değişkenlerden unutulan var mı?
Gereksiz veya tekrar eden sorular çıkarıldı mı?
Soru ve cevap seçenekleri hedef kitle tarafından anlaşılıyor mu?
Uzman görüşleri değerlendirildi mi?
Hedef kitleye benzer kişilerle pilot uygulama yapıldı mı?
Gerçek cevaplama süresi ölçüldü mü?
Sık boş bırakılan veya yanlış anlaşılan sorular incelendi mi?
Çevrim içi yönlendirmeler doğru çalışıyor mu?
Form telefon ekranında kontrol edildi mi?
Etik kurul ve kurum izinleri tamamlandı mı?
Veri kodlama ve analiz planı hazır mı?
Anketin son sürümü kayıt altına alındı mı?
Bu kontrollerden sonra araştırmacı, ankete kimlerin katılacağını ve bağlantının hangi kanallardan dağıtılacağını önceden belirlediği örnekleme planına göre veri toplamaya başlayabilir.
Sonuç
Anket soruları hazırlandıktan sonra yapılacak kontroller, soru hazırlama sürecinin tamamlayıcı bir parçasıdır. Araştırma amacıyla uyuşmayan bir soru, eksik cevap seçenekleri veya çalışmayan bir form yönlendirmesi ana uygulamaya geçilmeden fark edildiğinde düzeltilebilir.
Uzman görüşü anketin içerik ve yöntem bakımından değerlendirilmesine, bilişsel ön değerlendirme soruların nasıl anlaşıldığının görülmesine, pilot uygulama ise formun gerçek katılımcılar üzerindeki işleyişinin incelenmesine yardımcı olur. Bu aşamaların hiçbiri yalnızca biçimsel bir onay olarak görülmemelidir.
Anketin son sürümü hazırlandıktan sonra çevrim içi formun kurulması, katılımcılara ulaştırılması ve cevapların düzenli biçimde kaydedilmesi gerekir. Bunun için sıradaki rehberimiz olan Google Forms ile anket nasıl hazırlanır ve uygulanır? yazısına geçebilirsiniz.
