Madde ayırt edicilik indeksi nedir? Nasıl hesaplanır ve yorumlanır?
Güncelleme tarihi: 13 Eyl
Madde ayırt edicilik indeksi, bir test maddesinin toplam test puanı yüksek olan bireylerle toplam test puanı düşük olan bireyleri ne ölçüde ayırt edebildiğini gösteren bir madde analizi göstergesidir. Özellikle doğru-yanlış biçiminde puanlanan başarı testlerinde, çoktan seçmeli sınavlarda ve bilgi testlerinde maddelerin niteliğini değerlendirmek amacıyla kullanılır.
İyi çalışan bir maddede, testi genel olarak daha başarılı tamamlayan kişilerin doğru cevap verme oranının düşük puan alan kişilerden daha yüksek olması beklenir. Bu fark büyüdükçe maddenin ayırt edicilik gücü de artar.
Madde ayırt edicilik indeksi neyi gösterir?
Bir testte herkesin doğru cevapladığı veya yüksek ve düşük puanlı kişilerin benzer oranlarda doğru cevapladığı bir madde, bireyler arasındaki başarı farkını ortaya koymakta fazla katkı sağlamayabilir.
Örneğin bir sınavda toplam puanı yüksek olan öğrencilerin %90'ı, düşük puanlı öğrencilerin ise yalnızca %20'si bir soruyu doğru cevaplıyorsa bu madde iki grubu oldukça iyi ayırmaktadır.
Buna karşılık üst gruptaki öğrencilerin %60'ı ve alt gruptakilerin %55'i soruyu doğru cevaplamışsa iki grup arasındaki fark oldukça küçüktür. Böyle bir maddenin ayırt ediciliği düşüktür.
Bu nedenle madde ayırt edicilik indeksi temel olarak şu soruya cevap verir:
“Bu madde, testin ölçmeye çalıştığı özellik açısından yüksek ve düşük performans gösteren kişileri birbirinden ayırabiliyor mu?”
Üst ve alt %27 grubu nedir?
Klasik madde analizinde katılımcılar önce toplam test puanlarına göre büyükten küçüğe sıralanır.
Daha sonra:
en yüksek puanı alan yaklaşık %27'lik bölüm üst grup,
en düşük puanı alan yaklaşık %27'lik bölüm alt grup
olarak seçilir.
Ortada kalan yaklaşık %46'lık grup klasik üst-alt grup ayırt edicilik hesabına dahil edilmez.
%27 oranı rastgele seçilmiş bir sayı değildir. Klasik ölçme literatüründe uç gruplar arasındaki farktan yararlanarak ayırt ediciliği verimli biçimde belirlemek amacıyla geliştirilmiş bir yaklaşımdır.
Ancak her durumda mutlaka %27 kullanılmalıdır şeklinde düşünülmemelidir. Özellikle küçük örneklemlerde grup büyüklüğü ve analiz yöntemi ayrıca değerlendirilmelidir.
Madde ayırt edicilik indeksi nasıl hesaplanır?
Doğru-yanlış biçiminde puanlanan bir madde için klasik formül şu şekilde gösterilebilir:
D = PÜ − PA
Burada:
D: Madde ayırt edicilik indeksi
PÜ: Üst grupta maddeyi doğru cevaplayanların oranı
PA: Alt grupta maddeyi doğru cevaplayanların oranı
Üst ve alt gruplarda eşit sayıda kişi varsa aynı formül şu şekilde de yazılabilir:
D = (DÜ − DA) / n
Burada:
DÜ: Üst grupta doğru cevap veren kişi sayısı
DA: Alt grupta doğru cevap veren kişi sayısı
n: Yalnızca bir gruptaki kişi sayısıdır.
Burada önemli bir nokta vardır: Paydada üst ve alt grupların toplam kişi sayısı kullanılmaz.
Madde ayırt edicilik indeksi hesaplama örneği
Bir başarı testinin 200 kişiye uygulandığını düşünelim.
Katılımcıları toplam test puanlarına göre sıraladığımızda yaklaşık:
üst %27 → 54 kişi
alt %27 → 54 kişi
elde ederiz.
Bir soruyu:
üst grupta 45 kişi,
alt grupta 18 kişi
doğru cevaplamış olsun.
Önce doğru cevap oranlarını hesaplayalım:
PÜ = 45 / 54 = 0,83
PA = 18 / 54 = 0,33
Daha sonra:
D = 0,83 − 0,33
D = 0,50
Bu maddenin ayırt edicilik indeksi 0,50'dir.
Aynı sonucu doğrudan kişi sayılarıyla da elde edebiliriz:
D = (45 − 18) / 54 = 0,50
Sonucun pozitif ve görece yüksek olması, üst gruptaki kişilerin maddeyi doğru cevaplama oranının alt gruba göre belirgin biçimde yüksek olduğunu gösterir.
Madde ayırt edicilik indeksi kaç olmalı?
Ayırt edicilik indeksi teorik olarak −1 ile +1 arasında değişebilir.
Uygulamada sıklıkla kullanılan yaklaşık yorumlama çerçevesi şöyledir:
Ayırt edicilik indeksi | Genel yorum |
0,40 ve üzeri | Yüksek ayırt edicilik |
0,30–0,39 | İyi / kabul edilebilir ayırt edicilik |
0,20–0,29 | Sınırlı; madde gözden geçirilebilir |
0,00–0,19 | Düşük ayırt edicilik |
0'ın altında | Sorun işareti; mutlaka incelenmelidir |
Bu sınırlar mutlak kurallar değildir. Bir maddenin tutulması veya çıkarılması yalnızca tek bir katsayıya bakılarak kararlaştırılmamalıdır.
Testin amacı, kapsam geçerliği, madde güçlüğü, örneklem büyüklüğü ve diğer madde analizi sonuçları da birlikte değerlendirilmelidir. Düşük ayırt edicilik değerine sahip bazı maddelerin içerik açısından testte bulunması gerekli olabilir.
0,40 madde ayırt edicilik değeri ne anlama gelir?
Örneğin bir maddenin:
D = 0,40
olduğunu düşünelim.
Bu değer, üst ve alt grubun doğru cevap oranları arasında 0,40'lık bir fark bulunduğunu gösterir.
Örneğin:
üst grup doğru cevap oranı = 0,75
alt grup doğru cevap oranı = 0,35
ise:
D = 0,75 − 0,35 = 0,40
elde edilir.
Bu sonuç genel olarak maddenin yüksek ve düşük başarı düzeyindeki kişileri iyi biçimde ayırt ettiğini düşündürür.
Negatif madde ayırt edicilik indeksi ne anlama gelir?
Negatif değer özellikle dikkat edilmesi gereken bir durumdur.
Örneğin:
üst grubun %40'ı,
alt grubun %60'ı
bir soruyu doğru cevaplamışsa:
D = 0,40 − 0,60 = −0,20
olur.
Bu sonuç, düşük toplam test puanına sahip kişilerin soruyu yüksek puanlı kişilerden daha fazla doğru cevapladığını gösterir.
Böyle bir durumda madde hemen silinmeden önce şu olasılıklar kontrol edilmelidir:
cevap anahtarı yanlış girilmiş olabilir,
sorunun birden fazla doğru cevabı bulunabilir,
madde ifadesi belirsiz olabilir,
başarılı öğrenciler soruyu farklı yorumlamış olabilir,
soru testin genelinden farklı bir özelliği ölçüyor olabilir,
veri kodlamasında hata yapılmış olabilir.
Dolayısıyla negatif ayırt edicilik değeri “madde kesinlikle geçersizdir” anlamına gelmez, fakat önemli bir inceleme sinyalidir. Negatif indeksler özellikle cevap anahtarı ve madde yapısının kontrol edilmesini gerektirir.
Madde ayırt edicilik indeksi düşükse madde silinmeli mi?
Her zaman değil.
Örneğin D = 0,17 bulunan bir madde düşük ayırt ediciliğe sahiptir. Ancak doğrudan “madde silinmelidir” demek doğru değildir.
Önce:
maddenin içeriği,
doğru cevabın doğruluğu,
çeldiriciler,
madde güçlüğü,
testin ölçtüğü kazanımlar,
madde-toplam ilişkisi
incelenmelidir.
Bazen çok kolay veya çok zor bir madde doğal olarak daha düşük ayırt edicilik gösterebilir. Buna rağmen testin kapsamını temsil ettiği için maddede tutulması gerekebilir.
Bu nedenle madde analizi otomatik madde silme işlemi değildir; kararın ölçme amacıyla birlikte verilmesi gerekir.
Madde güçlüğü ile madde ayırt ediciliği arasındaki fark nedir?
Bu iki kavram sık karıştırılır.
Madde güçlüğü, bir soruyu doğru cevaplayan kişilerin oranını gösterir.
Örneğin 100 öğrenciden 80'i soruyu doğru cevapladıysa madde güçlük indeksi:
p = 80 / 100 = 0,80
olur.
Bu değer aslında maddenin ne kadar kolay cevaplandığını ifade eder; p yükseldikçe madde kolaylaşır.
Madde ayırt ediciliği ise yüksek ve düşük performanslı grupların soruya verdikleri cevapların ne kadar farklı olduğunu gösterir.
Dolayısıyla:
Madde güçlüğü: Kaç kişi doğru yaptı?
Madde ayırt ediciliği: Başarılı ve başarısız gruplar arasında ne kadar fark var?
sorularına cevap verir.
İyi bir maddeyi değerlendirirken bu iki gösterge birlikte ele alınmalıdır.
Çok kolay veya çok zor maddelerin ayırt ediciliği neden düşebilir?
Bir soruyu hemen herkes doğru cevaplıyorsa üst ve alt grup arasında büyük bir fark oluşması mümkün olmayabilir.
Örneğin:
üst grup doğru oranı = %100
alt grup doğru oranı = %95
ise:
D = 1,00 − 0,95 = 0,05
olur.
Madde çok kolay olduğu için grupları birbirinden ayıramamaktadır.
Benzer şekilde çok zor bir soruda:
üst grup = %10
alt grup = %5
ise yine:
D = 0,05
elde edilir.
Bu nedenle orta güçlükteki maddeler çoğu durumda daha yüksek ayırt edicilik potansiyeline sahiptir. Bununla birlikte bir testin yalnızca orta güçlükte maddelerden oluşması gerektiği sonucu çıkarılmamalıdır. Testin amacı ve kapsamı da önemlidir.
Madde ayırt edicilik indeksi ile madde-toplam korelasyonu aynı şey midir?
Hayır.
Her ikisi de bir maddenin testin bütünüyle ne kadar uyumlu çalıştığı hakkında bilgi verebilir ancak hesaplama yöntemleri farklıdır.
Üst-alt grup madde ayırt edicilik indeksi, toplam puanın uçlarındaki iki grubun doğru cevap oranlarını karşılaştırır.
Madde-toplam korelasyonu ise bir maddenin puanı ile toplam test puanı arasındaki ilişkiyi değerlendirir.
İkili puanlanan maddelerde nokta-çift serili (point-biserial) korelasyon da sık kullanılan bir ayırt edicilik göstergesidir.
Bu nedenle bir analiz çıktısındaki “item-total correlation” değerini doğrudan üst-alt %27 yöntemiyle hesaplanan D indeksi olarak adlandırmak doğru değildir.
Başarı testleri ile Likert ölçeklerinde madde ayırt ediciliği aynı şekilde mi değerlendirilir?
Burada önemli bir ayrım vardır.
Üst ve alt gruplardaki doğru cevap oranlarının farkına dayanan klasik D indeksi, özellikle:
çoktan seçmeli başarı testleri,
doğru-yanlış maddeleri,
0–1 biçiminde puanlanan bilgi testleri
için uygundur.
Likert tipi ölçeklerde ise “doğru cevap” olmadığı için aynı hesaplama doğrudan kullanılmaz.
Likert tipi ölçeklerin madde analizlerinde daha çok:
düzeltilmiş madde-toplam korelasyonları,
üst ve alt grupların madde puanlarının karşılaştırılması,
güvenirlik analizleri
gibi yaklaşımlar kullanılmaktadır.
Dolayısıyla başarı testindeki madde ayırt edicilik indeksi ile ölçek geliştirmedeki madde analizi aynı işlem değildir.
SPSS'te üst ve alt %27 grupları nasıl oluşturulur?
SPSS'te madde ayırt ediciliğini incelemek için temel mantık şöyledir:
1. Toplam test puanını hesaplayın.Her katılımcının maddelerden aldığı puanlar toplanarak toplam test puanı oluşturulur.
2. Katılımcıları toplam puana göre sıralayın.En yüksek puanlı kişiler üstte, en düşük puanlı kişiler altta olacak biçimde sıralama yapılır.
3. Üst ve alt %27'lik grupları belirleyin.Toplam örneklem büyüklüğü 200 ise yaklaşık 54 üst ve 54 alt katılımcı seçilir.
4. Her madde için doğru cevap sayılarını belirleyin.
5. Üst ve alt grupların doğru cevap oranlarını çıkarın.
6. D = PÜ − PA formülünü uygulayın.
Çok sayıda madde söz konusu olduğunda hesaplamanın otomatikleştirilmesi hata olasılığını azaltacaktır.
Örneklem küçükse %27 yöntemi kullanılabilir mi?
Üst-alt %27 yaklaşımı klasik ve pratik bir yöntem olmakla birlikte, örneklem küçüldükçe uç gruplarda kalan kişi sayısı da azalır.
Örneğin toplam 30 kişilik bir örneklemde %27 yaklaşık 8 kişiye karşılık gelir. Bir kişinin doğru veya yanlış cevap vermesi bile oransal sonuç üzerinde oldukça büyük değişiklik yaratabilir.
Bu nedenle küçük örneklemlerde ayırt edicilik değerleri daha kararsız olabilir.
Mümkün olduğunda:
tüm örneklemi kullanan madde-toplam ilişkileri,
nokta-çift serili korelasyon,
daha gelişmiş madde analizi yöntemleri
ile sonuçların desteklenmesi yararlı olabilir.
Madde ayırt edicilik sonuçları nasıl raporlanır?
Bir tez veya makalede yalnızca “maddeler ayırt edicidir” demek yerine yöntem ve sonuç açıkça belirtilmelidir.
Örneğin:
“Maddelerin ayırt ediciliğini değerlendirmek amacıyla toplam test puanlarına göre oluşturulan üst ve alt %27'lik grupların doğru cevap oranları karşılaştırılmıştır. Maddelerin ayırt edicilik indeksleri 0,28 ile 0,62 arasında değişmiştir.”
Düşük değer bulunan maddeler için:
“Ayırt edicilik indeksi 0,20'nin altında bulunan maddeler içerik, cevap anahtarı ve çeldirici yapısı açısından yeniden değerlendirilmiştir.”
şeklinde bir raporlama yapılabilir.
Eğer maddeler silindiyse yalnızca katsayıya değil, hangi gerekçelerle çıkarıldıkları da açıklanmalıdır.
Sık sorulan sorular
Madde ayırt edicilik indeksi en fazla kaç olabilir?
Teorik olarak en yüksek değer +1,00'dır. Bu durum üst grubun tamamının maddeyi doğru, alt grubun tamamının ise yanlış cevaplamasıyla ortaya çıkabilir.
Ayırt edicilik indeksi sıfır olursa ne anlama gelir?
Üst ve alt grubun maddeyi aynı oranda doğru cevapladığını gösterir. Madde iki grubu birbirinden ayırmamaktadır.
Negatif ayırt edicilik değeri olabilir mi?
Evet. Alt grubun doğru cevap oranı üst gruptan yüksekse D negatif olur. Bu durumda cevap anahtarı, madde ifadesi, çeldiriciler ve veri kodlaması mutlaka kontrol edilmelidir.
Her maddenin ayırt edicilik indeksi 0,40'ın üzerinde mi olmalıdır?
Hayır. 0,40 ve üzeri değerler güçlü ayırt ediciliğe işaret edebilir ancak bu sınır bütün testler için zorunlu bir madde kabul kuralı değildir. Testin amacı ve içerik kapsamı da dikkate alınmalıdır.
%27 yerine başka bir oran kullanılabilir mi?
Evet. %27 klasik ve yaygın bir tercihtir ancak tek olası yöntem değildir. Klasik yaklaşım özellikle yaklaşık normal dağılan toplam puanlarda etkili bir uç grup seçimi olarak geliştirilmiştir.
Sonuç
Madde ayırt edicilik indeksi, özellikle başarı testlerinde bir sorunun yüksek ve düşük toplam test puanına sahip bireyleri ne kadar iyi ayırdığını değerlendirmek için kullanılan pratik bir göstergedir.
Klasik üst-alt grup yönteminde katılımcılar toplam puana göre sıralanır, üst ve alt yaklaşık %27'lik gruplar oluşturulur ve her iki grubun doğru cevap oranları arasındaki fark hesaplanır:
D = PÜ − PA
Pozitif ve yüksek değerler genel olarak daha güçlü ayırt ediciliğe işaret ederken, düşük veya negatif değerler maddenin ayrıntılı biçimde incelenmesini gerektirir.
Ancak bir maddeyi yalnızca ayırt edicilik katsayısına bakarak tutmak veya silmek doğru değildir. Madde güçlüğü, kapsam geçerliği, cevap anahtarı, çeldiriciler ve diğer madde analizi sonuçları birlikte değerlendirilmelidir.
