Fleiss’in Kappa Testi nedir? Nasıl hesaplanır?

Bu yazımızda, akademik çalışmalarımızda faydasını göreceğimiz ancak yeteri kadar bilinmeyen bir konuyu anlatacağız: Konumuz Fleiss’in Kappa Testi.

Bundan, önceki bir yazımızda Kappa testinin ne olduğunu, bu testin ne işe yaradığını, mantığını ve Cohen’in Kappa Testi’ni anlatmıştık. Bu yazımız, o yazının devamı özelliğini gösteriyor. Bundan dolayı, öncelikle o yazıyı okumanızı öneriyoruz. Çünkü o yazıyı okumadan Fleiss’in Kappa Testi’ni anlatmamız zor olacaktır.

Bu uyarıdan sonra öncelikle Fleiss’in Kappa Testi’nin ne olduğunu ve Cohen’in Kappa Testi’nden farkını açıklayarak başlayalım. Bildiğiniz üzere özetle, Cohen’in Kappa Testi’ni, iki adet puanlayıcının veya puanlamanın birbiri ile ne kadar uyum gösterdiğini tespit etmek için kullanıyoruz.

Fleiss’in Kappa Testi’ni ise ikiden fazla puanlayıcının, bir konuda, aynı puanlama cetvelini veya kriterlerini kullanarak puanlama yapmaları halinde veya bir puanlayıcının ikiden fazla zamanda yine aynı puanlama cetvelini veya kriterlerini kullanarak puanlama yapması halinde, bu puanlayıcıların veya puanlamaların, uyum gösterip göstermediğini tespit etmek için kullanıyoruz.

Bunun dışında Kappa testinin amacı, mantığı ve değerlendirilmesinde bir fark bulunmuyor. Yalnız, kullanılan formüllerde de farklılıklar bulunuyor. Aslında formüller temelde aynı ancak P(o) yani uyum oranının hesaplanması biraz farklı. Niye böyle bir durum var? Çünkü Fleiss, ikiden fazla puanlamanın karşılaştırılması halinde Kappa’nın formülünün bazı dezavantajlara sahip olduğunu düşünüyor. Bunun yerine yukarıdaki formülü öneriyor. Hesaplaması zor değil ancak bunu yapmayacağız. Çünkü SPSS’te çok kolay bir şekilde bu hesaplamayı yapabiliyoruz. Bunun için videomuzu izleyebilirsiniz.

Kaynak: Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological bulletin, 76(5), 378.