Cohen Kappa nedir? Nasıl hesaplanır ve yorumlanır?
Güncelleme tarihi: 3 gün önce
Cohen Kappa, iki değerlendiricinin kategorik veriler üzerinde ne ölçüde uyum gösterdiğini, tesadüfen ortaya çıkabilecek uyumu da dikkate alarak değerlendiren bir uyum katsayısıdır. Cohen tarafından 1960 yılında geliştirilmiştir ve özellikle sağlık araştırmalarında, gözlem çalışmalarında, içerik analizlerinde ve ölçek geliştirme süreçlerinde kullanılmaktadır.
Basit yüzde uyumu yalnızca iki değerlendiricinin kaç kez aynı kararı verdiğini gösterirken Cohen Kappa, bu uyumun bir bölümünün şans eseri ortaya çıkabileceğini hesaba katar. Bu nedenle iki değerlendirici arasındaki uyumu yalnızca yüzde ile ifade etmekten daha farklı bir bilgi sunar.
Cohen Kappa testi nedir?
Cohen Kappa testi, iki farklı değerlendiricinin aynı bireyleri veya nesneleri aynı kategoriler kullanarak sınıflandırdığı durumlarda değerlendirmeler arasındaki uyumu incelemek için kullanılır.
Burada önemli nokta, ilişki ile uyumun aynı kavram olmamasıdır.
Örneğin iki değerlendiricinin verdikleri puanların birlikte artması yüksek bir korelasyon oluşturabilir. Ancak bu, değerlendiricilerin aynı kişilere aynı değerlendirmeyi verdiği anlamına gelmez. Cohen Kappa ise doğrudan aynı sınıflandırmanın ne ölçüde yapıldığıyla ilgilenir.
Değişkenlerin nominal, ordinal, aralık ve oran düzeyleri arasındaki farkları hatırlamak isterseniz ölçme düzeyleri rehberimizi inceleyebilirsiniz.
Cohen Kappa hangi durumlarda kullanılır?
Cohen Kappa'nın kullanımını birkaç örnek üzerinden açıklayabiliriz.
Örnek 1: İki hekimin değerlendirmesi
İki farklı hekimin 50 hastayı değerlendirdiğini düşünelim. Her hekim hastaların hipertansiyon düzeyini:
düşük,
orta,
yüksek
olarak sınıflandırsın.
Burada araştırma sorusu iki hekimin değerlendirmelerinin birbiriyle uyumlu olup olmadığıdır. Bu durumda Cohen Kappa kullanılabilir.
Örnek 2: İki uzmanın ölçek maddelerini değerlendirmesi
Hazırlanan 20 maddelik bir ölçeğin iki uzman tarafından:
uygun,
uygun değil
şeklinde değerlendirilmesi istenebilir.
İki uzmanın maddeleri aynı biçimde sınıflandırıp sınıflandırmadığı Cohen Kappa ile incelenebilir.
Burada Kappa'nın tek başına kapsam geçerliğinin tamamını göstermediğini de belirtmek gerekir. Ölçek geliştirme çalışmalarında uzman görüşleri farklı yöntemlerle de değerlendirilebilir.
Örnek 3: Aynı değerlendiricinin iki farklı zamandaki değerlendirmesi
Bir uzman 20 futbolcuyu bugün:
başarılı,
başarısız
olarak sınıflandırıp aynı değerlendirmeyi bir hafta sonra tekrarlayabilir.
Bu durumda iki farklı zaman noktasındaki sınıflandırmaların tutarlılığı da Cohen Kappa ile değerlendirilebilir.
Cohen Kappa kullanmak için hangi özellikler bulunmalıdır?
Temel Cohen Kappa uygulamasında:
Aynı bireyler veya nesneler iki kez değerlendirilmelidir.
İki değerlendirme aynı kategori yapısını kullanmalıdır.
Değerlendirmeler kategorik olmalıdır.
Her bir gözlem için iki değerlendirme eşleştirilebilmelidir.
Temel Cohen Kappa özellikle iki değerlendirme setinin karşılaştırılması için kullanılır.
İkiden fazla değerlendiricinin bulunduğu nominal veri yapılarında yaygın seçeneklerden biri Fleiss Kappadır. Bu konu için Fleiss Kappa testi nedir? Nasıl hesaplanır? yazımıza bakabilirsiniz.
Ancak “ikiden fazla değerlendirici varsa tek seçenek mutlaka Fleiss Kappa'dır” demek doğru değildir. Araştırmanın yapısına göre Krippendorff alfa gibi farklı uyum ve güvenirlik yöntemleri de değerlendirilebilir.
Yüzde uyum varsa Cohen Kappa'ya neden ihtiyaç duyulur?
İki değerlendiricinin sonuçlarını yan yana koyup aynı fikirde oldukları durumları sayabiliriz.
Örneğin 100 değerlendirmeden 80'inde aynı kategori seçilmişse:
Yüzde uyum = %80
olarak bulunur.
Ancak bazı eşleşmeler yalnızca tesadüfen ortaya çıkmış olabilir.
Cohen Kappa'nın temel özelliği burada ortaya çıkar:
Gözlenen uyumdan, kategorilerin dağılımına göre şans eseri beklenebilecek uyumu dikkate alır.
Bu nedenle aynı veri için yüzde uyum ile Kappa değeri birbirinden farklı olabilir. McHugh da yüzde uyumun tesadüfi uyumu dikkate almamasını temel sınırlılıklarından biri olarak vurgulamaktadır.
Cohen Kappa formülü
Cohen Kappa aşağıdaki formülle hesaplanır:
κ = [Pr(o) − Pr(e)] / [1 − Pr(e)]
Burada:
Pr(o): gözlenen uyum oranı
Pr(e): şans eseri beklenen uyum oranı
κ: Cohen Kappa katsayısıdır.
Örneğin gözlenen uyum:
Pr(o) = 0,80
ve şansa bağlı beklenen uyum:
Pr(e) = 0,50
ise:
κ = (0,80 − 0,50) / (1 − 0,50)
κ = 0,30 / 0,50
κ = 0,60
olarak bulunur.
Burada iki değerlendirici çıplak olarak %80 oranında aynı kararı vermiş olmasına rağmen, tesadüfi uyum dikkate alındığında Kappa değeri 0,60 olmaktadır.
Cohen Kappa değeri ne anlama gelir?
Cohen Kappa genel olarak −1 ile +1 arasındaki değerlerle ifade edilir.
Mevcut yazımızdaki temel yorumlamayı korursak:
κ = −1: Değerlendirmeler tamamen ters yöndedir.
κ = 0: Gözlenen uyum, şans düzeyindeki uyumdan daha iyi değildir.
κ = +1: Değerlendirmeler arasında tam uyum vardır.
Pratikte özellikle:
κ < 0
olması, gözlenen uyumun şansa göre beklenenden daha kötü olduğuna işaret eden önemli bir uyarıdır.
κ = 0
şans düzeyindeki uyuma,
κ > 0
ise şansın üzerinde uyuma işaret eder.
Değer +1'e yaklaştıkça uyum genellikle güçlenir.
Bununla birlikte Kappa'nın yorumlanmasında tek ve evrensel bir sınır sistemi bulunmamaktadır. Bu nedenle kullanılan sınıflandırmanın kaynak gösterilmesi önemlidir.
Cohen Kappa kaç olmalı? McHugh sınıflandırması
Mevcut yazımızda kullandığımız McHugh (2012) sınıflandırmasını koruyoruz:
Cohen Kappa | Uyum düzeyi |
0,00–0,20 | Uyum yok |
0,21–0,39 | Minimal düzeyde uyum |
0,40–0,59 | Zayıf düzeyde uyum |
0,60–0,79 | Orta düzeyde uyum |
0,80–0,90 | Güçlü düzeyde uyum |
>0,90 | Neredeyse mükemmel uyum |
Bu aralıklar McHugh'un önerdiği daha katı yorumlama yaklaşımına dayanmaktadır.
Örneğin:
κ = 0,84
bulunması McHugh sınıflandırmasına göre güçlü düzeyde uyum anlamına gelir.
Landis ve Koch'a göre Kappa değerleri
Cohen Kappa sonuçlarının yorumlanmasında en sık karşılaşılan diğer sınıflandırmalardan biri Landis ve Koch (1977) tarafından önerilen aralıklardır.
Mevcut yazımızdaki bu aralıkları da aynen koruyoruz:
Cohen Kappa | Uyum düzeyi |
<0,00 | Kötü uyum |
0,00–0,20 | Zayıf düzeyde uyum |
0,21–0,40 | Ortanın altı düzeyde uyum |
0,41–0,60 | Orta düzeyde uyum |
0,61–0,80 | Önemli düzeyde uyum |
0,81–1,00 | Neredeyse mükemmel uyum |
Landis ve Koch sınıflandırması literatürde yaygın biçimde kullanılmaya devam etmektedir.
McHugh ile Landis ve Koch neden farklı?
Aynı Kappa değeri iki sınıflandırmada farklı sözel ifadelerle değerlendirilebilir.
Örneğin:
κ = 0,65
McHugh'a göre → orta düzeyde uyum
Landis ve Koch'a göre → önemli düzeyde uyum
şeklinde yorumlanacaktır.
Bu nedenle tez veya makalede yalnızca:
“Kappa değeri orta düzeydedir.”
demek yerine hangi sınıflandırmanın kullanıldığı belirtilmelidir.
Örneğin:
“Cohen Kappa katsayısı κ = 0,65 olarak bulunmuş ve McHugh'un (2012) sınıflandırmasına göre orta düzeyde uyum olarak değerlendirilmiştir.”
daha açık bir raporlamadır.
Kappa değeri negatif çıkarsa ne anlama gelir?
Negatif Kappa, değerlendiriciler arasındaki uyumun şansa göre beklenen uyumdan daha düşük olduğunu gösterir.
Örneğin:
κ = −0,18
bulunması değerlendiricilerin yalnızca düşük uyum göstermesinden daha ciddi bir duruma işaret edebilir.
Bu durumda şu noktalar incelenmelidir:
değerlendiricilerin kriterleri aynı biçimde anlayıp anlamadığı,
kategori tanımlarının açık olup olmadığı,
kodlama hatası bulunup bulunmadığı,
değerlendirme formunun yeterince açıklayıcı olup olmadığı,
değerlendiricilerin eğitimlerinin yeterli olup olmadığı.
McHugh da negatif Kappa değerlerini önemli bir uyumsuzluk göstergesi olarak ele almaktadır.
Yüzde uyum yüksekken Kappa neden düşük çıkabilir?
Bu, Kappa analizinde en çok kafa karıştıran durumlardan biridir.
Örneğin iki değerlendirici arasında:
%90'ın üzerinde gözlenen uyum
olduğu hâlde Kappa değeri beklenenden düşük çıkabilir.
Bunun nedenlerinden biri, kategorilerin dağılımının çok dengesiz olmasıdır.
Örneğin değerlendirmelerin neredeyse tamamı “hastalık yok” kategorisinde toplanmışsa iki değerlendiricinin aynı kategoriyi seçme olasılığı şans eseri de yüksek olabilir. Kappa bu beklenen uyumu hesaba kattığı için katsayı düşebilir.
Bu durum Kappa'nın bazen prevalans veya marjinal dağılım problemi olarak adlandırılan özelliğiyle ilişkilidir. Kappa'nın kategori frekanslarından etkilenebildiği metodolojik çalışmalarda da vurgulanmaktadır.
Bu nedenle sonuçlar değerlendirilirken mümkünse yalnızca Kappa değil:
gözlenen yüzde uyum,
çapraz tablo,
kategori dağılımları,
Kappa katsayısı,
güven aralığı
birlikte incelenmelidir.
Cohen Kappa ile korelasyon arasındaki fark nedir?
Cohen Kappa bir uyum ölçüsüdür.
Pearson veya Spearman gibi korelasyon katsayıları ise iki değişken arasındaki ilişkinin yönünü ve gücünü değerlendirir.
İki değerlendirici sistematik biçimde birbirinden farklı puanlar verse bile puanlar arasında güçlü korelasyon oluşabilir.
Örneğin birinci değerlendirici kişilere:
1, 2, 3, 4
ikinci değerlendirici ise sürekli:
2, 3, 4, 5
puanlarını verirse sıralamalar birlikte hareket eder. Buna rağmen değerler aynı değildir.
Bu nedenle yüksek korelasyon, yüksek uyum anlamına gelmez.
Araştırma sorunuz için hangi istatistiksel yöntemin uygun olduğundan emin değilseniz ücretsiz istatistiksel test seçme aracımızı kullanabilirsiniz.
Cohen Kappa ile Fleiss Kappa arasındaki fark nedir?
Temel ayrım değerlendirici yapısıyla ilgilidir.
Özellik | Cohen Kappa | Fleiss Kappa |
Temel kullanım | İki değerlendirme | Çoklu değerlendirici yapıları |
Veri | Kategorik | Kategorik |
Şans uyumu dikkate alınır mı? | Evet | Evet |
Tipik örnek | İki hekimin tanısı | Birden fazla hekimin sınıflandırması |
Üç veya daha fazla değerlendiriciniz varsa Fleiss Kappa hakkındaki ayrıntılı yazımızı inceleyebilirsiniz.
Fleiss Kappa, Cohen Kappa'nın çok değerlendiricili durumlara genişletilmesinde yaygın kullanılan yaklaşımlardan biridir.
Ağırlıklı Kappa nedir?
Standart Cohen Kappa'da farklı türdeki uyuşmazlıklar aynı şekilde değerlendirilir.
Nominal kategorilerde bu çoğu zaman anlamlıdır. Örneğin:
pozitif / negatif
var / yok
uygun / uygun değil
gibi kategorilerde bir uyuşmazlığın diğerinden “daha yakın” olduğu söylenemez.
Ancak kategoriler sıralıysa durum değişebilir.
Örneğin:
düşük,
orta,
yüksek
kategorileri kullanılıyorsa “düşük–orta” uyuşmazlığı ile “düşük–yüksek” uyuşmazlığının aynı büyüklükte hata olarak değerlendirilmesi istenmeyebilir.
Bu durumda ağırlıklı Cohen Kappa (weighted Kappa) kullanılabilir. Ağırlıklı Kappa, uyuşmazlığın büyüklüğüne göre farklı ağırlıklar verilmesine olanak tanır. Cohen, weighted Kappa yaklaşımını daha sonra ordinal yapılar için geliştirmiştir.
Dolayısıyla:
nominal kategoriler → standart Cohen Kappa,
sıralı kategoriler → araştırma amacına göre weighted Kappa
daha uygun olabilir.
Cohen Kappa SPSS'te nasıl yapılır?
SPSS'te standart Cohen Kappa analizi çapraz tablolar üzerinden yapılabilir.
Örneğin iki hekimin değerlendirmeleri:
Hekim_1
ve
Hekim_2
isimli iki değişkende yer alıyorsa şu yolu izleyebilirsiniz:
Analyze → Descriptive Statistics → Crosstabs
Ardından:
Birinci değerlendiriciyi Row(s) alanına taşıyın.
İkinci değerlendiriciyi Column(s) alanına taşıyın.
Statistics düğmesine tıklayın.
Kappa seçeneğini işaretleyin.
Continue → OK ile analizi çalıştırın.
Çıktıda çapraz tablonun yanında Kappa katsayısını ve anlamlılık testini görebilirsiniz.
SPSS'in genel analiz mantığına ilişkin daha fazla bilgi için SPSS analizi nasıl yapılır? rehberimize bakabilirsiniz.
SPSS Cohen Kappa sonucu nasıl yorumlanır?
Örneğin SPSS çıktısında:
Kappa = 0,72
p < 0,001
bulunduğunu düşünelim.
Burada Kappa katsayısı uyumun büyüklüğünü gösterir.
McHugh sınıflandırmasına göre:
κ = 0,72 → orta düzeyde uyum
Landis ve Koch sınıflandırmasına göre ise:
κ = 0,72 → önemli düzeyde uyum
olarak değerlendirilir.
Bu örnek, kullanılan yorumlama sisteminin açıkça belirtilmesinin neden önemli olduğunu da göstermektedir.
Kappa analizinde p değeri neyi gösterir?
SPSS'in Cohen Kappa çıktısındaki anlamlılık testi genellikle:
H₀: κ = 0
hipotezini değerlendirir.
Dolayısıyla:
p < 0,05
sonucu Kappa'nın sıfırdan istatistiksel olarak farklı olduğuna ilişkin kanıt sunar.
Ancak bu sonuç:
“Uyum yeterince yüksektir.”
anlamına gelmez.
Örneğin büyük bir örneklemde κ = 0,18 değeri istatistiksel olarak anlamlı olabilir; fakat uyum düzeyi uygulama açısından hâlâ düşük olabilir.
Bu nedenle Cohen Kappa sonuçlarında yalnızca p değerine değil, Kappa katsayısının büyüklüğüne bakılmalıdır.
Güven aralığı neden önemlidir?
Kappa örneklemden hesaplanan bir tahmindir. Bu nedenle mümkün olduğunda %95 güven aralığıyla birlikte raporlanması daha bilgilendiricidir.
Örneğin:
κ = 0,74, %95 GA [0,61; 0,87]
sonucu yalnızca nokta tahminini değil, uyum katsayısındaki belirsizliği de gösterir.
Özellikle örneklem küçük olduğunda güven aralığı genişleyebilir. McHugh da Kappa değerlendirilirken güven aralıklarının önemine dikkat çekmektedir.
Cohen Kappa örneklem büyüklüğünden etkilenir mi?
Kappa değerinin kendisi yalnızca örneklem sayısının artmasıyla otomatik olarak yükselmez.
Ancak örneklem büyüklüğü:
katsayının kesinliğini,
standart hatayı,
güven aralığını,
anlamlılık testini
etkiler.
Çok küçük örneklemlerde Kappa tahmini kararsız olabilir ve güven aralıkları genişleyebilir.
Bu nedenle yalnızca:
“Kappa hesaplandı ve anlamlı bulundu.”
demek yerine örneklem büyüklüğü ve belirsizlik de dikkate alınmalıdır.
Cohen Kappa ölçek geliştirmede kullanılabilir mi?
Kullanılabilir; ancak neyi değerlendirdiği doğru tanımlanmalıdır.
Örneğin iki uzmanın ölçek maddelerini:
uygun,
uygun değil
şeklinde sınıflandırması durumunda uzmanlar arasındaki uyum Cohen Kappa ile değerlendirilebilir.
Bununla birlikte bu sonuç ölçeğin tüm geçerlik ve güvenirlik özelliklerini tek başına kanıtlamaz. Ölçek geliştirme sürecinde kapsam geçerliği, yapı geçerliği, madde analizi ve güvenirlik gibi farklı kanıtların birlikte değerlendirilmesi gerekir.
Cohen Kappa sonuçları tezde nasıl raporlanır?
Örneğin iki değerlendirici arasında:
κ = 0,83
bulunduğunu düşünelim.
McHugh sınıflandırması kullanılıyorsa şu şekilde yazılabilir:
“İki değerlendiricinin sınıflandırmaları arasındaki uyum Cohen Kappa katsayısı ile incelenmiş ve κ = 0,83 olarak bulunmuştur. McHugh'un (2012) sınıflandırmasına göre değerlendiriciler arasında güçlü düzeyde uyum bulunmaktadır.”
Eğer güven aralığı da hesaplanmışsa:
“Değerlendiriciler arasındaki uyum güçlü düzeydedir, κ = 0,83, %95 GA [0,72; 0,94].”
şeklinde raporlanabilir.
Araştırmanızdaki analizlerin seçimi, SPSS'te uygulanması veya sonuçların kontrol edilmesi konusunda destek gerekiyorsa SPSS analizi danışmanlığı sayfamızı inceleyebilirsiniz.
Cohen Kappa yorumlanırken yapılan yaygın hatalar
Kappa analizinde özellikle şu hatalardan kaçınmak gerekir:
Kappa'yı korelasyon katsayısı gibi yorumlamak,
yalnızca yüzde uyuma bakmak,
yalnızca p değerine göre karar vermek,
kullanılan Kappa yorumlama sınıflandırmasını belirtmemek,
ordinal kategorilerde ağırlıklı Kappa gereksinimini hiç değerlendirmemek,
çoklu değerlendirici yapısında otomatik olarak iki değerlendiricili Cohen Kappa kullanmak,
çok dengesiz kategori dağılımlarını göz ardı etmek.
Kappa katsayısı araştırma bağlamı, kategorilerin dağılımı ve değerlendirmenin amacıyla birlikte yorumlanmalıdır.
Sık sorulan sorular
Cohen Kappa değeri kaç olmalı?
Tek bir evrensel sınır yoktur. McHugh ve Landis–Koch gibi farklı sınıflandırmalar farklı eşikler kullanmaktadır. Bu nedenle araştırmada hangi yorumlama sisteminin kullanıldığı belirtilmelidir.
Cohen Kappa 0,80 iyi midir?
McHugh sınıflandırmasında 0,80–0,90 güçlü uyuma, Landis ve Koch sınıflandırmasında ise 0,61–0,80 önemli düzeyde uyuma karşılık gelir. Sınır değerlerde kullanılan sınıflandırmanın açıkça belirtilmesi özellikle önemlidir.
Cohen Kappa negatif olabilir mi?
Evet. Negatif değer, gözlenen uyumun şans düzeyindeki beklenen uyumdan daha düşük olduğunu gösterir ve değerlendirme sürecinin incelenmesini gerektirir.
Kappa ile yüzde uyum aynı mıdır?
Hayır. Yüzde uyum yalnızca aynı kararların oranını gösterir. Kappa ise şans eseri ortaya çıkabilecek uyumu da hesaba katar.
Üç değerlendirici varsa Cohen Kappa kullanılır mı?
Klasik Cohen Kappa iki değerlendirme seti için geliştirilmiştir. Üç veya daha fazla değerlendiricinin nominal sınıflandırmalarında Fleiss Kappa gibi çoklu değerlendirici yöntemleri değerlendirilebilir.
Ordinal verilerde Cohen Kappa kullanılabilir mi?
Sıralı kategorilerde uyuşmazlıkların derecesini dikkate almak isteniyorsa weighted Kappa daha uygun olabilir.
Sonuç
Cohen Kappa, iki değerlendirici veya iki değerlendirme zamanı arasındaki kategorik uyumu şansa bağlı beklenen uyumu dikkate alarak değerlendiren önemli bir katsayıdır.
Kappa hesaplamasının temelinde:
κ = [Pr(o) − Pr(e)] / [1 − Pr(e)]
formülü bulunur. Burada Pr(o) gözlenen, Pr(e) ise şansa göre beklenen uyumu ifade eder.
Ancak Kappa değerini yorumlarken yalnızca katsayının sayısal büyüklüğüne bakmak yeterli değildir. Kullanılan yorumlama sistemi, yüzde uyum, kategori dağılımları ve mümkünse güven aralığı birlikte değerlendirilmelidir.
Araştırmanızda Cohen Kappa mı, Fleiss Kappa mı ya da başka bir yöntem mi kullanmanız gerektiğinden emin değilseniz istatistiksel test seçme aracımızı kullanarak veri ve araştırma yapınızı ön değerlendirebilirsiniz.
Kaynaklar
Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46.
Cohen, J. (1968). Weighted kappa: Nominal scale agreement provision for scaled disagreement or partial credit. Psychological Bulletin, 70(4), 213–220.
Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174.
McHugh, M. L. (2012). Interrater reliability: The kappa statistic. Biochemia Medica, 22(3), 276–282.
