Fleiss Kappa nedir? Nasıl hesaplanır ve yorumlanır?
Güncelleme tarihi: 3 gün önce
Fleiss Kappa, birden fazla değerlendiricinin aynı birimleri nominal kategorilere ayırırken gösterdiği uyumu, tesadüfen oluşması beklenen uyumu dikkate alarak değerlendiren bir katsayıdır. Özellikle üç veya daha fazla doktorun, öğretmenin, uzmanın ya da kodlayıcının aynı vakaları belirli kategorilere göre sınıflandırdığı araştırmalarda kullanılabilir.
Örneğin üç hekimin aynı hasta dosyalarını “düşük”, “orta” veya “yüksek risk” olarak sınıflandırdığını düşünelim. Yalnızca aynı sınıflandırmaların yüzdesini hesaplamak gözlenen uyumu gösterir; Fleiss Kappa ise bu uyumun bir kısmının kategorilerin kullanım sıklığı nedeniyle tesadüfen ortaya çıkabileceğini de hesaba katar.
Bununla birlikte Fleiss Kappa, değerlendiricilerin kullandığı kategoriler sıralı veya puanlar sürekli olduğunda her zaman en uygun yöntem değildir. Analiz seçilirken değerlendirici sayısının yanında verinin ölçüm düzeyi, aynı değerlendiricilerin bütün birimleri değerlendirip değerlendirmediği ve eksik puanlama bulunup bulunmadığı da incelenmelidir.
Fleiss Kappa testi nedir?
Fleiss Kappa testi, belirli sayıdaki değerlendiricinin bir grup birimi birbirini dışlayan kategorilerden birine yerleştirmesi durumunda değerlendiriciler arası uyumu ölçer. Joseph L. Fleiss tarafından 1971 yılında yayımlanan çalışma, ikiden fazla değerlendirmeyi kapsayan nominal uyumun hesaplanmasına yönelik temel yaklaşımı ortaya koymuştur. (Fleiss, 1971)
Bu yöntemde “birim”; hasta, öğrenci, metin, görüntü, davranış, ürün veya sınıflandırılan başka bir nesne olabilir. Her değerlendirici, her birimi yalnızca bir kategoriye yerleştirir. Hesaplama sonunda elde edilen tek Kappa katsayısı, değerlendirme sistemindeki genel uyum düzeyini özetler.
Örneğin aşağıdaki araştırmalarda Fleiss Kappa kullanılabilir:
Dört radyoloğun görüntüleri normal, şüpheli veya anormal olarak sınıflandırması
Üç öğretmenin öğrenci cevaplarını yetersiz, kısmen yeterli veya yeterli olarak kodlaması
Beş araştırmacının görüşme metinlerini belirli temalara ayırması
Bir uzman grubunun ürünleri uygun, düzeltilebilir veya uygunsuz olarak değerlendirmesi
Birden fazla kodlayıcının sosyal medya paylaşımlarını nominal içerik kategorilerine ayırması
Burada önemli olan, aynı birimlerin belirli sayıda değerlendirmeye sahip olması ve kullanılan kategorilerin bütün değerlendiriciler için aynı biçimde tanımlanmasıdır. Kategorilerin açıklaması belirsizse düşük uyum, yöntemin değil kodlama yönergesinin veya değerlendirici eğitiminin yetersizliğinden kaynaklanabilir.
Fleiss Kappa hangi durumlarda kullanılır?
Fleiss Kappa çoğunlukla ikiden fazla değerlendiricinin nominal kategorik kararları arasındaki genel uyumu incelemek için kullanılır. Kategorilerin “var–yok”, “olumlu–olumsuz”, “A–B–C tipi” veya “düşük–orta–yüksek” şeklinde adlandırılması mümkündür; ancak standart Fleiss Kappa kategoriler arasındaki uzaklığı veya sıralamayı hesaba katmaz.
Yöntemin temel kullanım koşulları şöyle özetlenebilir:
Aynı birimler birden fazla değerlendirici tarafından sınıflandırılmalıdır.
Her değerlendirme birbirini dışlayan tek bir kategoriye ait olmalıdır.
Bütün değerlendiriciler aynı kategori sistemini kullanmalıdır.
Klasik hesaplamada her birim aynı sayıda değerlendirmeye sahip olmalıdır.
Değerlendirmeler birbirinden bağımsız yapılmalıdır.
Veri, puandan çok kategorik sınıflandırma niteliğinde olmalıdır.
“Düşük–orta–yüksek” gibi kategoriler sıralı olsa bile standart Fleiss Kappa, düşük ile orta arasındaki uyuşmazlığı düşük ile yüksek arasındaki uyuşmazlıktan farklı değerlendirmez. Sıralamanın önemli olduğu araştırmalarda ağırlıklı çoklu değerlendirici Kappa yöntemleri veya araştırmanın yapısına uygun başka uyum ölçüleri düşünülmelidir.
Fleiss Kappa hangi durumlarda kullanılmaz?
Değerlendirici sayısının üç veya daha fazla olması tek başına Fleiss Kappa seçmek için yeterli değildir. Veriler sürekli puanlardan oluşuyorsa sınıf içi korelasyon katsayısı; sıralama biçimindeyse Kendall’ın W katsayısı; eksik kodlamalar ve değerlendirici sayısının birimlere göre değişmesi söz konusuysa Krippendorff Alpha gibi alternatifler daha uygun olabilir.
Aşağıdaki durumlarda Fleiss Kappa otomatik olarak kullanılmamalıdır:
Araştırma durumu | Değerlendirilebilecek yöntem |
İki değerlendirici, nominal kategori | Cohen Kappa |
İki değerlendirici, sıralı kategori | Ağırlıklı Cohen Kappa |
Üç veya daha fazla değerlendirici, nominal kategori | Fleiss Kappa |
Sürekli veya yaklaşık sürekli puanlar | Sınıf içi korelasyon katsayısı |
Birden fazla değerlendiricinin sıralamaları | Kendall’ın W katsayısı |
Eksik değerlendirmeler veya değişen değerlendirici sayıları | Krippendorff Alpha veya uygun genişletilmiş yöntem |
Bir değerlendiricinin iki zamandaki kategorik kararı | Değerlendirici içi Cohen Kappa |
Bir değerlendiricinin ikiden fazla zamandaki kararları | Tekrarlı yapıya uygun özel bir yöntem |
Özellikle tek bir değerlendiricinin aynı birimleri üç veya daha fazla kez değerlendirmesi, “üç değerlendirici” ile aynı araştırma düzeni değildir. Bu durumda amaç değerlendiriciler arası değil, değerlendirici içi tutarlılığı incelemektir ve zaman bağımlılığı dikkate alınmalıdır.
Fleiss Kappa ile Cohen Kappa arasındaki fark nedir?
Cohen Kappa ve Fleiss Kappa kategorik değerlendirmelerde tesadüfen beklenen uyumu dikkate alan katsayılardır; ancak değerlendirme düzenleri aynı değildir. Cohen Kappa aynı iki değerlendiricinin yaptığı sınıflandırmalara, Fleiss Kappa ise birden fazla değerlendirmeyi kapsayan genel uyuma odaklanır.
Özellik | Cohen Kappa | Fleiss Kappa |
Temel kullanım | İki değerlendirici | Genellikle üç veya daha fazla değerlendirici |
Veri türü | Nominal kategorik | Nominal kategorik |
Sonuç | İki değerlendirici arasındaki uyum | Değerlendirme grubunun genel uyumu |
Şansa bağlı uyumu dikkate alma | Evet | Evet |
Kategori sırasını standart biçimde dikkate alma | Hayır | Hayır |
Değerlendiriciye özgü sonuç | Tek çift için sonuç verir | Tek genel katsayı verir |
Üç değerlendirici bulunduğunda her değerlendirici çifti için ayrı Cohen Kappa hesaplamak mümkündür; ancak bu işlem tek bir genel Fleiss Kappa hesabıyla aynı değildir. Çiftlere ait Cohen Kappa değerleri hangi değerlendiricilerin birbirinden ayrıldığını görmek için tamamlayıcı olarak sunulabilir, fakat çoklu karşılaştırmaların tek bir genel uyum katsayısının yerini aldığı düşünülmemelidir. İki değerlendiricili araştırmalar için Cohen Kappa nedir? yazımızı inceleyebilirsiniz.
Fleiss Kappa veri düzeni nasıl olmalıdır?
Fleiss Kappa hesabında ham veriler, her satır bir birimi ve her sütun bir değerlendiriciyi gösterecek biçimde düzenlenebilir. Üç hekimin beş hastayı düşük, orta veya yüksek risk kategorilerine ayırdığı örnek veri aşağıdaki gibi olsun:
Hasta | Değerlendirici 1 | Değerlendirici 2 | Değerlendirici 3 |
1 | Düşük | Düşük | Düşük |
2 | Düşük | Düşük | Orta |
3 | Orta | Orta | Orta |
4 | Yüksek | Yüksek | Orta |
5 | Düşük | Orta | Yüksek |
Hesaplama için bu ham sınıflandırmalar, her birime kaç değerlendiricinin hangi kategoriyi verdiğini gösteren sayım tablosuna dönüştürülebilir:
Hasta | Düşük | Orta | Yüksek | Toplam değerlendirme |
1 | 3 | 0 | 0 | 3 |
2 | 2 | 1 | 0 | 3 |
3 | 0 | 3 | 0 | 3 |
4 | 0 | 1 | 2 | 3 |
5 | 1 | 1 | 1 | 3 |
Her satırın toplamının aynı olması gerekir; bu örnekte bütün hastalar üçer kez değerlendirilmiştir. Bir satırın toplamı iki, başka bir satırın toplamı üçse klasik Fleiss Kappa hesabı doğrudan uygulanmadan önce eksik değerlendirmelerin ve kullanılacak yazılımın bu yapıyı nasıl ele aldığı incelenmelidir.
Fleiss Kappa nasıl hesaplanır?
Fleiss Kappa hesabı üç temel aşamadan oluşur. Önce her birim için değerlendiriciler arasındaki gözlenen uyum, daha sonra bütün birimlerdeki ortalama gözlenen uyum ve kategorilerin genel kullanım oranlarına dayalı beklenen uyum hesaplanır.
Fleiss Kappa formülü şöyledir:
κ = (P̄ − P̄ₑ) / (1 − P̄ₑ)
Formülde:
κ: Fleiss Kappa katsayısı
P̄: Ortalama gözlenen uyum
P̄ₑ: Tesadüfen beklenen uyum
Payda, tesadüfen beklenen uyumun üzerinde ulaşılabilecek en yüksek uyum miktarını; pay ise gözlenen uyumun beklenen uyumu ne kadar aştığını gösterir. Bütün değerlendiriciler her birim için aynı kategoriyi seçerse Kappa 1 olur.
Birimlere ait uyum oranı nasıl hesaplanır?
Her birim için uyum, değerlendiricilerin aynı kategoriye verdikleri karar çiftlerinin bütün olası karar çiftlerine oranlanmasıyla hesaplanır. Birim düzeyindeki uyum için şu formül kullanılabilir:
Pᵢ = [Σnᵢⱼ² − n] / [n(n−1)]
Burada nᵢⱼ, i’nci birim için j kategorisini seçen değerlendirici sayısını; n ise her birimi değerlendiren kişi sayısını gösterir.
Birinci hastada üç değerlendiricinin tamamı “düşük” dediği için uyum tamdır:
P₁ = 1,00
İkinci hastada iki değerlendirici “düşük”, bir değerlendirici “orta” dediği için:
P₂ = [(2² + 1² + 0²) − 3] / [3 × 2]
P₂ = (5 − 3) / 6 = 0,333
Aynı yöntem bütün hastalara uygulandığında birim düzeyindeki uyum değerleri şöyledir:
Hasta | Birim düzeyinde uyum |
1 | 1,000 |
2 | 0,333 |
3 | 1,000 |
4 | 0,333 |
5 | 0,000 |
Birinci ve üçüncü hastalarda bütün değerlendiriciler aynı kararı vermiştir. Beşinci hastada ise üç değerlendirici üç farklı kategori seçtiği için aynı kategori üzerinde eşleşen bir değerlendirici çifti bulunmamaktadır.
Ortalama gözlenen uyum nasıl hesaplanır?
Ortalama gözlenen uyum, bütün birimlere ait uyum oranlarının aritmetik ortalamasıdır. Örneğimizde hesaplama şöyledir:
P̄ = (1,000 + 0,333 + 1,000 + 0,333 + 0,000) / 5
P̄ = 0,533
Bu sonuç, değerlendiriciler arasındaki gözlenen ikili eşleşmelerin ortalama oranının yaklaşık %53,3 olduğunu gösterir. Ancak Fleiss Kappa hesabı burada tamamlanmaz; kategorilerin genel kullanım oranlarına göre tesadüfen beklenen uyumun da hesaplanması gerekir.
Tesadüfen beklenen uyum nasıl hesaplanır?
Örnekte toplam 5 birim ve her birim için 3 değerlendirme bulunduğundan toplam 15 karar vardır. Düşük kategorisi 6, orta kategorisi 6 ve yüksek kategorisi 3 kez kullanılmıştır.
Kategori oranları şöyledir:
Düşük: 6 / 15 = 0,40
Orta: 6 / 15 = 0,40
Yüksek: 3 / 15 = 0,20
Tesadüfen beklenen uyum, kategori oranlarının kareleri toplanarak hesaplanır:
P̄ₑ = 0,40² + 0,40² + 0,20²
P̄ₑ = 0,16 + 0,16 + 0,04 = 0,36
Bu değer, kategorilerin örnekteki kullanım sıklıkları dikkate alındığında tesadüfen yaklaşık %36 oranında uyum beklenebileceğini gösterir.
Örnek Fleiss Kappa hesaplaması
Ortalama gözlenen uyum 0,533 ve beklenen uyum 0,36 olduğuna göre Fleiss Kappa şöyle hesaplanır:
κ = (0,533 − 0,36) / (1 − 0,36)
κ = 0,173 / 0,64
κ = 0,27
Bu örnekte Fleiss Kappa yaklaşık 0,27’dir. Değerlendiricilerin gözlenen uyumu tesadüfen beklenen düzeyin üzerindedir; ancak sonuç güçlü bir uyuma işaret etmemektedir. Yalnızca beş birimden oluşan bu tablo hesaplamayı göstermek amacıyla hazırlanmıştır ve gerçek bir araştırmada güven aralığı, birim sayısı ve kategori dağılımı da değerlendirilmelidir.
Fleiss Kappa nasıl yorumlanır?
Fleiss Kappa 1 olduğunda tam uyum, 0 olduğunda tesadüfen beklenen düzeyde uyum bulunur. Negatif değer, gözlenen uyumun kullanılan kategori oranlarına göre tesadüfen beklenen uyumdan daha düşük olduğunu gösterir. Bununla birlikte Kappa’nın ulaşabileceği en düşük değer kategori dağılımına bağlıdır; bu nedenle negatif bir sonucu doğrudan “tam ters yönlü uyum” veya her durumda −1 ile açıklamak doğru değildir.
Kappa değerlerinin yorumlanmasında sıklıkla Landis ve Koch tarafından önerilen aşağıdaki sınıflandırma kullanılır:
Kappa değeri | Yaygın kullanılan açıklama |
κ < 0 | Tesadüfen beklenenden düşük uyum |
0,00–0,20 | Önemsiz veya çok düşük uyum |
0,21–0,40 | Düşük düzeyde uyum |
0,41–0,60 | Orta düzeyde uyum |
0,61–0,80 | Önemli düzeyde uyum |
0,81–1,00 | Çok yüksek uyum |
Bu sınırlar evrensel kabul ölçütleri değildir ve araştırmanın alanına göre farklı beklentiler bulunabilir. Klinik tanı, güvenlik veya yüksek riskli kararlar için kabul edilebilir uyum düzeyi, keşfedici bir içerik analizi için beklenen düzeyden daha yüksek olabilir. Kappa değeri kesme noktalarından biriyle mekanik biçimde etiketlenmek yerine güven aralığı, gözlenen uyum, kategori dağılımları ve kararın sonuçlarıyla birlikte yorumlanmalıdır.
Fleiss Kappa değeri negatif çıkarsa ne anlama gelir?
Negatif Fleiss Kappa, değerlendiricilerin gözlenen uyumunun kategori oranlarından hareketle tesadüfen beklenen uyumdan daha düşük olduğunu gösterir. Bu durum kategorilerin farklı anlaşılması, kodlama yönergesinin yetersiz olması, değerlendiricilerin sistematik biçimde farklı ölçütler kullanması veya küçük örneklemde oluşan dengesizliklerle ilişkili olabilir.
Negatif sonuçla karşılaşıldığında yalnızca katsayıya bakılmamalı; hangi birimlerde ve hangi kategorilerde anlaşmazlık oluştuğu incelenmelidir. Kategori tanımları yeniden değerlendirilmeden veya değerlendiricilere eğitim verilmeden yalnızca bazı kayıtları analizden çıkarmak doğru bir çözüm değildir.
Yüksek yüzde uyumu varken Kappa neden düşük çıkabilir?
Kappa katsayıları kategori dağılımından etkilenebilir. Değerlendiricilerin büyük çoğunluğu tek bir kategoriyi kullanıyorsa ham uyum yüksek görünmesine rağmen tesadüfen beklenen uyum da yükselebilir ve Kappa beklenenden düşük çıkabilir. Bu durum literatürde Kappa paradoksu veya prevalans sorunu bağlamında tartışılmaktadır. (Zec ve diğerleri, 2017)
Bu nedenle sonuç tablosunda yalnızca Fleiss Kappa verilmemelidir. Ham veya gözlenen uyum oranı, kategorilerin kullanım sıklıkları, birim ve değerlendirici sayısı ile mümkünse güven aralığı da sunulmalıdır. Böylece düşük veya yüksek Kappa değerinin hangi veri yapısında ortaya çıktığı anlaşılabilir.
Fleiss Kappa için anlamlılık testi yeterli midir?
Fleiss Kappa çıktısında Kappa’nın sıfırdan farklı olup olmadığını değerlendiren standart hata, z değeri veya p değeri bulunabilir. Ancak p değerinin anlamlı çıkması, uyumun araştırma açısından yeterli veya güçlü olduğu anlamına gelmez. Birim sayısı büyüdükçe düşük düzeydeki bir Kappa değeri de istatistiksel olarak sıfırdan farklı bulunabilir.
Temel değerlendirme Kappa katsayısının büyüklüğüne, güven aralığına ve araştırmanın gerektirdiği uyum düzeyine dayanmalıdır. Örneğin κ=0,25 için p<0,001 bulunması, değerlendiriciler arasında yüksek uyum olduğu biçiminde yorumlanamaz.
Fleiss Kappa SPSS’te nasıl hesaplanır?
Fleiss Kappa’nın SPSS’te uygulanma yolu kullanılan SPSS sürümüne ve kurulu eklentilere göre değişebilir. Bazı sürümlerde veya kurulumlarda çoklu değerlendirici Kappa için bir uzantı ya da ek yordam kullanılması gerekebilir. Analize başlamadan önce verilerin ham değerlendirici sütunları şeklinde mi yoksa kategori sayımlarına dönüştürülerek mi girileceği kullanılan yönteme göre belirlenmelidir.
Videomuzda Fleiss Kappa hesabının uygulanışını ve çıktıların değerlendirilmesini görebilirsiniz. Analiz sırasında şu bilgilerin doğru tanımlandığından emin olunmalıdır:
Her satırdaki araştırma birimi
Değerlendirici sayısı
Kategori sayısı ve kategori kodları
Eksik değerlendirmeler
Bütün birimlerin aynı sayıda değerlendirmeye sahip olup olmadığı
Kategorilerin nominal veya sıralı yapısı
Raporlanacak Kappa katsayısı ve güven aralığı
SPSS veya başka bir yazılımın Kappa değeri üretmesi, seçilen yöntemin araştırma düzenine uygun olduğunu tek başına göstermez. Özellikle eksik değerlendirmeler, değişen değerlendirici grupları ve sıralı kategoriler varsa yazılımın kullandığı hesaplama yöntemi kontrol edilmelidir.
Fleiss Kappa sonucu nasıl raporlanır?
Fleiss Kappa raporlanırken değerlendirici sayısı, değerlendirilen birim sayısı, kategori sayısı ve kategorilerin ne olduğu açıklanmalıdır. Bunun yanında Kappa katsayısı, güven aralığı, gözlenen uyum ve varsa anlamlılık testi sunulabilir.
Örnek bir raporlama şu şekilde yapılabilir:
Beş hasta dosyasının düşük, orta veya yüksek risk kategorilerine sınıflandırılmasında üç değerlendirici arasındaki uyum Fleiss Kappa katsayısıyla incelenmiştir. Değerlendiriciler arasındaki ortalama gözlenen uyum %53,3, Fleiss Kappa katsayısı ise κ=0,27 olarak hesaplanmıştır. Bu bulgu değerlendiriciler arasında düşük düzeyde uyuma işaret etmektedir.
Gerçek bir araştırmada yazılım tarafından hesaplanan %95 güven aralığı da Kappa değerinin yanında verilmelidir. Küçük örneklem veya geniş güven aralığı bulunuyorsa katsayı kesin bir değer gibi yorumlanmamalı ve sonucun belirsizliği açıkça belirtilmelidir.
Fleiss Kappa hesaplanırken yapılan hatalar
Fleiss Kappa analizinde en sık yapılan hata, değerlendirici sayısı ikiden fazla olduğu için yöntemi veri yapısını incelemeden seçmektir. Değerlendirmelerin sürekli puan, sıralama veya çoklu etiket niteliğinde olması durumunda farklı yöntemler gerekebilir.
Diğer yaygın hatalar şunlardır:
Tekrarlı değerlendirmeleri bağımsız değerlendiriciler gibi kabul etmek
Sıralı kategorilerde uyuşmazlığın derecesini göz ardı etmek
Eksik puanlamaların yazılım tarafından nasıl işlendiğini kontrol etmemek
Aynı birimin birden fazla kategoriye atanmasına izin vermek
Kategori kullanım sıklıklarını raporlamamak
Ham uyum oranı ile Kappa katsayısını aynı ölçü kabul etmek
Yalnızca p değerine bakarak uyumun yüksek olduğunu söylemek
Landis–Koch aralıklarını değişmez kabul sınırları gibi kullanmak
Düşük Kappa değerini veri yapısını incelemeden değerlendirici başarısızlığına bağlamak
Kappa değerinin geçerliği kanıtladığını düşünmek
Fleiss Kappa, sınıflandırmalar arasındaki uyumu değerlendirir; kullanılan ölçüm aracının bütün geçerlik ve güvenirlik özelliklerini tek başına kanıtlamaz. İçerik geçerliği, yapı geçerliği, iç tutarlılık ve zamana karşı kararlılık gibi özellikler araştırmanın niteliğine göre ayrıca incelenmelidir.
Sık sorulan sorular
Fleiss Kappa en az kaç değerlendirici için kullanılır?
Fleiss Kappa çoklu değerlendirici uyumu için geliştirilmiştir ve uygulamada çoğunlukla üç veya daha fazla değerlendirme bulunduğunda kullanılır. İki sabit değerlendiricinin aynı birimleri sınıflandırdığı standart durumda Cohen Kappa daha uygun ve daha doğrudan bir seçimdir.
Fleiss Kappa nominal verilerde kullanılır mı?
Evet. Standart Fleiss Kappa nominal ve birbirini dışlayan kategorik sınıflandırmalar için kullanılır. Kategoriler sıralıysa standart yöntem bu sıralamayı dikkate almadığı için araştırmanın amacına uygun ağırlıklı veya farklı bir uyum ölçüsü değerlendirilmelidir.
Aynı değerlendiricilerin bütün birimleri puanlaması gerekir mi?
Fleiss’in klasik yaklaşımı her birimin aynı sayıda değerlendirme almasına dayanır; ancak değerlendirmeleri yapan kişilerin her birimde mutlaka aynı kişiler olması şartını Cohen Kappa’daki gibi korumaz. Araştırmada aynı sabit değerlendiriciler bütün birimleri değerlendiriyorsa bu yapı raporda açıkça belirtilmeli ve araştırma sorusuna göre alternatif çoklu değerlendirici katsayıları da değerlendirilebilmelidir.
Bir değerlendirici aynı kişileri üç kez değerlendirirse Fleiss Kappa kullanılır mı?
Doğrudan kullanılmamalıdır. Bu düzen değerlendiriciler arası değil, değerlendirici içi tekrarlanabilirlik problemidir ve aynı kişinin zaman içindeki kararları birbirinden tamamen bağımsız olmayabilir. Kullanılacak yöntem ölçüm sayısı, kategori yapısı ve araştırma amacına göre belirlenmelidir.
Fleiss Kappa negatif olabilir mi?
Evet. Negatif değer, gözlenen uyumun tesadüfen beklenen uyumdan daha düşük olduğunu gösterir. Ancak ulaşılabilecek en düşük değer kategori dağılımına bağlı olduğundan negatif Kappa her durumda −1’e kadar uzanmaz ve “tam zıtlık” şeklinde yorumlanmaz.
Fleiss Kappa için kabul edilebilir değer kaçtır?
Bütün araştırmalar için geçerli tek bir kabul sınırı yoktur. Beklenen uyum düzeyi kararın önemi, kategorilerin sayısı, araştırma alanı ve yanlış sınıflandırmanın sonuçlarına göre belirlenmelidir. Katsayı güven aralığı, ham uyum ve kategori dağılımlarıyla birlikte değerlendirilmelidir.
Fleiss Kappa ile güvenirlik kanıtlanmış olur mu?
Fleiss Kappa, değerlendiricilerin kategorik sınıflandırmaları arasındaki uyuma ilişkin kanıt sağlar. Ölçüm aracının iç tutarlılığı, yapı geçerliği, ölçüt geçerliği veya zamana karşı kararlılığı gibi diğer özellikleri tek başına göstermez.
Değerlendiriciler arası uyumu doğru yöntemle inceleyin
Fleiss Kappa, birden fazla değerlendiricinin nominal kategorik kararları arasındaki genel uyumu değerlendirmek için yararlı bir katsayıdır. Ancak doğru sonuç elde etmek için değerlendirici sayısının yanında verinin yapısı, kategori özellikleri, eksik değerlendirmeler ve araştırma düzeni birlikte incelenmelidir.
Araştırmanızda Fleiss Kappa, Cohen Kappa, sınıf içi korelasyon katsayısı veya başka bir uyum yönteminden hangisinin kullanılacağından emin değilseniz istatistiksel test seçme aracımızı kullanabilirsiniz. Analizlerin uygulanması ve sonuçların akademik biçimde raporlanması için istatistiksel analiz danışmanlığı, mevcut sonuçların incelenmesi için analiz kontrolü ve istatistiksel revizyon hizmetimizi inceleyebilirsiniz.
Kaynak: Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological bulletin, 76(5), 378.
