Doğrusal regresyon varsayımları nelerdir? Nasıl kontrol edilir?
Güncelleme tarihi: 14 Eyl
Regresyon varsayımları, doğrusal regresyon modelinden elde edilen katsayıların, anlamlılık testlerinin, güven aralıklarının ve tahminlerin güvenilir biçimde yorumlanabilmesi için değerlendirilmesi gereken koşullardır. Analiz menüsünden regresyon modelini çalıştırmak ve anlamlı bir p değeri elde etmek tek başına yeterli değildir. Değişkenler arasındaki ilişkinin doğrusal olması, hata terimlerinin uygun özellikler göstermesi ve modeli aşırı etkileyen gözlemlerin bulunmaması gerekir.
Regresyon analizinde normallik değerlendirmesi yapılırken bağımlı ve bağımsız değişkenlerin her birinin ayrı ayrı normal dağılım göstermesi gerektiği düşünülür. Oysa doğrusal regresyondaki temel normallik varsayımı değişkenlerin kendilerinden çok, modelin hata terimlerinin veya bunların örneklemdeki karşılığı olan artıkların dağılımıyla ilgilidir. Benzer biçimde, yalnızca korelasyon tablosuna bakmak da doğrusallık, eş varyanslılık ve etkili gözlemler hakkında yeterli bilgi vermez.
Aşağıdaki videoda regresyon analizinin temel özellikleri ve analiz öncesinde değerlendirilmesi gereken koşullar açıklanmaktadır.
Doğrusal regresyon varsayımları nelerdir?
Doğrusal regresyon modelinin başlıca varsayımları; ilişkinin doğrusallığı, hata terimlerinin bağımsızlığı, artıkların yaklaşık normal dağılım göstermesi ve hata varyansının sabit olmasıdır. Çoklu doğrusal regresyonda bunlara bağımsız değişkenler arasında ciddi çoklu bağlantı bulunmaması da eklenir. Uç ve etkili gözlemlerin incelenmesi ise klasik anlamda ayrı bir dağılım varsayımı olmamasına rağmen modelin güvenilirliğinin değerlendirilmesinde vazgeçilmezdir.
Değerlendirilen koşul | Temel soru | Kullanılabilecek inceleme |
Doğrusallık | Bağımlı değişken ile yordayıcılar arasındaki ilişki doğrusal mı? | Saçılım ve artık grafikleri |
Hataların bağımsızlığı | Bir gözleme ait hata diğer gözlemlerle ilişkili mi? | Araştırma deseni, artıkların sırası, gerektiğinde Durbin–Watson |
Artıkların normalliği | Modelin artıkları yaklaşık normal dağılıyor mu? | Histogram ve normal P–P grafiği |
Eş varyanslılık | Artıkların yayılımı tahmin düzeylerinde benzer mi? | ZRESID–ZPRED grafiği |
Çoklu bağlantı | Yordayıcılar birbirini aşırı ölçüde açıklıyor mu? | Tolerance ve VIF |
Uç ve etkili gözlemler | Bazı gözlemler modeli olağan dışı ölçüde değiştiriyor mu? | Standartlaştırılmış artık, Cook uzaklığı ve kaldıraç |
Modelin doğru kurulması | Önemli değişkenler veya ilişki biçimleri dışarıda mı bırakıldı? | Kuramsal model ve artık örüntüleri |
Bu varsayımların her biri aynı sonuçları etkilemez ve her küçük sapma analizi bütünüyle geçersiz hâle getirmez. Örneğin artıkların normal dağılımdan sapması özellikle küçük örneklemlerde güven aralıkları ve anlamlılık testleri açısından önem kazanırken, gözlemlerin bağımsız olmaması çok daha temel bir modelleme sorunu oluşturabilir. Bu nedenle varsayımlar mekanik sınırlarla değil; sapmanın büyüklüğü, örneklem yapısı ve araştırma amacı birlikte değerlendirilerek yorumlanmalıdır.
Bağımlı değişken hangi ölçüm düzeyinde olmalıdır?
Standart doğrusal regresyonda bağımlı değişkenin sürekli veya yaklaşık sürekli bir yapıda olması beklenir. Sınav puanı, yaş, gelir, ölçek toplam puanı ve kan basıncı gibi sayısal değişkenler bu kapsamda değerlendirilebilir. Bağımlı değişken iki kategoriden oluşuyorsa ikili lojistik regresyon; sayım verisinden oluşuyorsa Poisson veya negatif binom regresyon gibi farklı modeller gerekebilir.
Bağımsız değişkenlerin tamamının sürekli olması zorunlu değildir. İki veya daha fazla kategoriden oluşan değişkenler uygun biçimde kukla değişkenlere dönüştürülerek doğrusal regresyon modeline alınabilir. Bununla birlikte kullanılan modelin bağımlı değişkenin dağılımına ve araştırma sorusuna uygun olması, yalnızca değişkenlerin SPSS’te sayısal kodlanmış olmasından daha önemlidir.
Doğrusallık varsayımı nasıl kontrol edilir?
Doğrusallık varsayımı, bağımlı değişkenin beklenen değeri ile bağımsız değişkenler arasındaki ilişkinin modelde doğrusal biçimde ifade edilebilmesini gerektirir. Basit doğrusal regresyonda ilk değerlendirme, bağımsız ve bağımlı değişken arasındaki saçılım grafiğiyle yapılabilir. Noktaların belirgin bir eğri, dalga veya başka bir sistematik yapı oluşturması doğrusal modelin ilişkiyi yeterince temsil etmeyebileceğini düşündürür.
Çoklu regresyonda her bağımsız değişkenin bağımlı değişkenle oluşturduğu ham saçılım grafiği tek başına yeterli değildir; çünkü diğer değişkenlerin etkisi de modelde bulunmaktadır. Bu nedenle artıkların tahmin edilen değerlere karşı çizildiği grafikler ve gerektiğinde kısmi regresyon grafikleri incelenebilir. İyi davranan bir artık grafiğinde noktaların sıfır çizgisi çevresinde belirgin bir eğri oluşturmadan dağılması beklenir. Penn State’in regresyon eğitimi de doğrusallık, bağımsızlık, normallik ve eş varyanslılığı doğrusal modelin temel koşulları olarak ele almaktadır. Penn State regresyon varsayımları
Doğrusal olmayan bir örüntü görüldüğünde yalnızca değişken silmek doğru çözüm olmayabilir. Kuramsal açıdan anlamlıysa değişken dönüşümü, polinom terimi veya doğrusal olmayan başka bir model değerlendirilebilir. Yapılacak değişiklik araştırma sorusuna ve veri yapısına dayanmalı; yalnızca anlamlı bir sonuç elde etme amacı taşımamalıdır.
Hataların bağımsızlığı ne anlama gelir?
Bağımsızlık varsayımı, bir gözleme ait hata teriminin başka bir gözlemin hata terimiyle sistematik biçimde ilişkili olmamasını ifade eder. Farklı katılımcılardan tek ölçüm alınan basit araştırmalarda bu koşul çalışma deseniyle sağlanabilir. Aynı kişiden tekrarlı ölçümler alınması, öğrencilerin sınıflar içinde, hastaların hastaneler içinde veya çalışanların kurumlar içinde kümelenmesi durumunda gözlemler birbirinden tamamen bağımsız olmayabilir.
Durbin–Watson istatistiği özellikle zaman veya gözlem sırasına bağlı ardışık hatalardaki otokorelasyonun incelenmesinde kullanılabilir. Değerin 2’ye yakın olması genellikle birinci dereceden otokorelasyonun belirgin olmadığı yönünde yorumlanır; ancak bu istatistik bütün bağımsızlık sorunlarını değerlendiren genel bir test değildir. Verilerin hangi sırayla toplandığı bilinmiyorsa veya araştırmada doğal bir zaman sırası bulunmuyorsa Durbin–Watson değerine tek başına dayanmak yanıltıcı olabilir.
Katılımcılardan birden fazla ölçüm alınmışsa veya veriler belirli kümeler içinde toplanmışsa standart doğrusal regresyon yerine karma modeller, genelleştirilmiş tahmin denklemleri veya çok düzeyli modeller gerekebilir. Bağımsızlık sorunu çoğu zaman analiz sonrasında düzeltilecek basit bir veri problemi değil, araştırma desenine uygun model seçimini gerektiren yapısal bir durumdur.
Artıkların normal dağılımı nasıl değerlendirilir?
Doğrusal regresyonda normal dağılım varsayımı, bağımlı ve bağımsız değişkenlerin ayrı ayrı normal olmasını değil, belirli yordayıcı değerlerinde hata terimlerinin yaklaşık normal dağılmasını ifade eder. Hata terimleri doğrudan gözlenemediği için örneklemde bu terimlerin tahminleri olan artıklar incelenir. Artıkların dağılımı histogram, normal P–P grafiği veya Q–Q grafiği yardımıyla değerlendirilebilir.
Normal P–P grafiğinde noktaların köşegen çizgiyi yaklaşık olarak takip etmesi, artıkların normal dağılımla büyük ölçüde uyumlu olduğunu düşündürür. Histogramın yaklaşık simetrik olması da destekleyici bilgi sağlayabilir; ancak küçük örneklemlerde histogramın görünümü kararsız olabilir. Yalnızca Shapiro–Wilk veya Kolmogorov–Smirnov testinin sonucuna dayanarak karar verilmemelidir; büyük örneklemlerde önemsiz sapmalar anlamlı, küçük örneklemlerde ise önemli sapmalar anlamsız bulunabilir.
Normallik varsayımındaki sapma regresyon katsayılarının mutlaka yanlı olduğu anlamına gelmez. Sorun daha çok küçük örneklemlerde p değerleri, güven aralıkları ve tahmin aralıklarının güvenilirliğinde ortaya çıkabilir. Bu nedenle grafikler, örneklem büyüklüğü, uç gözlemler ve sapmanın derecesi birlikte değerlendirilmelidir.
Eş varyanslılık varsayımı nedir?
Eş varyanslılık veya homoskedastisite, hata terimlerinin varyansının tahmin edilen değerlerin farklı düzeylerinde yaklaşık olarak sabit kalmasıdır. Başka bir ifadeyle, model düşük ve yüksek tahmin değerlerinde benzer bir hata yayılımına sahip olmalıdır. Artıkların yayılımı tahmin değerleri arttıkça genişliyor veya daralıyorsa heteroskedastisite sorunu bulunabilir.
SPSS’te bu varsayım çoğunlukla standartlaştırılmış tahmin değerleri ile standartlaştırılmış artıkların saçılım grafiği kullanılarak incelenir. IBM, doğrusallık ve eş varyanslılık değerlendirmesi için standartlaştırılmış artıkların standartlaştırılmış tahmin değerlerine karşı çizilmesini önermektedir. IBM SPSS doğrusal regresyon grafikleri
Uygun bir grafikte noktaların sıfır çizgisi çevresinde, belirgin bir desen oluşturmadan ve yaklaşık benzer genişlikte dağılması beklenir. Huni, megafon veya yay biçimindeki örüntüler varyansın sabit olmayabileceğini düşündürür. Böyle bir durumda veri giriş hataları ve modelin biçimi kontrol edildikten sonra değişken dönüşümü, sağlam standart hatalar, ağırlıklı en küçük kareler veya farklı bir modelleme yaklaşımı değerlendirilebilir.
Çoklu bağlantı nasıl kontrol edilir?
Çoklu bağlantı, çoklu regresyon modelindeki bağımsız değişkenlerin birbirleriyle güçlü biçimde ilişkili olmasıdır. Yüksek çoklu bağlantı modelin toplam tahmin başarısını mutlaka bozmaz; fakat regresyon katsayılarının standart hatalarını büyütebilir, güven aralıklarını genişletebilir ve her bir yordayıcının bağımsız katkısının yorumlanmasını güçleştirebilir. Katsayıların yön değiştirmesi veya genel model anlamlıyken bazı yordayıcıların anlamsız görünmesi de çoklu bağlantıyla ilişkili olabilir.
SPSS’te çoklu bağlantı Tolerance ve VIF değerleriyle değerlendirilir. Tolerance değerinin küçülmesi ve VIF değerinin büyümesi bağlantının arttığını gösterir. Uygulamada VIF için 5 veya 10 gibi sınırlar kullanılsa da bunlar değişmez kabul-red kuralları değildir; değişkenlerin kuramsal rolleri, örneklem büyüklüğü ve katsayıların kararlılığı da dikkate alınmalıdır.
Çoklu bağlantı belirlendiğinde birbirine benzeyen değişkenlerden birini otomatik olarak silmek doğru değildir. Öncelikle değişkenlerin aynı yapıyı ölçüp ölçmediği, ölçüm hataları, örneklem çeşitliliği ve modelin kuramsal amacı incelenmelidir. Değişken çıkarma kararı yalnızca VIF değerini düşürmek için değil, araştırma modelinin anlamını koruyacak biçimde verilmelidir.
Uç ve etkili gözlemler nasıl incelenir?
Uç değer ile etkili gözlem aynı kavram değildir. Bir gözlem bağımlı değişken açısından olağan dışı bir değere sahip olabilir fakat regresyon katsayılarını önemli ölçüde değiştirmeyebilir; başka bir gözlem ise bağımsız değişkenler bakımından sıra dışı konumda bulunarak model üzerinde güçlü bir etki oluşturabilir. Bu nedenle yalnızca kutu grafiğine bakmak regresyondaki etkili gözlemleri belirlemek için yeterli değildir.
Standartlaştırılmış ve studentize edilmiş artıklar, Cook uzaklığı, kaldıraç değerleri ve Mahalanobis uzaklığı birlikte incelenebilir. Standartlaştırılmış artığın mutlak değerinin 3 civarında veya üzerinde olması dikkat gerektiren bir gözleme işaret edebilir; ancak bu sınır otomatik silme kuralı değildir. Cook uzaklığı da bir gözlem çıkarıldığında model katsayılarının ne ölçüde değişebileceğini değerlendirmeye yardımcı olur.
Olağan dışı bir gözlem belirlendiğinde ilk olarak veri giriş hatası, yanlış kodlama, ölçüm problemi ve katılımcının araştırma evrenine uygunluğu kontrol edilmelidir. Geçerli bir gözlem yalnızca sonucu değiştirdiği için silinmemeli; gerekiyorsa gözlem dâhil ve hariç duyarlılık analizleri yapılarak sonuçların ne ölçüde değiştiği açıklanmalıdır. Ayrıntılı uygulama için regresyon analizinde uç değer tespiti rehberimizi inceleyebilirsiniz.
Örneklem büyüklüğü regresyon varsayımı mıdır?
Yeterli örneklem büyüklüğü, doğrusallık veya eş varyanslılık gibi klasik bir hata terimi varsayımı değildir; ancak katsayıların kararlılığı, istatistiksel güç ve modelin aşırı uyum göstermemesi açısından önemlidir. Gereken örneklem sayısı yalnızca bağımsız değişken sayısına göre belirlenemez. Beklenen etki büyüklüğü, hedeflenen güç, anlamlılık düzeyi, yordayıcılar arasındaki ilişkiler ve araştırmanın temel hipotezi birlikte dikkate alınmalıdır.
“Her bağımsız değişken için 10 veya 15 katılımcı” gibi kurallar yalnızca kaba bir başlangıç noktası olabilir ve her araştırma için yeterli örneklem sağladığını göstermez. Özellikle küçük etkilerin araştırıldığı, çok sayıda yordayıcının bulunduğu veya etkileşim terimlerinin kullanıldığı modellerde güç analizi yapılması daha uygundur. Araştırmanıza özgü hesaplama için örneklem büyüklüğü hesaplama aracımızdan yararlanabilirsiniz.
SPSS’te regresyon varsayımları nasıl kontrol edilir?
SPSS’te doğrusal regresyon analizi Analyze → Regression → Linear yolu izlenerek başlatılır. Bağımlı değişken Dependent alanına, bağımsız değişkenler Independent(s) alanına aktarılır. Çoklu regresyonda Statistics bölümünden Collinearity diagnostics ve gerektiğinde Durbin–Watson seçenekleri işaretlenebilir.
Plots bölümünde X eksenine ZPRED, Y eksenine ZRESID yerleştirilerek doğrusallık ve eş varyanslılık grafiği oluşturulur. Histogram ve Normal probability plot seçenekleri işaretlenerek standartlaştırılmış artıkların dağılımı incelenebilir. Save bölümünden standartlaştırılmış veya studentize edilmiş artıklar, Cook uzaklığı, kaldıraç ve Mahalanobis değerleri kaydedilebilir. IBM’in SPSS belgelerinde de tahmin değerleri ve artıkların kaydedilebildiği; histogram, normal olasılık grafiği ve aykırı gözlem incelemelerinde kullanılabildiği belirtilmektedir. IBM SPSS artık seçenekleri
Elde edilen grafikler ve tanı değerleri birbirinden bağımsız kabul edilmemelidir. Örneğin huni biçimindeki bir artık grafiği eş varyanslılık sorunu düşündürürken aynı grafikte birkaç uç noktanın bulunması modelin belirli gözlemlerden etkilendiğini de gösterebilir. Son karar tek bir sayıdan değil, araştırma deseni, grafikler, tanı değerleri ve kuramsal model birlikte değerlendirilerek verilmelidir.
Regresyon varsayımları sağlanmazsa ne yapılmalıdır?
Bir varsayımın sağlanmadığı düşünüldüğünde analizi hemen iptal etmek veya sorunlu görünen gözlemleri silmek yerine öncelikle sorunun kaynağı belirlenmelidir. Yanlış veri girişi, hatalı kodlama, eksik değişken, yanlış ilişki biçimi, kümelenmiş veri yapısı veya bağımlı değişkene uygun olmayan model seçimi benzer tanı sorunlarına yol açabilir. Bu nedenle çözüm de ihlalin türüne göre değişmelidir.
Doğrusal olmayan ilişkilerde uygun dönüşüm veya polinom terimi, heteroskedastisitede sağlam standart hatalar veya farklı varyans modelleri, bağımlı gözlemlerde çok düzeyli veya tekrarlı ölçüm modelleri değerlendirilebilir. Bağımlı değişkenin yapısı doğrusal regresyona uygun değilse lojistik, Poisson veya başka bir genelleştirilmiş doğrusal model kullanılabilir. Seçilen çözüm açıkça raporlanmalı ve veri üzerinde yapılan değişikliklerin gerekçesi belirtilmelidir.
Basit ve çoklu regresyon uygulamaları
Bu sayfa doğrusal regresyon varsayımlarının ne anlama geldiğine ve nasıl kontrol edilebileceğine odaklanmaktadır. Analizin SPSS menülerinde uygulanması, çıktı tablolarının yorumlanması ve örnek bulgu metinleri için aşağıdaki kapsamlı rehberlerden yararlanabilirsiniz:
Hangi istatistiksel yöntemin araştırma sorunuza uygun olduğundan emin değilseniz istatistiksel test seçme aracımızı kullanabilirsiniz.
Regresyon varsayımları hakkında sık sorulan sorular
Regresyon için bütün değişkenler normal dağılmalı mıdır?
Hayır. Standart doğrusal regresyondaki temel normallik varsayımı bağımsız ve bağımlı değişkenlerin her birinin ayrı ayrı normal dağılım göstermesi değil, modelin hata terimlerinin yaklaşık normal dağılım göstermesidir. Örneklemde bu koşul artıkların histogramı ve normal olasılık grafikleri üzerinden değerlendirilir.
Durbin–Watson kaç olmalıdır?
Durbin–Watson değerinin 2’ye yakın olması genellikle birinci dereceden otokorelasyonun belirgin olmadığı yönünde yorumlanır. Bununla birlikte kabul edilebilir aralık araştırmanın ve veri yapısının özelliklerine göre değerlendirilmelidir. Durbin–Watson bütün gözlem bağımsızlığı sorunlarını gösteren genel bir ölçüt değildir.
VIF kaç olmalıdır?
VIF değerinin 1 olması ilgili yordayıcının diğer yordayıcılarla doğrusal bağlantı göstermediğini ifade eder. Değer yükseldikçe katsayı varyansındaki şişme artar; 5 ve 10 sık kullanılan inceleme eşikleri olsa da bunlar kesin ve evrensel kabul-red sınırları değildir. Katsayıların kararlılığı ve değişkenlerin kuramsal önemi de incelenmelidir.
Regresyon analizinde uç değerler silinir mi?
Uç veya etkili bir gözlem yalnızca belirli bir sınırı aştığı için otomatik olarak silinmemelidir. Önce veri giriş hatası, ölçüm problemi ve gözlemin hedef evrene ait olup olmadığı kontrol edilmelidir. Geçerli gözlemlerin çıkarılması hâlinde gerekçe açıklanmalı ve mümkünse sonuçların duyarlılığı değerlendirilmelidir.
Regresyon varsayımları analizden önce mi kontrol edilir?
Değişken türü, araştırma deseni, bağımsızlık ve olası doğrusal ilişki gibi özellikler analiz planlanırken değerlendirilmelidir. Artıkların normalliği, eş varyanslılık, Cook uzaklığı ve benzeri model tanıları ise regresyon modeli kurulduktan sonra elde edilen artık ve tahmin değerleri üzerinden incelenir. Dolayısıyla varsayım kontrolü yalnızca analizden önce veya yalnızca analizden sonra yapılan tek aşamalı bir işlem değildir.
Sonuç
Doğrusal regresyon varsayımları, elde edilen p değerlerinin yanına eklenen biçimsel bir kontrol listesinden ibaret değildir. Doğrusallık, bağımsızlık, artıkların normalliği, eş varyanslılık, çoklu bağlantı ve etkili gözlemler birlikte değerlendirilerek kurulan modelin veriyi yeterli biçimde temsil edip etmediği belirlenir. Varsayım ihlali bulunduğunda uygulanacak çözüm, ihlalin kaynağına ve araştırma desenine göre seçilmelidir.
Regresyon modelinizin kurulması, varsayımlarının kontrol edilmesi, SPSS çıktılarının yorumlanması veya mevcut analizinizin gözden geçirilmesi konusunda desteğe ihtiyacınız varsa istatistiksel analiz danışmanlığı ve analiz kontrolü ve istatistiksel revizyon hizmetlerimizi inceleyebilirsiniz.
