Regresyon analizi nedir? Türleri, denklemi ve yorumlanması
Güncelleme tarihi: 6 gün önce
Regresyon analizi, değişkenler arasındaki ilişkileri modellemek, bir bağımlı değişkendeki değişimin bağımsız değişkenlerle nasıl ilişkili olduğunu incelemek ve uygun durumlarda tahmin yapmak için kullanılan temel istatistiksel yöntemlerden biridir. Sağlık bilimlerinden eğitime, ekonomiden sosyal bilimlere kadar çok farklı araştırma alanlarında kullanılır.
Örneğin öğrencilerin çalışma süreleri ile sınav puanları, bireylerin yaşları ile kan basıncı veya reklam harcamaları ile satış miktarı arasındaki ilişki regresyon modelleriyle incelenebilir. Ancak regresyon analizi yalnızca iki değişken arasındaki ilişkinin bulunup bulunmadığını göstermekten ibaret değildir. Kurulan modele göre ilişkinin yönü ve büyüklüğü, modelin bağımlı değişkendeki değişkenliği ne ölçüde açıkladığı ve belirli değerler için yapılabilecek tahminler de değerlendirilebilir.
Bu yazıda regresyon analizi nedir, ne işe yarar, regresyon türleri nelerdir, regresyon denklemi nasıl yorumlanır ve R² ne anlama gelir gibi temel soruları ele alacağız. SPSS uygulamalarına ilişkin ayrıntıları ise ilgili regresyon türlerinin uygulamalı yazılarına bırakacağız.
Regresyon analizi nedir?
Regresyon analizi, bir bağımlı değişken ile bir veya daha fazla bağımsız değişken arasındaki ilişkiyi matematiksel bir model aracılığıyla inceleyen istatistiksel yöntemler ailesidir.
En temel doğrusal regresyon modelinde tahmin edilmeye çalışılan değişken bağımlı değişken (Y), Y ile ilişkisi incelenen değişken ise bağımsız değişken (X) olarak adlandırılır.
Örneğin öğrencilerin haftalık çalışma sürelerinin sınav puanlarıyla ilişkisini incelemek istediğimizi düşünelim:
X = Haftalık çalışma süresi
Y = Sınav puanı
Regresyon analizi, çalışma süresindeki farklılıkların sınav puanındaki farklılıklarla nasıl ilişkili olduğunu matematiksel olarak modellememizi sağlar.
Burada önemli bir noktaya dikkat edilmelidir: Regresyon modelinde X'in Y'yi anlamlı biçimde yordaması, tek başına X'in Y'nin nedeni olduğunu kanıtlamaz. Özellikle gözlemsel araştırmalarda regresyon sonuçlarının otomatik olarak nedensel “etki” şeklinde yorumlanması doğru değildir.
Regresyon analizi ne işe yarar?
Regresyon analizinin kullanım amacı araştırma sorusuna ve kurulan modele göre değişebilir. En yaygın amaçlardan biri değişkenler arasındaki ilişkinin modellenmesidir.
Örneğin çalışma süresi arttıkça sınav puanının artıp artmadığı veya yaş arttıkça belirli bir sağlık ölçümünün nasıl değiştiği incelenebilir.
Regresyon modelleri aynı zamanda tahmin amacıyla kullanılabilir. Bağımsız değişkenlerin belirli değerleri bilindiğinde bağımlı değişken için beklenen değer tahmin edilebilir.
Birden fazla bağımsız değişkenin bulunduğu modellerde ise diğer değişkenler modelde tutulurken belirli bir bağımsız değişken ile sonuç değişkeni arasındaki düzeltilmiş ilişki değerlendirilebilir.
Bu nedenle regresyon analizi yalnızca “iki değişken arasında ilişki var mı?” sorusundan daha geniş bir kullanım alanına sahiptir.
Regresyon analizi türleri nelerdir?
Regresyon tek bir analiz değildir. Bağımlı değişkenin yapısına, bağımsız değişken sayısına ve araştırma sorusuna göre farklı regresyon modelleri kullanılabilir.
Basit doğrusal regresyon nedir?
Basit doğrusal regresyonda bir bağımlı ve bir bağımsız değişken bulunur.
Örneğin:
Çalışma süresi → Sınav puanı
ilişkisi basit doğrusal regresyonla modellenebilir.
Amaç X ile Y arasındaki doğrusal ilişkinin matematiksel olarak ifade edilmesidir.
SPSS'te analizin kurulması, varsayımların değerlendirilmesi ve çıktıların yorumlanması için SPSS ile basit doğrusal regresyon analizi yazımızı inceleyebilirsiniz.
Çoklu doğrusal regresyon nedir?
Çoklu doğrusal regresyonda bir bağımlı değişkeni açıklamak veya tahmin etmek için iki veya daha fazla bağımsız değişken aynı modelde kullanılır.
Örneğin öğrencilerin sınav puanlarını:
çalışma süresi,
devam durumu,
önceki başarı puanı
ile birlikte modellemek istediğimizi düşünelim.
Bu durumda çoklu doğrusal regresyon kullanılabilir.
Çoklu regresyonun önemli avantajlarından biri, bir bağımsız değişkenin katsayısını modeldeki diğer bağımsız değişkenler dikkate alınmışken değerlendirebilmemizdir.
SPSS uygulamasını SPSS ile çoklu doğrusal regresyon analizi yazımızda ayrıntılı olarak ele alıyoruz.
Hiyerarşik regresyon nedir?
Hiyerarşik regresyonda bağımsız değişkenler modele araştırmacının kuramsal veya bilimsel gerekçesine göre belirli bloklar hâlinde eklenir.
Örneğin ilk modelde yaş ve cinsiyet gibi kontrol değişkenleri, ikinci modelde ise araştırmanın asıl yordayıcı değişkenleri modele eklenebilir.
Bu yaklaşım, yeni eklenen değişken grubunun modelin açıklama gücüne ne kadar ek katkı sağladığını değerlendirmeye yardımcı olur.
Lojistik regresyon nedir?
Doğrusal regresyonda bağımlı değişken genellikle sürekli bir yapıya sahiptir. Sonuç değişkeni iki kategoriden oluşuyorsa, örneğin:
Hastalık var / yok
Başarılı / başarısız
Evet / hayır
gibi durumlarda doğrusal regresyon yerine çoğunlukla binary lojistik regresyon kullanılır.
Lojistik regresyonda katsayıların yorumlanması doğrusal regresyondan farklıdır ve odds ratio (OR) önemli bir ölçüdür. Uygulama için iki durumlu lojistik regresyon analizi içeriğimizi inceleyebilirsiniz.
Cox regresyon nedir?
Cox regresyon, sonuç değişkeninin yalnızca bir olayın gerçekleşip gerçekleşmemesini değil, olaya kadar geçen süreyi de içerdiği sağkalım analizlerinde kullanılan regresyon modellerinden biridir.
Örneğin hastaların ölüm, nüks veya tedavi başarısızlığına kadar geçen süreleri değerlendirilebilir.
Bu nedenle Cox regresyon klasik doğrusal regresyonun bir çeşidi gibi düşünülmemeli; sağkalım verilerine özgü ayrı bir model olarak değerlendirilmelidir.
Regresyon denklemi nedir?
Basit doğrusal regresyonun temel modeli genel olarak:
Y = β₀ + β₁X + ε
şeklinde ifade edilir.
Burada:
Y: bağımlı değişkeni,
X: bağımsız değişkeni,
β₀: sabit terimi,
β₁: regresyon katsayısını,
ε: model tarafından açıklanamayan hata terimini
ifade eder.
Örneklemden tahmin edilen denklem ise pratikte:
Ŷ = b₀ + b₁X
şeklinde gösterilebilir.
Buradaki Ŷ, belirli bir X değeri için model tarafından tahmin edilen Y değeridir.
Regresyon katsayısı nasıl yorumlanır?
Regresyon katsayısı, bağımsız değişkendeki bir birimlik değişimle bağımlı değişkenin beklenen değerindeki değişimin nasıl ilişkili olduğunu gösterir.
Örneğin modelimiz:
Ŷ = 50 + 4X
olsun.
Burada:
b₀ = 50
ve:
b₁ = 4
olarak bulunmuştur.
X çalışma süresini, Y sınav puanını gösteriyorsa; çalışma süresindeki 1 saatlik artış, modelde sınav puanının beklenen değerinde 4 puanlık artışla ilişkilidir.
Katsayının pozitif olması ilişkinin pozitif, negatif olması ise ters yönlü olduğunu gösterir.
Örneğin:
b₁ = −2,5
ise X'teki bir birimlik artış Y'nin beklenen değerinde 2,5 birimlik azalışla ilişkilidir.
Burada da “X, Y'yi 4 puan artırır” gibi nedensellik bildiren bir ifade yerine, araştırma tasarımı nedensel yorumu desteklemiyorsa “4 puanlık artışla ilişkilidir” ifadesi daha doğru olur.
Sabit terim nasıl yorumlanır?
Regresyon denklemindeki b₀ veya sabit (constant/intercept), X değeri sıfır olduğunda modelin tahmin ettiği Y değeridir.
Örneğin:
Ŷ = 50 + 4X
denkleminde X = 0 olduğunda:
Ŷ = 50
olur.
Ancak sabit terimin her araştırmada doğrudan anlamlı bir gerçek yaşam yorumu olmayabilir. X = 0 değeri araştırmanın gözlem aralığında bulunmuyorsa veya pratik açıdan mümkün değilse sabitin matematiksel olarak model için gerekli olması, mutlaka substantif olarak yorumlanması gerektiği anlamına gelmez.
Regresyon doğrusu nedir?
Basit doğrusal regresyonda X ve Y değerleri bir serpilme diyagramında gösterildiğinde modelin tahminlerini temsil eden bir doğru çizilebilir. Bu çizgi regresyon doğrusu olarak adlandırılır.
Doğrunun eğimi regresyon katsayısıyla ilişkilidir.
Pozitif eğim, X arttıkça tahmin edilen Y'nin arttığını; negatif eğim ise X arttıkça tahmin edilen Y'nin azaldığını gösterir.
Gözlemlerin regresyon doğrusuna ne kadar yakın veya uzak olduğu ise modelin veriyi ne ölçüde temsil ettiğinin anlaşılmasına yardımcı olur.
En küçük kareler yöntemi nedir?
Klasik doğrusal regresyonda katsayıların tahmininde yaygın olarak en küçük kareler yöntemi (ordinary least squares, OLS) kullanılır.
Her gözlem için gerçek Y değeri ile modelin tahmin ettiği Ŷ değeri arasında bir fark bulunur. Bu fark artık (residual) olarak adlandırılır.
En küçük kareler yöntemi, bu artıkların kareleri toplamını mümkün olduğunca küçülten regresyon katsayılarını belirler.
Bu nedenle regresyon doğrusu gözlemlerin tamamından geçen bir çizgi olmak zorunda değildir. Amaç, gözlenen değerlerle tahmin edilen değerler arasındaki kareli hataların toplamını en aza indiren doğrusal modeli elde etmektir.
R kare ne anlama gelir?
Regresyon analizinde en sık karşılaşılan değerlerden biri R² (R kare veya belirleme katsayısı) değeridir.
R², doğrusal model kapsamında bağımlı değişkendeki gözlenen değişkenliğin model tarafından açıklanan oranını ifade eder.
Örneğin:
R² = 0,40
ise model, örneklemde Y değişkenindeki varyasyonun yaklaşık %40'ını açıklamaktadır.
Ancak R²'nin yüksek olması tek başına modelin doğru olduğu veya nedensel bir ilişki bulunduğu anlamına gelmez. Modelin yapısı, varsayımları, katsayıların belirsizliği, örneklem özellikleri ve araştırma tasarımı birlikte değerlendirilmelidir.
Çoklu regresyonda bağımsız değişken sayısının artması R²'yi düşürmez. Bu nedenle farklı sayıda yordayıcı içeren modeller değerlendirilirken düzeltilmiş R² (Adjusted R²) değeri de yararlı olabilir.
Regresyon ile korelasyon arasındaki fark nedir?
Korelasyon ve regresyon birbiriyle ilişkili olmakla birlikte aynı analiz değildir.
Korelasyon iki değişken arasındaki ilişkinin yönünü ve gücünü özetler. Pearson korelasyonunda X ve Y'nin rolleri simetriktir; değişkenlerin yerlerinin değiştirilmesi korelasyon katsayısını değiştirmez.
Regresyonda ise bağımlı ve bağımsız değişken rolleri tanımlanır ve Y'nin X'e göre koşullu beklenen değeri modellenir.
Bu nedenle “korelasyon varsa regresyon yapılabilir” veya “regresyon korelasyonun gelişmiş hâlidir” gibi genellemeler doğru değildir. Kullanılacak yöntem araştırma sorusuna göre belirlenmelidir.
Regresyon analizinin varsayımları nelerdir?
Doğrusal regresyon sonuçlarının güvenilir biçimde yorumlanabilmesi için modelin varsayımları değerlendirilmelidir. Bunların başlıcaları:
modelin fonksiyonel biçiminin, özellikle doğrusal ilişkinin uygunluğu,
gözlemlerin veya hata terimlerinin uygun bağımsızlık yapısı,
artıkların varyansının yaklaşık sabit olması (homoskedastisite),
model çıkarımı açısından artıkların dağılımının değerlendirilmesi,
sonuçları aşırı etkileyen gözlemlerin incelenmesi,
çoklu regresyonda ciddi çoklu doğrusal bağlantının bulunmamasıdır.
Burada sık yapılan bir hataya özellikle dikkat edilmelidir: Doğrusal regresyon yapılabilmesi için X ve Y değişkenlerinin ayrı ayrı normal dağılması zorunlu değildir. Normallik konusu, klasik çıkarım çerçevesinde esas olarak hata terimlerinin koşullu dağılımıyla ilişkilidir.
Uç ve etkili gözlemlerin nasıl değerlendirilebileceğini regresyon analizinde uç değer tespiti yazımızdan inceleyebilirsiniz.
Çoklu bağlantı nedir?
Çoklu doğrusal regresyonda bağımsız değişkenlerin birbirleriyle aşırı derecede ilişkili olması multicollinearity (çoklu doğrusal bağlantı) sorununa yol açabilir.
Bu durumda katsayı tahminlerinin standart hataları büyüyebilir ve tek tek değişkenlerin katsayılarını güvenilir biçimde ayırt etmek zorlaşabilir.
Değerlendirmede sıklıkla Tolerance ve VIF (Variance Inflation Factor) değerlerinden yararlanılır. Ancak VIF için tek ve evrensel bir “bu değerin üzeri kesinlikle hatalıdır” sınırı bulunduğu düşünülmemelidir; değerler modelin ve araştırma bağlamının bütünü içinde değerlendirilmelidir.
Durbin-Watson değeri neyi gösterir?
Durbin-Watson istatistiği, özellikle sıralı veya zamanla ilişkili gözlemlerin bulunduğu modellerde artıklar arasındaki birinci dereceden otokorelasyonun değerlendirilmesinde kullanılan ölçülerden biridir.
Değerin yaklaşık 2 civarında olması çoğu durumda güçlü bir birinci dereceden otokorelasyon bulunmadığı yönünde değerlendirilir. Ancak yalnızca Durbin-Watson değerine bakarak tüm bağımsızlık varsayımının sağlandığı sonucuna varılmamalıdır.
Konuyu ayrıntılı olarak Durbin-Watson değeri nedir ve nasıl yorumlanır? yazımızda ele alıyoruz.
Regresyon analizi nasıl yorumlanır?
Bir regresyon çıktısını değerlendirirken yalnızca p değerine bakmak yeterli değildir.
Öncelikle kurulan modelin araştırma sorusuna uygun olup olmadığı değerlendirilmelidir. Ardından modelin genel performansı, R² ve uygun olduğunda düzeltilmiş R² gibi ölçüler incelenebilir.
Sonrasında regresyon katsayıları değerlendirilir. Her katsayı için:
yön,
büyüklük,
standart hata,
güven aralığı,
p değeri
birlikte dikkate alınmalıdır.
Örneğin:
b = 2,40; %95 GA [1,10; 3,70]; p < 0,001
sonucu, X'teki bir birimlik artışın model koşulları altında Y'nin beklenen değerindeki 2,40 birimlik artışla ilişkili olduğunu gösterir.
Çoklu regresyonda bu yorum, modeldeki diğer bağımsız değişkenler sabit tutulduğunda yapılır.
Regresyon analizi SPSS'te nasıl yapılır?
Doğrusal regresyon için SPSS'te temel yol:
Analyze → Regression → Linear
şeklindedir.
Bağımlı değişken Dependent, bağımsız değişken veya değişkenler ise Independent(s) alanına aktarılır.
Ancak menüden analizi çalıştırmak regresyon analizinin yalnızca küçük bir bölümüdür. Model kurulmadan önce araştırma sorusu ve değişkenlerin yapısı değerlendirilmeli; analiz sonrasında varsayımlar, model uyumu, katsayılar ve tanısal sonuçlar birlikte incelenmelidir.
Uygulamalı anlatım için SPSS ile basit doğrusal regresyon analizi veya birden fazla bağımsız değişkeniniz varsa SPSS ile çoklu doğrusal regresyon analizi yazımıza geçebilirsiniz.
SPSS'i baştan öğrenmek isteyenler için Sıfırdan SPSS dersleri içerisinde basit, çoklu ve hiyerarşik regresyon uygulamaları da bulunmaktadır.
Regresyon sonuçları araştırmada nasıl raporlanır?
Regresyon analizi raporlanırken yalnızca “regresyon anlamlı bulundu” ifadesi yeterli değildir.
Kullanılan regresyon türü, bağımlı ve bağımsız değişkenler, modelin genel istatistiği, R² veya uygun model uyum ölçüleri, regresyon katsayıları, standart hatalar, güven aralıkları ve p değerleri raporlanmalıdır.
Örneğin basit bir doğrusal regresyon sonucu:
Model istatistiksel olarak anlamlıdır, F(1, 148) = 24,62, p < 0,001 ve bağımlı değişkendeki varyasyonun %14'ünü açıklamaktadır (R² = 0,14). X değişkeni Y ile pozitif yönde ilişkili bulunmuştur (b = 0,38; %95 GA [0,23; 0,53]; p < 0,001).
şeklinde raporlanabilir.
Kullanılan ifadeler araştırma tasarımına uygun olmalıdır. Gözlemsel bir çalışmada yalnızca regresyon sonucuna dayanarak “X, Y'yi artırmaktadır” şeklinde nedensel sonuç çıkarılmamalıdır.
Araştırmanız için hangi regresyon modelinin uygun olduğunun belirlenmesi, varsayımların değerlendirilmesi, SPSS analizinin yürütülmesi veya sonuçların raporlanması konusunda desteğe ihtiyaç duyuyorsanız İstatistiksel analiz danışmanlığı sayfamızdan hizmet kapsamını inceleyebilirsiniz.
Regresyon analiziyle ilgili sık sorulan sorular
Regresyon analizi nedir?
Regresyon analizi, bir bağımlı değişken ile bir veya daha fazla bağımsız değişken arasındaki ilişkiyi matematiksel bir model aracılığıyla inceleyen istatistiksel yöntemler ailesidir.
Regresyon analizi ne için yapılır?
Değişkenler arasındaki ilişkileri modellemek, bağımlı değişkendeki değişkenlikle ilişkili değişkenleri değerlendirmek ve uygun durumlarda tahmin yapmak amacıyla kullanılabilir.
Basit ve çoklu regresyon arasındaki fark nedir?
Basit doğrusal regresyonda bir bağımsız değişken, çoklu doğrusal regresyonda ise iki veya daha fazla bağımsız değişken bulunur.
Regresyonda R kare nedir?
R², doğrusal regresyon modelinde bağımlı değişkendeki gözlenen değişkenliğin model tarafından açıklanan oranını gösterir.
Regresyon katsayısı nedir?
Regresyon katsayısı, diğer model koşulları altında bağımsız değişkendeki bir birimlik değişimin bağımlı değişkenin beklenen değerindeki değişimle nasıl ilişkili olduğunu gösterir.
Regresyon analizi nedenselliği gösterir mi?
Tek başına hayır. Regresyon değişkenler arasındaki koşullu ilişkileri modelleyebilir ancak nedensellik için araştırma tasarımı, zamansallık, karıştırıcı değişkenler ve nedensel varsayımlar gibi ek unsurlar gerekir.
Regresyon için normal dağılım gerekli midir?
Bağımlı ve bağımsız değişkenlerin ayrı ayrı normal dağılması doğrusal regresyonun genel bir zorunluluğu değildir. Klasik doğrusal regresyonda çıkarımsal değerlendirmeler açısından hata terimlerinin koşullu dağılımı ve diğer model varsayımları önemlidir.
Regresyon ile korelasyon aynı şey midir?
Hayır. Korelasyon iki değişken arasındaki ilişkinin yönü ve gücünü özetlerken regresyon bağımlı değişkeni bağımsız değişken veya değişkenlere göre modellemektedir.
Sonuç
Regresyon analizi, değişkenler arasındaki ilişkilerin modellenmesinde ve uygun koşullarda tahmin yapılmasında kullanılan en önemli istatistiksel yöntem ailelerinden biridir. Basit doğrusal regresyondan çoklu ve hiyerarşik regresyona, lojistik regresyondan Cox regresyona kadar farklı veri yapıları ve araştırma soruları için farklı modeller bulunmaktadır.
Regresyon sonuçlarını doğru değerlendirmek için yalnızca p değerine bakmak yeterli değildir. Regresyon katsayılarının büyüklüğü ve belirsizliği, modelin açıklama gücü, varsayımlar, etkili gözlemler ve araştırma tasarımı birlikte ele alınmalıdır. Özellikle gözlemsel araştırmalarda regresyon sonuçlarının otomatik olarak nedensel bir “etki” şeklinde yorumlanmaması gerekir. Bu temel yapı anlaşıldıktan sonra araştırma sorusuna uygun regresyon türü seçilebilir ve SPSS gibi istatistik paketleri kullanılarak model kurulabilir.