Regresyon hatası ve artık (residual) nedir?
Güncelleme tarihi: 14 Eyl
Regresyon hatası, gözlenen değer ile regresyon modelinin açıkladığı veya tahmin ettiği değer arasındaki farklılıkla ilişkili bir kavramdır. Ancak regresyon analizinde “hata terimi” ve “artık” ifadeleri çoğu zaman aynı anlamda kullanılmasına rağmen teknik olarak birbirinden farklıdır. Hata terimi evrendeki gerçek fakat gözlenemeyen sapmayı, artık ise örneklem verilerinden kurulan model sonucunda hesaplanabilen sapmayı ifade eder.
Bir regresyon modelinin bütün gözlemleri kusursuz biçimde tahmin etmesi çoğu gerçek araştırmada beklenmez. İnsan davranışları, sağlık sonuçları, akademik başarı ve ekonomik göstergeler çok sayıda etkene bağlıdır. Modele alınmayan değişkenler, ölçüm farklılıkları ve rastlantısal değişimler nedeniyle gözlenen değerler regresyon doğrusu üzerinde tam olarak yer almaz. Gözlenen değer ile tahmin edilen değer arasındaki dikey uzaklık, örneklemde artık değer olarak hesaplanır.
Aşağıdaki videoda regresyon analizi, regresyon doğrusu, hata, standart hata ve en küçük kareler yöntemi birlikte açıklanmaktadır.
Regresyon modelinde hata terimi nedir?
Basit doğrusal regresyonun evren modeli aşağıdaki biçimde gösterilir:
Yi=β0+β1Xi+εiY_i=\beta_0+\beta_1X_i+\varepsilon_i
Bu eşitlikte YiY_i bağımlı değişkeni, XiX_i bağımsız değişkeni, β0\beta_0 evrendeki sabit terimi ve β1\beta_1 evrendeki regresyon katsayısını ifade eder. εi\varepsilon_i ile gösterilen hata terimi ise modelde bulunan bağımsız değişken kullanılarak açıklanamayan bölümdür.
Hata terimi, belirli bir XX değerinde gözlenen sonuç ile bağımlı değişkenin evrendeki beklenen değeri arasındaki fark olarak düşünülebilir:
εi=Yi−E(Yi∣Xi)\varepsilon_i=Y_i-E(Y_i\mid X_i)
Evrendeki gerçek regresyon doğrusu ve gerçek parametreler genellikle bilinmediği için hata terimi doğrudan hesaplanamaz. Araştırmacı örneklem verilerini kullanarak regresyon katsayılarını tahmin eder ve gözlenen değerlerin tahmin edilen örneklem doğrusundan ne kadar uzaklaştığını hesaplar. Bu hesaplanabilen uzaklıklar artık olarak adlandırılır.
Artık (residual) nedir?
Artık, bir gözleme ait gerçek değer ile kurulan regresyon modelinin o gözlem için tahmin ettiği değer arasındaki farktır. İngilizce kaynaklarda “residual” olarak adlandırılır ve çoğunlukla eie_i sembolüyle gösterilir:
ei=yi−y^ie_i=y_i-\hat{y}_i
Formülde yiy_i gözlenen gerçek değeri, y^i\hat{y}_i ise regresyon modelinin tahmin ettiği değeri ifade eder. Artık pozitifse gözlenen değer modelin tahmininden daha yüksektir; negatifse gözlenen değer tahmin edilenden daha düşüktür. Artığın sıfır olması, modelin ilgili gözlemi tam olarak tahmin ettiği anlamına gelir.
Penn State’in regresyon modeline ilişkin açıklamasında da hata teriminin evrendeki bilinmeyen sapma, artığın ise örneklemden tahmin edilen regresyon doğrusuna olan gözlenebilir uzaklık olduğu belirtilmektedir. Artıklar, bilinmeyen hata terimlerinin örneklemdeki tahminleri olarak değerlendirilir. Penn State regresyon ve artık analizi
Hata terimi ile artık arasındaki fark nedir?
Hata terimi ile artık arasındaki temel fark, birinin kuramsal evren modeline, diğerinin ise örneklemden tahmin edilen modele ait olmasıdır. Uygulamalı araştırmalarda SPSS tarafından gösterilen değerler gerçek hata terimleri değil, örneklem verilerinden hesaplanan artıklardır.
Özellik | Hata terimi | Artık |
Yaygın sembol | εi\varepsilon_i | eie_i |
Ait olduğu yapı | Evren modeli | Örneklem modeli |
Dayandığı doğru | Gerçek fakat bilinmeyen regresyon doğrusu | Örneklemden tahmin edilen regresyon doğrusu |
Doğrudan gözlenebilir mi? | Hayır | Hesaplanabilir |
Temel işlevi | Modelin açıklayamadığı gerçek sapmayı temsil eder | Hata yapısını ve model varsayımlarını incelemeyi sağlar |
Tez ve makalelerde SPSS’ten kaydedilen değerlerden söz edilirken “artık”, “standartlaştırılmış artık” veya “studentize edilmiş artık” ifadelerinin kullanılması daha doğrudur. “Hata terimi” ifadesi ise çoğunlukla regresyon modelinin kuramsal yapısı ve varsayımları açıklanırken kullanılır.
Regresyon artığı nasıl hesaplanır?
Bir öğrencinin haftalık çalışma süresine göre sınav puanını tahmin eden regresyon denklemimizin aşağıdaki gibi olduğunu düşünelim:
Sınav puanı^=40+5×C¸alıs¸ma su¨resi\widehat{\text{Sınav puanı}}=40+5\times\text{Çalışma süresi}
Haftada 4 saat çalışan bir öğrenci için tahmin edilen sınav puanı:
y^=40+(5×4)=60\hat{y}=40+(5\times4)=60
Öğrencinin gerçek sınav puanı 66 ise artık değeri:
e=66−60=6e=66-60=6
olarak hesaplanır. Pozitif artık, öğrencinin gözlenen puanının model tarafından tahmin edilen puandan 6 puan yüksek olduğunu gösterir. Aynı öğrenci 57 puan almış olsaydı artık 57−60=−357-60=-3 olacak ve modelin puanı 3 puan fazla tahmin ettiği anlaşılacaktı.
Birden fazla gözleme ilişkin örnek hesaplama aşağıda gösterilmiştir:
Çalışma süresi | Gözlenen puan (yy) | Tahmin edilen puan (y^\hat{y}) | Artık (y−y^y-\hat{y}) |
2 saat | 47 | 50 | −3 |
4 saat | 66 | 60 | 6 |
6 saat | 68 | 70 | −2 |
8 saat | 83 | 80 | 3 |
Bu tablodaki artıklar, modelin her öğrenci için yaptığı tahminin yönünü ve büyüklüğünü gösterir. Fakat tek bir artığın küçük olması modelin genel olarak başarılı olduğunu kanıtlamaz. Modelin başarısını değerlendirmek için bütün artıkların büyüklüğü, dağılımı ve belirli bir örüntü oluşturup oluşturmadığı incelenmelidir.
Regresyon hatası nereden kaynaklanır?
Regresyon hatası yalnızca araştırmacının veya kullanılan programın yanlış işlem yapmasından kaynaklanmaz. En doğru biçimde kurulmuş bir modelde bile bağımlı değişkenin bütün değişimi açıklanamayabilir. Çünkü gerçek yaşam sonuçları, modele dâhil edilen birkaç değişkenden daha karmaşık bir yapıya sahiptir.
Regresyon hatasının veya büyük artıkların ortaya çıkmasına yol açabilecek başlıca durumlar şunlardır:
Bağımlı değişkenle ilişkili önemli değişkenlerin modele alınmaması,
Değişkenler arasındaki ilişkinin doğrusal olmamasına rağmen doğrusal model kurulması,
Ölçüm araçlarının hata içermesi,
Veri girişinde veya değişken kodlamasında yanlışlık yapılması,
Bağımlı değişkenin yapısına uygun olmayan regresyon türünün seçilmesi,
Gözlemlerin birbirinden bağımsız olmaması,
Bazı katılımcıların veya gözlemlerin diğerlerinden belirgin biçimde farklılaşması,
Tamamen rastlantısal ve öngörülemeyen bireysel farklılıkların bulunması.
Örneğin sınav puanını yalnızca çalışma süresiyle tahmin eden bir modelde öğrencinin önceki bilgi düzeyi, öğrenme motivasyonu, ders devamlılığı ve sınav kaygısı bulunmayabilir. Bu özellikler öğrencinin gerçek puanı ile tahmin edilen puanı arasındaki farkın büyümesine katkıda bulunabilir. Bununla birlikte büyük bir artık görüldüğünde hangi etkenin buna neden olduğunu yalnızca artık değerine bakarak kesin biçimde belirlemek mümkün değildir.
Artıkların toplamı neden sıfır olur?
Sabit terim içeren ve olağan en küçük kareler yöntemiyle tahmin edilen doğrusal regresyon modelinde ham artıkların toplamı, hesaplama hassasiyeti sınırları içinde sıfıra eşittir:
∑ei=0\sum e_i=0
Bunun nedeni, en küçük kareler yönteminin regresyon doğrusunu belirlerken pozitif ve negatif sapmaları dengelemesidir. Ancak artıkların toplamının sıfır olması bütün tahminlerin doğru olduğu anlamına gelmez. Büyük pozitif ve negatif artıklar birbirini götürebileceğinden model hatasını yalnızca artıkların toplamıyla değerlendirmek mümkün değildir.
Bu nedenle artıkların kareleri alınarak negatif ve pozitif işaretlerin birbirini ortadan kaldırması önlenir. En küçük kareler yöntemi, artık kareleri toplamını en düşük yapan regresyon katsayılarını belirler:
SSE=∑(yi−y^i)2SSE=\sum (y_i-\hat{y}_i)^2
Regresyon doğrusunun nasıl belirlendiğini daha ayrıntılı incelemek için en küçük kareler yöntemi rehberimizden yararlanabilirsiniz.
Regresyon hatası ile standart hata aynı şey midir?
Regresyon hatası, standart hata ve tahminin standart hatası aynı kavramlar değildir. Artık, belirli bir gözlem için gözlenen değer ile tahmin edilen değer arasındaki farktır. Regresyon modelinin standart hatası ise artıkların model genelindeki tipik büyüklüğü hakkında özet bilgi verir.
Regresyon katsayısının standart hatası bundan da farklıdır. Katsayı standart hatası, aynı evrenden farklı örneklemler alınması durumunda tahmin edilen regresyon katsayısının ne ölçüde değişebileceğini yansıtır ve katsayıya ilişkin t testiyle güven aralığının hesaplanmasında kullanılır. Dolayısıyla SPSS Coefficients tablosundaki “Std. Error” sütunu, her bir gözlemin tahmin hatasını göstermemektedir.
Kavram | Gösterdiği bilgi |
Artık | Belirli bir gözlemdeki gerçek değer ile tahmin arasındaki fark |
Tahminin standart hatası | Artıkların model genelindeki tipik büyüklüğü |
Katsayının standart hatası | Regresyon katsayısı tahminindeki örnekleme belirsizliği |
Tahmin aralığı | Yeni bir gözlem için beklenebilecek değer aralığı |
Artık analizi neden yapılır?
Artık analizi, doğrusal regresyon modelinin veriye uygunluğunu ve hata terimlerine ilişkin varsayımların makul olup olmadığını değerlendirmek için yapılır. Artıkların yalnızca küçük olması değil, tahmin değerlerine ve veri sırasına göre sistematik bir yapı oluşturmaması beklenir. Belirgin bir örüntü, modelin ilişkinin önemli bir özelliğini yakalayamadığını gösterebilir.
Artık analiziyle özellikle şu durumlar incelenebilir:
Artık grafiğindeki görünüm | Olası anlamı |
Sıfır çevresinde rastgele dağılım | Doğrusal model makul olabilir |
Eğri veya dalgalı örüntü | İlişki doğrusal olmayabilir |
Huni biçiminde genişleme | Hata varyansı sabit olmayabilir |
Birkaç aşırı uzak nokta | Uç veya etkili gözlemler bulunabilir |
Gözlem sırasına göre düzenli örüntü | Hatalar bağımsız olmayabilir |
Ayrı kümeler | Atlanmış grup veya kategorik değişken bulunabilir |
Yüksek bir R2R^2 değeri elde edilmesi artık analizini gereksiz hâle getirmez. Model bağımlı değişkendeki varyansın büyük bir bölümünü açıklarken artık grafiğinde eğrisel bir örüntü, değişen varyans veya birkaç güçlü etkili gözlem bulunabilir. Bu nedenle model uyumu ve artık davranışı birlikte değerlendirilmelidir.
İyi bir artık grafiği nasıl görünür?
Uygun bir artık grafiğinde noktaların sıfır çizgisinin çevresinde, belirgin bir eğri veya yön oluşturmadan dağılması beklenir. Noktaların dikey yayılımının düşük ve yüksek tahmin değerlerinde yaklaşık benzer olması, eş varyanslılık varsayımını destekler. Grafikte birkaç noktanın diğerlerinden belirgin biçimde ayrılması ise bu gözlemlerin ayrıca incelenmesi gerektiğini düşündürür.
Artık grafiğinin tamamen düzenli veya kusursuz görünmesi beklenmez. Örnekleme bağlı rastlantısal dalgalanmalar bulunabilir ve grafiklerin yorumlanması belirli ölçüde uzmanlık gerektirir. Bu nedenle görsel inceleme; standartlaştırılmış artıklar, Cook uzaklığı, kaldıraç değerleri ve araştırmanın veri toplama yapısıyla birlikte ele alınmalıdır.
SPSS’te artık değerler nasıl kaydedilir?
SPSS’te artıkları incelemek için Analyze → Regression → Linear yolu izlenir. Bağımlı ve bağımsız değişkenler ilgili alanlara aktarıldıktan sonra Save bölümünden ham artıklar, standartlaştırılmış artıklar, studentize edilmiş artıklar, tahmin değerleri, Cook uzaklığı ve kaldıraç değerleri kaydedilebilir. Analiz çalıştırıldığında seçilen ölçüler veri dosyasına yeni değişkenler olarak eklenir.
Plots bölümünde X eksenine ZPRED, Y eksenine ZRESID yerleştirilerek standartlaştırılmış tahmin değerleri ile standartlaştırılmış artıkların saçılım grafiği oluşturulabilir. Histogram ve normal olasılık grafiği seçenekleri de artıkların dağılımını değerlendirmek için kullanılabilir. IBM’in SPSS belgelerinde ZPRED–ZRESID grafiğinin doğrusallık ve eş varyanslılık kontrollerinde, standartlaştırılmış artık grafiklerinin ise normallik ve olağan dışı gözlemleri incelemede kullanılabileceği belirtilmektedir. IBM SPSS doğrusal regresyon grafikleri
Artıkların hangi varsayımlar açısından nasıl değerlendirileceğini öğrenmek için doğrusal regresyon varsayımları rehberimizi inceleyebilirsiniz.
Büyük artık görüldüğünde ne yapılmalıdır?
Büyük bir artık belirlendiğinde gözlem hemen veri setinden çıkarılmamalıdır. Öncelikle veri girişinde hata olup olmadığı, ölçek puanının doğru hesaplanıp hesaplanmadığı, eksik değerlerin nasıl kodlandığı ve gözlemin hedef evrene ait olup olmadığı kontrol edilmelidir. Gözlem geçerliyse modelin önemli bir değişkeni dışarıda bırakmış veya ilişkinin gerçek biçimini yanlış ifade etmiş olması mümkündür.
Bir gözlemin büyük artığa sahip olması, regresyon katsayılarını mutlaka güçlü biçimde etkilediği anlamına gelmez. Bu nedenle artıklarla birlikte Cook uzaklığı ve kaldıraç gibi etki ölçülerinin de incelenmesi gerekir. Ayrıntılı değerlendirme için regresyon analizinde uç değer tespiti yazımızdan yararlanabilirsiniz.
Regresyon hatası hakkında sık sorulan sorular
Artık değerin pozitif olması ne anlama gelir?
Pozitif artık, gözlenen gerçek değerin regresyon modelinin tahmin ettiği değerden daha yüksek olduğunu gösterir. Örneğin gerçek puan 70 ve tahmin edilen puan 65 ise artık 70−65=570-65=5 olur. Bu durumda model ilgili gözlemi 5 birim düşük tahmin etmiştir.
Artık değerin negatif olması ne anlama gelir?
Negatif artık, gözlenen değerin tahmin edilen değerden daha düşük olduğunu gösterir. Gerçek değer 60 ve tahmin edilen değer 68 ise artık 60−68=−860-68=-8 olarak hesaplanır. Model ilgili gözlem için gerçek değerden 8 birim daha yüksek bir tahmin üretmiştir.
Artık değerin sıfır olması ne demektir?
Artığın sıfır olması, modelin ilgili gözleme ait değeri tam olarak tahmin ettiğini gösterir. Bununla birlikte birkaç gözlemin artığının sıfır olması, modelin diğer gözlemler için de başarılı olduğu veya bütün regresyon varsayımlarının sağlandığı anlamına gelmez.
Standartlaştırılmış artık kaç olmalıdır?
Standartlaştırılmış artıkların büyük bölümünün yaklaşık −2 ile +2 arasında bulunması beklenebilir; mutlak değeri 3 civarında veya üzerinde olan gözlemler ayrıca incelenebilir. Fakat bu değerler otomatik veri silme sınırları değildir. Örneklem büyüklüğü, beklenen uç gözlem sayısı ve diğer etki ölçüleri birlikte değerlendirilmelidir.
Regresyon modelinde hata olmaması mümkün müdür?
Bütün gözlemlerin regresyon doğrusu üzerinde bulunması durumunda artıkların tamamı sıfır olabilir. Ancak gerçek araştırma verilerinde bu durum oldukça sıra dışıdır ve bazen değişkenlerin matematiksel olarak birbirinden türetilmesi, veri tekrarı veya aşırı uyum gibi sorunları düşündürebilir. Sıfır hata her zaman araştırma modelinin bilimsel olarak kusursuz olduğu anlamına gelmez.
Sonuç
Regresyon hatası, modelin mutlaka yanlış kurulduğunu gösteren bir program hatası değildir. Hata terimi, evrendeki gerçek değerlerin beklenen değerlerden sapmasını temsil ederken artık, örneklemde gözlenen değer ile modelin tahmini arasındaki hesaplanabilir farktır. Artıkların büyüklüğü ve oluşturdukları örüntüler incelenerek modelin doğrusal ilişkiyi yeterince temsil edip etmediği, hata varyansının sabitliği ve olağan dışı gözlemlerin bulunup bulunmadığı değerlendirilebilir.
Regresyon modelinizde olağan dışı sonuçlar, büyük artıklar veya varsayım sorunları bulunuyorsa yalnızca bazı gözlemleri silmek yerine modelin tamamının değerlendirilmesi gerekir. Mevcut SPSS analizinizin, artık grafiklerinizin ve regresyon sonuçlarınızın incelenmesi için analiz kontrolü ve istatistiksel revizyon hizmetimizi inceleyebilirsiniz.
