Ch. 2: Basit Regresyon Modeli

Doç. Dr. Hüseyin Taştan1

1 Yıldız Teknik Üniversitesi, İktisat Bölümü, Yıldız Kampüsü H Blok, Oda no. 124, Beşiktaş, İstanbul. Email: tastan@yildiz.edu.tr

Yıldız Teknik Üniversitesiİktisat Bölümü Ekonometri I Ders NotlarıDers Kitabı: J.M. Wooldridge, Introductory Econometrics A Modern Approach, 2nd. ed., 2002, Thomson Learning.

2

CH.2 Basit Regresyon Modeli (tek açıklayıcı

değişkenli model)

• Bu bir basit doğrusal regresyon (simple linear

regression) modelidir.

• İki değişkenli model de denir (bivariate regressionmodel)

• Amaç: bağımlı değişken y’yi, bağımsız değişken x ile açıklamak.

• Regression teriminin orijini: Galton’un ortalamaya dönüş (regress) yasası

3

Basit Regresyon Modeli: TerminolojiDeğişkenlere birbirinin yerine kullanabilen çeşitli isimler verilmiştir:

y x

Bağımlı Değişken(Dependent Variable)

Bağımsız Değişken(Independent Variable)

Açıklanan Değişken(Explained Variable)

Açıklayıcı Değişken(Explanatory Variable)

Tepki Değişkeni(Response Variable)

Kontrol Değişkeni(Control Variable)

Tahmin edilen Değişken(Predicted variable)

Tahmin eden değişken(Predictor Variable)

Regressand Regressor

4

Hata terimi (error term, disturbance) : u

• u, hata terimi (error term, disturbance) adını alır.

• Bağımlı eğişken y üzerinde etkili olan x’in dışındaki diğer faktörleri temsil eder.

• Bu “diğer etkenler”e “gözlenemeyen

(unobserved) faktörler deriz.

5

EĞİM (SLOPE ) KATSAYISI : β

• Eğer u’nun temsil ettiği diğer faktörler sabit tutulursa, yani, �u = 0 olursa, bu halde, x’in yüzerindeki doğrusal etkisi şudur:

• Böylece, β1, regresyonun eğim katsayısı(slope) olmaktadır. u’nun temsil ettiği faktörler sabit iken (“ceteris paribus” varsayımı), x’deki bir birim değişmenin y’de yaratacağı değişmeyi gösterir.

• Regresyonun sabit terimi (intercept) βo, x=0iken y’nin alacağı değeri gösterir ve ekonomik yorumu üzerinde pek durulmaz.

6

BASİT REGRESYON ÖRNEKLERİ

Örnek 2.1 (s.24): Soya fasülyesi çıktısı (yield) ve gübre miktarı (fertilizer) modeli, Y=yield, x=fertilizer

β1: diğer faktörler sabitken (ceteris paribus) gübrenin çıktı miktarı üzerindeki etkisi

u: rassal hata terimi, soya fasülyesi çıktısını etkileyen, gübre dışındaki, yağmur miktarı, toprağın kalitesi gibi tüm faktörlerin ortak etkisi

“Holding all other factors fixed” ↔ ∆u=0

7

Örnek 2.2 (s.24): Basit bir ücret denklemi (wage equation)

wage: saat başına kazanılan ücret, ölçü birimi YTL ya da USD

educ: eğitim düzeyi, ölçü birimi yıl.

β1: ilgili diğer faktörler sabitken, bir yıllık fazladan eğitimin saat başına ücretlerde meydana getireceği değişim

Diğer faktörler ne olabilir?: işgücü piyasasındaki tecrübe, doğuştan gelen yetenek, şu an çalışılan yerdeki kıdem, iş etiği, alınan eğitimin kalitesi, çalışanın cinsiyeti, etnik kökeni, kır ya da kente yaşaması, medeni hali, çocuk sayısı, dış görünüşü vs. gibi çok sayıda faktör ücretleri etkileyebilir.

BASİT REGRESYON ÖRNEKLERİ

8

DOĞRUSALLIK (LINEARİTY)• Örnek (2.1) deki basit regresyonun doğrusal

(linear) olması şu anlama gelmektedir:“ x’ deki 1 birimlik değişmenin y’ de meydana getireceği etki, x’ in başlangıç (initial) değeri ne olursa olsun, aynıdır (sabittir).”

• Bu “sabit etki” varsayımı uygulamada çoğu zaman gerçeklere uymaz.

• Örneğin, ölçeğe göre artan ya da azalan getiri doğrusal modelle açıklanamaz.

• Ücret denkleminde, ilave bir yıl eğitimin etkisi önceki eğitim düzey(ler)ine göre daha fazla olacaktır. Bu etkilerin kolayca nasıl modelleneceğini daha sonra göreceğiz.

9

Ceteris paribus çıkarımlarının yapılabilmesi için gerekli varsayımlar: 1.Hata teriminin anakütle

ortalamasının sıfır olması• Basit regresyonda sabit terim (βo) mevcut olduğu

sürece,şu varsayımı yapabiliriz:

• Bu, u’nun içerdiği “gözlenemeyen (unobservables) etkiler”in dağılımıyla ilgili bir varsayımdır. u’ların bir kısmı +, bir kısmı –işaretlidir ve bunlar birbirlerini götürürler diye varsayıyoruz.

• βo’ı yeniden tanımlayarak (2.5) deki varsayımın gerçekleşmesini her zaman sağlayabiliriz.

10

2. Hata terimi u ile açıklayıcı değişken x’in ilişkisiz olması koşulu

• x’in y üzerindeki etkisini görebilmemiz için u’da içerilen gözlenemeyen faktörlerin aynı-sabit-kalmaları (ceteris paribus koşulu) gerekli idi. Bundan nasıl emin olabiliriz?

• Bunun için x ile u’nun ilişkisiz olması gereklidir. Ancak, u hem x ile, hem de x’in herhangi bir fonksiyonu (x2, √x vs.) ile ilişkisiz olmalı.

• Bunun için şu “sıfır koşullu ortalama

varsayımı (zero conditional mean

assumption)” gerekli:

11

“Sıfır Koşullu Ortalama” Varsayımı (Zero Conditional Mean Assumption)

• (2.6) da, u ve x tesadüfi değişkendir (random variables). Bu nedenle, x’in verilen bir değeri için u’nun koşullu dağılımını tanımlayabiliriz.

• x’in verilen belli bir değerine anakütlenin (population) belli bir dilimi (kısmı) karşılık gelir. u’nun bu populasyon dilimi içindeki beklenen değerini (ortalamasını) alabiliriz.

• Burada kritik varsayım, u’nun ortalama değerinin x’in alacağı değere bağlı olmamasıdır.

• İlk eşitlik şu demek: x’in verilen herhangi bir değeri için gözlenemeyen faktörlerin ortalaması aynıdır ve dolayısıyla da u’nun tüm anakütledeki ortalama değerine (sıfıra) eşittir.

12

“Sıfır Koşullu Ortalama” Varsayımı Örnek

• Ücret denklemini hatırlarsak:

wage = βo + β1 educ + u (2.4)

bu regresyonda, u, kişilerin doğuştan yeteneğini (innate ability) -gözlenemez- temsil etsin, bunu abil ile gösterelim.

• (2.6) varsayımı, tüm eğitim seviyelerinde ortalama “doğuştan yetenek”in aynı olduğunu söyler:

E(abil | 8) = E(abil | 12) = ... = 0.• Eğer eğitimle doğuştan yeteneğin ilişkili olduğunu

düşünüyorsak (daha yetenekliler okulda da daha iyiler), bu halde varsayım sağlanamaz.

• Doğuştan yeteneği gözlemleyemediğimiz için de ortalama doğuştan yeteneğin tüm eğitim seviyelerinde aynı olup olmadığını bilemeyiz.

13

“Sıfır Koşullu Ortalama” Varsayımı Örnek

• Soya fasülyesi gübre deneyini hatırlayalım. Arazi eşit parçalara bölünüp rassal olarak herbirine farklı miktarlarda gübre uygulanıyordu.

• Eğer gübre miktarları bu toprak parçalarının özelliklerinden ilişkisiz olarak belirleniyorsa sıfır koşullu ortalama varsayımı sağlanır.

• Ancak, yüksek kaliteli toprak parçalarına yüksek miktarda gübre uygulanırsa hata teriminin beklenen değeri gübre miktarı ile birlikte artar.

• Bu durumda sıfır koşullu ortalama varsayımı sağlanamaz.

14

Populasyon (Anakütle) Regresyon Fonksiyonu (POPULATION REGRESSION FUNCTION-PRF)

• (2.1) in x’e göre koşullu beklenen değerini alır ve (2.6) dan E(u|x)=0 koyarsak, PRF’nin, E(y|x), x’in doğrusal bir fonksiyonu olduğunu görürüz:

• Doğrusallığın anlamı, x’deki bir birimlik değişmenin y’ninkoşullu beklenen değerinde β1 kadar bir değişime yol açmasıdır.

• Figure 2.1’den görüldüğü gibi x’in verilmiş bir seviyesinde y’nin dağılımının merkezi E(y|x)’dir

15

Populasyon Regresyon Fonksiyonu, PRF

16

Bağımlı değişken y’nin sistematik ve sistematik-olmayan kısımları

(2.6) varsayımı (sıfır koşullu ortalama) geçerli iken,

y = βo + β1 x + u

basit regresyonunda, bağımlı değişken y’yiiki kısma ayırmak mümkün olacaktır :1. βo + β1x : sistematik kısım (y’nin x

tarafından açıklanan kısmı) ve

2. u : sistematik-olmayan ya da x tarafından açıklanamayan kısmı.

17

SIRADAN EN KÜÇÜK KARELER TAHMİN EDİCİLERİ (THE ORDINARY LEAST SQUARES ESTIMATES)

• Herhangi bir anakütleden n hacimli bir rasgele örnek (random sample) çekelim:

• Örnek anakütleden çekildiği için, (2.1) deki regresyonu her bir i (gözlem değeri) için yazabiliriz :

18

EKK (OLS) TAHMİN EDİCİLERİ: ÖRNEK• Rasgele seçtiğimiz 15 ailenin (n=15) belli bir yıldaki gelirlerini (x) ve

tasarruflarını (y) gözlemlediğimizi düşünelim.

• Bu 15 gözlemin serpilme çizimi (scatterplot) ve hayali bir PRF çizgisi şöyle olsun :

19

βo ve β1’in tahmini• Yukarıda u’nun ortalamasının sıfır olduğunu ve x ile

ilişkisinin bulunmadığını varsaymıştık:

E(u) = 0 (2.10) ve Cov(x, u) = E(xu) = 0 (2.11)

• Bu formüllerde u yerine, onun (2.1)’den bulacağımız değerini, u = y - βo - β1x, kullanırsak :

• (2.12) ve (2.13) nolu denklemler, (x,y)’nin kitledeki ortak olasılık dağılımı (joint probability distribution) üzerine iki kısıt (restrictions) koymaktadır. Bilinmeyen sayısı da 2 olduğu için tahmin yapabiliriz (İstatistik II’de gördüğünüz Momentler Yöntemini hatırlayın).

20

Örneklem Moment Koşulları• Yukarıda yazdığımız iki bilinmeyenli ikili populasyon

moment koşulunun örneklem karşılıklarını aşağıdaki gibi yazabiliriz:

• Bu Momentler Yöntemi (Method of Moments)’ne bir örnektir. Betaların üzerinde şapka olduğuna dikkat edin (tahmin edici).

• Örneğe ait veriyi kullanarak bu iki denklemi bilinmeyen ve için çözeriz.

21

Regresyon parametrelerinin tahmini: devam

• Toplama operatörünün (Σ) özelliklerinden (bkz. Appendix A) (2.14) ü şöyle yazabiliriz:

burada ybar ve xbar örneklem ortalamalarıdır.

• (2.16) dan :

bulunur.

22

Regresyon parametrelerinin tahmini: devam

• (2.15) ‘i n ile çarptıktan sonra yerine (2.17) deki değerini koyarsak:

• Yeniden düzenlenirse

bulunur.

23

Regresyon parametrelerinin tahmini: devamToplama işlemcisinin özelliklerinden hareketle

ve

yazılabilir. Buradan eğim parametresinin tahmin edicisi

olarak bulunur.

24

Regresyon parametrelerinin tahmini: devam

• (2.19), yani , x ve y arasındaki örnek kovaryansının x’in örnek varyansına bölümüdür. Bu şuradan geldi :E (u) = 0 ve Cov(x,u) = 0 varsayımları altında, , x ve yarasındaki anakütle kovaryansının x’in varyansına bölümüne eşittir.

• Demek ki, eğer örnekte x ve y pozitif yönde ilişkilerse, pozitif olacak, tersine, negatif yönde ilişkilerse negatif

olacaktır. • (2.18) deki koşul,

x’in örnekte hep aynı değeri almaması, yani, değişme göstermesi anlamına gelir. Örneğin, tüm örneğe giren kişiler 12 yıl okumuşsa (2.) deki wage regresyonunu tahmin edemeyiz.

25

En Küçük Kareler (Ordinary Least Squares -OLS-)• y için modelce tahmin edilen değer (fitted value)

• Kalıntı terimi (residual): Hata terimi ile karıştırılmamalıdır.

OLS yöntemi betaların tahmin edicilerini kalıntı kareleri toplamını en küçük yapacak şekilde bulur:

26

Tahmin edilen y değerleri ve Kalıntılar(Fitted values-residuals)

27

OLS tahmin edicilerinin alternatif türetimi• Minimizasyon problemi:

• Bu fonksiyona diyelim. Birincil sıra koşullar

dan hareketle denklem sistemi

• olur. Bu Momentler Yöntemi ile elde edilen denklem sisteminin -2n ile çarpılmış halidir. Dolayısıyla aynı MOM yöntemi ile aynı çözüme sahiptir.

28

Bu çözümde OLS objektif fonksiyonunun minimum olduğundan emin olabilir miyiz?

• Her hangi b0 ve b1 için amaç fonksiyonu şöyle yazılabilir:

29

Devam:

• Kalıntı kareleri toplamı b0 ve b1’e bağlı olmadığından bu eşitlikteki son üç terim şöyle yazılabilir:

• Bu ifade kareler toplamı olduğundan en fazla sıfır olabilir.

• Öyleyse bu ifade ancak

ve

sağlandığında en küçük değerine ulaşır.

30

POPULATION AND SAMPLE REGRESSION FUNCTIONS: PRF , SRF

• PRF : E(y | x) =

Anakütle regresyon fonksiyonu sabittir (tektir) ve onu ölçemeyiz, yani bilinmezdir.

• Örneklem Regresyon Fonksiyonu (SRF) :

“yhat”, y’nin regresyondan tahmin edilen değerlerini ifade eder.

• Eğim ve x’deki 1 birim değişmenin y’de meydana getireceği değişme şunlara eşittir:

0 1xβ β+

31

BASİT REGRESYON : ÖRNEK 2.3

• 209 ABD firmasının CEO (Chief Executive Officer) ‘larının maaşları (y) ile bu firmaların karlılıkları (x) arasındaki ilişkiyi araştırıyoruz (1990 yılı için).

• y : yıllık maaş, 000 $, n=209 (örnek hacmi)

• x : Firmanın son 3 yıla ait sermaye getiri oranı, % (return on equity=net income / common equity).

• Model:

• Tahmin (GRETL, ceosal1.gdt):

32

ÖRNEK 2.3 : Getiri oranında %1 puanlık artış (∆roe=1) ortalama maaşlarda 18.5 bin dolarlık artış sağlayacak.

33

Tahmin edilen regresyondan ve ‘nın hesaplanması :

y

u

34

EKK (OLS) TAHMİN EDİCİLERİN CEBİRSEL ÖZELLİKLERİ

(Algebric properties of OLS statistics)

1) EKK(OLS) artıklarının toplamı ve dolayısıyla da örnek ortalaması sıfıra eşittir:

2) Bağımsız değişkenle (x) EKK(OLS) artıklarının örnek kovaryansı sıfıra eşittir.(2.15) den:

3) noktası daima EKK(OLS) regresyon çizgisi üzerine düşer.( , )x y

35

KARELER TOPLAMLARI (SUM OF SQUARES)

• Her bir i için,

• Toplam kareler toplamı (total sum of squares): TKT (SST)

• Açıklanan kareler toplamı (explained sum of squares: AKT (SSE)

• Kalıntı (artık) kareler toplamı(residual sum of squares):KKT (SSR)

36

KARELER TOPLAMLARI (SUM OF SQUARES)

• SST: bağımlı değişkenin örneklem içindeki değişkenliğini verir. var(y)=SST/(n-1) olduğuna dikkat edin.

• Benzer şekilde SSE, yhat’deki, SSR, kalıntılardaki (uhat) değişkenliği verir.

• y’deki toplam değişkenlik açıklanan ve açıklanamayan kısımlardaki değişkenliğin toplamına eşittir:

SST = SSE + SSR (2.36)

• İspat: kitap ss.38-39

37

UYUMUN İYİLİĞİ (GOODNESS-OF-FIT) ÖLÇÜSÜ: R2 (determinasyon katsayısı)

• (2.36) yı SST’ ye bölelim: 1=(SSE/SST) + (SSR/SST). Buradan,

• SSE hiçbir zaman SST’den daha büyük olamayacağı için R2 daima o ile 1 arasında değer alır.

• R2, y’deki değişmenin x tarafından açıklanan yüzdesini gösterir.

• Gözlemler regresyon çizgisi boyunca dar bir aralıkta uzanıyorsa, R2, 1’e yakın çıkacak, gözlemlerin dağılımı bir yönden yoksun ise sıfıra yaklaşacaktır.

• �u ilişki geçerlidir: 2 ˆ( , )iR Corr y y=

38

DEĞİ�KENLERİN ÖLÇÜ BİRİMLERİNİ DEĞİ�TİRİRSEK NE OLUR?

• x’in birimi aynı kalırken, eğer, y’yi c sabiti ile çarparsak, intercept (sabit) ve slope (eğim) terimlerinin her ikisi de c sabitiyle çarpılır.

• CEO maaşları örneğinde y’yi bin dolarla değil de, $ ile ifade edersek (c=1000) regresyon şöyle olur (yorum yine aynı olur):

salary$ = 963,191 + 18,502 roe.

• y aynı kalırken, x’i c sabitiyle çarparsak, bu halde, βo(hat) değişmezken, β1(hat), c ile bölünür.

• Örneğin, CEO regresyonunda x’i %(percent) ile değil ondalık kesirle (decimal) ifade edersek (c=0.01 oldu):

salary = 963.191 + 1850.1 roe.olur. Yani, β1(hat), 0.01 ile bölündü (100 ile çarpıldı).

39

BASİT REGRESYONA DOĞRUSAL-OLMAYAN (NONLINEAR) BİÇİM EKLEME

• Doğrusal (linear) biçim çoğu kez gerçeği yansıtmaz. Bu nedenle doğrusal-olmayan modellerle çalışmak gerekebilir.

• Bağımlı ve bağımsız değişkeni uygun biçimde tanımlayarak basit regresyonu (değişkenlerde) doğrusal-olmayan bir modele dönüştürebiliriz.

• Regresyon modeli hala parametrelerde doğrusaldır.

• Sıkça uygulanan bir yöntem, bağımlı değişkenin “log (=ln)y” şeklinde ifade edilmesidir. Bu derste sadece doğal log dönüştürmesi kullanılacaktır.

40

Log(Wage) = βo + β1 educ + u (2.42) Bu model eğitime göre artan getiri verir.

Eğer ∆u = 0 ise %∆wage ≈ (100·β1) ∆educ

41

• Eğim katsayısını (β1hat=0.083) 100 ile çarparak

yüzde (percentage) cinsinden yorumlayabiliriz:100(0.083) = 8.3.

• Yani, ilave bir yıl eğitim ücreti %8.3 artırmaktadır. Buna “ilave bir yıl eğitimin getirisi (return to another year of education)” denir.

• “İlave bir yıl eğitim log(wage)’i %8.3 artırır” yorumu yanlıştır. %8.3 artan log(wage) değil, wage’dir.

• educ değişkeni log(wage)’deki (wage’deki değil) değişmenin %18.6’sını (R2) izah etmektedir.

Logaritmik ücret modeli, GRETL: wage1.gdt

42

Sabit esneklik modeli

• x ve y’nin ikisini de log olarak alırsak “sabit esneklik modeli (constant elasticity model)” ne (log-log modeli) ulaşırız

• log-log model: y=log(salary), x=log(sales)

• Burada, β1, maaşın satışa göre esnekliğidir (the elasticity of salary with respect to sales).

• Yorum: Satışlarda %1 artış CEO maaşlarında %0.257artışa yol açıyor. Yani, satışlarda %4’lük artış maaşlarda %1’lik artış yaratıyor.

43

LOGARİTMA KULLANILARAK OLU�TURULMU� FONKSİYONEL BİÇİMLER (FUNCTIONAL

FORMS)

44

Parametrelerde ve değişkenlerde doğrusallık (linearity)

• Regresyonun doğrusal (linear) olup olmasını x ve y’nin değil beta’ların doğrusallığı belirler.

• Örneğin, 1/x, gibi değişkenleri gerekli dönüştürmeler yaparak kullanabiliriz. Regresyon yine doğrusaldır.

• Oysa, aşağıdaki regresyon parametreler bakımından doğrusal değildir, dolayısıyla da doğrusal bir regresyon değildir.

1/ 4, , .x y vs

45

EKK(OLS) tahmin edicilerinin, , istatistiksel özellikleri

• Anakütleden çekilen farklı rasgele örneklerden bulacağımız OLS parametre tahmin değerlerinin dağılımları ne tür özellikler gösterecektir?

• OLS tahmin edicilerinin örnekleme dağılımlarının özellikleri nelerdir?

• İlk olarak sonlu örneklem özelliklerinden sapmasızlık ve etkinliklerini inceleyeceğiz.

• Hatırlarsak sapmasızlık örnekleme dağılımındaki ortalamanın bilinmeyen doğru değere eşit olduğunu söylüyordu.

• Etkinlik ise ilgili tahmin edicinin varyansının o tahmin ediciler kümesi içinde en küçük olduğu anlamına geliyordu.

0 1ˆ ˆ( , )β β

46

OLS t.e.nin sapmasızlığıEKK (OLS) tahmin edicilerin sapmasız (unbiasedness)

olabilmesi aşağıdaki 4 varsayıma bağlı:1. Varsayım. SLR.1 : model parametreler bakımından

doğrusaldır : y = βo + β1 x +u (2.47) (y, x ve u’nun üçü de tesadüfi değişkendir)

2. Varsayım SLR.2 : Elimizdeki veri (data) kitleden rasgele örneklemeyle (random sampling) çekilmiştir.

3. Varsayım SLR.3 : Sıfır koşullu ortalama (zero conditional mean) varsayımıdır, E (u|x) = 0. Rasgele örnekleme için bu varsayım şunu da zorunlu kılar:

47

Sapmasızlık (unbiasedness) için varsayımlar

4. Varsayım SLR.4 : Bağımsız değişkenin örnek içindeki değerleri aynı değildir, değişme gösterir. xi, i=1,…,n’ler aynı sabite eşit değildirler.

Bu varsayım, β1hat’in (2.19) daki formülünde

paydanın sıfır olmaması demektir. �u koşulun sağlanmasını gerektirir :

48

Örnek parametresi ‘in kitle parametreleri, cinsinden ifadesi:

• Rasgele örnekleme durumunda (2.47) deki doğrusal PRF’ı şöyle yazabiliriz :

• �u eşitliği kullanarak (bkz.Ek A),

(2.19) ‘u şöyle yazabiliriz:

1β

0 1veβ β

49

(devam)

• (2.49) da yi yerine (2.48) deki değerini koyalım:

• (2.50)’de payı şöyle yazabiliriz:

50

(devam)• Ek A’ da gösterildiği gibi :

Dolayısıyla, (2.51) şu hale gelir :

Bunu (2.50) de yerine koyarsak:

Burada dir.

51

ilişkisi

• (2.52) den görüldüğü gibi,

= + u’ların (errors) bir doğrusal bileşimi

• Örnek hata terimleri sıfırdan farklı olduğu sürece

≠ olacak.1β

1 1ˆ v eβ β

1β

1β

1β

52

Teorem 2.1: SEK (OLS) tahmin edicilerin sapmasızlığı (unbiasedness)

• OLS tahmin edicilerinin beklenen değerleri bilinmeyen kitle parametrelerine eşittir :

İspat : (2.52)’nin iki tarafının da beklenen değerlerini alalım.

Beklenen değerler x’in örnek değerlerine koşulludur (conditional), dolayısıyla, sx

2, di sadece x’in fonksiyonları oldukları için sabit (nonrandom) varsayılacaklar. Diğer yandan, Varsayım SLR.2 ve SLR.3 gereği, her bir ui ‘nin beklenen değeri sıfırdır.

53

devam

• (2.52) den :

54

Sapmasızlık üzerine notlar• Sapmasızlık tekrarlanan örneklerden bulunan çok

sayıdaki ve tahminlerine ait örnek dağılımlarının (sampling distributions) bir özelliğidir.

• Dolayısıyla, tek bir örnekten (ki çoğu kez böyledir) bulunan betalarla ilgili olarak hiçbir şey söylemez. Bilinmeyen kitle parametrelerinden çok uzak bir tahmin de elde edebiliriz.

• Yukarıda yaptığımız 4 varsayımdan biri veya bir kaçı sağlanamazsa sapmasızlık özelliği geçerli olmaz. Doğrusallığın ve rasgele örneklemenin olmaması, u ile x’lerin ilişkili olması veya u’nun içerdiği faktörlerin x ile ilişkili olmaları (ki, sahte “spurious” korelasyona sebep olur) durumlarında sapmalı tahmin ediciler elde edeceğiz.

0β

1β

55

OLS t.e.lerinin sapmasızlığı: Basit bir Monte Carlo deneyi

• Bağımlı değişken y için veri üretim sürecinin aşağıdaki gibi belirlendiğini düşünelim:

y = 1 + 0.5 x + 2*N(0,1)

• Burada doğru parametre değerlerinin β0=1 ve β1=0.5 olduğuna, ve hata teriminin u=2*N(0,1) olarak belirlendiğine dikkat edin. N(0,1)standart normal dağılıma uyan bir rassal değişkendir.

• Ayrıca açıklayıcı değişken x’in değerlerinin sabit olduğunu ve x=10*Unif(0,1) olarak belirlendiğini düşünelim.

• �imdi bu populasyon modelinde parametre değerlerini bilmediğimizi ve OLS yöntemini kullanarak tahmin edeceğimizi düşünelim.

• GRETL programını kullanarak yukarıda belirtilen dağılımlardan rassal sayılar türetip çok sayıda örnekler elde edebilir ve her örnek için OLS yöntemini uygulayıp tahmin değerlerini bir dosya içinde kaydedebiliriz.

• Bu basit bir Monte Carlo deneyidir. Tahmin edicilerin, test istatistiklerinin örnekleme dağılımlarının elde edilmesinde sıklıkla kullanılır.

56

OLS t.e.lerinin sapmasızlığı: Basit bir Monte Carlo deneyi

• GRETL programında bu deney şöyle kodlanabilir (simpleOLSMonteCarlo.inp):

nulldata 50 ↔ gözlem sayısıseed 123 ↔ sayı üretimi için seedgenr x = 10 * uniform() ↔ açıklayıcı değişkeni türet# open a "progressive" loop, to be repeated 1000 timesloop 1000 –progressive ↔ döngüyü açgenr u = 2 * normal() ↔ hata terimini türet# construct the dependent variablegenr y = 1 + 0.5 * x + u ↔ populasyon reg modeline göre y’yi türet# run OLS regressionols y const x ↔ OLS reg. kur# grab the coefficient estimates and R-squaredgenr a = $coeff(const) ↔ intercept terimini algenr b = $coeff(x) ↔ eğim parametresini algenr r2 = $rsq ↔ determinasyon katsayısını al# and save the coefficients to filestore MC1coeffs.gdt a b ↔ a ve b’yi kaydetEndloop ↔ döngüyü tekrarla ve sonlardıropen MC1coeffs.gdt

57

OLS t.e.lerinin sapmasızlığı: Basit bir Monte Carlo deneyi

• simpleOLSMonteCarlo.inp dosyasını çalıştırırsak OLS tahmin edicilerinin örnekleme dağılımlarını elde ederiz.

• Bu dağılıma ulaşmak için MC1coeffs.gdt dosyasını açmamız gerekir.

• Özet istatistikler:

58

OLS t.e.lerinin sapmasızlığı: Basit bir Monte Carlo deneyi

• Sabit terimin örnekleme dağılımı

59

OLS t.e.lerinin sapmasızlığı: Basit bir Monte Carlo deneyi

• Eğim parametresinin örnekleme dağılımı:

60

EKK (OLS) tahmin edicilerinin varyansı• EKK tahmin edicilerin, ve sapmasızlığı için

Varsayım SLR.1-SLR.4 yeterli idi.

• EKK tahmin edicilerin belli etkinlik (efficiency)özellikleri için ve ayrıca betaşapkaların varyanslarının daha basit şekilde formüle edilebilmesi için bir başka (5.ci) varsayım daha yapmalıyız :

• Varsayım SLR.5 : Sabitvaryans -homoscedasticity-varsayımı. Gözlenemeyen hata terimlerinin (u), x’e koşullu (conditional) varyansı sabittir :

0β

1β

61

aynı zamanda u’ların koşulsuz (unconditional) varyansıdır

• u ve x’in bağımsız (independent) olduklarını varsaydık (ki, bu çok kuvvetli bir varsayımdır), xverilmişken u’nun dağılımı x’e bağlı olmayacaktı.Dolayısıyla, E(u|x) = E(u)=0 ve Var (u|x) =σ2

•

62

Varsayım SLR.3 ve Varsayım SLR.5, y’nin koşullu (conditional) ortalama ve koşullu varyansı ile de

ifade edilebilir

• x verilmişken y’nin koşullu beklenen değeri x’in doğrusal bir fonksiyonudur.

• Yine x veri iken y’nin varyansı sabittir ve hata terimlerinin varyansına eşittir.

63

Sabit varyans (homoscedasticity) geçerli iken basit regresyon modeli

64

Var(u|x), x’e bağlı ise, x değiştikçe o da değişir. Buna, değişken-varyans (heteroscedasticity) denir

• Var (u|x) = Var (y|x) olduğu için, Var (y|x), x’in bir fonksiyonu ise değişken-varyans durumu vardır.

65

SLR.1-SLR5 varsayımları altında EKK (OLS) tahmin edicilerin örneklem varyansları

• SLR.1-SLR5 varsayımları altında

• Bu formüller değişken-varyans (heteoscedasticity) varsa geçersizdir.

• Betaların varyansları, u’ların varyansı ile doğru orantılı, x’deki toplam değişmeyle ters orantılı olarak değişmektedir.

66

(2.57) nin isbatı• (2.52) de her iki tarafın varyansını alalım:

67

Hata terimleri (errors or disturbances) ile artıkların (residuals) farkı

• Hata terimleri (errors or disturbances)(u) ile artık terimler(residuals) (uhat) birbirine karıştırılmamalı. Hata terimleri kitle modelini gözlemlerle yazdığımız zaman söz konusudur. Artıklar ise örnek parametrelerinin olduğu denkleme aittir.

• Hata terimleri gözlenemez (unobservable) iken artıklar (kalıntılar) verilerden tahmin edilebilir.

68

u ve uhat ( ) ilişkisi• (2.32) ve (2.48) i kullanarak artık terimleri hata

terimlerinin bir fonksiyonu olarak yazabiliriz:

• Örnek ve kitle parametreleri eşit olmadığı sürece u ile uhat farklı olacaktır. Ancak, (2.59) un her iki tarafının beklenen değerini alırsak, sapmasızlık özelliğinden dolayı, E( ) = , vs.

E(u) - E( )=0 buluruz.1

β1

β

u

u

69

Hata terimleri varyansının tahmini• Hata terimleri varyansının sapmasız tahmin edicisi

• Ancak, hata terimleri u(i)’leri gözlemleyemediğimiz için bunu hesaplayamayız. Bu yüzden, varyansın tahminini EKK(OLS) artıklarından, uhat, elde edeceğiz :

• Bu tahmin sapmalıdır (biased), zira, EKK (OLS) artıklarının serbestlik derecesi n değil n-2’ dir (birincil koşulları veren iki denklemden dolayı 2 S.D. ‘i kaybediliyor). SD düzeltmesi yaparak sapmasız varyansı şöyle bulacağız:

70

Standart hatalar• Varyansın karekökü “regresyonun standart hatası”

(standart error of the regression, SER) adını alır. “Tahminin standart hatası” (standart error of the estimate) ya da “hata kareleri ortalaması karekökü” (root meansquared error) olarak da adlandırılır.

• (2.57) ve (2.58) de σ yerine kullanarak betaların standart sapmalarını hesaplarız :

σ

71

Orijinden geçen regresyon : Regresyon sabit terimine (intercept) sıfır kısıtı konulması

• Bazı durumlarda x=0 iken y=0 olsun isteriz. Örneğin, gelir sıfırken vergi tahsilatı da sıfır olacaktır. (2.64)’deki SSR minimize edilecektir. Tilda’ları sabit terimli durumla karıştırmamak için kullanıyoruz.