回帰分析重回帰 (3)

内容

• 分散不均一性– 分散不均一性とは何か– Heteroskedsticity robust estimator– 分散不均一性の検出– 加重最小二乗法 (Weighted Least Square)

• 誤差項の系列相関• 多重共線性• 説明変数の誤差• 誤差項と説明変数の相関

回帰分析の前提

• モデルの線型性• ui~N(0,s2) i.i.d.

– 誤差項の期待値は 0– 誤差項は互いに独立（系列相関は無い）– 誤差項の分散は一定（分散均一性）– 誤差項は正規分布（ t 検定， F 検定のための

前提）• 説明変数と誤差項は独立• 説明変数の行列 X は full rank

分散不均一性heteroskedasticity

• 分散均一性 (homoskedasticity)– 誤差項は互いに独立で同一の分布に従う

• 回帰係数 bの分布はこの仮定に依存

• 分散均一性の仮定が満たされなくても不偏性は成立。 b の分散は上の式のようにはならない。 t 検定， F 検定は正しくない。

2)var( iu

分散不均一性 (2)• 誤差項の分散が説明変数の大きさと何らかのシステ

マティックな関係があると分散均一性の仮定は成立しない。

• 例）賃金方程式で，高学歴者ほど賃金の分散が大きくなる。経験年数の長い人ほど，賃金の分散が大きくなる。

• 誤差項の系列相関も，広い意味でのheteroskedasticity

• ただし，誤差の分散は，ここで想定しているようなものと少し異なる

分散不均一性 (3)

• Eviews などの統計パッケージでは，最小二乗法の optionで， heteroskedasticity robust estimator を算出してくれる

• OLS の残差から適切な分散を計算– Eviews では White の方法と HAC(Newey West ）の方法が選択で

きる– HAC は誤差項に系列相関がある場合の方法

• robust t estimator 漸近的に正しい統計量（サンプルサイズが十分に大きいとき）

2

22

)var(xx

i ii

S

exxb

Heteroskedasticity robust estimator: 　 OLS の残差を e として，左のように計算

Heteroskedasticity robust estimator

Menu から　Quick /Estimate Equationで specicfication に回帰式を書き（ method は LS ）， options のタブをクリックCoefficient covariance matrix で White を選択する。（ option は Estimation Default で通常のOLS ， White ， HAC ）

通常の OLS とheteroskedasticity robust estimator の s.e. や t 値を比較せよ。

分散不均一性の検出• 残差の平方と説明変数または y の予測値の間に

ある関係– 例）– 　 y=a+bx+u, 　 s2=kx

• 残差と説明変数 x（あるいは被説明変数 yの予測値）は，最小二乗法では直交– e’x=0– 残差を , 説明変数（ yの予測値）に回帰してもその

係数はゼロ– 　残差の平方と， xや yの予測値との間にシステマ

ティックな関係があるかどうかを調べる。

分散不均一性の検出 (2)

• Breusch and Pagan のテスト

)1(,~))1(/(

/

))1(/(

/)(

0:test

:estimate

compure

:save

:estimate

210

,,22,1102

2

,,22,11

,,22,11

knkFknRSS

kESS

knRSS

kTSSRSS

H

vxxxe

e

xbxbxbaye

uxxxy

k

iikkiii

i

ikkiiii

iikkiii

分散不均一性の検出 (3)

• White のテスト• 残差の平方 e2 を被説明変数• 説明変数： xj をそのままいれず， xj の平

方， xj と xh の交差項を加える• これらの説明変数の係数が全て 0 という

仮説を検定する• 簡便な方法

– yの予測値，その平方を説明変数に加える

分散不均一性への対処• 分散不均一性のテストは検出のみ

– どのような方法で対処すべきかは教えてくれない

• 実際には多くの場合– var(u|x)=s2 f(x) 　が成立している– f(x) の形状がわかれば （多くの場合は f(x)=x)

iii uxy

)()()(

1

)( i

i

i

i

ii

i

xf

u

xf

x

xfxf

y

この式を推計すればよい　 Weighted Least Square

Estimate Equations で method は LS を指定。 Options タブで Weights この場合は Weights の type に inverse std dev. を指定し， weight series を f(x) とする

Breusch and Pagan の検定　メニューから選択する方法

回帰式を推定した後，View/ Residual Diagnostics/ Heteroskedasticity Tests

を選択Breusch and Pagan test

White test などのOption がある

White の検定

回帰分析の後，View/ Residual Tests/ Heteroskedasticity tests

を選択White の test を選択すると，自動的に説明変数のクロス項，平方を説明変数のリストに加えてくれる

White の検定残差の平方を被説明変数に

説明変数の係数が全て 0 という仮説は棄却される分散不均一性が検出された

問題 1

• wage1.raw で賃金方程式を推計し，分散不均一性のテスト（ Breusch and Pagan test) を行いなさい

• White のテストを行いなさい• 分散不均一性が検出された場合，適切な

変数変換をして回帰を行い，最初の回帰と結果を比較しなさい。

問題 2

• HPRICE1.RAW• 次のモデルを推計せよ

– 被説明変数： price( 住宅価格）– 説明変数： lotsize, sqrft, bdrms– 分散不均一性のテストを行え

• 上のモデルを対数形で推計せよ– 被説明変数： log(price)– 説明変数： log(lotsize), log(sqrft), log(bdrms)– 分散不均一性のテストを行え

分散不均一性の検定メニューを使わない方法

• Breusch and Pagan– 残差の平方を計算

• series res2 = resid^2• コマンドウィンドウで上のコマンドをタイプ

– res2 を被説明変数にして回帰分析– 説明変数の係数 =0 の F 検定

• White の検定– 残差の平方を計算– 被説明変数の予測値を計算

• series res =resid• series fit = lnwage - res

– Res2 を被説明変数に， fit , fit の平方を説明変数にした回帰分析を行い， F 検定

Weighted Least Square

2)()var( xhui (1) 式のモデルで，誤差項の分散が次のように表されるとする

)1(,,11 iikkii uxxy

)(1,)(

)()()()()(

,,11

,,11

iiiii

iikikiiiii

i

i

i

ikk

i

i

ii

i

xhwxhuv

vxwxwwyw

xh

u

xh

x

xh

x

xhxh

y

(1) 式を次のように変換すれば，分散は均一になる

Quick/ Estimate Equation で最小二乗法 LS を選択Options のタブでWeights を選択Type はNone,Inverse variance, Inverse std dev.variance std devから選択

None 　→通常のOLSWeight Series にweight 変数名を記入

古い version だと， Type の選択ができないかもしれません。その場合， weight 変数名に， 1/sqr(EDUC) といれればいいでしょう。詳しくはマニュアルを参照してください。

誤差項の系列相関• 回帰分析の前提：誤差項は互いに独立• 誤差項に系列相関がある場合

– 回帰係数 bの分散が s2(X’X)-1 にならない– クロスセクションデータの場合には問題にな

らない• オブザベーションの並び方が，隣接した地域や人

の順番になっている場合には意味がある場合あり。

– 時系列データの場合には意味がある• ある時点で生じたショックがしばらく尾をひく

（誤差項の系列相関アリ）

Durbin Watson 検定• 1 階の系列相関を調べる検定

)1(2

2

1

2

1

1 1

1

1

2

2

2

1

2

2

21

T

t t

T

t tt

T

t t

T

t t

T

t t

T

t tt

e

eeee

e

eeDW

DW 比は多くの統計パッケージでは自動的に出力される経済データでは， r>0 のケースが普通　（ r は 1 階の相関係数）大雑把なルールでは DW 比が 1 に近いと系列相関あり

現在では，誤差項はもっと一般的に AR(p)過程に従うとして，推計ができるまた，時系列データの分析では，説明変数が定常過程か非定常過程かの区別が重要

多重共線性 multicolinearity

• 説明変数間の相関が高い場合，回帰分析では，個々の変数の影響を分離して推計することができなくなる

• 実験データ– 個々の変数の影響が十分に分離できるように実験計画を立てる

• 経済データ– 上のようなことは不可能– 分析のレベルの再検討

• 例）地方政府の行動（支出）を，地域の財政状況（債務残高，税収，国からの補助金，交付税額），地域の属性（山間地，豪雪地帯 ,.. ），所得，面積等で説明– 国からの補助金は，その地域属性によって決まる– 個々の変数の効果が捉えられない

説明変数の誤差

iii uxy *

jivuv

vxx

jii

iii

,allfor0),cov(,0E

*

真のモデル

説明変数 xi* は観察できない：そのかわり xi が観察できる

ii

iiiiiii

wx

vuxuvxy

誤差項 wi の期待値は 0 ，分散は一定。しかし， wi と xiには相関がある

説明変数の誤差 (2)

• 説明変数の誤差誤差項と説明変数の相関

• 最少二乗推定量

• 特に単回帰の場合wXXXyXXXb ')'(')'( 11

22*

2*

22*

2

*

*

)var(

),cov(

)var(

),cov(plim

vx

x

vx

v

vx

vuvx

x

wxb

説明変数の誤差 (3)

• 例）恒常所得仮説

0,cov,cov,0E

iTi

Ti

Pi

Ti

Ti

Pii

iPii

uYYYY

YYY

ukYC

Y ：観察される所得，　 YP: 恒常所得，　 YT ：変動所得消費は観察不可能な恒常所得に比例する（ k はほぼ 1 に近い）消費関数を推計すると，消費性向はケインズ型消費関数の消費性向（ 0.6～ 0.7) と推定される

説明変数の誤差操作変数法 (Instrumental Variables Method)

説明変数の誤差，誤差項と説明変数の相関　対処方法

• 誤差項と説明変数の相関の問題は，連立方程式モデルでも発生

• 操作変数法 (Instrumental Variable Method)• IV については後述