least angle regression, forward stagewise and the...

March 2003 Trevor Hastie, Stanford Statistics 1�

�

�

�

Least Angle Regression, ForwardStagewise and the Lasso

Brad Efron, Trevor Hastie, Iain Johnstone and Robert TibshiraniStanford University

http://www-stat.stanford.edu/∼hastie/Papers/#LARS


�

�

�

Background

• Today’s talk is about linear regression

• But the motivation comes from the area of flexible functionfitting: “Boosting”— Freund & Schapire (1995)


�

�

�

Least Squares Boosting

Friedman, Hastie & Tibshirani — see Elements of StatisticalLearning (chapter 10)

Supervised learning: Response y, predictors x = (x1, x2 . . . xp).

1. Start with function F (x) = 0 and residual r = y

2. Fit a CART regression tree to r giving f(x)

3. Set F (x) ← F (x) + εf(x), r ← r − εf(x) and repeat step 2many times


�

�

�

Least Squares Boosting

ε = 1

ε = .01

Single tree

Prediction Error

Number of steps


�

�

�

Linear Regression

Here is a version of least squares boosting for multiple linearregression: (assume predictors are standardized)

(Incremental) Forward Stagewise

1. Start with r = y, β1, β2, . . . βp = 0.

2. Find the predictor xj most correlated with r

3. Update βj ← βj + δj , where δj = ε · sign〈r, xj〉4. Set r ← r − δj · xj and repeat steps 2 and 3 many times

δj = 〈r, xj〉 gives usual forward stagewise; different from forwardstepwise

Analogous to least squares boosting, with trees=predictors


�

�

�

Prostate Cancer Data

0.0 0.5 1.0 1.5 2.0 2.5

-0.2

0.0

0.2

0.4

0.6

lcavol

lweight

age

lbph

svi

lcp

gleason

pgg45

0 50 100 150 200 250

-0.2

0.0

0.2

0.4

0.6

lcavol

lweight

age

lbph

svi

lcp

gleason

pgg45

t =∑

j |βj |

Coeffi

cien

ts

Coeffi

cien

ts

Lasso Forward Stagewise

Iteration


�

�

�

Linear regression via the Lasso (Tibshirani, 1995)

• Assume y = 0, xj = 0, Var(xj) = 1 for all j.

• Minimize∑

i(yi −∑

j xijβj)2 subject to∑

j |βj | ≤ s

• With orthogonal predictors, solutions are soft thresholdedversion of least squares coefficients:

sign(βj)(|βj | − γ)+

(γ is a function of s)

• For small values of the bound s, Lasso does variable selection.See pictures


�

�

�

Lasso and Ridge regression

β^ β^2. .β

1

β2

β1β


�

�

�

More on Lasso

• Current implementations use quadratic programming tocompute solutions

• Can be applied when p > n. In that case, number of non-zerocoefficients is at most n − 1 (by convex duality)

• interesting consequences for applications, eg microarray data


�

�

�

Diabetes Data

Lasso

0 1000 2000 3000

-500

050

0

123 4 5 67 89 10 1

2

3

4

5

6

78

9

10••• • • •• •• •

Stagewise

0 1000 2000 3000

-500

050

0

123 4 5 67 89 10 1

2

3

4

5

6

78

9

10••• • • •• •• •

t =∑

|βj | →t =∑

|βj | →

βj


�

�

�

Why are Forward Stagewise and Lasso so similar?

• Are they identical?

• In orthogonal predictor case: yes

• In hard to verify case of monotone coefficient paths: yes

• In general, almost!

• Least angle regression (LAR) provides answers to thesequestions, and an efficient way to compute the complete Lassosequence of solutions.


�

�

�

Least Angle Regression — LAR

Like a “more democratic” version of forward stepwise regression.

1. Start with r = y, β1, β2, . . . βp = 0. Assume xj standardized.

2. Find predictor xj most correlated with r.

3. Increase βj in the direction of sign(corr(r, xj)) until someother competitor xk has as much correlation with currentresidual as does xj .

4. Move (βj , βk) in the joint least squares direction for (xj , xk)until some other competitor x� has as much correlation withthe current residual

5. Continue in this way until all predictors have been entered.Stop when corr(r, xj) = 0 ∀ j, i.e. OLS solution.


�

�

�

µ0 µ1

x2 x2

x1

u2

y1

y2

The LAR direction u2 at step 2 makes an equal angle with x1 andx2.


�

�

�0 1000 2000 3000

-500

050

0

123 4 5 67 89 10 1

2

3

4

5

6

78

9

10••• • • •• •• •

2 4 6 8 100

5000

1000

015

000

2000

0

••

•

•

•• •

• • •

1

2

3

4

5

6

7

8

9

10

9

4

7

210 5

8 6 1

LARS

Ck

Step k →

|c kj|

∑|βj | →

βj


�

�

�

Relationship between the 3 algorithms

• Lasso and forward stagewise can be thought of as restrictedversions of LAR

• For Lasso: Start with LAR. If a coefficient crosses zero, stop.Drop that predictor, recompute the best direction andcontinue. This gives the Lasso path

Proof (lengthy): use Karush-Kuhn-Tucker theory of convexoptimization. Informally:

∂

∂βj

{||y − Xβ||2 + λ

∑

j

|βj | } = 0

⇔

〈xj , r〉 =λ

2sign(βj) if βj �= 0 (active)


�

�

�

• For forward stagewise: Start with LAR. Compute best (equalangular) direction at each stage. If direction for any predictor j

doesn’t agree in sign with corr(r, xj), project direction into the“positive cone” and use the projected direction instead.

• in other words, forward stagewise always moves each predictorin the direction of corr(r, xj).

• The incremental forward stagewise procedure approximatesthese steps, one predictor at a time. As step size ε → 0, canshow that it coincides with this modified version of LAR


�

�

�

S+A

S+B

SA

CA

vB

vA

x2

x1

x3

The forward stagewise direction lies in the positive cone spannedby the (signed) predictors with equal correlation with the currentresidual.


�

�

�

Summary

• LARS—uses least squares directions in the active set of variables.

• Lasso—uses least square directions; if a variable crosses zero, it isremoved from the active set.

• Forward stagewise—uses non-negative least squares directions inthe active set.


�

�

�

Benefits

• Possible explanation of the benefit of “slow learning” inboosting: it is approximately fitting via an L1 (lasso) penalty

• new algorithm computes entire Lasso path in same order ofcomputation as one full least squares fit. Splus/R Software onHastie’s website:www-stat.stanford.edu/∼hastie/Papers#LARS

• Degrees of freedom formula for LAR:

After k steps, degrees of freedom of fit = k (with someregularity conditions)

• For Lasso, the procedure often takes > p steps, since predictorscan drop out. Corresponding formula (conjecture):

Degrees of freedom for last model in sequence with k predictorsis equal to k.


�

�

�

LARS and Boosting

Recent work with Saharon Rosset and Ji Zhu:

• extends the connections between Forward Stagewise and L1

penalized fitting to other loss functions. In particular theExponential loss of Adaboost, and the Binomial loss ofLogitboost.

• In the separable case, L1 regularized fitting with these lossesconverges to a L1 maximizing margin (defined by β∗), as thepenalty disappears. i.e. if

β(t) = arg minL(y, f) s.t. |β| ≤ t,

then

limt↑∞

β(t)|β(t)| → β∗


�

�

�

LARS and Boosting (continued)

• makes connections between SVMs and Boosting, and makesexplicit the margin maximizing properties of boosting.

• experience from statistics suggests that some β(t) along thepath might perform better—a.k.a stopping early.

• Alternatively, using the “Hinge loss” of SVMs and an L1

penalty (rather than quadratic), we get a Lasso version ofSVMs (with at most N variables in the solution for any valueof the penalty.


�

�

�

Software for R and Splus

lars() function fits all three models: lasso, lar orforward.stagewise. Methods for prediction, plotting, andcross-validation. Detailed documentation provided. Visitwww-stat.stanford.edu/∼hastie/Papers/#LARS

Main computations involve least squares fitting using the active setof variables. Computations managed by updating the Choleski R

matrix (and frequent downdating for lasso and forward stagewise).


�

�

�

MicroArray Example

• Expression data for 38 Leukemia patients (“Golub” data).

• X matrix with 38 samples and 7129 variables (genes)

• Response Y is dichotomous ALL (27) vs AML (11)

• LARS (lasso) took 4 seconds in R version 1.7 on a 1.8Ghz Dellworkstation running Linux.

• In 70 steps, 52 variables ever non zero, at most 37 at a time.


�

�

�

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ************

********************

0.0 0.2 0.4 0.6 0.8 1.0

−0.

20.

00.

20.

40.

60.

8

|beta|/max|beta|

Sta

ndar

dize

d C

oeffi

cien

ts

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ************

********************

* * * * * * ** * *** ** * * * *** ****** ** *** **** * **********************************

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * **

****

***

* * *** ****** ** *** **** * ** *********************

***********

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * *

* ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** *

*****

** * *** ****** ** ***

**** * ** ********************************

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * *

*

** ** * *** ** * * * *** ******

***** ****

* ** *********************************

*

*

*

** ** * *** ** * * * *** ****** ** *** **** * ** ********************************

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* *

*

*

** **

* *** ** * * * *** ****** ** *** **** * ** ********************************

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** ***

***** ** ********************************

* * * * * * ** * *** ** * * * *** ******

** *** ***** ** ***********

*********************

* * * * * * ** * *** ** * * * *** ****** ** *** ***** ** *********************

***********

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * ***

****** ** *** **** * ** **********************

**********

* * * * * * ** * *** ** * * * *** ****** ** *** **** * **********************************

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** **********

*********************** * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********

************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************

* * * * * * ***

*** ** ** *

*** ******

** *** ***** **

********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****

**** ***

***** ** *********

**********************

*

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************

************

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * ** * ** * *** ** * * * *** ****** ** *** **** * **

**************************

******

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ****************************

****

* * * * * * ** * *** ** * **

*** ****** ** *** **** * ** ********************************

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** *********************

***********

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ******** *** **** * ** ***********

*********************

LASSO

2968

6801

2945

461

2267


�

�

�

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ************

********************

0.0 0.2 0.4 0.6 0.8 1.0

−0.

20.

00.

20.

40.

60.

8

|beta|/max|beta|

Sta

ndar

dize

d C

oeffi

cien

ts

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ************

********************

* * * * * * ** * *** ** * * * *** ****** ** *** **** * **********************************

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * **

****

***

* * *** ****** ** *** **** * ** *********************

***********

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * *

* ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** *

*****

** * *** ****** ** ***

**** * ** ********************************

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * *

*

** ** * *** ** * * * *** ******

***** ****

* ** *********************************

*

*

*

** ** * *** ** * * * *** ****** ** *** **** * ** ********************************

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* *

*

*

** **

* *** ** * * * *** ****** ** *** **** * ** ********************************

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** ***

***** ** ********************************

* * * * * * ** * *** ** * * * *** ******

** *** ***** ** ***********

*********************

* * * * * * ** * *** ** * * * *** ****** ** *** ***** ** *********************

***********

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * ***

****** ** *** **** * ** **********************

**********

* * * * * * ** * *** ** * * * *** ****** ** *** **** * **********************************

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** **********

*********************** * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********

************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************

* * * * * * ***

*** ** ** *

*** ******

** *** ***** **

********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****

**** ***

***** ** *********

**********************

*

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************

************

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * ** * ** * *** ** * * * *** ****** ** *** **** * **

**************************

******

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ****************************

****

* * * * * * ** * *** ** * **

*** ****** ** *** **** * ** ********************************

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** *********************

***********

* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ******** *** **** * ** ***********

*********************

LASSO

2968

6801

2945

461

2267

0 1 3 4 5 8 12 15 20 26 31 38 50 65


�

�

�0.0 0.2 0.4 0.6 0.8 1.0

0.05

0.10

0.15

0.20

0.25

fraction

cv10−fold cross−validation for Leukemia Expression Data (Lasso)


�

�

�

* * * * * *** *** ********* * ** ** ** * ** ** * * * **

*

0.0 0.2 0.4 0.6 0.8 1.0

−0.

50.

00.

51.

0

|beta|/max|beta|

Sta

ndar

dize

d C

oeffi

cien

ts

* * * * * ******

********* * ** ** ** * ** ** * * * * * *

* * * * * *** *** ********* * ** ** ** * ** ** * * * **

*

* * * * **** *** ********* * ** ** ** * ** ** * * * * *

** * * * * *** *** ********* * ** ** ** * ** ** * * * * * ** * * * * *** *

****

******* * ** **

*** ** ** * * * *

*

*

* * * * * *** *** ********** ** ** ** * ** ** * * * *

*

*

* * *

*

**** *** *********

* ****

** * **** * * * *

*

*

*

**

*

**** ***

********** **

** ** * ** ** * * * **

*

* * * * * *** *** ********* * ** ** ** * ** ** * * * **

*

* **

*

****

************ * ** ** ** * ** ** * * * * *

*

* * * * * *** *** ********* * ** ** ** * ** ** * * * * * ** * * * * *** *** ********* * ** ****

* ** ** * * * **

*

* * * * * *** *** ********** **

****

* ** ** * * * * * *

* * * * * *** *** ********* * ** ** ** * ** ** * * * **

** * * * * *** *** *****

**** * ** ** ** * ** ** * * * **

*

* * * * * *** *** ********* * ** ** ** * ** ** * * * * * *

* * * * * *** *** ********* * ** ** ** * **** * * * *

**

* * * * * *** *** ********* * ** ** ** * ** ** * * * *

*

*

* * * * * *** *** ********** ** ** ** * **

*** * * *

*

*

* * * * * *** *** ********* * ** ** ** * **** * * * *

**

* * * * * *** *** ********* * ** ** ** * ** ** * * * * * *

* * * * * *** *** ********* * ** ** ** * ** ** * * * **

*

* * * * * *** *** ********* * ** ** ** * ** ** * * * * **

* * * * * *** *** ********* * ** ** ** * ** ** * * * *

*

*

* * * * * ******

********** **

****

***

** * * * *

*

*

* * * * * *** *** ********* * ** ** ** * ** ** * * * * * *

* * * * * *** *** ********** **

****

* ** ** * * * * * *

* * * * * *** *** *********

* ** ** ** * ** ** * * * *

*

*

* * * * * *** *** ********* * ** ** ** * ** ** * * * **

*

* * * * * *** *** ********* * ** ** ** * ** ** * * * **

*

* * * ** *** *** ********* * ** ** ** * ** ** * * * *

*

*

* * * * * *** *** ********* * ** ** ** * ** ** * * * *

**

* * * * * *** *** *********

* ** ** ** * **** * * * *

*

*

* * * * * *** *** ********* * ** ** ** * ** ** * * * **

*

* * * * * *** *** ********* * ** ** ** * ** ** * * * * * ** * * * * *** *** ********** **

**** * **

** * * * *

*

*

LAR

6895

1817

4328

1241

2534

5039

2267

1882


�

�

�

* * * * * *** *** ********* * ** ** ** * ** ** * * * **

*

0.0 0.2 0.4 0.6 0.8 1.0

−0.

50.

00.

51.

0

|beta|/max|beta|

Sta

ndar

dize

d C

oeffi

cien

ts

* * * * * ******

********* * ** ** ** * ** ** * * * * * *

* * * * * *** *** ********* * ** ** ** * ** ** * * * **

*

* * * * **** *** ********* * ** ** ** * ** ** * * * * *

** * * * * *** *** ********* * ** ** ** * ** ** * * * * * ** * * * * *** *

****

******* * ** **

*** ** ** * * * *

*

*

* * * * * *** *** ********** ** ** ** * ** ** * * * *

*

*

* * *

*

**** *** *********

* ****

** * **** * * * *

*

*

*

**

*

**** ***

********** **

** ** * ** ** * * * **

*

* * * * * *** *** ********* * ** ** ** * ** ** * * * **

*

* **

*

****

************ * ** ** ** * ** ** * * * * *

*

* * * * * *** *** ********* * ** ** ** * ** ** * * * * * ** * * * * *** *** ********* * ** ****

* ** ** * * * **

*

* * * * * *** *** ********** **

****

* ** ** * * * * * *

* * * * * *** *** ********* * ** ** ** * ** ** * * * **

** * * * * *** *** *****

**** * ** ** ** * ** ** * * * **

*

* * * * * *** *** ********* * ** ** ** * ** ** * * * * * *

* * * * * *** *** ********* * ** ** ** * **** * * * *

**

* * * * * *** *** ********* * ** ** ** * ** ** * * * *

*

*

* * * * * *** *** ********** ** ** ** * **

*** * * *

*

*

* * * * * *** *** ********* * ** ** ** * **** * * * *

**

* * * * * *** *** ********* * ** ** ** * ** ** * * * * * *

* * * * * *** *** ********* * ** ** ** * ** ** * * * **

*

* * * * * *** *** ********* * ** ** ** * ** ** * * * * **

* * * * * *** *** ********* * ** ** ** * ** ** * * * *

*

*

* * * * * ******

********** **

****

***

** * * * *

*

*

* * * * * *** *** ********* * ** ** ** * ** ** * * * * * *

* * * * * *** *** ********** **

****

* ** ** * * * * * *

* * * * * *** *** *********

* ** ** ** * ** ** * * * *

*

*

* * * * * *** *** ********* * ** ** ** * ** ** * * * **

*

* * * * * *** *** ********* * ** ** ** * ** ** * * * **

*

* * * ** *** *** ********* * ** ** ** * ** ** * * * *

*

*

* * * * * *** *** ********* * ** ** ** * ** ** * * * *

**

* * * * * *** *** *********

* ** ** ** * **** * * * *

*

*

* * * * * *** *** ********* * ** ** ** * ** ** * * * **

*

* * * * * *** *** ********* * ** ** ** * ** ** * * * * * ** * * * * *** *** ********** **

**** * **

** * * * *

*

*

LAR

6895

1817

4328

1241

2534

5039

2267

1882

0 2 3 4 8 13 20 25 29 32 35 36 37


�

�

�0.0 0.2 0.4 0.6 0.8 1.0

0.05

0.10

0.15

0.20

0.25

fraction

cv10−fold cross−validation for Leukemia Expression Data (LAR)


�

�

�

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

0.0 0.2 0.4 0.6 0.8 1.0

−0.

20.

00.

20.

40.

6

|beta|/max|beta|

Sta

ndar

dize

d C

oeffi

cien

ts

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * *********************** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ***************** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * **

****

*** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * *

* **** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ****

*** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** *** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * *

*

** ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** *******************************************************************************************************************************************************************************************************************************************************************************************************

*

*

*

*

* ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* *

*

*

*

* **** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * *********************** *********** *********************************************************************

*********************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * *****************

****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * *****************

***************** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** *** ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** ********************************

*********************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** ****

* *****************

****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** ***** ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ****

***

** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************

************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * *

** **

** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** ***** ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** ***** ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ******

*********** *******************

***********************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

Forward Stagewise

4535

4399

8727

7446

118

3422

6718

82


�

�

�

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

0.0 0.2 0.4 0.6 0.8 1.0

−0.

20.

00.

20.

40.

6

|beta|/max|beta|

Sta

ndar

dize

d C

oeffi

cien

ts

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * *********************** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ***************** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * **

****

*** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * *

* **** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ****

*** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** *** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * *

*

** ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** *******************************************************************************************************************************************************************************************************************************************************************************************************

*

*

*

*

* ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* *

*

*

*

* **** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * *********************** *********** *********************************************************************

*********************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * *****************

****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * *****************

***************** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** *** ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** ********************************

*********************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** ****

* *****************

****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** ***** ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ****

***

** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************

************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * *

** **

** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** ***** ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** ***** ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ******

*********** *******************

***********************************************************************************************************************************************************************************************************************************************************************************

* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************

Forward Stagewise

4535

4399

8727

7446

118

3422

6718

82

0 1 3 4 5 8 12 15 19 29 43 54 82 121


�

�

�0.0 0.2 0.4 0.6 0.8 1.0

0.05

0.10

0.15

0.20

0.25

fraction

cv10−fold cross−validation for Leukemia Expression Data (Stagewise)


�

�

�

Degrees of freedom

step k-->

df e

stim

ate

0 2 4 6 8 10

0

2

4

6

8

10

•

•

•

•

•

••

•

•

•

step k-->

df e

stim

ate

0 10 20 30 40 50 60

0

10

20

30

40

50

60

••••••

••••••

••••••

••••••

••••••

••••••

••••••

••••••

••••••

••••••

••••


�

�

�

Degree of Freedom result

Proof is based on is an application of Stein’s unbiased risk estimate(SURE). Suppose that g : R

n → Rn is almost differentiable and

set ∇ · g =∑n

i=1 ∂gi/∂xi. If y ∼ Nn(µ, σ2I), then Stein’s formulastates that

n∑

i=1

cov(gi, yi)/σ2 = E[∇ · g(y)].

LHS is degrees of freedom. Set g(·) equal to the LAR estimate. Inorthogonal case, ∂gi/∂xi is 1 if predictor is in model, 0 otherwise.Hence RHS equals number of predictors in model (= k).

Non-orthogonal case is much harder.


�

�

�

Future directions

• Lasso has applications in genetics, e.g. microarray data, massspectroscopy for measuring proteins. LARS algorithm willallow application to large problems.

• generalization to other models, e.g. logistic regression

• other stepwise algorithms, for other loss functions.

• use ideas to make better versions of boosting (Bogdan Popescu,Ji Zhu, Saharon Rosset)

least angle regression, forward stagewise and the...

Documents