C O R R E L A T I O N A N D R E G R E S S I O N

OUTLINEI N T R O D U C T I O N

S C A T T E R P L O T S

C O R R E L A T I O N

R E G R E S S I O N

OBJECTIVESD R A W A S C A T T E R P L O T F O R A S E T O F O R D E R E D P A I R S .

F I N D T H E C O R R E L A T I O N C O E F F I C I E N T .

F I N D T H E E Q U A T I O N O F T H E R E G R E S S I O N L I N E .

OBJECTIVESF I N D T H E C O E F F I C I E N T O F D E T E R M I N A T I O N .

F I N D T H E S T A N D A R D E R R O R O F E S T I M A T E .

INTRODUCTIONE V E R Y D A Y W E T A K E P E R S O N A L A N D P R O F E S S I O N A L D E C I S I O N S T H A T A R E B A S E D

O N P R E D I C T I O N S O F F U T U R E E V E N T S .

T O M A K E T H E S E F O R E C A S T S , W E R E L Y O N T H E R E L A T I O N S H I P B E T W E E N W H A T I S

A L R E A D Y K N O W N A N D W H A T I S T O B E E S T I M A T E D .

R E G R E S S I O N A N D C O R R E L A T I O N A N A L Y S I S S H O W U S H O W T O D E T E R M I N E B O T H T H E

N A T U R E A N D T H E S T R E N G T H O F A R E L A T I O N S H I P B E T W E E N T W O V A R I A B L E S .

SIGNIFICANCE OF THE STUDY OF CORRELATIONM O S T O F T H E V A R I A B L E S S H O W   S O M E K I N D O F R E L A T I O N S H I P B E T W E E N P R I C E A N D

S U P P L Y , I N C O M E A N D E X P E N D I T U R E , E T C . C O R R E L A T I O N A N A L Y S I S G I V E S T H E

D E G R E E O F R E L A T I O N S H I P I N O N E F I G U R E

O N C E W E K N O W T H E R E L A T I O N S H I P W E C A N E S T I M A T E T H E V A L U E O F O N E

V A R I A B L E G I V E N T H E V A L U E O F A N O T H E R .

C O R R E L A T I O N A N A L Y S I S C O N T R I B U T E S T O T H E E C O N O M I C B E H A V I O U R . I N

B U S I N E S S , C O R R E L A T I O N A N A L Y S I S E N A B L E S T H E E X E C U T I V E T O E S T I M A T E

C O S T S , P R I C E , E T C .

TYPES OF CORRELATIONP O S I T I V E A N D N E G A T I V E

S I M P L E , P A R T I A L A N D M U L T I P L E A N D

L I N E A R A N D N O N L I N E A R

POSITIVE AND NEGATIVE CORRELATIONI F T W O V A R I A B L E S V A R Y T O G E T H E R I N T H E S A M E D I R E C T I O N O R I N O P P O S I T E

D I R E C T I O N S , T H E Y A R E S A I D T O B E C O R R E L A T E D .

I F A S X I N C R E A S E S Y I N C R E A S E S C O N S I S T E N T L Y , X & Y A R E + V E L Y C O R R E L A T E D

I F A S X I N C R E A S E S Y D E C R E A S E S A N D A S X D E C R E A S E S Y I N C R E A S E S X & Y A R E -

V E L Y C O R R E L A T E D

SIMPLE, PARTIAL AND MULTIPLE CORRELATIONW H E N O N L Y T W O V A R I A B L E S A R E O N L Y S T U D I E D – S I M P L E C O R R E L A T I O N .

W H E N T W O O R M O R E V A R I A B L E S A R E S T U D I E D – P A R T I A L O R M U L T I P L E

C O R R E L A T I O N .

I N M U L T I P L E C O R R E L A T I O N T W O O R M O R E V A R I A B L E S A R E S T U D I E D

S I M U L T A N E O U S L Y

I N P A R T I A L C O R R E L A T I O N M O R E T H A N T W O V A R I A B L E S A R E T H E R E B U T W E

C O N S I D E R O N L Y T W O V A R I A B L E S ( K E E P I N G T H E O T H E R A S C O N S T A N T )

DEPENDENT & INDEPENDENT VARIABLEST H E K N O W N V A R I A B L E I S C A L L E D T H E I N D E P E N D E N T V A R I A B L E A N D T H E V A R I A B L E

W E A R E T R Y I N G T O P R E D I C T I S T H E D E P E N D E N T V A R I A B L E .

I F T H E C O R R E L A T I O N I S P E R F E C T P O S I T I V E , A L L T H E P O I N T S W I L L L I E I N A

S T R A I G H T L I N E A S S H O W N I N F I G U R E A N D T H E C O R R E L A T I O N I S P E R F E C T N E G A T I V E

T H E Y W I L L B E I N A L I N E A S S H O W N I N F I G U R E

EXAMPLES A L E S O F M A J O R A P P L I A N C E S V A R Y W I T H T H E N E W H O U S I N G M A R K E T . W H E N N E W

H O M E S A L E S A R E G O O D , S O A R E T H E S A L E S O F D I S H W A S H E R S , W A S H I N G

M A C H I N E S , D R I N K E R S A N D R E F R I G E R A T O R S . A T R A D E A S S O C I A T I O N C O M P I L E D T H E

F O L L O W I N G H I S T O R I C A L D A T A ( I N T H O U S A N D S O F U N I T S ) O N M A J O R A P P L I A N C E

S A L E S A N D H O U S I N G S T A R T S .

In this case, data points represents the relationship between the housing market and sales of house appliances. The relationship between X & Y is well described a straight line.

T H E D I R E C T I O N O F T H E L I N E C A N I N D I C A T E W H E T H E R T H E R E L A T I O N S H I P I S

D I R E C T O R I N V E R S E .

William C Andrews, an organizational behavior consultant for Victory Motorcycles ,has designed a test to show the company’s supervisors the dangers of over supervising their workers. A worker from the assembly line is given a series of complicated tasks to perform. During the worker’s performance, a supervisor constantly interrupts the worker to assist him or her in completing the tasks. The worker, upon completion of the tasks, is then given a psychological test designed to measure the worker’s hostility toward authority (a high score equals low hostility).Eight different workers were assigned the tasks and then interrupted for the purpose of instructional assistance variance number of times. Their corresponding scores on the hostility test are

revealed as follows. Predict the expected test score if the worker is interrupted 18 times.

How can we fit a line mathematically?

T O A S T A T I S T I C I A N , T H E L I N E W I L L H A V E A G O O D F I T I F I T M I N I M I Z E S T H E E R R O R

B E T W E E N T H E E S T I M A T E D P O I N T S O N T H E L I N E A N D A C T U A L O B S E R V E D P O I N T S

T H A T W E R E U S E D T O D R A W I T . ( M E T H O D O F L E A S T S Q U A R E S )

THE METHOD OF LEAST SQUARESA N E Q U A T I O N O F A L I N E T H A T I S D R A W N T H R O U G H T H E M I D D L E   O F A S E T O F

P O I N T S I N A S C A T T E R D I A G R A M S U C H T H A T T H E S U M O F T H E S Q U A R E S O F T H E

E R R O R S I S M I N I M U M . T H E E S T I M A T I N G L I N E O R P O I N T S T H A T L I E O N T H E

E S T I M A T I N G L I N E

Slope of the best-fitting Regression line & Y-intercept of the best-fitting Regression line

T H E G I V E N E Q U A T I O N I S R E G R E S S I O N E Q U A T I O N O F Y O N X . I T G I V E S M O S T

P R O B A B L E V A L U E S O F Y F O R G I V E N V A L U E S O F X .

T H E R E G R E S S I O N L I N E O F X O N Y G I V E S T H E P R O B A B L E V A L U E S O F X F O R G I V E N

V A L U E S O F Y . S A Y X = A + B Y .

T H E R E G R E S S I O N E Q U A T I O N O F Y O N X C A N A L S O B E R E P R E S E N T E D B Y

EXAMPLE

T H E G E N E R A L S A L E S M A N A G E R O F K I R A N E N T E R P R I S E S – A N E N T E R P R I S E D E A L I N G

I N T H E S A L E O F R E A D Y - M A D E M E N ’ S W E A R S – I S T O Y I N G W I T H T H E I D E A O F

I N C R E A S I N G H I S S A L E S T O 8 0 , 0 0 0 . O N C H E C K I N G T H E R E C O R D S O F S A L E S D U R I N G

T H E L A S T 1 0 Y E A R S , I T W A S F O U N D T H A T T H E A N N U A L S A L E P R O C E E D S A N D

A D V E R T I S E M E N T E X P E N D I T U R E W E R E H I G H L Y C O R R E L A T E D T O T H E E X T E N T O F 0 . 8 .

I T W A S F U R T H E R N O T E D T H A T T H E A N N U A L A V E R A G E S A L E H A S B E E N R S . 4 5 , 0 0 0

A N D A N N U A L A V E R A G E A D V E R T I S E M E N T E X P E N D I T U R E R S . 3 0 , 0 0 0 W I T H A

V A R I A N C E O F R S . 1 6 0 0 A N D R S . 6 2 6 I N A D V E R T I S E M E N T E X P E N D I T U R E

R E S P E C T I V E L Y .

I N V I E W O F T H E A B O V E , H O W M U C H E X P E N D I T U R E O N A D V E R T I S E M E N T Y O U W O U L D

S U G G E S T T H E G E N E R A L S A L E S M A N A G E R P F T H E E N T E R P R I S E T O I N C U R T O M E E T

H I S T A R G E T O F S A L E S .

X - A D V E R T I S E M E N T E X P E N D I T U R E

Y -   S A L E S E X P E N D I T U R E

W H E N Y = 8 0 , 0 0 0

X = 4 7 5 0 0

EXAMPLES U P P O S E B M C I S I N T E R E S T E D I N T H E R E L A T I O N S H I P B E T W E E N T H E A G E O F

G A R B A G E T R U C K A N D T H E A N N U A L R E P A I R E X P E N S E T H E Y S H O U L D E X P E C T T O

I N C U R . I N O R D E R T O D E T E R M I N E T H I S R E L A T I O N S H I P , B M C H A S A C C U M U L A T E D

I N F O R M A T I O N C O N C E R N I N G F O U R O F T H E T R U C K S T H E C I T Y C U R R E N T L Y O W N S .

O R G A N I Z E T H E D A T A A S O U T L I N E D I N T A B L E

U S E T H E E Q U A T I O N S O F A & B T O F I N D T H E N U M E R I C A L C O N S T A N T S   F O R O U R

R E G R E S S I O N L I N E .

b= 0.75

A = 3 . 7 5

Y = 3 . 7 5 + 0 . 7 5 X

B M C C A N E S T I M A T E T H E A N N U A L R E P A I R E X P E N S E G I V E N T H E A G E O F T R U C K .

I F I T I S   4 Y E A R S O L D U S E T H E E Q U A T I O N Y = 3 . 7 5 + 0 . 7 5 X T O G E T T H E A N N U A L

E X P E N S E A S F O L L O W S

Y = 3 . 7 5 + 0 . 7 5 * 4

= 6 . 7 5

E X P E C T E D A N N U A L R E P A I R E X P E N S E = 6 7 5 0 . 0

H O W T O M E A S U R E T H E R E L I A B I L I T Y O F T H E E S T I M A T I N G E Q U A T I O N ?

M E A S U R E D B Y T H E S T A N D A R D E R R O R O F E S T I M A T E

I T M E A S U R E S T H E V A R I A B I L I T Y , O R S C A T T E R O F T H E O B S E R V E D V A L U E S A R O U N D

T H E R E G R E S S I O N L I N E .

STANDARD ERRORFor the above example

S T A N D A R D E R R O R = 0 . 8 6 6 À   8 6 6 . 0 / -

I F S T A N D A R D E R R O R I S Z E R O W E E X P E C T T H E E S T I M A T I N G E Q U A T I O N T O B E   A

P E R F E C T E S T I M A T O R O F T H E D E P E N D E N T V A R I A B L E .

Assuming that the observed points are normally distributed around the regression line, we can expect

6 8 % O F T H E P O I N T S W I T H I N   +   S E

9 5 . 5 %   O F T H E P O I N T S W I T H I N   + S E   A N D 9 9 . 7 % O F T H E P O I N T S W I T H I N + 3 S E

CORRELATIONT H E   S T A T I S T I C A L T O O L W I T H T H E H E L P O F W H I C H T H E R E L A T I O N S H I P S B E T W E E N

T W O O R M O R E T H A N T W O V A R I A B L E S I S S T U D I E D I S C A L L E D C O R R E L A T I O N .

CORRELATION ANALYSISC O R R E L A T I O N A N A L Y S I S I S T H E S T A T I S T I C A L T O O L T O D E S C R I B E T H E D E G R E E T O

W H I C H O N E V A R I A B L E I S L I N E A R L Y R E L A T E D T O A N O T H E R .

The coefficient of determination

T H E E X T E N T , O R S T R E N G T H O F T H E A S S O C I A T I O N T H A T E X I S T S B E T W E E N T W O

V A R I A B L E S X & Y

S A M P L E C O E F F I C I E N T O F D E T E R M I N A T I O N

SAMPLE COEFFICIENT OF DETERMINATIONR 2 = 1 W H E N T H E R E I S P E R F E C T C O R R E L A T I O N

R 2 = 0 W H E N T H E R E I S N O   C O R R E L A T I O N

N O T E

R 2   M E A S U R E S O N L Y T H E S T R E N G T H O F A L I N E A R R E L A T I O N S H I P B E T W E E N T W O

V A R I A B L E S .

CORRELATION COEFFICIENTT H E   C O R R E L A T I O N C O E F F I C I E N T   C O M P U T E D F R O M T H E S A M P L E D A T A M E A S U R E S

T H E S T R E N G T H A N D D I R E C T I O N O F A R E L A T I O N S H I P B E T W E E N T W O V A R I A B L E S .

S A M P L E C O R R E L A T I O N C O E F F I C I E N T ,   R .

P O P U L A T I O N C O R R E L A T I O N C O E F F I C I E N T ,

Range of Values for the Correlation Coefficient

C O E F F I C I E N T O F C O R R E L A T I O N

R =   R 2

W H E N T H E S L O P E T H E E Q U A T I O N I S P O S I T I V E R I S T H E P O S I T I V E S Q U A R E R O O T ,

B U T I F B I S N E G A T I V E R I S T H E N E G A T I V E S Q U A R E R O O T . .

T H E S I G N O F R I N D I C A T E S T H E D I R E C T I O N O F T H E R E L A T I O N S H I P B E T W E E N T W O

V A R I A B L E S   X & Y

KARL PEARSON’S CORRELATION COEFFICIENTT H I S I S A L S O C A L L E D P R O D U C T M O M E N T C O E F F I C I E N T O F C O R R E L A T I O N .

C O V A R I A N C E O F X A N D Y I S D E F I N E D A S

What does r=0.6 mean?

R = 0 . 6   À   R 2 = 0 . 3 6

À   3 6 % O F T H E V A R I A T I O N I N T H E A M O U N T S P E N T O N M O V I E S I S E X P L A I N E D B Y T H E

R E G R E S S I O N L I N E .

F R O M R = 0 . 6   À   T H E A M O U N T S P E N T O N M O V I E S C O R R E L A T E S 0 . 6 W I T H F A M I L Y

I N C O M E À   S E E M S L I K E F A I R Y S T R O N G C O R R E L A T I O N . B U T   R 2 = 0 . 3 6

3 6 % O F T H E V A R I A T I O N I N T H E A M O U N T O F M O N E Y F A M I L I E S S P E N D O N M O V I E S .

I F Y O U D E S I G N E D Y O U R M A R K E T I N G S T R A T E G Y T O A P P E A L O N L Y T O F A M I L I E S W I T H

H I G H I N C O M E S , Y O U ’ D M I S S A L O T O F P O T E N T I A L C U S T O M E R S .

I N S T E A D T R Y T O F I N D W H A T E L S E I S I N F L U E N C I N G F A M I L Y M O V I E D E C I S I O N S .

RANK CORRELATION COEFFICIENTW H E N Q U A N T I T A T I V E M E A S U R E O F C E R T A I N F A C T O R C A N N O T B E F I X E D , B U T T H E

I N D I V I D U A L S I N T H E G R O U P C A N B E A R R A N G E D I N O R D E R T H E R E B Y O B T A I N I N G F O R

E A C H I N D I V I D U A L A N U M B E R I N D I C A T I N G H I S R A N K I N T H E G R O U P .

T H E R A N K C O R R E L A T I O N C O E F F I C I E N T I S A P P L I E D T O A S E T O F O R D I N A L R A N K

N U M B E R S , W I T H 1 F O R T H E I N D I V I D U A L R A N K E D F I R S T , I N Q U A N T I T Y O R Q U A L I T Y ,

A N D S O O N , N F O R L A S T R A N K E D O N E , T H E N   R C A N B E D E F I N E D A S

EXAMPLET W O M A N A G E R S A R E A S K E D T O R A N K A G R O U P O F E M P L O Y E E S I N O R D E R O F

P O T E N T I A L F O R E V E N T U A L L Y B E C O M I N G T O P M A N A G E R S . T H E R A N K I N G A R E A S

F O L L O W S .

C O M P U T E T H E C O E F F I C I E N T O F R A N K C O R R E L A T I O N A N D C O M M E N T O N T H E V A L U E .

R=1-0.085

= 0 . 9 1 5

WHERE RANKS ARE NOT GIVENA S S I G N R A N K S . T H E N A P P L Y T H E S A M E F O R M U L A

EQUAL RANKS OR TIE IN RANKSA S S I G N E A C H I N D I V I D U A L O R E N T R Y A N A V E R A G E R A N K .

T H U S I F I N D I V I D U A L S A R E R A N K E D E Q U A L A T 5 T H   P L A C E , G I V E T H E R A N K ( 5 + 6 ) / 2

= 5 . 5 T O B O T H .

I F M I S T H E N U M B E R O F I T E M S W H O S E R A N K S A R E C O M M O N T H E N R I S

MULTIPLE REGRESSION AND CORRELATION ANALYSISW E C A N U S E M O R E T H A N O N E I N D E P E N D E N T V A R I A B L E T O E S T I M A T E T H E

D E P E N D E N T V A R I A B L E A N D T H U S A T T E M P T T O I N C R E A S E T H E A C C U R A C Y O F T H E

E S T I M A T E .

T H I S P R O C E S S I S C A L L E D M U L T I P L E R E G R E S S I O N A N A L Y S I S

EXAMPLE

C O N S I D E R T H E R E A L E S T A T E A G E N T W H O W I S H E S T O R E L A T E T H E N U M B E R O F

H O U S E S T H E F I R M S E L L S I N A M O N T H T O T H E A M O U N T O F H E R M O N T H L Y

A D V E R T I S I N G .

C E R T A I N L Y W E C A N F I N D A S I M P L E E S T I M A T I N G E Q U A T I O N T H A T R E L A T E S T H E S E

T W O V A R I A B L E S .

C O U L D W E A L S O I M P R O V E T H E A C C U R A C Y O F O U R E Q U A T I O N B Y I N C L U D I N G T H E

N U M B E R O F S A L E S P E O P L E S H E E M P L O Y S E A C H M O N T H ?

T H E N W E C A N U S E N U M B E R O F S A L E S A G E N T S A N D T H E A D V E R T I S I N G

E X P E N D I T U R E S T O P R E D I C T M O N T H L Y H O U S E S A L E S .

Multiple regression equationsF O R G E T T I N G A , B & C   S O L V E T H E N O R M A L E Q U A T I O N S

E X A M P L E

I N T R Y I N G T O E V A L U A T E T H E E F F E C T I V E N E S S I N I T S A D V E R T I S I N G C A M P A I G N , A

F I R M C O M P L I E D T H E F O L L O W I N G I N F O R M A T I O N

Y E A R   1 9 9 6 1 9 9 7 1 9 9 8 1 9 9 9 2 0 0 0 2 0 0 1 2 0 0 2 2 0 0 3

A D V . E X P E N D I T U R E   1 2   1 5   1 5   2 3   2 4   3 8   4 2   4 8

( ‘ 0 0 0 R S . )

S A L E S ( L A K H R S . )   5 . 0   5 . 6   5 . 8   7 . 0   7 . 2   8 . 8   9 . 2   9 . 5

E S T I M A T E T H E P R O B A B L E S A L E S W H E N A D V E R T I S E M E N T E X P E N D I T U R E I S R S . 6 0

T H O U S A N D .

Y = 3 . 8 7 1 9 + 0 . 1 2 5 0 X

W H E N X = 6 0

Y = 1 1 . 3 7