por que testes não-paramétricosest.ufmg.br/~edna/mae/mae-aula03.pdf · intervalos entre as...
TRANSCRIPT
1
Universidade Federal de Minas GeraisInstituto de Ciências ExatasDepartamento de Estatística
Métodos Estatísticos Avançados em Epidemiologia
Aula 3
Testes Não-Paramétricos:
WilcoxonMann-Whitney Kruskal-Wallis
Spearman
Por que testes não-paramétricos ?
A construção dos testes t-student para a comparação demédias (uma ou duas populações) partem da suposiçãode que as populações de onde vieram as amostrasseguem a distribuição Gaussiana (Normal).
Dizemso que os testes t-student são parametrizados pela distribuição Gaussiana.
2
Quando as amostras têm tamanho grande, o Teorema Centraldo Limite garante que as médias amostrais seguemaproximadamente a distribuição Gaussiana.
Neste caso, os testes t-student podem ser utilizados, mesmoque as populações originais não sejam Normais.
Mas o que fazer quando as amostras são pequenas enão podemos assumir que as populações são Normais ?
Usar testes que não necessitem de suposições para adistribuição de probabilidades da população dos dados.
Estes testes são chamados
testes não-paramétricos ou
testes livres de distribuição
Como funcionam os Testes Não-Paramétricos ?
Trabalham com a ordenação das observações.
As observações são ordenadas em ordem crescentesegundo seu valor, gerando postos (posições) dentro doconjunto de dados:
1o 2o 3o 4o 5o … no.
Sendo assim, testam-se medianas ou diferenças entremedianas e não entre médias.
Desvantagem: perde-se a natureza quantitativa dos dados.
3
É alternativa não-paramétrica ao teste t-student paramédias em amostras pareadas.
Hipótese Nula: a mediana das diferenças é igual a zero.
As diferenças entre as medidas dos pares são ordenadas e a elas são atribuídos postos.
As diferenças negativas têm seus postos sinalizados.
Teste dos Postos Sinalizados de Wilcoxon
Redução na CVF (ml)
Individuo Medicamento Placebo
1 224 213
2 80 95
3 75 33
4 541 440
5 74 -32
6 293 445
7 -23 -178
8 -38 140
9 508 323
10 255 10
11 525 65
12 1023 343
Exemplo: Efeito de uma Medicamento na Capacidade Vital Força da.São iguais (H 0) ou diferentes (H 1)?
4
Redução na CVF (ml)
Individuo Medicamento Placebo Diferença
1 224 213 11
2 80 95 -15
3 75 33 42
4 541 440 101
5 74 -32 106
6 293 445 -152
7 -23 -178 155
8 -38 140 -178
9 508 323 185
10 255 10 245
11 525 65 460
12 1023 343 680
Calcule: diferença = medicamento - placebo
Redução na CVF (ml)
Individuo Medicamento Placebo Diferença Posto
1 224 213 11 1
2 80 95 -15 2
3 75 33 42 3
4 541 440 101 4
5 74 -32 106 5
6 293 445 -152 6
7 -23 -178 155 7
8 -38 140 -178 8
9 508 323 185 9
10 255 10 245 10
11 525 65 460 11
12 1023 343 680 12
Diferença = 0 não recebe posto
Calcule os postos das diferenças, ignorando o sinal negativo.
5
Redução na CVF (ml)
Individuo Medicamento Placebo
1 224 213
2 80 95
3 75 33
4 541 440
5 74 -32
6 293 445
7 -23 -178
8 -38 140
9 508 323
10 255 10
11 525 65
12 1023 343
Indi- Redução na CVF (ml) Posto Sinalizado
víduo Medicamento Placebo Diferença Posto Positivos Negativos
1 224 213 11 1 1
2 80 95 -15 2 2
3 75 33 42 3 3
4 541 440 101 4 4
5 74 -32 106 5 5
6 293 445 -152 6 6
7 -23 -178 155 7 7
8 -38 140 -178 8 8
9 508 323 185 9 9
10 255 10 245 10 10
11 525 65 460 11 11
12 1023 343 680 12 12
Soma dos postos (ignorando sinais) 62 16
Coloque sinal negativo nos postos cujas diferenças < 0.
menor
Sob H0: a mediana das diferenças é igual a zero ,
soma dos postos negativos ≈ soma dos postos positivos.
Avaliamos esta hipótese com a estatística de teste
S: a menor das duas somas dos postos
• Se n ≤ 30, existe uma tabela de valores críticos Scritico .
No exemplo do CVF, n=12 e o teste é bilateral. Para α=0.05, como S = 16 > Scritico (=14), não se rejeita H0.
Assim, rejeita-se H0 se S ≤ Scritico para o α escolhido.
• Se n > 30, use a tabela Normal Padrão para valores críticosda estatística de teste ( 1) / 4
( 1)(2 1) / 24
S n nW
n n n
− +=+ +
rejeitando-se H0 se W for extremo para o α escolhido.
6
Tabela de Valores Críticos para o Teste dos Postos Sinalizados de Wilcoxon
Por exemplo:
se duas diferenças estiverem empatadas no 5º posto,use a média entre 5 e 6, que é 5.5, para cada uma.
se três diferenças estiverem empatadas no 5º posto,use a média entre 5, 6 e 7, ou seja, 6, para cada uma.
Importante:
• Não atribua um posto quando a diferença for zero.
n é igual ao número de diferenças não nulas.
• No caso de empate entre diferenças, use a médiados postos correspondentes.
7
Teste de Mann-Whitney(ou Soma dos Postos de Wilcoxon)
É alternativa não-paramétrica ao teste t-studentpara duas médias em amostras independentes.
As duas amostras são ordenadas conjuntamente,mas os postos são somados separadamente.
Compara as medianas de duas populações.Assume que as distribuições têm a mesma forma geral.
Denote: n1 = tamanho da amostra menor.n2 = tamanho da amostra maior.
Procedimentos:
Junte as duas amostras e atribua os postos de 1 a n1+n2.
Denote: w1: soma dos postos da amostra menorw2: soma dos postos da amostra maior
Calcule:2
)1( 1111
+−= nnwu
2)1( 22
22+−= nn
wue
),min( 21 uuu=
8
Tabela de Valores Críticos para o Teste de Mann-Whi tney (continua)
(Continuação)Tabela de Valores Críticos para o Teste de Mann-Whi tney (continua)
9
(Continuação)Tabela de Valores Críticos para o Teste de Mann-Whi tney (continua)
(Continuação)Tabela de Valores Críticos para o Teste de Mann-Whi tney (continua)
10
Exemplo: Comparação da Ingestão Calórica.
n1 = 8 e n2 = 9
w1 = 103.5 e w2 = 50.5
5.672
)18(85.1031
=
+−=
u5.5
2)19(9
5.502
u
=
+−= 5.5=u
Para α=0.05 no teste bilateral, rejeita-se H0 se u < 15 (tabela).
Como 5.5 < 15, rejeita-se H0 ao nível de significância de 5%.
O consumo calórico mediano é diferente entre mulheresbulímicas e saudáveis.
11
Teste de Kruskal-Wallis
É alternativa não-paramétrica à Análise de Variância(comparação de médias para dois ou mais grupos).
Testa a hipótese nula de que as populações de ondevieram as amostras são idênticas.
Pode ser feito com dados em nível ordinal (postos).
Notação:
k = número de amostras (grupos comparados)N = número total de observações (soma das k amostras) Nk = número de observações na k-ésima amostraRk = soma de postos na k-ésima amostra
Procedimento:
Ordenar todos as amostras (grupos) conjuntamente, mas anotar os postos separados (como no teste de Mann-Whitney)
12
Estatística de Teste:
)1(3...)1(
122
2
22
1
21 +−
+++= N
NR
NR
NR
NNH
kk
H é uma medida da variância das somas dos postos R1, R2, .. ,Rk. Se as populações são idênticas, H é um valor pequeno.Caso contrário, H tende a assumir valores grandes.
Distribuição de Referência sob H0: Qui-Quadrado com (k-1) gl.
Valor-p = P[χ2(k-1) > H]
Rejeita-se H0 se o valor-p for menor do que α .
Intervalos de tempo (minutos) entre Erupções do Gei ser Old Faithful
Ano 1951 Ano 1985 Ano 1995 Ano 1996
74 (21) 89 (40) 86 (34,5) 88 (37,5)
60 (8) 90 (42) 86 (34,5) 86 (34,5)
74 (21) 60 (8) 62 (12) 85 (30,5)
42 (1) 65 (15,5) 104 (48) 89 (40)
74 (21) 82 (26) 62 (12) 83 (27)
52 (2) 84 (28) 95 (47) 85 (30,5)
65 (15,5) 54 (3) 79 (24) 91 (43,5)
68 (18,5) 85 (30,5) 62 (12) 68 (18,5)
62 (12) 58 (6) 94 (45,5) 91 (43,5)
66 (17) 79 (24) 79 (24) 56 (4)
62 (12) 57 (5) 86 (34,5) 89 (40)
60 (8) 88 (37,5) 85 (30,5) 94 (45,5)
N1=12 N2=12 N3=12 N4=12
R1=157 R2=265,5 R3=385,5 R4=395
13
Estatística de Teste: H = 14,431
Ou, de forma equivalente,Valor P = P[χ2
(3) > H] = P[χ2(3) > 14,431] < 0.005.
Conclusão : ao nível de 5% de significância, há evidênciasestatísticas suficientes para rejeitar a hipótese de que osintervalos entre as erupções do “Velho Fiel” tenhadistribuição idênticas nos anos considerados.
Para descobrir entre quais anos está a diferença, use o testede Mann-Whitney entre todos os pares de anos.
g.l. = 4 -1 = 3
Com α=0,05, o valor crítico é 7,815.Ou seja, para α=0,05, rejeita-se H0 se H>7,815.Como 14,431>7,815, rejeita-se H0 ao n.s. de 5%.
Suposições:
As populações de onde vieram as amostras têmvariâncias iguais.
Cada amostra tem ao menos 5 observações, para seusar a Qui-Quadrado como distribuição de referênciada estatística de teste).
No caso de menos de 5 observações, existem tabelaspróprias com valores críticos.
14
Coeficiente de Correlaçãodos Postos de Spearman
O coeficiente de correlação linear de Pearsonpode ser calculado apenas com variáveis contínuas(e normais).
Além disso, ele é muito sensível a valores atípicos.
Alternativa não-paramétrica: coeficiente de Spearman.
Desvantagem: menor eficiência com dados normais.
nn
d
r
n
ii
s)1(
6
121
2
−−=∑=
Se não houver empate de postos emnenhuma das variáveis, esta fórmulade reduz a
Para calcular o coeficiente de correlação dos postos deSpearman, basta calcular os postos das variáveis X e Yseparadamente e aplicar na fórmula do coeficiente decorrelação de Pearson (no lugar de xi e yi, respectivamente):
na qual di = diferença entre os postos de xi e yi, em módulo.
( )( ) ∑∑
∑
==
=
−−
−−
=n
ii
n
ii
n
iii
XY
yyxx
yyxxr
11
1
22
A interpretação será a mesma.
15
36.0)112(12
)390(61
)1(
61
22
2−=
−−=
−−= ∑
nn
d rs
Exemplo: Colégios com mensalidades mais caras são o s melhores no ENEM?
Correlação linear negativa fraca.
Veja planilha Excel Spearman-exemplo.xls
Testando a Significância da Correlação
• Se n ≤ 30, rejeite H0 se |rs| > valor crítico (na tabela a seguir).
• Se n > 30, rejeite H0 se |ts| > t[n-2;α/2],
no qual:
t[n-2;α/2] é o valor na tabela t-student com n-1 graus de liberdadeque deixa acima dele uma probabilidade igual a α/2.
212s
ssr
nr t−−=
H0 : a correlação é nula (não-significante)
H1 : a correlação é não-nula (significante)
Para n=12 e α=0.05, o valor crítico é 0.587. Como |rs| = 0.36 < 0.587, a correlação não é significante a 5%.
16
Então por que não substituimos logo os testes paramétricos pelos não-paramétricos ?
Porque os testes não-paramétricos são menos poderososdo que os testes paramétricos.
O poder de um teste é medido pela probabilidade do testerejeitar H0 quando ela é falsa.
Assim, os testes não-paramétricos precisam de umaevidência amostral maior contra a hipótese nula paraconseguir rejeitá-la.
17
Onde encontrar mais informações:
Hollander, Myles; Wolfe, Douglas A.
Nonparametric Statistical Methods.
New York: J. Wiley, 1973.
Noether, Gottfried E.
Introdução à Estatística: Uma Abordagem Não-Paramétrica.
2.ed. Rio de Janeiro: 1983.
Pinheiro, Aluísio De Souza; Pinheiro, Hildete Prisco;
Métodos Estatísticos Não-Paramétricos e Suas Aplicações.
Colóquio Brasileiro de Matemática: Rio de Janeiro: IMPA, 2007.
Teste dos Sinais
É alternativa não-paramétrica ao teste t-student para a média.
Testa a mediana de uma população: H0: mediana = m 0
Para cada observação xi no conjunto de dados (i = 1, 2, … n), calcula-se a diferença:
di = xi – m0
A estatística de teste é R+: número de di´s positivos.
Se a H0 é verdadeira, R+ tem distribuição de probabilidade binomial com probabilidade igual a ½.