aprendizado de máquina prof.: dino r. c. franklin aluno.: thiago fialho q. l
TRANSCRIPT
Aprendizado de MáquinaProf.: Dino R. C. Franklin
Aluno.: Thiago Fialho Q. L.
Janela de Parzen
IntroduçãoEstimação de densidadeJanela de Parzen
Exemplokernel GaussianoPerguntas
Cronograma
O método de Kernel é utilizado para estimar a densidade em um ponto x.
A função densidade de probabilidade é um conceito fundamental em estatística. Um ponto x com uma função de distribuição F(x) é dita continua quando F(x) = ∫(-∞ -> x) p(t) d(t) , neste caso p seria a função densidade de x e deve satisfazer ∫(-∞ -> +∞) p(x) d(x) = 1.
Especificar a função densidade de x nos fornece uma descrição natural da sua distribuição, e permite que probabilidades associadas a x possam ser encontradas através da relação: F(a < x < b) = ∫(a-> b) p(x) d(x) para todo a < b.
Introdução
Estimação de densidade
A função densidade de probabilidade da distribuição normal com os parâmetros média μ e variância σ2.
Estimador Kernel não utiliza parâmetros. não segue uma distribuição normal ou não possui elementos suficientes para
afirmar isso.
Estimação de densidade
A probabilidade de um ponto x estar dentro de uma região Ri, utilizando uma função densidade p(x) é dada por:
Probabilidade (x) = ∫Ri p(x) d(x)
Considere a região Ri continua e pequena a tal ponto onde p(x) não varia. Então podemos reescrever a formula:
Probabilidade (x) = ∫Ri p(x) d(x) = p(x) * V
Onde V é o volume de Ri.
Estimação de densidade
Podemos definir a probabilidade de x estar na região Ri como:
Probabilidade (x) = k/nOnde k é o numero de pontos na região Ri e n é o
numero de pontos visando toda a região R;
Como a Probabilidade (x) = p(x)*V, então:p(x)*V ≈ k/np(x) ≈ (k/n) / V
Estimação de densidade
Estimação de densidade
Em problemas reais existem duas alternativas para estimação da densidade:
Escolher um valor fixo de k e determinar o volume V a partir dos dados.
Fixar o volume V e determinar k a partir dos dados (Janela de Parzen).
p(x) ≈ (k/n) / V
Estimação de densidade
Janela de Parzen
Nesta abordagem fixamos o tamanho da região R para estimar a densidade, fixamos o volume V e determinamos o correspondente k a partir dos dados de aprendizagem e assumimos que a região R é um híperplano de tamanho h cujo volume é hd.
Janela de Parzen
Assim para estimar a densidade no ponto x simplesmente centramos R em x, contamos o número de observações em R e substituímos na equação.
p(x) ≈ (k/n) / V
Exemplo:Considere a região 1D, onde há 6 pontos distribuídos nela.
Definido a região R = 10 (em vermelho), onde o ponto verde representa seu centro. Calcula-se a densidade um ponto, que esteja dentro desta região.
Janela de Parzen
Função de Kernel (φ(u)): Estimador probabilístico não paramétrico (não utiliza média e desvio padrão como parâmetro).
I(|u| < 1) retorna 1 se verdade ou ø se falso.
Janela de Parzen
Kernel φ(u)
Uniforme ½ * I(|u|< 1)
Triangular (1-|u|) * I(|u|< 1)
Epanechnikov ¾*(1 – u2)2 * I(|u|< 1)
Quadrático 15/16 * (1 – u2)2 * I(|u|< 1)
Triweight 35/32 * (1 – u2)3 * I(|u|< 1)
Cosseno π/4 * cos(π/2 * u) * I(|u|< 1)
Utilizando a Função de Kernel Uniforme.
Janela de Parzen (Exemplo)
Demonstrando um exemplo com a Função de Kernel Uniforme. Considere.
u = (x – xi)/ h , onde x é o centro da região R, xi é um ponto qualquer .
Janela de Parzen (Exemplo)
Se xi estiver dentro do hiperplano então φ retorna 1, se xi não estiver dentro do hiperplano então retorna ø.
Janela de Parzen em 1D. Considere a região com a seguinte amostra, X = {2, 3, 4, 8, 10, 11, 12}.
A fórmula para estimar a densidade do ponto x na região R é:
Pφ (x) = 1/n * ∑(1 -> n) 1/hd * φ (x – xi /h )
Janela de Parzen (Exemplo)
Vamos estimar a densidade em x = 1 e usando h = 3. Repare que o número de pontos n = 7.
Lembrando em uma dimensão h = hd.
Janela de Parzen (Exemplo)
Estimando todas as densidades.
A janela é usada na realidade para interpolação, cada ponto xi contribui para o resultado da densidade em x, se x está perto bastante de xi
Janela de Parzen (Exemplo)
Utilizando a Função de Gauss e gerando a Janela de Gaussiana.
kernel Gaussiano
Muda apenas a função Kernel, que passa a ser:
Usando o mesmo exemplo onde X = {2, 3, 4, 8, 10, 11, 12}, porem com h = 1. a Janela Gaussiana seria:
kernel Gaussiano
Para estimar corretamente o tamanho da região. Observe o que acontece quando se utiliza poucos pontos e h pequeno.
kernel Gaussiano
Agora com muitos pontos e h pequeno.
kernel Gaussiano