disciplina: processamento estat stico de sinais … · 2- monson hayes; statistical digital signal...

Disciplina: Processamento Estatıstico de Sinais(ENGA83) - Aula 01 / Introducao

Prof. Eduardo Simas([email protected])

Programa de Pos-Graduacao em Engenharia Eletrica/PPGEEUniversidade Federal da Bahia

ENGA83 - Semestre 2015.2

Prof. Eduardo Simas (PPGEE/UFBA) Aula 01 - Introducao ENGA83 - Semestre 2015.2 1 / 50

[email protected]

Conteudo

1 A DisciplinaConteudo ProgramaticoBibliografiaAvaliacoes

2 IntroducaoSinais AleatoriosAplicacoes comunsPerspectiva HistoricaRevisao - ProbabilidadeRevisao - Variaveis Aleatorias

3 Exercıcios de Fixacao


A Disciplina


A Disciplina

Objetivos: Habilitar os alunos a utilizar tecnicas estatısticas deprocessamento de sinais para solucionar problemas de deteccao eestimacao de sinais sob ruıdo, extracao de caracterısticas ereconhecimento de padroes.

Carga Horaria: 68 horas

Creditos: 04

Horario: Ter/Qui 18:30∼20:20 horas


Conteudo Programatico

1 Introducao aos Sinais Aleatorios (Processos aleatorios; Resposta de umsistema linear a entradas aleatorias; sinais multivariados; independenciaestatıstica; decomposicao em valores singulares).

2 Deteccao e Estimacao de Sinais (O problema da decisao binaria; Regrade Bayes; Regra de Neyman-Pearson; O Problema da decisao com multiplashipoteses; Curva ROC; Deteccao e estimacao de sinais contaminados porruıdo; Filtros casados - ruıdo branco; Filtros casados generalizados - ruıdocolorido; Estimadores de maxima verossimilhanca; Limite de Cramer-Rao).

3 Filtros Lineares Otimos (Filtro linear de mınimos quadrados; Filtros deWiener; Filtros de Kalman).

4 Processamento Estatıstico de Sinais Multivariados (Analise decomponentes principais; Analise de componentes independentes;Discriminantes lineares; Classificadores baseados em Redes NeuraisArtificiais; Componentes principais de discriminacao; Agrupamento).

5 Aplicacoes (Audio; Sistemas de comunicacao; Caracterizacao de disturbiosem sistemas eletricos de potencia; Instrumentacao, etc).


Bibliografia Recomendada

Principais referencias:

1 - K. Sam Shanmugan & Arthur M. Breipohl; Random Signals: Detection,Estimation and Data Analysis, Wiley, 1988.

2 - Monson Hayes; Statistical Digital Signal Processing and Modeling, Wiley,1996.

3 - Mourad Barkat; Signal Detection and Estimation, Artech House, 2005.

4 - A. Hyvarinen, J. Karhunen, E. Oja; Independent Component Analysis, Wiley,2001.

5 - Pierre Comon e Christianl Jutten (Editors); Handbook of Blind SourceSeparation, Elsevier, 2010.

6 - Steven M. Kay; Fundamentals of Statistical Signal Processing, Volumes I andII: Estimation Theory - Prentice Hall PTR, 1993/1998.

7 - Harry L. Van Trees; Detection, Estimation, and Modulation Theory, Part I,Wiley, 2001.

8 - Simon Haykin; Adaptive Filter Theory, 4 edition, Prentice Hall, 2001

9 - Artigos cientıficos.

10 - Notas de aulas disponıveis no endereco:http://www.dee.eng.ufba.br/home/simas/ensino.html


http://www.dee.eng.ufba.br/home/simas/ensino.html

Avaliacoes

Resolucao de exercıcios (15 %):

- Listas de exercıcios;

- Exercıcios em sala.

Apresentacao de resumos de artigos cientıficos selecionados peloprofessor (25 %).

Trabalho de pesquisa (60 %):

- Elaboracao de artigo (30 %);

- Apresentacao oral (30 %).


Introducao


Introducao - Sinais Aleatorios

Sinais e sistemas sujeitos a incertezas (ou aleatoriedade) sao muitoimportantes em diversas aplicacoes de engenharia.

Exemplo 01 - sinais tıpicos em sistemas de comunicacao digital:

0

0.5

1

Sinal original

−0.5

0

0.5

1

1.5

Sinal corrompido por ruido

1 0 1 1 0


Sinais Aleatorios

Exemplo 02 - Sinal de uma inspecao por ultrassom:

−0.4

−0.2

0

0.2

0.4

Tempo

Am

plit

ud

e

RuidoSinal + Ruido

Exemplo 03 - Sinal de tensao num sistema eletrico:

−1

0

1

x 104

Tempo

Am

plit

ud

e (

V)

Afundamento

Ruido


Algumas tarefas do processamento estatısticos de sinais

Estimar parametros de um sinal aleatorio:

Propriedades espectrais, distribuicao de probabilidade, parametrosestatısticos, etc.

Processar sinais com ruıdo:

Estimar as caracterısticas do ruıdo, recuperar o sinal original.

Obter um modelo para o sinal aleatorio:

Identificar o modelo mais adequado, estimar os parametros do modelo.

Processar sinais multivariados (Ex.: imagem, conjunto de sensores):

Tratar informacoes de diversos sensores, eliminar redundancia, minimizar ainformacao armazenada, revelar as informacoes relevantes para o problema.


Introducao - Aplicacoes comuns

Estimacao de parametros / modelos:

Algoritmo de

EstimaçãoSensor

Sinal de interesse

+

ruído

Parâmetros:

- valor médio;

- autocorrelação;

- densidade espectral.

Modelos:

- AR / MA / ARMA

Filtragem de ruıdo:

FiltragemSensor

Sinal de interesse

+

ruído

Sinal de Interesse


Introducao - Aplicacoes comuns

Deteccao / classificacao:

Extração/seleção de

CaracterísticasSensor

Sinal

medido

Classificador

DecisãoPadrão de

características

Separacao de sinais:

Algoritmo de

EstimaçãoSensor 1

Sinal de interesse 1

+

Sinal de Interesse 2

+

ruído


Algoritmo de

EstimaçãoSensor 2


+

Sinal de Interesse 2

+

ruído



Perspectiva Historica

Sec. XVII- aplicacoes de modelos probabilısticos para descricao defenomenos da fısica:

- Observou-se que experimentos conduzidos sob as mesmas condicoesnem sempre produziam resultados identicos.

- E desenvolvido por Gauss e Legendre o metodo de estimacao demınimos quadrados para o estudo do movimento de planetas e cometas.

Final do Sec. XIX - e desenvolvido o modelo de um processoaleatorio (ou estocastico).

Inıcio do Sec. XX - invencao do radio → utilizacao do modelo deprocesso aleatorio para analizar os efeitos do ruıdo em canais decomunicacao.

1940 a 45 - Wiener e Rice formulam a teoria dos sinais aleatorios edesenvolvem algoritmos para extrair (filtrar) sinais de radio de baixaintensidade que estao mascarados por ruıdo.


Perspectiva Historica

1948 - Shannon formula a teoria que serviria de base para o projetode sistemas de telecomunicacoes.

Segunda Guerra Mundial - Sao desenvolvidos diversos algoritmospara a deteccao de sinais de “alvos” (sistemas de sonar e radar) etambem para a navegacao.

1960 - Kalman desenvolve um algoritmo de filtragem que permitenavegacao precisa atraves de longas distancias.

1980 - “Inteligencia computacional” (RNA, AG, etc) e utilizada emdiversas tarefas de processamento de sinais atraves da exploracaoimplıcita (sem modelo especıfico) da estatıstica do problema.

1990 ate os dias atuais - Sinais multivariados (imagem, vıdeo, etc)sao cada vez mais produzidos e transmitidos, requerendodesenvolvimento de tecnicas de processamento adequadas.


Probabilibade


Revisao - Probabilidade

Definicoes

Espaco amostral (S) - conjunto de todos os possıveis resultados deum experimento.

Probabilidade (P(A)) - a probabilidade de ocorrencia de um eventoA ⊂ S pode ser definida como:

P(A) = limn→∞

nAn

(1)

sendo n o numero de repeticoes do experimento e nA onumero de ocorrencias de A.

Se S e finito (o numero de possıveis resultados e igual aN) entao:

P(A) =NA

N(2)


Revisao - Probabilidade

Propriedades :

1 P(S) = 1

2 0 ≤ P(A) ≤ 1

3 Se A ∪ A = S e A ∩ A = ∅ entao A e o complemento deA e P(A) = 1− P(A)

4 Se A ⊂ B → P(A) ≤ P(B).

5 P(A ∪ B) = P(A) + P(B)− P(A ∩ B),ou seja:P(A ∪ B) ≤ P(A) + P(B)


Probabilidades Conjunta e Marginal

Em muitos problemas praticos um experimento E pode ser compostode k subexperimentos E1,E2, ...Ek .

Neste caso, o espaco amostral S tem dimensao k (S ∈ Rk), sendocomposto pelo produto cartesiano dos espacos amostrais de cadasubexperimento: S = S1 × S2 × ...× Sk .

Considerando que k = 2, e que os eventos A1, ...,An e B1, ...,Bm

definem respectivamente os espacos amostrais S1 e S2 dossubexperimentos E1 e E2, pode-se definir:

Probabilidade Conjunta: P(Ai ∩ Bi ) = P(AiBi ) = P(Ai |Bi )P(Bi ) =P(Bi |Ai )P(Ai );

Probabilidade Condicional: P(Bi |Ai ) =P(AiBi )

P(Ai ), dado que

P(Ai ) 6= 0.


Probabilidades Conjunta e Marginal - Exemplo

Considerando a tabela abaixo, estime as probabilidades de (a) umapeca do fabricante F2 nao apresentar defeito e (b)uma pecaapresentar defeito crıtico dado que ela pertence a classe F2.

Tipo de defeitoFabricante Nenhum Crıtico Grave Pequeno Acidental TotalF1 124 6 3 1 6 140F2 145 2 4 0 9 160F3 115 1 2 1 1 120F4 101 2 0 5 2 110Total 485 11 9 7 18 530

Resposta:

a - Neste caso, trata-se de uma probabilidade conjunta: P(F2D0) =145

530.

b - Probabilidade condicional: P(D1|F2) =P(D1F2)

P(F2)=

2530160530

=2

160.


Regra de Bayes

Thomas Bayes chegou a expressao a seguir, que ficou conhecida comoRegra de Bayes:

P(Bj |A) =P(A|Bj)P(Bj)

P(A)=

P(A|Bj)P(Bj)m∑j=1

P(A|Bj)P(Bj)

(3)

Exemplo - Num canal de comunicacao binaria sujeito a ruıdo aditivo,a probabilidade de um digito “zero” transmitido ser recebido como“zero” e de 0,95 e a probabilidade de um digito “um” transmitido serrecebido como “um” e de 0,90. Considerando que a probabilidade deum zero ser transmitido e 0,40, encontre:

a- A probabilidade de um digito “um” ser recebido.

b- A probabilidade de um digito “um” ter sido transmitido dado que umdigito “um” foi recebido.





a- P(R) =2∑

j=1


0, 9× 0, 6 + 0, 05× 0, 4 = 0, 56.

b- P(T |R) =P(R|T )P(T )

P(R)

=0, 9× 0, 6

0, 56≈ 0.96





a- P(R) =2∑

j=1


0, 9× 0, 6 + 0, 05× 0, 4 = 0, 56.

b- P(T |R) =P(R|T )P(T )

P(R)=

0, 9× 0, 6

0, 56≈ 0.96


Independencia Estatıstica

Supondo Ai e Bi eventos associados a resultados de doisexperimentos distintos, quando a ocorrencia de Ai nao influencia naprobabilidade de ocorrencia de Bi e vice-versa, diz-se que os eventossao estatisticamente independentes.

Matematicamente Ai e Bi sao independentes se:

P(AiBi ) = P(Ai )P(Bi ) (4)

ou quando:P(Ai |Bi ) = P(Ai ) (5)

A prova da independencia estatıstica de dois eventos quando nao seconhece as distribuicoes de probabilidade envolve os conceitos devariaveis aleatorias e momentos estatısticos.


Variaveis Aleatorias



Em alguns casos, pode ser interessante expressar a saıda de um experimentoaleatorio usando um numero, por exemplo: o numero de acessos diarios auma pagina da internet.

O valor numerico associado a saıda de um experimento aleatorio pode serchamado de “variavel aleatoria”.

Uma variavel aleatoria X (λ) e uma funcao cujo domınio e o conjunto deresultados λ ∈ S e X (λ) ⊂ R.

Para todo A ⊂ S existe um conjunto imagem T ⊂ R definido por X .

A variavel aleatoria induz a uma medida da probabilidade no eixo real1:

- P(X = x) = P{λ : X (λ) = x};- P(X ≤ x) = P{λ : X (λ) ≤ x};- P(x1 < X ≤ x2) = P{λ : x1 < X (λ) ≤ x2};- Entao pode-se concluir que: P(X =∞) = P(X = −∞) = 0.

1Sendo as letras maiusculas reservadas para representar as variaveis aleatorias e asminusculas para os valores individuais (i.e. numeros) da variavel.



As variaveis aleatorias (VAs) podem ser discretas ou contınuas.

A probabilidade P(X ≤ x) e tambem conhecida como funcaodistribuicao (FX (x)) da variavel aleatoria X .

Uma funcao de distribuicao tem as propriedades a seguir:- FX (−∞) = 0; FX (∞) = 1; FX (x) e estritamente crescente;

- P{x1 ≤ X ≤ x2} = FX (x2)− FX (x1)

0 1 2 3 4 5 6 70

0.5

1

x

Fx(x

)

Funcao Distribuicao Discreta

0 1 2 3 4 5 6 70

0.5

1

x

Fx(x

)

Funcao Distribuicao Contınua


Variaveis Aleatorias Discretas

Uma variavel aleatoria discreta e caracterizada por um conjunto dedomınio limitado x1, x2, ..., xn.

A funcao massa (ou densidade) de probabilidade e definida comoP(X = xi ), para i = 1, 2, ..., n e tem as propriedades a seguir:

-n∑

i=1

P(X = xi ) = 1;

- P(X ≤ xk) = FX (xk) =k∑

i=1

P(X = xi );

Para as distribuicoes conjunta e condicional pode-se definir:

- P(X ≤ x ,Y ≤ y) =∑xi≤x

∑yi≤y

P(X = xi ,Y = yi )

- P(X = xi |Y = yi ) =P(X = xi ,Y = yi )

P(Y = yi )(regra de Bayes);


Variaveis Aleatorias Discretas

As variaveis aleatorias X e Y sao estatisticamente independentes se:

P(X = xi ,Y = yi ) = P(X = xi )P(Y = yi ) (6)

Uma variavel aleatoria discreta pode ser completamente descrita pelasfuncoes de distribuicao ou de densidade de probabilidade.

Em alguns casos pode ser interessante descrever uma VA por umnumero limitado de caracterısticas representativas chamadas valoresesperados.

O valor esperado da funcao g(X ) da variavel aleatoria discreta X edefinido por:

E{g(X )} =n∑

i=1

g(xi )P(X = xi ) (7)


Variaveis Aleatorias Discretas - Valores Esperados

Dois valores esperados (tambem chamados de momentos) muitoutilizados sao:

Media - E{X} = µX =n∑

i=1

xiP(X = xi )

Variancia - E{(X − µX )2} = σ2X =

n∑i=1

(xi − µX )2P(X = xi )

O desvio padrao e definido como: σX =√σ2X



Vale mencionar as definicoes de:

Covariancia: cov(X ,Y ) = E{X − µX}E{Y − µY }

Correlacao: R(X ,Y ) = E{(XY )}

Quando µX = µY = 0, entao cov(X ,Y ) = R(X ,Y )



O valor esperado de uma funcao de duas VAs e definido por:

E{g(X ,Y )} =n∑

i=1

m∑j=1

g(xi , yi )P(X = xi ,Y = yi ) (8)

O coeficiente de correlacao e um valor esperado muito util, poisfornece uma medida do grau de dependencia entre duas VAs:

ρx ,y =E{(X − µX )(Y − µY )}

σXσY=

σXYσXσY

(9)

O fator σXY e a covariancia de X e Y e quando as variaveis saoestatısticamente independentes ρx ,y = 0.


Variacao do Coeficiente de Correlacao - Exemplos

−4 −2 0 2 4−20

−10

0

10

20

X

Y

−4 −2 0 2 4−10

−5

0

5

10

X

Y

−4 −2 0 2 4−30

−20

−10

0

10

X

Y

−4 −2 0 2 4−4

−2

0

2

4

X

Y

ρXY

=0,99 ρXY

=−0,98

ρXY

=0,74ρ

XY=0,01


Variaveis Aleatorias Contınuas

Uma VA contınua pode assumir um numero infinito de valores dentrodo seu intervalo de domınio.

A teoria envolvida e semelhante ao caso discreto, porem ossomatorios sao substituıdos por integrais.

Deste modo, as funcoes distribuicao FX (x) e densidade fX (x) saorelacionadas por:

fX (x) =dFX (x)

dx(10)

E valem as propriedades a seguir:

-

∫ ∞−∞

fX (x)dx = 1

- P(a ≤ X ≤ b) = FX (b)− FX (a) =

∫ b

a

fX (x)dx


Momentos

O momento central de ordem n e definido como:

µ(n)X =

∫ ∞−∞

(x − µX )nfX (x)dx (11)

O momento de ordem n e definido como:

µ′(n)X =

∫ ∞−∞

xnfX (x)dx (12)

Temos entao que: µ′(1)X = µX e a media e µ

(2)X = σ2

X e a variancia.


Exemplos de Funcoes de Densidade de Probabilidade (pdf)

Uniforme: fX (x) =

{1/(b − a) a ≤ x ≤ b

0 caso contrario

sendo: µX =b + a

2e σ2

X =(b − a)2

12

Gaussiana: fX (x) =1√

2πσ2X

exp

[− (x − µX )2

2σ2X

]

Exponencial: fX (x) = λ exp(−λx), x ≥ 0, λ ≥ 0,

sendo µX =1

λe σ2

X =1

λ2


Histogramas

Histogramas sao uma representacao grafica das variaveis aleatoriasem relacao ao numero de ocorrencias da VA numa dada faixa doespaco amostral.

Os histogramas podem ser utilizados como aproximacoes dadistribuicao de probabilidade.

Para a geracao de um histograma as amostras da VA sao agrupadasem intervalos.

O Eixo Vertical do Histograma representa a quantidade (contagem)de amostras que foram observadas dentro de cada intervalo indicadono Eixo Horizontal.


Histogramas

Exemplos de histogramas:

0 2 4 6 8 10

x 104

−5

0

5

Amostras de X

Am

plit

ud

e d

e X

−4 −2 0 2 40

1000

2000

3000

4000

Co

nta

ge

m

X


Histogramas - VA Gaussiana (Dist. Normal)

−4 −2 0 2 40

200

400

600

800

1000

Conta

gem

−4 −2 0 2 40

500

1000

1500

2000

Conta

gem

−4 −2 0 2 40

1000

2000

3000

4000

Conta

gem

−4 −2 0 2 40

2000

4000

6000

Conta

gem

−4 −2 0 2 40

2000

4000

6000

8000

10000

12000

Conta

gem

−4 −2 0 2 40

0.5

1

1.5

2x 10

4

Conta

gem

Diminuindo o numero de intevalos (bins) do histograma

80 bins 40 bins 20 bins

100 bins200 bins400 bins


Vetores Aleatorios


Vetores Aleatorios

Ate agora o estudo foi concentrado em uma ou duas variaveisaleatorias.

Em um caso mais geral pode-se trabalhar com diversas VAs Xi ,i = 1, . . . , k, que podem ser organizadas para comporem um VetorAleatorio:

X = [X1,X2, ...,Xk ]T . (13)

Os vetores aleatorios tem como domınio um subconjunto de Rk e saoespecificadas em funcao da distribuicao conjunta:

FX1,...,Xk(x1, ..., xk) = FX(x) = P[(X1 ≤ x1), ..., (Xk ≤ xk)]. (14)


Vetores Aleatorios

Para vetores aleatorios define-se o vetor media:

µX = E (X) =

E (X1)E (X2)

...E (Xk)

E a matriz de covariancia:

E (X1)E (X2)

...E (Xk)

=

σx1x1 σx1x2 . . . σx1xk

σx2x1 σx2x2 . . . σx2xk...

... . . ....

σxkx1 σxkx2 . . . σxkxk

E (X1)E (X2)

...E (Xk)


Vetores Aleatorios - Exemplos

O vetor aleatorio X e composto pelos valores medidos nos 49 sensoresde energia:

00.05

0.10.15

0.150.1

0.050

0

5000

10000

15000

ηφ

Ene

rgia

(M

eV)

Amostra 01

00.05

0.10.15

0.15

0.1

0.05

0

0

1000

2000

3000

ηφ

Ene

rgia

(M

eV)

Amostra 02


Vetores Aleatorios - Exemplos

Matrix de covariancia do vetor aleatorio X composto pelas variaveisaleatorias utilizadas no exemplo do slide 28:

ΣX =

1 −0, 001 0, 994 −0, 981 0, 744

−0, 001 1 −0, 001 −0, 001 −0, 0020, 994 −0, 001 1 −0, 984 0, 740−0, 981 −0, 001 −0, 984 1 −0, 7360, 744 −0, 002 0, 740 −0, 736 1

Matriz de correlacao de um vetor aleatorio de dimensao 100:


Outros Topicos Interessantes


Limites e Aproximacoes

Em muitas aplicacoes praticas que requerem calculo de probabilidadesas distribuicoes envolvidas podem nao ser completamente conhecidas.

Neste caso pode-se utilizar tecnicas que fornecem limites superiores einferiores para as probabilidades, como por exemplo:

Desigualdade de Tchebycheff: P(|Y − µY | ≥ kσy ) ≤ 1

k2

Exemplo: Sendo µX = 0 e σ2X = 1, estime P(|X | ≥ 3).

Da expressao acima temos que k = 3 e P(|X | ≥ 3) ≤ 1

9.


Tecnica de Geracao de Monte Carlo

As tecnicas de Monte Carlo consistem em:

- algoritmos computacionais para selecionar amostras x1, x2, ..., xn;

- um metodo de calcular y = g(x1, x2, ..., xn);

- organizar e exibir graficamente y .

Simulacoes atraves de tecnicas de Monte Carlo sao utilizadas paragerar conjuntos de dados a partir de modelos estatısticos conhecidos.

Os dados simulados sao muito uteis para o projeto de sistemas queirao operar com entradas aleatorias quando estas sao de difıcilobtencao.

Exemplos de aplicacoes: fısica nuclear, financas, geometalurgia, etc.


Teorema do Limite Central

Definicao: Sendo X1,X2, ...,Xn variaveis aleatorias (com media µ evariancia σ2) independentes e identicamente distribuidas(i.i.d.)2, pode-se provar que, quando n→∞, a variavel:

Z =n∑

i=1

Xi (15)

tende para uma distribuicao de probabilidade Gaussiana com

media µ e desvioσ2

n.

2Variaveis i.i.d. apresentam a mesma funcao distribuicao de probabilidade e saomutuamente independentes.


Teorema do Limite Central - Exemplo

−0.5 0 0.50

50

100

150

Conta

gem

01 dist unif

−2 0 20

100

200

Conta

gem

02 dist unif

−2 0 20

100

200

300

Conta

gem

03 dist unif

−4 −2 0 2 40

100

200

300

Conta

gem

04 dist unif

−5 0 50

100

200

300

Conta

gem

05 dist unif

−5 0 50

100

200

300

Conta

gem

06 dist unif


Exercıcios de Fixacao


Exercıcios de Fixacao

1 Problemas do livro Random Signals: Detection Estimation and DataAnalysis de Shanmugan e Breipohl (a partir da pagina 97): 2.1, 2.2, 2.5,2.6, 2.8, 2.18, 2.23, 2.32 e 2.33.

2 Utilizar um software adequado (Matlab, Scilab, Root, etc) para:

a Gerar variaveis aleatorias com distribuicoes uniforme, normal eexponencial com 1.000 pontos e tracar os respectivos histogramas;

b Calcular a partir das amostras o valor medio, a variancia e compararcom os valores esperados a partir dos modelos matematicos;

c Repetir os itens a e b para 10.000 e 100.000 pontos e comparar osresultados obtidos;

d Gerar e plotar o histograma de uma variavel aleatoria com 10.000pontos que seja a soma de 5 variaveis aleatorias com distribuicaouniforme.

Os exercıcios devem ser resolvidos e entregues em data a ser especificadapelo professor. Neste dia, alunos serao “sorteados” para apresentar asolucao de alguns destes exercıcios para a turma.


disciplina: processamento estat stico de sinais … · 2- monson hayes; statistical digital signal...

Documents