formação de imagem - sampling lmarcos/courses/visao
TRANSCRIPT
![Page 1: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/1.jpg)
Formação de Imagem - Sampling
www.dca.ufrn.br/~lmarcos/courses/visao
![Page 2: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/2.jpg)
Visão adquirindo imagem
![Page 3: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/3.jpg)
Visão - Formação de Imagem• Energia de uma fonte de luz é radiada
uniformemente em 4 radianos• Irradiância é a soma de toda a luz incidente na
imagem• Reflexão pode ser difusa ou especular, depende da
superfície e comprimento de onda da luz• Superfície que reflete energia eletro-magnética
modula o conteúdo do espectro, intensidade e polarização da luz incidente
• Função da intensidade radiante é projetada no plano imagem 2D, espacialmente amostrada e digitalizada a 30 fps.
![Page 4: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/4.jpg)
Formação da imagem
• Geometria da câmera (lentes finas)– equação fundamental 1 /Z´ + 1/z´ = 1/f
• Radiometria E(p) = f(L(P))– reflexão Lambertiana L=Itn (I transposto)– ângulo sólido = A cos / r2
– equação fundamental E(p) = L(p) /4 (d/f)2 cos4
![Page 5: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/5.jpg)
Formação Geométrica da Imagem
• Relação entre a posição dos pontos da cena com a imagem
• Câmera perspectiva
• Câmera com fraca perspectiva
![Page 6: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/6.jpg)
Modelo perspectivo ideal
P
p
O
P
O o P1
p
p1
y x
z
yx
z
Plano imagem
Plano imagemf
f
oP1p1
![Page 7: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/7.jpg)
Distorção perspectiva pin-hole
![Page 8: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/8.jpg)
Modelo ideal
![Page 9: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/9.jpg)
![Page 10: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/10.jpg)
Equações perspectiva
x = f (X/Z)
y = f (Y/Z)
Equações são não lineares devido à divisão
O
Z
Yy
f
y
z
![Page 11: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/11.jpg)
Perspectiva fraca• Requer que a distância entre dois pontos na
cena z ao longo do eixo z (isto é, a profundidade da cena) seja muito menor que a distância média dos pontos vistos da câmera.
x = f (X/Z) = f (X/Z´)
y = f (Y/Z) = f (Y/Z´)
• Neste caso, x=X e y=Y descrevem a ortográfica, viável para z < Z´/20
![Page 12: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/12.jpg)
Refração
![Page 13: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/13.jpg)
Inversão de Percepção
• “Se estímulos sensoriais são produzidos de um único modo pelo mundo, então como deveria ser o mundo para produzir este estímulo?”
estimulo = f(mundo)
mundo = f-1(estímulo)
• As funções f() são apenas parcialmente conhecidas e f-1(), inversa de f não é bem condicionada (não se comporta direito).
![Page 14: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/14.jpg)
Conhecimento e Experiência
• Adquire-se através da associação de dados sensoriais de forma eficiente
• Conseguem preencher espaços inacessíveis pela processo de formação de imagens
• Engana o cérebro
![Page 15: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/15.jpg)
![Page 16: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/16.jpg)
![Page 17: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/17.jpg)
![Page 18: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/18.jpg)
Representação matricial
![Page 19: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/19.jpg)
Imagem e seu gráfico
![Page 20: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/20.jpg)
Reconstrução - Amostragem
![Page 21: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/21.jpg)
Amostragem - resolução espacial• Variação da amostragem no espaço
– imagens com diferentes resoluções (pixels cobrem áreas diferentes)
![Page 22: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/22.jpg)
Amostragem - quantização
• Variação da amostragem pela quantização– número de níveis de intensidade para cada pixel
varia de uma imagem para outra
![Page 23: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/23.jpg)
Amostragem - quantização
![Page 24: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/24.jpg)
Amostragem - quantização
![Page 25: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/25.jpg)
Amostragem - quantização
![Page 26: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/26.jpg)
Amostragem-resolução temporal
• Variação da amostragem no tempo– tempo de amostragem do sensor é diferente– usando sistemas de aquisição diferentes
• Influencia qualidade final de cada pixel
![Page 27: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/27.jpg)
Propriedades espaciais
• Delta de dirac
• Esta função tem as seguintes propriedades:
Sifting property
![Page 28: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/28.jpg)
Comentários
• A primeira propriedade sugere um tipo de máscara infinitesimal que amostra a imagem precisamente na posição (x,y)
• A segunda propriedade é conhecida como “Sifting property”.
![Page 29: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/29.jpg)
Funções especiais
• Dirac delta (x)=0,x0
lim0 - (x)dx = 1
• Sifting property - f(x´)(x-x´)dx´=f(x)
• Scale (ax) = (x)/|a|
• Delta de Kronecker (n)=0, n0
(n)=1, n=0
• Sifting property m=- f(m)(n-m) =f(n)
![Page 30: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/30.jpg)
Transformada de Fourier
• onde u é a freqüência espacial em ciclos por pixel , de modo que quando x é especificado em pixels, 2ux é em radianos, e i=-1
![Page 31: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/31.jpg)
Pares transformados
![Page 32: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/32.jpg)
Pares de transformadas
![Page 33: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/33.jpg)
Propriedade: freqüência espacial• Se f(x,y) é a luminância e x,y as
coordenadas espaciais, então 1 e 2 (ou u,v) são as freqüências espaciais que representam a mudança de luminância com respeito às distâncias espaciais. As unidades 1 e 2 (ou u,v) são recíprocas de x e y respectivamente.
• Algumas vezes as coordenadas x,y são normalizadas pela distância de visualização da imagem f(x,y). Então as unidades 1 e 2 (u,v) são dadas em ciclos por grau (do ângulo de visualização).
![Page 34: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/34.jpg)
Propriedade: unicidade
• Para funções contínuas, f(x,y) e F(1,2) são únicas com respeito uma à outra.
• Não há perda de informação se for preservada a transformada ao invés da função
![Page 35: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/35.jpg)
Propriedade: separabilidade• O kernel da transformada de Fourier é separável,
de modo que ela pode ser escrita como uma transformação separável em x e y.
F(1,2)=f(x,y)exp(-i2x1)dxexp(-i2y2)dy
• Isso significa que a transformação 2D pode ser realizada por uma sucessão de duas transformações unidimensionais, ao longo de cada uma das coordenadas.
![Page 36: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/36.jpg)
Teorema do deslocamento
De modo que
![Page 37: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/37.jpg)
Convolução
• A convolução de duas funções f e g
• onde é uma variável de integração
![Page 38: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/38.jpg)
Teorema da convolução
então
![Page 39: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/39.jpg)
Teorema da amostragem
• Seja F()= transformada de Fourier de uma função f(t), com t(-,+ ). Assumimos que f é limitada em banda, isto é, F()= 0, para ||>c>0.
• Então, podemos formular o teorema da amostragem.
![Page 40: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/40.jpg)
Teorema da amostragem
• A função f pode ser reconstruída exatamente para todo t(-,+ ), a partir de uma seqüência de amostras eqüidistantes fn=f(n/c), de acordo com a seguinte formula:
f(t)=-fn sin(ct-n)/(ct-n) =
-fn sinc(ct-n)
![Page 41: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/41.jpg)
Aliasing• Uma função contínua no espaço f(x) é
amostrada pelo cálculo do produto de f(x) por g(x), uma seqüência infinita de deltas de Dirac
• Queremos determinar os efeitos da função de amostragem na energia espectral em f(x)
![Page 42: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/42.jpg)
![Page 43: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/43.jpg)
Aliasing• Pelo teorema da convolução, sabemos que o
produto destas duas funções espaciais é igual à convolução dos seus pares de Fourier
• Podemos escrever a função H(u) em termos de F(u):
![Page 44: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/44.jpg)
Aliasing
![Page 45: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/45.jpg)
Aliasing
• Deste modo, o espectro de freqüência da imagem amostrada consiste de duplicações do espectro da imagem original, distribuída a intervalos 1/x0 de freqüência.
• Seja R(u) um filtro passa-banda no domínio da freqüência.
0 caso contrário
![Page 46: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/46.jpg)
Aliasing
• Quando os espectros replicados interferem, a interferência introduz relativa energia em altas freqüências mudando a aparência do sinal reconstruído
![Page 47: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/47.jpg)
Teorema da amostragem (nyquist)
• Se a imagem não contém componentes de freqüência maiores que a metade da freqüência de amostragem, então a imagem contínua pode ser representada fielmente ou completamente na imagem amostrada.
![Page 48: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/48.jpg)
Adquirindo imagens digitais
• Estrutura essencial de um sistema de aquisição de imagens
• Representação de imagens digitais em um computador
• Informações práticas em amostragem espacial e ruídos devido à câmera
![Page 49: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/49.jpg)
Sistema de Visão Computacional
• Câmera visualizadora– tipicamente uma câmera CCD (mxn)
• Frame grabber– placa de aquisição
• Computador (Host computer)– processador e memória para processamento
![Page 50: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/50.jpg)
Representação digital de imagem
• Matriz numérica (MxN)– E(i,j) representa o valor de cada pixel (brilho)
• i indexa a linha
• j indexa a coluna
• E(i,j) é geralmente inteiro, no range [0,255]– um byte é suficiente– usado em muitos sistemas atuais
![Page 51: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/51.jpg)
Do CCD para o frame buffer
• xim=(n/N)xCCD
• yim=(m/M)yCCD
• n/N e m/M não são os únicos parâmetros responsáveis pela escala introduzida
• CCD tem nxn células geralmente com diferentes tamanhos horizontal e vertical
• Frame buffer: MxN
![Page 52: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/52.jpg)
Diferentes escalas
Frame buffer (NxN)CCD (nxn)
Frame buffer (MxN)
![Page 53: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/53.jpg)
Amostragem espacial
• Amostragem espacial inicia-se no CCD
• Assume-se que a distância d entre os elementos do CCD é a mesma, por simplicidade (vertical e horizontal).
• Do teorema da amostragem, sabe-se que d determina a freqüência espacial vc mais alta que pode ser capturada pelo sistema de aquisição, de acordo com: vc=1/2d
![Page 54: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/54.jpg)
Comparação com freqüência espacial da imagem
• Teoria da difração: processo de imageamento pode ser expresso em termos de uma filtragem linear passa-baixa das freqüências espaciais do sinal visual
• Se a for o tamanho linear da abertura angular, do sistema ótico (diâmetro da abertura circular), o comprimento de onda da luz, e f a distância focal, freqüências espaciais maiores que v´c=a/(f) não contribuem para o espectro espacial da imagem (são filtradas).
![Page 55: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/55.jpg)
Sistema típico• vc < v´c aproximadamente de uma ordem de
magnitude• Assim, desde que o padrão visto possa ter
freqüências espaciais maiores que vc, pode ocorrer aliasing
![Page 56: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/56.jpg)
Aliasing• Se n é a quantidade de elementos no CCD
(direção horizontal), a câmera não pode ver mais que n´ linhas verticais (com n´ um pouco menor que n/2, digamos n´= n/3)
• Até que o número de linhas dentro do campo de vista permanece menor que n´, elas serão corretamente imageadas. Assim que este limite é atingido, se a distância da cena cresce, antes de efeitos de borra, a quantidade de linhas diminui.
![Page 57: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/57.jpg)
Ocorrência de Aliasing
![Page 58: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/58.jpg)
Estimando erros de aquisição
• Valores da imagem não são o esperado, pois são corrompidos durante aquisição
• Adquire várias imagens da mesma cena e calcula a variância para cada pixel:
E(i,j) = 1/(MN) k=0n E(i,j)
(i,j) = (1/(n-1) k=0n-1(E(i,j)- E(i,j))2)1/2
![Page 59: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/59.jpg)
Razão sinal-ruído
• Média de (i,j) pela na imagem é estimação do ruído médio.
• Máximo (i,j), com (i;j) (0,M;0,N) dá o pior erro na imagem.
• Luz fluorescente pode influenciar o resultado.
• Ótimo teste para verificar o erro das câmeras adquiridas (presente de final de semana, veja transparência final:-).
![Page 60: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/60.jpg)
Gráfico do erro ao de uma linha
Pixel 1 Pixel 255
+ -
![Page 61: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/61.jpg)
Obs: erro sinal-ruído
• Expresso em decibéis: 10 vezes o logaritmo base 10 da razão entre as duas potências (sinal e ruído).
• Ex: SNR de 100 = 10log10100=20dB
![Page 62: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/62.jpg)
Co-variância
• Valores de pixel não são completamente independentes uns dos outros.
• Interferência (cross-talking) entre sensores adjacentes devido ao modo que são lidos e enviados ao frame-buffer
• Padrão uniforme na cena, paralelo ao plano imagem, sob luz difusa
![Page 63: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/63.jpg)
Co-variância
• Seja c = 1/N2, Ni´=N-i´-1, Nj´=N-j´-1.
• Dada imagem E, para cada i´,j´=0,...,N-1:
• CEE(i´,j´)=ci=0Ni´j=0
Nj´(E(i,j)-E(i,j)) (E(i+i
´,j+j´)-E(i+i´,j+j´))• Covariância pode ser estimada como a média
da função acima em várias amostras
• Outro presente pro final de semana!
![Page 64: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/64.jpg)
Gráfico da covariância (média)
x
y
z
![Page 65: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/65.jpg)
Parâmetros de câmera
• Reconstrução 3D ou cálculo da posição de objetos no espaço necessitam definir relações entre coordenadas de pontos 3D com as coordenadas 2D de imagens dos mesmos
• Alguns pressupostos devem ser assumidos
• Denomina-se frame a Sistema de referência
![Page 66: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/66.jpg)
Pressupostos
• Frame da câmera pode ser localizado em relação a algum outro frame bem conhecido (frame de mundo)
• Coordenadas das imagens de pontos no frame de câmera podem ser obtidas das coordenadas de pixels (únicas disponíveis a partir da imagem)
![Page 67: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/67.jpg)
Parâmetros intrínsecos e extrínsecos (internos e externos)
• Parâmetros intrínsecos são os necessários para ligar as coordenadas de pixel de um ponto na imagem com as respectivas coordenadas no frame de câmera.
• Parâmetros extrínsecos são os que definem a localização e orientação do frame de câmera com relação a um frame de mundo conhecido
![Page 68: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/68.jpg)
Parâmetros intrínsecos
• Caracterizam as propriedades óticas, geométricas e digitais da câmera visualizadora. Para pin-hole, 3 conjuntos:– projeção perspectiva (único parâmetro é f)– transformação entre frames de câmera e píxels– distorção geométrica introduzida pelo sistema
ótico
![Page 69: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/69.jpg)
De câmera para pixels• Devemos ligar (xim,yim), em pixels, com as
coordenadas (x,y) do mesmo ponto no frame de câmera
• Neglicenciando distorções e assumindo que o CCD é uma matriz retangular:
x = -(xim-ox)sx
y = -(yim-oy)sy
sendo (ox,oy) as coordenadas em pixel do centro da imagem (ponto principal) e (sx,sy) o tamanho efetivo do pixel (em milímetros) horizontal e verticalmente, respectivamente
![Page 70: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/70.jpg)
Com distorção
• Com introdução de distorção:x = xd(1+k1r2+k2r4)y = yd(1+k1r2+k2r4)
sendo (xd,yd) as coordenadas dos pontos distorcidos e r2 = xd
2+yd2. Veja que a
distorção é um deslocamento radial dos pontos na imagem. Deslocamento é zero no centro da imagem, crescendo para as bordas
![Page 71: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/71.jpg)
Parâmetros intrínsecos - resumo
• f = distância focal
• (ox,oy) = localização do centro da imagem, em coordenadas de pixel
• (sx,sy) = tamanho efetivo horizontal e vertical do pixel
• (k1, k2) = coeficientes de distorção, se forem requeridos
![Page 72: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/72.jpg)
Parâmetros extrínsecos
• Frame de câmera permite escrever equações de projeção perspectiva de uma forma simples, mas o sistema de câmera é geralmente desconhecido
• Determinar a localização e orientação do frame de câmera em relação a algum frame de referência, usando apenas informação da imagem.
![Page 73: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/73.jpg)
Parâmetros extrínsecos
• Qualquer conjunto de parâmetros que permitem identificar unicamente a transformação entre o frame desconhecido de câmera e um frame conhecido, normalmente denominado frame de mundo.
![Page 74: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/74.jpg)
Descrevendo a transformação
• Vetor 3D de translação, T, que descreve as posições relativas das origens dos dois frames
• Uma matriz 3x3, de rotação, R, a princípio ortogonal (RtR=RRt), desejado ortonormal, que traz os eixos correspondentes dos dois frames um no outro
• Ortogonalidade reduz o número de graus de liberdade para 3
![Page 75: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/75.jpg)
Notação• A relação entre as coordenadas de um ponto P em frame
de mundo (Pw) e câmera (Pc) é dada por: Pc=R(Pw-T)
r11 r12 r13
R = r21 r22 r23
r31 r32 r33
t1
T = t2
t3
![Page 76: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/76.jpg)
Parâmetros extrínsecos - resumo
• T = vetor de translação
• R = matriz de rotação (ou os seus parâmetros livres)
• Especificam a transformação entre o frame de câmera e o frame de mundo
![Page 77: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/77.jpg)
Calibração de câmera
• Estimar os valores dos parâmetros intrínsecos e extrínsecos
• Vários métodos, incluindo distorção, etc.
![Page 78: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/78.jpg)
Calculando o raio refletido
![Page 79: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/79.jpg)
Trabalhos para o final de semana prolongado
• 1) Trazer o gráfico das principais funções vistas e suas transformadas de Fourier (em papel)
• 2) Verificar o erro das câmeras adquiridas:– a) Calcular a média, o desvio padrão e a
variância, para 20 amostragens (3 bandas e média das 3);
– b) Escolher uma determinada linha da imagem e plotar um gráfico mostrando, para cada pixel, duas curvas: média mais desvio padrão; média menos desvio padrão (3 bandas e média das 3).
![Page 80: Formação de Imagem - Sampling lmarcos/courses/visao](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc111497959413d8c6043/html5/thumbnails/80.jpg)
Continuação dos trabalhos
– c) Indique outros dados da imagem (nível de cinza mínimopara cada cor, nível máximo para cada cor, mostre 5 imagens das 20 adquiridas, taxa de amostragem máxima, etc).
• 3) Auto-covariância:– a) Calcular a covariância para as 25 imagens
amostradas pelas câmeras, numa área de 32x32 pixels, centrada no centro das imagens;
– b) Plotar o gráfico da média da covariância (bidimensional)