visão computacional - notícias [engenharia eletrica - ufpr] · performance de um sistema de...
TRANSCRIPT
Visão Computacional
Alessandro L. Koerich
Programa de Pós-Graduação em Engenharia ElétricaUniversidade Federal do Paraná (UFPR)
Câmeras para Visão Computacional
Hardware para Visão Computacional 2010 [email protected]
Agenda
• Tipos de Câmeras• Câmeras• Lentes• Interfaces• Iluminação• Software
Hardware para Visão Computacional 2010 [email protected]
Tipos de Câmeras
• Quanto ao tipo de sensor:– CCD– CMOS– Microbolometro– InGaAs
• Quanto ao tipo de sinal:– Analógico– Digital
• Quanto a interface:– Analógica (RS-170, NTSC, etc.)– Digital (USB, Firewire, GigE, Camera Link)
Hardware para Visão Computacional 2010 [email protected]
Tipos de Câmeras
• Quanto a cor:– Monocromática (níveis de cinza)– Colorida (1 sensor)– Colorida (3 sensores)– Outros
• Quanto ao formato do sensor:– Area Scan– Line Scan
• Quanto ao tipo de varredura:– Progressive Scan– Interlaced Scan
Hardware para Visão Computacional 2010 [email protected]
Tipos de Câmeras
• Quanto ao espectro:– Raio-X– UV– Visível– Near-IR– IR– Termal
Hardware para Visão Computacional 2010 [email protected]
Tipos de Câmeras
• Curva típica de sensibilidade:
Hardware para Visão Computacional 2010 [email protected]
Tipos de Câmeras
• Curva típica de sensibilidade:
Hardware para Visão Computacional 2010 [email protected]
Tipos de Câmeras
• Curva típica de sensibilidade:
Hardware para Visão Computacional 2010 [email protected]
Tipos de Câmeras
• Curva típica de sensibilidade:
Hardware para Visão Computacional 2010 [email protected]
Eletrônica
• O sensor bem como outros componentes eletrônicos têm um papel importante na performance de um sistema de visão computacional.
Hardware para Visão Computacional 2010 [email protected]
Charge-Coupled Devices (CCDs)
• São os sensores mais utilizados em aplicações de visão computacional.
• A câmera CCD contém um chip de silício que consiste de uma matriz de elementos sensíveis a luz, chamados pixels.
• Adicionalmente, CCDs têm uma faixa dinâmica impressionante e levam a uma relação altamente linear entre a energia de entrada e o sinal de saída, tornando-os ideais para metrologia.
Hardware para Visão Computacional 2010 [email protected]
Pixels CCD
• Quando a luz atinge um chip CCD, ela é coletada por uma matriz de pequenos elementos chamados pixels CCD.
• A imagem é dividida nestes pequenos pixels CCD discretos. A informação destes elementos é coletada, organizada e transferida para um computador ou monitor.
.
Hardware para Visão Computacional 2010 [email protected]
Pixels CCD
• Pixels assimétricos levam a uma resolução horizontal maior do que a vertical.
• Câmeras CCD analógicas geralmente possuem a mesma resolução vertical. Por esta razão, o padrão da indústria é especificar resolução em termos da resolução horizontal.
• Câmeras digitais não são limitadas pela largura de banda vertical e podem ter pixels quadrados ou retangulares.
Hardware para Visão Computacional 2010 [email protected]
Dimensão do Sensor
• O tamanho da área ativa do sensor é importante na determinação do campo de visão.
• Dada uma ampliação primária fixa (devido as lentes), sensores maiores levam a campos de visão maiores. Existem vários tamanhos de CCDs:
Hardware para Visão Computacional 2010 [email protected]
Câmeras CCD
• A melhoria da tecnologia de sensores CMOS traz uma performance próxima dos sensores CCD. Permite alta resolução e alta velocidade sem aumento na dissipação de potência.
Hardware para Visão Computacional 2010 [email protected]
Comparativo CCD x CMOS
Hardware para Visão Computacional 2010 [email protected]
Comparativo CCD x CMOS
Hardware para Visão Computacional 2010 [email protected]
Formatos Analógicos
• Padrões analógicos incluem:– Composto (NTSC/PAL, EIA/CCIR),– Y-C (S-Video),– RGB.
• Destes, os sinais NTSC (PAL/RS-170A/Color) e EIA (CCIR/RS-170/Monochrome) são os mais comuns e acomodam a maioria das aplicações.
• Sinais Y-C e RGB fornecem imagem de qualidade superior separando a informação de cor em canais discretos.
• Câmeras analógicas devem ser conectadas em hardware de aquisição para captura de imagens.
Hardware para Visão Computacional 2010 [email protected]
Formatos Digitais
• Os formatos digitais:– CameraLink™– IEEE-1394 (Firewire).– GigE– Outros formatos incluem RS-422 e RS-644.
• Câmeras digitais necessitam de um computador para mostrar as imagens em um dispositivo de saída.
Hardware para Visão Computacional 2010 [email protected]
Câmeras Analógicas X Digitais
• O chip CCD é um componente analógico significando que “valores” de pixel são coletados por meio de amostragem (entrelaçada ou progressiva).
• O processador de sinal e codificador converte esta informação em sinal analógico.
• Em câmeras digitais, digitalização ocorre a medida que o sinal é coletado pelo chip. Uma vez digitalizado, processamento e melhoramento de imagem podem ser feitos com poucas perdas ao sinal.
Hardware para Visão Computacional 2010 [email protected]
Digital vs. Analógico
Digital1. Variedade de sensores para alta
velocidade ou alta resolução
2. Computador necessário para mostrar o sinal
3. Placa de captura necessária para saída CL
4. Saída Progressive Scan
5. Pouca perda de sinal no processamento
Analógica1. Tipicamente baixa resolução;
saída a 30qps
2. Computador / placa de captura pode ser usada para digitalização
3. Suscetível a ruído/ interferências que causam perda do sinal
4. Saída geralmente entrelaçada
5. Sinal formato NTSC / EIA
Hardware para Visão Computacional 2010 [email protected]
Câmeras Digitais vs. AnalógicasDigital
1. Geralmente câmeras maiores
2. A resolução vertical não é limitada, portanto, câmeras digitais podem ter maior resolução.
3. Sem limitação de banda, oferecem um número maior de pixels e sensores CCDs maiores, resultando em resolução maior.
4. Computador e placa de captura necessários para mostrar o sinal.
5. O sinal pode ser comprimido e transmitido sem perdas.
6. Têm geralmente pixels quadrados para resolução horizontal e vertical idênticas.
7. O sinal de saída é digital, portanto pouca perda de sinal ocorre durante o processamento do sinal.
Analógica
1. Tamanho geralmente menor.
2. Resolução vertical é limitada pela largura de banda do sinal analógico.
3. Sensores são geralmente de tamanho padrão.
4. Computadores / placas de captura podem ser usadas para digitalização mas não são necessárias para mostrar o sinal.
5. Impressão e gravação analógica pode ser facilmente incorporada ao sistema.
6. Geralmente têm pixels retangulares.
7. Sinais analógicos são susceptíveis a ruído e interferência que causam perdas no sinal.
Hardware para Visão Computacional 2010 [email protected]
Monocromático vs. Colorido
Monocromático
•Sensor único fornece imagens em nível de cinza• Resolução 10% mais alta do que câmeras coloridas de sensor único • Melhor relação sinal/ruído; contraste superior• Sensibilidade a baixa iluminação aumentada.• Ideal para aplicações de medição
Colorido (1 Sensor)
• Usa filtro de cor Bayer RGB (Tipicamente) • Baixo custo• Resolução inferior (mais pixels necessários para reconhecer cor)• Cabeamento padrão• Facilmente integrada a sistemas.
Colorido (3 Sensores)
• Utiliza um prisma para dividir luz branca em três diferentes sensores• Mais caro• Melhor resolução de cor• Sensibilidade mais baixa• Escolha de lentes menor.
Hardware para Visão Computacional 2010 [email protected]
Câmeras CCD Coloridas
• O chip CCD é baseado em um efeito fotoelétrico e como resultado, não pode distinguir entre cores.
• Existem dois tipos de câmeras CCD coloridas: – chip único.– três chips (R, G, B).
Hardware para Visão Computacional 2010 [email protected]
Câmeras CCD Coloridas
Hardware para Visão Computacional 2010 [email protected]
Câmeras CCD Coloridas
Hardware para Visão Computacional 2010 [email protected]
Número de Pixels
• Câmera digital CCD que tem 1392H x 1040V pixels em um sensor 6.5H x 4.4V (mm).
• Uma interpretação simples desta especificação é imaginar o campo de visão sendo dividido em 1392 x 1040 partes.
• O detalhe mínimo identificável são 2 destas partes.
• Não leva em conta a performance das lentes.
Hardware para Visão Computacional 2010 [email protected]
Linhas de TV
• Em CCDs analógicos, a especificação “Linhas de TV” é geralmente usada para avaliar resolução.
• A especificação “Linhas de TV", ou "TVL" é uma unidade de resolução baseada em uma barra alvo com linhas igualmente espaçadas.
• Se o alvo é estendido de modo que ele cubra o campo de visão, o número de linhas de TV é calculado somando todas as linhas resultantes e espaços.
• Existem também um fator de normalização usado no calculo do valor da Linhas de TV horizontal baseado na razão de aspecto 4:3 dos chips.
Hardware para Visão Computacional 2010 [email protected]
Profundidade do Pixel
• Geralmente referido como escala de cinzas ou faixa dinâmica de uma câmera CCD, representa o número de níveis de cinza na imagem.
• Está ligada a uma quantidade mínima de contraste detectável por um sensor CCD.
• Várias câmeras fornecem 8 bits (256 níveis de cinza). Outros modelos operam em 10 bits (1024 níveis de cinza).
Hardware para Visão Computacional 2010 [email protected]
Relação Sinal Ruído (SNR)
• A relação sinal ruído (SNR) está diretamente ligada a faixa dinâmica da câmera.
• Altas SNRs levam um alto número de passos na escala de cinzas (alto contraste) mostrados pela câmera. Em sistemas analógicos a SNR é expressa em dB e em bits em sistemas digitais.
• Em geral, 6dB de SNR analógico é convertido para 1-bit quando digitalizado. Para câmeras digitais ou analógicas, X bits corresponde a 2X níveis de cinza (i.e. câmeras de 8 bits têm 28 ou 256 níveis de cinza).
• Existem duas fontes de ruídos em CCDs: imperfeições no chip que resultam em crosstalk e ruído térmico.
Hardware para Visão Computacional 2010 [email protected]
Sinal de Saída do CCD
• Existem poucos formatos para sinais de vídeo analógico.
• Nos Estados Unidos a Electronic Industries Association (EIA) definiu o sinal monocromático como RS-170. A versão em cores, definida como RS-170A, é mais conhecido por NTSC, que denota National Television Standards Committee.
• Tanto RS-170 quanto NTSC são sinais compostos que significa que toda informação de cor e intensidade é combinado em um único sinal.
Hardware para Visão Computacional 2010 [email protected]
Saída do Sinal CCD
• Existem sinais componentes (Y-C e RGB) que separam crominância (cor) da luminância (intensidade da cor). CCIR é o padrão Europeu para monocromático enquanto PAL e SECAM são os padrões Europeus para cor.
• Câmeras digitais CCD ganham popularidade pois, ruído de transmissão, distorção ou outras degradações do sinal não afetam a informação sendo transmitida.
• Como o sinal de saída é digital, há pouca perda de informação na transmissão.
Hardware para Visão Computacional 2010 [email protected]
Ganho
• Os ajustes de ganho controlam a amplificação do sinal vindo do chip CCD.
• Deve ser observado que o sinal completo é amplificado, incluindo qualquer ruído de fundo associado.
• A maioria das câmera possuem um controle automático de ganho (autogain ou AGC) e algumas não permitem que o usuário desligue-o e faça o ajuste manual.
Hardware para Visão Computacional 2010 [email protected]
Gama
• O controle gama controla o nível de cinzas reproduzido na imagem. Uma imagem com gama unitário indica que o CCD está reproduzindo precisamente os níveis de cinza do objeto (resposta linear).
• Gama muito maior do que a unidade resulta em imagens com silhuetas, em branco e preto. Gama muito menor do que a unidade gera uma imagem ligeiramente cinza.
• Gama pode ser considerado com a habilidade de esticar um lado (ou o branco quanto o preto) da faixa dinâmica do pixel.
Hardware para Visão Computacional 2010 [email protected]
Captura da Imagem
• Os principais parâmetros que influenciam a captura de uma imagem de uma cena ou objeto:– Objeto em movimento– Superfície do objeto– Iluminação do objeto– Tamanho do objeto– Distância do objeto
Hardware para Visão Computacional 2010 [email protected]
Formatos de Câmera Digital
• Area Scan– Relações típicas (H:V)
• 1:1 – 1024x1024, 2048x2048 • 4:3 – 640x480, 1024x768, 1290x960, 1360x1024, 1600x1200• 16:9 – 1920x1080
– Sensores maiores– Aplicações de alta velocidade – Tempos de disparo (shutter) mais rápidos– Custo inferior a Line Scan– Ampla gama de aplicações– Fácil de ajustar
Hardware para Visão Computacional 2010 [email protected]
Formatos de Câmera Digital
• Line Scan– O sensor é linear e de grandes dimensões– Aplicações de alta velocidade– Constrói a imagem, linha a linha– Objetos em movimento na frente do sensor– Ideal para capturar objetos largos– Alinhamento e sincronismo especial– Integração complexa / iluminação simples.
Hardware para Visão Computacional 2010 [email protected]
Formatos de Câmera Digital
• Interlaced Scan– Sensores convencionais utilizam varredura
entrelaçada– Chip é dividido em dois campos (pares e
ímpares) – Varre as linhas ímpares (1,3,5…) e então as
pares (2,4,6…) – Estes campos são então integrados para produzir
um quadro completo– Ideal para aplicações de média/baixa velocidade– Borramento pode ocorrer em altas velocidades.– Por exemplo, a uma taxa de quadros de 30 qps,
cada campo leva 1/60 de segundo para ser lido.
Hardware para Visão Computacional 2010 [email protected]
Formatos de Câmera Digital
• Progressive Scan– Varre sequencialmente (1,2,3,4…) – Todos os dados da imagem são gravados em uma
única exposição– Ideal para aplicações de alta velocidade– Mais cara– A saída da varredura progressiva não é padronizada,
portanto a escolha de hardware deve ser cuidadosa.
Hardware para Visão Computacional 2010 [email protected]
Entrelaçado X Varredura Progressiva
• Para a maioria das aplicações, varredura entrelaçada não causa problemas.
• Problemas podem aparecer em aplicações de alta velocidade pois no momento em que o segundo campo é varrido, o objeto já se moveu.
• Isto causa fantasmas ou borrões na imagem resultante.
Hardware para Visão Computacional 2010 [email protected]
Objetos em Movimento
Objetos duplicados
Interlaced Scan
Progressive Scan
Hardware para Visão Computacional 2010 [email protected]
Taxa de Quadros X Velocidade do Shutter
• Shutter = Obturador: dispositivo de uma câmera que regula o tempo de exposição (Exposure).
• A taxa de quadros indica o número de quadros completos (que pode consistir de dois campos) compostos em um segundo.
• Em aplicações de alta velocidade, pode ser benéfico escolher uma taxa de quadros mais rápida para capturar mais "imagens" do objeto enquanto ele se move.
Hardware para Visão Computacional 2010 [email protected]
Taxa de Quadros X Velocidade do Shutter
• A velocidade do shutter corresponde ao “tempo de exposição” do chip CCD.
• O tempo de exposição controla a quantidade de luz incidente no chip.
• Super-exposição pode ser controlada pelo decréscimo da iluminação ou ganho da câmera, ou aumentando a velocidade do shutter.
Hardware para Visão Computacional 2010 [email protected]
Taxa de Quadros X Velocidade do Shutter
Hardware para Visão Computacional 2010 [email protected]
Resolução e Contraste do CCD
• A resolução de uma câmera CCD pode ser especificada de diferentes maneiras:– Número de pixels– Linhas de TV– Função Modulação da Transferência (FMT)
Hardware para Visão Computacional 2010 [email protected]
Representação da Imagem
• As imagens são representadas por uma matriz com o nível de cor dos pixels
Hardware para Visão Computacional 2010 [email protected]
Parâmetros Fundamentais
• Um sistema de visão deve criar uma imagem com qualidade o suficiente para permitir a extração das informações desejadas.
• Note que o conceito “qualidade da imagem” varia de aplicação para aplicação.
Hardware para Visão Computacional 2010 [email protected]
Parâmetros Fundamentais
• Existe uma variedade de fatores que contribuem para a qualidade da imagem:– Resolução– Contraste– Profundidade de campo– Erros de perspectiva– Erros geométricos (distorção).
Hardware para Visão Computacional 2010 [email protected]
Parâmetros Fundamentais
Campo de Visão (FOV): A área visível do objeto sendo inspecionado. Porção do objeto que preenche o sensor da câmera.
Distância de trabalho (WD): a distância entre a frente das lentes e o objeto sendo inspecionado.
Resolução: O tamanho mínimo dos detalhes do objeto que podem ser distinguidos pelo sistema de imagem.
Profundidade do Campo (DOF): A máxima profundidade do objeto que pode ser mantida inteiramente em foco. É também a quantidade do objeto que pode ser movimentada mantendo-se uma quantidade de foco desejada.
Tamanho do Sensor: Tamanho da área ativa do sensor da câmera geralmente especificada na dimensão horizontal. Este parâmetro é importante na determinação da ampliação da lente necessária para obter um campo de visão desejado. A ampliação primária (PMAG) das lentes é definida como a razão entre o tamanho do sensor e o campo de visão.
Hardware para Visão Computacional 2010 [email protected]
Parâmetros Fundamentais
A fórmula a seguir calcula a ampliação primária: PMAG = Tamanho do Sensor (mm) / Campo de Visão (mm).
A ampliação primária das lentes (PMAG) é definida como a razão entre o tamanho do sensor e o campo de visão.
Hardware para Visão Computacional 2010 [email protected]
Parâmetros Fundamentais
• Apesar de resolução e contraste de uma imagem poderem ser definidas individualmente, eles estão relacionados.
• Para determinar esta relação, é importante estudá-los primeiramente como elementos independentes.
Hardware para Visão Computacional 2010 [email protected]
Resolução e Contraste
Resolução é a quantidade de detalhes do objeto reproduzida pelo sistema de imagem.
Dois pixels da câmera CCD são necessários para cada par de linhas de resolução.
Resolução é uma medida da habilidade do sistema de imagem reproduzir detalhes de objetos. Uma imagem de baixa resolução é geralmente borrada e pobre em detalhes. A figura acima ilustra uma vista simplificada de dois quadrados reproduzidos sobre pixel da câmera CCD.
Hardware para Visão Computacional 2010 [email protected]
Profundidade do Campo
• A profundidade do campo (DOF) de uma lente é sua habilidade de manter uma imagem de qualidade desejada a medida que o objeto é posicionado mais próximo e mais longe do melhor foco.
• DOF também se aplica a objetos com profundidade, visto que lentes com alto DOF podem capturar o objeto inteiro claramente.
• A medida que o objeto é colocado mais perto ou mais longe da distância de trabalho, ele fica fora de foco e tanto a resolução quanto o contraste sofrem.
Hardware para Visão Computacional 2010 [email protected]
Distorção
• Distorção é um erro ótico (aberração) causado pelas lentes e que resulta em ampliações diferentes entre diferentes pontos da imagem
• Os pontos do objeto são mal posicionados na imagem em relação ao centro do campo.
Hardware para Visão Computacional 2010 [email protected]
Distorção
A distorção percentual é calculada pela seguinte fórmula:
% = (AD - PD / PD) x 100
onde: AD = Distância atualPD = Distância Predita
Hardware para Visão Computacional 2010 [email protected]
Erros de Perspectiva
• Erros de perspectiva, também chamado de paralaxe, faz parte da experiência humana diária.
• De fato, paralaxe é o que permite o cérebro interpretar o mundo 3-D.
• Esperamos que objetos mais próximos pareçam relativamente maiores que aqueles posicionados mais distantes.
Hardware para Visão Computacional 2010 [email protected]
Erros de Perspectiva
Hardware para Visão Computacional 2010 [email protected]
Exemplos de Câmeras Digitais
Hardware para Visão Computacional 2010 [email protected]
Exemplos de Câmeras Digitais
Hardware para Visão Computacional 2010 [email protected]
Câmeras Inteligentes
• Integram software e hardware para tratamento da imagem dentro da própria câmera.
• SmartCams
Computador
Câmera
Placa de Captura
Software
Hardware para Visão Computacional 2010 [email protected]
Câmeras Inteligentes
• Sensor CCD, processador, frame grabber, interface serial/ethernet/usb, entrada para triggers de alta velocidade, I/O para CLPs, memória RAM e cartões de memória SD.
Hardware para Visão Computacional 2010 [email protected]
Câmeras Inteligentes