visualiza˘c~ao de imagem volum etricaafalcao/mo815-3dvis/slides-aula3.pdf · por alterar o...
TRANSCRIPT
Visualizacao de Imagem Volumetrica
Alexandre Xavier Falcao
Instituto de Computacao - UNICAMP
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
Introducao
A visualizacao tem por objetivo facilitar o entendimento doconteudo da imagem.
Uma tarefa inicial, normalmente necessaria, e o ajuste debrilho e contraste das fatias por transformacoesradiometricas.
O uso de cor tambem e util em diversas situacoes, pois osistema ocular humano percebe cerca de 7 milhoes de cores eapenas 30 tons de cinza.
Esta aula, portanto, aborda os conhecimentos basicos paraajuste de brilho e contraste, e coloracao de imagemvolumetrica.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
Introducao
A visualizacao tem por objetivo facilitar o entendimento doconteudo da imagem.
Uma tarefa inicial, normalmente necessaria, e o ajuste debrilho e contraste das fatias por transformacoesradiometricas.
O uso de cor tambem e util em diversas situacoes, pois osistema ocular humano percebe cerca de 7 milhoes de cores eapenas 30 tons de cinza.
Esta aula, portanto, aborda os conhecimentos basicos paraajuste de brilho e contraste, e coloracao de imagemvolumetrica.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
Introducao
A visualizacao tem por objetivo facilitar o entendimento doconteudo da imagem.
Uma tarefa inicial, normalmente necessaria, e o ajuste debrilho e contraste das fatias por transformacoesradiometricas.
O uso de cor tambem e util em diversas situacoes, pois osistema ocular humano percebe cerca de 7 milhoes de cores eapenas 30 tons de cinza.
Esta aula, portanto, aborda os conhecimentos basicos paraajuste de brilho e contraste, e coloracao de imagemvolumetrica.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
Introducao
A visualizacao tem por objetivo facilitar o entendimento doconteudo da imagem.
Uma tarefa inicial, normalmente necessaria, e o ajuste debrilho e contraste das fatias por transformacoesradiometricas.
O uso de cor tambem e util em diversas situacoes, pois osistema ocular humano percebe cerca de 7 milhoes de cores eapenas 30 tons de cinza.
Esta aula, portanto, aborda os conhecimentos basicos paraajuste de brilho e contraste, e coloracao de imagemvolumetrica.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
Transformacao Radiometrica
Uma transformacao radiometrica e um mapeamento Taplicado as intensidades dos voxels de uma imagem deentrada I = (DI , I ).
Isto e, seja l = I (p) ∈ [lmin, lmax] e T (l) : k ∈ [kmin, kmax],entao T aplicada ao brilho de todos os voxels p ∈ DI gera aimagem de saıda J = (DI , J), onde J(p) = k.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
Transformacao Radiometrica
Uma transformacao radiometrica e um mapeamento Taplicado as intensidades dos voxels de uma imagem deentrada I = (DI , I ).
Isto e, seja l = I (p) ∈ [lmin, lmax] e T (l) : k ∈ [kmin, kmax],entao T aplicada ao brilho de todos os voxels p ∈ DI gera aimagem de saıda J = (DI , J), onde J(p) = k.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
Transformacao Radiometrica
Por alterar o intervalo de tons de cinza da imagem de entrada, atransformacao radiometrica altera a distribuicao desses tons decinza, denominada histograma.
O histograma normalizado de I e definido por
h(l) =1
|DI |∑∀p∈DI
δ(l − I (p)),
onde δ(l) = 1, se l = 0, e δ(l) = 0, se l 6= 0.
Imagens escuras (claras) e sem contraste apresentam maiorconcentracao de voxels com valores baixos (altos).
A transformacao radiometrica pode distribuir melhor os tonsde cinza e este efeito fica evidente no histograma da imagemde saıda.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
Transformacao Radiometrica
Por alterar o intervalo de tons de cinza da imagem de entrada, atransformacao radiometrica altera a distribuicao desses tons decinza, denominada histograma.
O histograma normalizado de I e definido por
h(l) =1
|DI |∑∀p∈DI
δ(l − I (p)),
onde δ(l) = 1, se l = 0, e δ(l) = 0, se l 6= 0.
Imagens escuras (claras) e sem contraste apresentam maiorconcentracao de voxels com valores baixos (altos).
A transformacao radiometrica pode distribuir melhor os tonsde cinza e este efeito fica evidente no histograma da imagemde saıda.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
Transformacao Radiometrica
Por alterar o intervalo de tons de cinza da imagem de entrada, atransformacao radiometrica altera a distribuicao desses tons decinza, denominada histograma.
O histograma normalizado de I e definido por
h(l) =1
|DI |∑∀p∈DI
δ(l − I (p)),
onde δ(l) = 1, se l = 0, e δ(l) = 0, se l 6= 0.
Imagens escuras (claras) e sem contraste apresentam maiorconcentracao de voxels com valores baixos (altos).
A transformacao radiometrica pode distribuir melhor os tonsde cinza e este efeito fica evidente no histograma da imagemde saıda.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
Transformacao Radiometrica
Por alterar o intervalo de tons de cinza da imagem de entrada, atransformacao radiometrica altera a distribuicao desses tons decinza, denominada histograma.
O histograma normalizado de I e definido por
h(l) =1
|DI |∑∀p∈DI
δ(l − I (p)),
onde δ(l) = 1, se l = 0, e δ(l) = 0, se l 6= 0.
Imagens escuras (claras) e sem contraste apresentam maiorconcentracao de voxels com valores baixos (altos).
A transformacao radiometrica pode distribuir melhor os tonsde cinza e este efeito fica evidente no histograma da imagemde saıda.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
Transformacao Linear
Sejam [l1, l2], l1 ≤ l2, e [k1, k2] dois intervalos de cinza no conjuntode valores de I e J. A transformacao linear (stretching) e dada por:
k =
k1, se l < l1,
(k2−k1)(l2−l1) (l − l1) + k1, se l1 ≤ l < l2,
k2, se l ≥ l2.
Normalizacao em [0,H] (e.g., H = 2b − 1, para imagem comb bits): k2 = H, k1 = 0, l1 = lmin, e l2 = lmax, onde lmin e lmax
sao os valores mınimo e maximo de I .
Negativo: k2 = lmin, k1 = lmax, l1 = lmin, e l2 = lmax.
Largura & Nıvel (width & level): k2 = H, k1 = 0, e l1 < l2,onde o nıvel l1+l2
2 altera o brilho e a largura l2 − l1 altera ocontraste.
Limiarizacao (thresholding): k2 = H, k1 = 0 e l1 = l2.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
Transformacao Linear
Sejam [l1, l2], l1 ≤ l2, e [k1, k2] dois intervalos de cinza no conjuntode valores de I e J. A transformacao linear (stretching) e dada por:
k =
k1, se l < l1,
(k2−k1)(l2−l1) (l − l1) + k1, se l1 ≤ l < l2,
k2, se l ≥ l2.
Normalizacao em [0,H] (e.g., H = 2b − 1, para imagem comb bits): k2 = H, k1 = 0, l1 = lmin, e l2 = lmax, onde lmin e lmax
sao os valores mınimo e maximo de I .
Negativo: k2 = lmin, k1 = lmax, l1 = lmin, e l2 = lmax.
Largura & Nıvel (width & level): k2 = H, k1 = 0, e l1 < l2,onde o nıvel l1+l2
2 altera o brilho e a largura l2 − l1 altera ocontraste.
Limiarizacao (thresholding): k2 = H, k1 = 0 e l1 = l2.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
Transformacao Linear
Sejam [l1, l2], l1 ≤ l2, e [k1, k2] dois intervalos de cinza no conjuntode valores de I e J. A transformacao linear (stretching) e dada por:
k =
k1, se l < l1,
(k2−k1)(l2−l1) (l − l1) + k1, se l1 ≤ l < l2,
k2, se l ≥ l2.
Normalizacao em [0,H] (e.g., H = 2b − 1, para imagem comb bits): k2 = H, k1 = 0, l1 = lmin, e l2 = lmax, onde lmin e lmax
sao os valores mınimo e maximo de I .
Negativo: k2 = lmin, k1 = lmax, l1 = lmin, e l2 = lmax.
Largura & Nıvel (width & level): k2 = H, k1 = 0, e l1 < l2,onde o nıvel l1+l2
2 altera o brilho e a largura l2 − l1 altera ocontraste.
Limiarizacao (thresholding): k2 = H, k1 = 0 e l1 = l2.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
Transformacao Linear
Sejam [l1, l2], l1 ≤ l2, e [k1, k2] dois intervalos de cinza no conjuntode valores de I e J. A transformacao linear (stretching) e dada por:
k =
k1, se l < l1,
(k2−k1)(l2−l1) (l − l1) + k1, se l1 ≤ l < l2,
k2, se l ≥ l2.
Normalizacao em [0,H] (e.g., H = 2b − 1, para imagem comb bits): k2 = H, k1 = 0, l1 = lmin, e l2 = lmax, onde lmin e lmax
sao os valores mınimo e maximo de I .
Negativo: k2 = lmin, k1 = lmax, l1 = lmin, e l2 = lmax.
Largura & Nıvel (width & level): k2 = H, k1 = 0, e l1 < l2,onde o nıvel l1+l2
2 altera o brilho e a largura l2 − l1 altera ocontraste.
Limiarizacao (thresholding): k2 = H, k1 = 0 e l1 = l2.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
Transformacao Linear
Sejam [l1, l2], l1 ≤ l2, e [k1, k2] dois intervalos de cinza no conjuntode valores de I e J. A transformacao linear (stretching) e dada por:
k =
k1, se l < l1,
(k2−k1)(l2−l1) (l − l1) + k1, se l1 ≤ l < l2,
k2, se l ≥ l2.
Normalizacao em [0,H] (e.g., H = 2b − 1, para imagem comb bits): k2 = H, k1 = 0, l1 = lmin, e l2 = lmax, onde lmin e lmax
sao os valores mınimo e maximo de I .
Negativo: k2 = lmin, k1 = lmax, l1 = lmin, e l2 = lmax.
Largura & Nıvel (width & level): k2 = H, k1 = 0, e l1 < l2,onde o nıvel l1+l2
2 altera o brilho e a largura l2 − l1 altera ocontraste.
Limiarizacao (thresholding): k2 = H, k1 = 0 e l1 = l2.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
Imagem escura com baixo contraste
(a) Carcinoma de mama em RM (b) Seu histograma
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
Apos transformacao linear
(a) Imagem transformada (b) Histogramas antes e depois
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
Imagem escura na pratica
A presenca de fluxo sanguıneo em RM acaba gerando uma imagemescura.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
Imagem escura na pratica
Esses poucos voxels mais claros podem ser detectados via ohistograma acumulado ha(l) =
∑lmaxl ′=lmin
h(l ′) — a areaabaixo da curva de h(l).
Para a imagem de mama:
Supondo que eles representam 2% dos voxels mais claros daimagem, por exemplo, basta definir l2 como o maior valor emque ha(l) < 0.98, l1 = lmin, k1 = 0, e k2 = H.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
Imagem escura na pratica
Esses poucos voxels mais claros podem ser detectados via ohistograma acumulado ha(l) =
∑lmaxl ′=lmin
h(l ′) — a areaabaixo da curva de h(l).Para a imagem de mama:
Supondo que eles representam 2% dos voxels mais claros daimagem, por exemplo, basta definir l2 como o maior valor emque ha(l) < 0.98, l1 = lmin, k1 = 0, e k2 = H.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
Imagem escura na pratica
Esses poucos voxels mais claros podem ser detectados via ohistograma acumulado ha(l) =
∑lmaxl ′=lmin
h(l ′) — a areaabaixo da curva de h(l).Para a imagem de mama:
Supondo que eles representam 2% dos voxels mais claros daimagem, por exemplo, basta definir l2 como o maior valor emque ha(l) < 0.98, l1 = lmin, k1 = 0, e k2 = H.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
Imagem escura na pratica
A outra opcao e ajustar interativamente a largura e o nıvel,normalmente especificados em [0%, 100%] de H.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
O uso de cor
A cor e o resultado da percepcao da luz (comprimento deonda de 0.4-0.7µm) que incide na retina em celulasfoto-receptoras, denominadas cones.
A maioria das cores visıveis pelo olho humano pode serrepresentada pela combinacao de luzes monocromaticas noscomprimentos de onda do azul, vermelho e verde.
A cor pode ainda ser decomposta em tres componentesindependentes, intensidade (sensacao de brilho), matiz(sensacao cor predominante), e saturacao (sensacao depureza da cor em relacao ao branco).
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
O uso de cor
A cor e o resultado da percepcao da luz (comprimento deonda de 0.4-0.7µm) que incide na retina em celulasfoto-receptoras, denominadas cones.
A maioria das cores visıveis pelo olho humano pode serrepresentada pela combinacao de luzes monocromaticas noscomprimentos de onda do azul, vermelho e verde.
A cor pode ainda ser decomposta em tres componentesindependentes, intensidade (sensacao de brilho), matiz(sensacao cor predominante), e saturacao (sensacao depureza da cor em relacao ao branco).
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
O uso de cor
A cor e o resultado da percepcao da luz (comprimento deonda de 0.4-0.7µm) que incide na retina em celulasfoto-receptoras, denominadas cones.
A maioria das cores visıveis pelo olho humano pode serrepresentada pela combinacao de luzes monocromaticas noscomprimentos de onda do azul, vermelho e verde.
A cor pode ainda ser decomposta em tres componentesindependentes, intensidade (sensacao de brilho), matiz(sensacao cor predominante), e saturacao (sensacao depureza da cor em relacao ao branco).
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
O uso de cor
Uma cor pode entao ser representada em diferentes espacosde cor: RGB, HSV, YCbCr, YCgCo, Lab, Luv, etc.
Considerando RGB e YCgCo, por exemplo, o segundo sendoum espaco de cores onde a intensidade e representada em Y ea matiz e a saturacao sao representadas em conjunto em Cg eCo.
Uma imagem colorida I e um par (DI , ~I ) onde~I (p) = (I1(p), I2(p), I3(p)) associa os valores dos trescomponentes de cor para cada voxel p ∈ DI .
Transformacoes radiometricas devem ser aplicadas apenas emY , para evitar distorcoes de cor.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
O uso de cor
Uma cor pode entao ser representada em diferentes espacosde cor: RGB, HSV, YCbCr, YCgCo, Lab, Luv, etc.
Considerando RGB e YCgCo, por exemplo, o segundo sendoum espaco de cores onde a intensidade e representada em Y ea matiz e a saturacao sao representadas em conjunto em Cg eCo.
Uma imagem colorida I e um par (DI , ~I ) onde~I (p) = (I1(p), I2(p), I3(p)) associa os valores dos trescomponentes de cor para cada voxel p ∈ DI .
Transformacoes radiometricas devem ser aplicadas apenas emY , para evitar distorcoes de cor.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
O uso de cor
Uma cor pode entao ser representada em diferentes espacosde cor: RGB, HSV, YCbCr, YCgCo, Lab, Luv, etc.
Considerando RGB e YCgCo, por exemplo, o segundo sendoum espaco de cores onde a intensidade e representada em Y ea matiz e a saturacao sao representadas em conjunto em Cg eCo.
Uma imagem colorida I e um par (DI , ~I ) onde~I (p) = (I1(p), I2(p), I3(p)) associa os valores dos trescomponentes de cor para cada voxel p ∈ DI .
Transformacoes radiometricas devem ser aplicadas apenas emY , para evitar distorcoes de cor.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
O uso de cor
Uma cor pode entao ser representada em diferentes espacosde cor: RGB, HSV, YCbCr, YCgCo, Lab, Luv, etc.
Considerando RGB e YCgCo, por exemplo, o segundo sendoum espaco de cores onde a intensidade e representada em Y ea matiz e a saturacao sao representadas em conjunto em Cg eCo.
Uma imagem colorida I e um par (DI , ~I ) onde~I (p) = (I1(p), I2(p), I3(p)) associa os valores dos trescomponentes de cor para cada voxel p ∈ DI .
Transformacoes radiometricas devem ser aplicadas apenas emY , para evitar distorcoes de cor.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
O uso de cor
Entao, ajustes de brilho e contraste de uma imagem RGB, com bbits por canal (H = 2b − 1), podem ser feitos com uma conversaode RGB para YCgCo, transformacao radiometrica em Y, econversao de YCgCo para RGB.
Y (p)Cg(p)Co(p)
1
=
0.25 0.50 0.25 0.0
−0.25 0.50 −0.25 H2
0.50 0.00 −0.50 H2
0.00 0.00 0.00 1.00
R(p)G (p)B(p)
1
R(p)G (p)B(p)
1
=
1.00 −1.00 1.00 0.00
1.00 1.00 0.00 −H2
1.00 −1.00 −1.00 H0.00 0.00 0.00 1.00
Y (p)Cg(p)Co(p)
1
para todo p ∈ DI .
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
O uso de cor
Podemos, portanto, associar cores a uma imagem volumetricausando sua intensidade como ındice de uma tabela de cores RGB(e.g. a rainbow color table).
De azul a vermelho temos:
V ← I (p)
HV ← (6− 2)V + 1
R(p) ← H max{0, (3− |V − 4| − |V − 5|)/2)}G (p) ← H max{0, (4− |V − 2| − |V − 4|)/2)}B(p) ← H max{0, (3− |V − 1| − |V − 2|)/2)}
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
O uso de cor
Podemos, portanto, associar cores a uma imagem volumetricausando sua intensidade como ındice de uma tabela de cores RGB(e.g. a rainbow color table).
De azul a vermelho temos:
V ← I (p)
HV ← (6− 2)V + 1
R(p) ← H max{0, (3− |V − 4| − |V − 5|)/2)}G (p) ← H max{0, (4− |V − 2| − |V − 4|)/2)}B(p) ← H max{0, (3− |V − 1| − |V − 2|)/2)}
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
O uso de cor
Podemos ainda criar uma tabela de cor com cores aleatorias,se gerarmos aleatoriamente valores V ∈ [0, 1].
Se a imagem I = (DI , I ) for uma imagem de rotulos,I (p) ∈ {0, 1, . . . , c}, p ∈ DI , para c objetos onde 0 e o rotulode fundo, podemos usar esta tabela para colorir os objetos.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
O uso de cor
Podemos ainda criar uma tabela de cor com cores aleatorias,se gerarmos aleatoriamente valores V ∈ [0, 1].
Se a imagem I = (DI , I ) for uma imagem de rotulos,I (p) ∈ {0, 1, . . . , c}, p ∈ DI , para c objetos onde 0 e o rotulode fundo, podemos usar esta tabela para colorir os objetos.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
O uso de cor
Podemos tambem sobrepor as cores dos objetos nas imagens dasfatias com sensacao de transparencia.
Basta converter a cor do objeto para YCgCo, associar Cg e Co aimagem no espaco YCgCo, onde Y = I (p), e converte-la paraRGB.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
Uso de cor
Por fim, podemos combinar duas imagens que estao no mesmoespaco de coordenadas associando uma ao canal R, outra ao G, e amedia entre elas ao B.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica
Tarefa
Escreva funcoes em C para ajuste de brilho e contraste, usandolargura e nıvel em [0%, 100%], e composicao de imagem coloridacom sensacao de transparencia dos objetos de uma imagem derotulos. Avalie os resultados nas imagens de cortes axial, coronal esagital da tarefa anterior.
Alexandre Xavier Falcao MO815B/MC871A - Visualizacao de Imagem Volumetrica