synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia
TRANSCRIPT
Cele, teza i przegląd rozprawy doktorskiej
Krzysztof WegnerPolitechnika Poznańska
Tło tematyczne rozprawy
Rejestracja Obrazu Wielowidokowego
Estymacja Głębi Synteza Obrazu
Obraz wielowidokowy
Koder Wielowidokowy
Mapy głębi
Dekoder Wielowidokowy
Mapy głębi
Obraz wielowidokowy
Strumień bitowy
Transmisja Obrazy Wielowidokowego wraz z Mapami Głębi
Widok Wirtualny
Żądana pozycja
Swobodna nawigacja
Obszar tematyczny rozprawy
Rejestracja Obrazu Wielowidokowego
Estymacja Głębi Synteza Obrazu
Obraz wielowidokowy
Koder Wielowidokowy
Mapy głębi
Dekoder Wielowidokowy
Mapy głębi
Obraz wielowidokowy
Strumień bitowy
Transmisja Obrazy Wielowidokowego wraz z Mapami Głębi
Widok Wirtualny
Żądana pozycja
Swobodna nawigacja
Metodologia
View Synthesis Reference Software
Koder MVC Dekoder MVC
Mapy głębi
Obraz wielowidokowy
Dwa strumienie bitowe
Transmisja Obrazu Wielowidokowego wraz z Mapami Głębi
Widok Wirtualny
Żądana pozycja
Ocena SubiektywnaUznany zbiór sekwencji wielowidokowych
Koder MVC Dekoder MVC
Poznan Street Poznan Hall 2
Undo DancerGhost Town Fly
Balloons Newspaper
Kendo Lovebird
Mapy głębi
Obraz wielowidokowy
PSNR
BD-Rate
PSNRWidok WirtualnyObraz z kamery
Synteza Obrazu
Synteza widoku Synteza widoku
Łączenie obrazu
Wypełnianie dziur
Scena otoczona wielowidokowym systemem akwizycji
Żądana pozycja
Widok Wirtualny
Schemat blokowy procesu syntezy widoku wirtualnego
Synteza Obrazu - usprawnienia
Synteza widoku Synteza widoku
Łączenie obrazu
Wypełnianie dziur
• Redukcja liczby operacji arytmetycznych• Łączenie obrazu zgodnie z
wartością głębi• Redukcja zniekształceń na
krawędziach obiektów
Schemat blokowy procesu syntezy widoku wirtualnego
Synteza widoku Synteza widoku
Łączenie obrazu
Wypełnianie dziur
Redukcja liczby operacji arytmetycznych • Jedną z najkosztowniejszych operacji w procesie syntezy jest transformacja
położenia punku z przestrzeni widoku wejściowego do przestrzeni widoku wirtualnego
[𝑧𝑤 ∙𝑢𝑤
𝑧𝑤 ∙𝑣𝑤𝑧𝑤1
]=[ h11 h12 h13 h14h21 h22 h23 h24h31 h32 h33 h34h41 h42 h43 h44
] ∙ [𝑧 ∙𝑢𝑧 ∙𝑣𝑧1 ]
[h11 h12 h13 h14h21 h22 h23 h24h31 h32 h33 h34h41 h42 h43 h44
]=𝐾𝑤 ∙𝑅𝑡𝑤 ∙𝑅𝑡−1 ∙𝐾 −1
[𝑢 𝑣 ]𝑇
[𝑢𝑤 𝑣𝑤 ]𝑇
𝐾𝑤 ,𝐾 Macierz parametrów wewnętrznych
𝑅𝑡𝑤 ,𝑅𝑡 Macierz parametrów zewnętrznych
d
𝑑𝑤
𝑧=1
𝑑255
∙( 1𝑧𝑛𝑒𝑎𝑟
− 1𝑧 𝑓𝑎𝑟 )+ 1
𝑧 𝑓𝑎𝑟
Transformacja położenia punktów
Analiza liczby operacji Mnożenia Dodawania Dzielenia Opis
1·W·H 1·W·H 1·W·H Denormalizacja
2·W·H 0 0 Konstrukcja m
16·W·H 12·W·H 0 Transformacja
0 0 3·W·H Normalizacja m
1·W·H 1·W·H 1·W·H Normalizacja d
Suma 20·W·H 14·W·H 5·W·H
Redukcja liczby operacji arytmetycznych • Rozłożenie obliczeń na etapy
[𝑧𝑤 ∙𝑢𝑤
𝑧𝑤 ∙𝑣𝑤𝑧𝑤1
]=[ h11 h12 h13 h14h21 h22 h23 h24h31 h32 h33 h34h41 h42 h43 h44
] ∙ [𝑧 ∙𝑢𝑧 ∙𝑣𝑧1 ]
𝑧=1
𝑑255
∙( 1𝑧𝑛𝑒𝑎𝑟
− 1𝑧 𝑓𝑎𝑟 )+ 1
𝑧 𝑓𝑎𝑟
[ h11 h12 h13 h14h21 h22 h23 h24h31 h32 h33 h34h41 h42 h43 h44
] ∙ [𝑧 ∙𝑢𝑧 ∙𝑣𝑧1 ]
=
∼h1𝑇 ∙𝑢+h2𝑇 ∙𝑣+h3
𝑇 ∙1+h4𝑇 ∙ 1𝑧
⟹ 1𝑧=
𝑑255
∙( 1𝑧𝑛𝑒𝑎𝑟
− 1𝑧 𝑓𝑎𝑟 )+
1𝑧 𝑓𝑎𝑟
¿𝑑 ∙𝑎+𝑏
Szybka transformacja położenia punktów
Analiza liczby operacji Mnożenia Dodawania Dzielenia Opis
4·H 4·H 0 Akumulacja v
4·W·H 4·W·H 0 Akumulacja u
1·W·H 1·W·H 0 Wyznaczanie invz
4·W·H 4·W·H 0 Akumulacja invz
0 0 3·W·H Normalizacja m
1·W·H 1·W·H 1·W·H Normalizacja d
Suma (6·W+4)·H (6·W+4)·H 3·W·H
20·W·H 14·W·H 5·W·H Poprzednio
Szybka transformacja położenia punktów• Zaproponowany algorytm wymaga zaledwie 30% mnożneń, 47% dodawań i 60%
najkosztowniejszych obliczeniowo dzieleń.• Czyli przeszło 3 razy mniej mnożeń, ponad 2 razy mniej dodawań i 1.6 razy mniej
najkosztowniejszych obliczeniowo dzieleń.
Łączenie obrazu• Problem przysłonięć
Fragment obrazu widoku wirtualnego
Redukcja zniekształceń na krawędziach obiektów• Błędy w mapach głębi• Dodatkowa obwódka
Jakość Obrazu Widoku SyntezowanegoSekwencja Book Arrival widok 5
Jakość Obrazu Widoku SyntezowanegoWartości uśrednione po wszystkich sekwencjach i wszystkich widokach
Szybka synteza widoków
• Mapy głębi• Płaszczyzny• Oddzielone krawędziami
Sposób syntezy obrazu• Typowo punkt po punkcie• Dla bloku NxN
wymaga N2 operacji• Pojawiają się dziury
• Przybliżyć mapę głębi płaszczyzną• Dla bloku NxN
wymaga 4 operacji• Ciągły obszar brak dziur
Przyspieszenie syntezy obrazu• Redukcja liczby obliczeń R dla blocku NxN• Zamiast transformacji N2 punktów• Tylko 4 narożniki wymagają transformacji
R=𝑁2
4
Modelowanie głębi• Mapa głębi składa się z płaskich, gładkich
obszarów, rozdzielonych krawędziami• Modelowane płaszczyzną• Modelowanie wprowadza błąd reprezentacji
• Rozwiązanie• Adaptacyjny podział mapy głębi na bloki• Maksymalizacja stopnia redukcji liczby transformacji• Minimalizacja błędów reprezentacji
Fragmentmapy głębiN2 Transformacji
Model fragmentu mapy głębi16 bloków64 Transformacji𝐾𝑜𝑠𝑧𝑡=𝜆∙𝐸+𝑅
𝐸=∑𝑥=0
𝑁−1
∑𝑦=0
𝑁− 1
(𝑀𝑜𝑑𝑒𝑙 (𝑥 , 𝑦 )−𝑑 (𝑥 , 𝑦 ) )2
𝑀𝑜𝑑𝑒𝑙 (𝑥 , 𝑦 )=𝑎 ∙ 𝑥+𝑏 ∙ 𝑦+𝑐
Modelowanie głębi• Oryginalna Mapa Głębi Podział na bloki
Metodologia
Przyśpieszenie procesu syntezy
Przyśpieszenie procesu syntezy
Przyśpieszenie procesu syntezy
Przyśpieszenie procesu syntezy
Szybka synteza obrazu - Podsumowanie• Modelowanie mapy głębi zbiorem płaszczyzn• Umożliwia 16 krotną redukcje liczby obliczeń• Dla skompresowanego obrazu do 64 razy szybciej
Kodowanie obszarów odsłoniętych• 95% treści obrazu powtórzone w więcej niż jednym widoku• Przesyłać tylko raz
Sekwencja Procent powierzchni obrazu
Poznan Street 95%
Poznan Hall 2 94%Dancer 95%Balloons 96%Kendo 96%Newspaper 92%Average 95%
Kodowanie obszarów odsłoniętych
Schemat opracowanego kodera
Metodologia
View Synthesis Reference Software
Koder Wielowidokowy
Dekoder Wielowidokowy
Mapy głębi
Obraz wielowidokowy
Strumienie bitowe
Transmisja Obrazu Wielowidokowego wraz z Mapami Głębi
Widok Wirtualny
Żądana pozycja
Ocena SubiektywnaUznany zbiór sekwencji wielowidokowych
Poznan Street Poznan Hall 2
Undo DancerGhost Town Fly
Balloons Newspaper
Kendo Lovebird
Mapy głębi
Obraz wielowidokowy
PSNR
BD-Rate
PSNRWidok WirtualnyObraz z kamery
Ocena jakości kompresji
Ocena jakości kompresji
Ocena jakości kompresji
Redukcja wymaganej prędkości bitowej - PSNR
Redukcja wymaganej prędkości bitowej - MOS
Podsumowanie• Przesyłanie obszarów odsłoniętych pozwala na:• 45% redukcję wymaganej prędkości bitowej przy zachowaniu tej samej jakości
obiektywnej• 61% redukcję wymaganej prędkości bitowej przy zachowaniu tej samej jakości
subiektywnej