Poděkování

Rád bych poděkoval mému školiteli doc. Ing. Františku Novotnému, CSc. za cenné rady,

připomínky a vedení v celém průběhu mého doktorského studia. Poděkování patří také

kolegovi Ing. Vlastimilu Hotařovi, Ph.D. za jeho konzultace při řešení problematiky

strojového vidění i korektury práce jako takové. Zároveň děkuji celému týmu katedry

Sklářských strojů a robotiky, bez tohoto zázemí by nebyla práce realizovatelná.

Velký dík patří mé rodině za obrovskou psychickou podporu při řešení obtíží a celému

děkanátu za trpělivost.

POKROČILÉ TECHNIKY SNÍMÁNÍ LESKLÝCH A OBTÍŽNĚ

DETEKOVATELNÝCH MATERIÁLŮ

Anotace

Disertační práce se zabývá přípravou metodiky pro získání dat k vytvoření virtuálního 3D

modelu objektů (3D obrazů) s lesklým a obtížně detekovatelným povrchem. V aplikační

části se práce zabývá uplatněním vybraných metod v průmyslové praxi, konkrétní aplikace

byly orientovány na automobilový průmysl. Nejprve je řešena problematika bin pickingu s

detekcí lesklých objektů v přepravce. V další části se práce zabývá kvalitativním

hodnocením lesklých transparentních a semi-transparentních objektů pomocí inovativního

hardwaru. Detailně se zaměřuje na uplatnění aplikačních možností konfokálních snímačů

pro kontrolu zakřivení tvarových skel a na úpravu 2D triangulační metody pro snímání

průsvitných a transparentních objektů.

Klíčová slova

Strojové vidění, bin picking, lesklý povrch, konfokální snímač, liniový laser,

2D triangulace

ADVANCED TECHNIQUES FOR IMAGE ACQUISITION OF

GLOSSY AND DIFFICULT-TO-DETECT MATERIALS

Annotation

The thesis deals with a methodology preparation for data acquisition of glossy and

difficult-to-detect objects in order to obtain a 3D virtual model. Practical part of the thesis

deals with an application of chosen methods in industry, specifically in the automotive

industry. First part focuses on bin picking application for glossy objects. The following

part deals with a quality evaluation of glossy transparent and semi-transparent objects

using an innovative hardware. In detail, it evaluates application possibilities of confocal

sensors in formed glass inspection and adjustment of standard 2D triangulation method for

acquisition of semi-transparent and transparent objects.

Keywords

Machine vision, bin picking, glossy surface, confocal sensor, line laser, 2D triangulation

5

Obsah

Úvod ..................................................................................................................................... 11

1 Cíle disertační práce ..................................................................................................... 12

1.1 Motivace ................................................................................................................ 12

1.2 Cíle ........................................................................................................................ 13

2 Rozbor současného stavu poznání ............................................................................... 14

2.1 Elektromagnetické záření ...................................................................................... 15

2.1.1 Viditelné spektrum ......................................................................................... 15

2.1.2 Rozdělení povrchů ......................................................................................... 19

2.2 Pořízení obrazu ...................................................................................................... 21

2.2.1 Možnosti získání obrazových dat .................................................................. 22

2.2.2 Kamery ........................................................................................................... 22

2.2.3 Vnitřní parametry kamery .............................................................................. 23

2.2.4 Vnější parametry kamery ............................................................................... 25

2.2.5 Snímače viditelného záření ............................................................................ 25

2.2.6 Průmyslové kamery ....................................................................................... 25

2.3 Metody získání 3D informace ............................................................................... 31

2.4 Aktivní metody získání 3D informace .................................................................. 32

2.4.1 Měření sadou 1D snímačů ............................................................................. 32

2.4.2 Triangulační metody ...................................................................................... 37

2.4.3 Měření doby letu modulovaného laserového paprsku ................................... 45

2.4.4 Využití stínu ................................................................................................... 47

2.5 Pasivní metody získání 3D informace................................................................... 49

2.5.1 Kalibrace kamer ............................................................................................. 50

2.5.2 Získání 3D informace pomocí plošné kamery ............................................... 52

2.5.3 Stereovizní vidění .......................................................................................... 55

2.5.4 Snímání scény 2D snímačem ve více polohách ............................................. 57

2.6 Možnosti interpretace mračna bodů ...................................................................... 57

2.7 Problematika získání 3D modelu objektů s lesklým povrchem a z transparentních

materiálů .......................................................................................................................... 58

6

2.7.1 Softwarové metody ........................................................................................ 59

2.7.2 Hardwarové metody ....................................................................................... 60

2.7.3 Využití jiných spekter elektromagnetického záření ....................................... 63

3 Odnímání volně ložených pružinových misek z přepravky ......................................... 65

3.1 Přehled realizovaných variant řešení .................................................................... 65

3.1.1 2D Triangulace .............................................................................................. 65

3.1.2 3D obraz získaný z ToF senzoru .................................................................... 66

3.1.3 3D model získaný pomocí fotometrického sterea .......................................... 66

3.1.4 Detekce objektu pomocí stereoskopie ........................................................... 67

3.1.5 Multisenzorové řešení .................................................................................... 69

3.2 Porovnání vybraných metod ................................................................................. 69

3.2.1 Experimentální pracoviště ............................................................................. 69

3.2.2 Komunikace ................................................................................................... 70

3.2.3 2D Triangulace .............................................................................................. 71

3.2.4 Multisenzorové řešení .................................................................................... 72

3.3 Vývoj chapadla pro bin-picking ............................................................................ 76

3.4 Porovnání testovaných metod ............................................................................... 77

4 Rekonstrukce 3D modelu lesklých objektů pomocí konfokálních snímačů ................ 79

4.1 Ověření použitelnosti konfokálních snímačů ........................................................ 79

4.1.1 Ověření dosažitelné přesnosti pomocí 3D SMS ............................................ 79

4.1.2 Stanovení okrajových podmínek snímačů ..................................................... 80

4.2 Vyhodnocení linie na plochém skle se zdeformovanými okraji ........................... 82

4.2.1 Experimentální pracoviště pro proměření plochých skel .............................. 83

4.2.2 Výsledky měření plochého skla s deformací okraje ...................................... 84

4.3 Měření prostorových profilů s využitím robotu .................................................... 85

4.3.1 Soubor měřených objektů .............................................................................. 86

4.3.2 Měření planparalelní destičky ........................................................................ 87

4.3.3 Měření klínové destičky ................................................................................. 90

4.3.4 Měření plankonvexní destičky ....................................................................... 91

4.3.5 Měření gravitačně tvarovaného skla .............................................................. 92

7

4.5 Aplikace sady snímačů na robotizovaném pracovišti ........................................... 93

4.5.1 Základní ověření funkčnosti pracoviště ......................................................... 97

4.5.2 Porovnání výsledků tvarového skla s výsledky ze 3D scanneru ................... 99

4.5.3 Vliv uchopení objektu .................................................................................. 100

5 Rekonstrukce 3D modelu transparentních či průsvitných objektů pomocí deformace

laserového paprsku ............................................................................................................ 104

5.1 Vyhodnocení odrazu snímaného paprsku ........................................................... 104

5.1.1 Měření plochého skla s deformací okraje .................................................... 105

5.1.2 Měření tvarových etalonů ............................................................................ 108

5.1.3 Měření gravitačně tvarovaného skla ............................................................ 109

5.2 Využití jiných vlnových délek elektromagnetického záření promítaných linií .. 110

5.2.1 Testované metody získání 3D obrazu .......................................................... 111

5.2.2 Získání 3D obrazu pomocí 2D triangulace .................................................. 113

5.2.3 Software ....................................................................................................... 114

5.2.4 Kalibrace ...................................................................................................... 116

5.2.5 Výsledky ...................................................................................................... 116

6 Závěr .......................................................................................................................... 118

6.2 Přínosy pro vědu ................................................................................................. 121

6.3 Přínosy pro praxi ................................................................................................. 121

Literatura ............................................................................................................................ 123

Vybrané publikace autora .................................................................................................. 133

8

Seznam použitých symbolů

A,B,C natočení v prostoru kolem os z, y, x

aM, bM koeficienty mapovacího algoritmu

Ap účinná plocha světločivné buňky

bbit počet použitých bitů k popisu 1 pixelu

bs vzdálenost mezi snímačem a projektorem

bx stereobáze

C průměr otvoru clony

c1,c2 rychlost šíření zvuku v jednotlivých prostředích

cM1, cM2 koeficienty McLaurenova rozvoje

cs rychlost šíření světla

cx, cy odchylka středu obrazových souřadnic od optické osy

D koeficient distribuce mikroplošek u lesklého povrchu

d tloušťka

ddis horizontální paralaxa

dg naměřená tloušťka materiálu

dL průměr čočky

dw reálná tloušťka materiálu

E ozáření

f ohnisková vzdálenost objektivu

F Fresnelův koeficient odrazivosti svázaný s transparencí materiálu

fr dvousměrová distribuční funkce odrazu

fb obrazová funkce

fx, fy souřadnice ohniska v jednotkách obrazového bodu

g koeficient anisotropie

G geometrický model pro vlastní stínění materiálu u lesklého povrchu

gx,gy odhad gradientu ve směru osy x, y

H matice homografie

In intenzita obrazu n-té sinusové mřížky v bodě

K kalibrační matice

ki koeficienty radiální distorze

l0 vzdálenost kamery od referenční roviny

lM, LM perioda mřížky promítané struktury

Lp zář

LWD pracovní vzdálenost kamery

lz měřená vzdálenost

M matice vnitřních parametrů kamery

n index lomu

NA clonové číslo

np normála povrchu

pi koeficienty tangenciální distorze

PSF impulzní odezva optického systému

Q množství energie

q vektor polohy bodu v obrazových souřadnicích

R odrazivost povrchu

R matice natočení kamery ve vnějším souřadném systému

rbp roztečný poloměr UZ snímačů

s vyšetřovaný bod na povrchu objektu

si bod dopadu světelného paprsku

so bod výstupu světelného paprsku

9

s vektor zvětšení

Si vzdálenost od konfokálního snímače

S BSSRDF distribuční funkce

t čas

t vektor pozice kamery ve vnějším souřadném systému

T vektor vzájemné pozice kamer

tC aktuální teplota

TE doba expozice

ui vzdálenost naměřená senzorem Ui

Us velikost oblasti zájmu

us velikost snímače

V směr pohledu pozorovatele

W maticevnějších parametrů kamery

x,y,z obrazové souřadnice

X,Y,Z prostorové souřadnice snímaného tělesa

x´, y´ korigované souřadnice obrazu

α úhel mezi optickou osou soustavy dírkové komory a paprskem dopadajícím na snímač

αM úhel natočení mřížek

αp úhel náklonu misky kolem osy x v souřadnicích mezioperační přepravky

αs zorný úhel snímače

αz součinitel pohltivosti zvuku

βp úhel náklonu misky kolem osy y v souřadnicích mezioperační přepravky

δs koeficient rozptylu

δs koeficient absorpce

γ koeficient zkosení mezi osami x a y

γp činitel objemové roztažnosti plynu

Δr topografická výchylka

Δu posun pixelů

Θi úhel dopadu

Θr úhel odrazu

Θt úhel lomu

Θv úhel, který svírá směr pohledu pozorovatele s normálou povrchu

κ počet úrovní jasu

λ vlnová délka

η Relativní index lomu

ρ koeficient odrazivosti (albedo)

ρz součinitel odrazivosti zvuku

φ azimut ve sférické soustavě

Φ zářivý tok

φbp roztečný úhel UZ snímačů

ω vektor směru

ωi vektor směru dopadu

ωr vektor směru odrazu

f gradient obrazu

10

Seznam použitých zkratek

2D dvourozměrný

3D trojrozměrný

A/D analogově-digitální

BRDF dvousměrová distribuční funkce odrazu

BSSRDF dvousměrová distribuční funkce odrazu s podpovrchovým rozptylem

CCD Charge-coupled device, snímač pro viditelné spektrum

CMOS APS Complementary Metal–Oxide–Semiconductor Active Pixel Sensor, snímač pro VIS

DRIE Deep reactive-ion etching, hluboké reaktivní iontové leptání

fps frames Per Second – počet snímků za vteřinu

IR infračervené

ISO zesílení signálu

LED Light emitting diod, elektroluminiscenční dioda

MEMS MicroElectroMechanical Systems, MikroElektroMechanické Systémy

MOEMS MicroOptoElectroMechanical Systems, MikroOptoElektroMechanické Systémy

NIR blízké infračervené elektromagnetické záření

NUV blízké ultrafialové elektromagnetické záření

PC počítač

PLC programovatelný automat

RAM operační paměť

RGB barevný model červená, zelená, modrá

ROI Region Of Interest, oblast zájmu

SMS souřadnicový měřící stroj

SW software

TCP Tool Center Point, vztažný bod nástroje

ToF Time of Flight, senzor vzdálenosti založený na detekci doby letu paprsku

UV ultrafialové elektromagnetické záření

UZ ultrazvuk

VIS viditelné spektrum elektromagnetického záření

XML eXtensible Markup Language, rozšiřitelný značkovací jazyk

11

Úvod

Strojové vidění představuje dynamicky se rozvíjející odvětví v oblasti automatizace

průmyslových linek, neboť umožňuje úspory výrobních nákladů a podporuje trend 100 %

kontroly uvnitř výrobního procesu i na konci ve formě výstupní kontroly. Nejčastější

nasazení představuje kontrola jakosti výrobků, další častou aplikací je nalezení objektů na

technologické scéně např. pro následnou manipulaci, kdy je robotu předána informace o

pozici objektu k uchopení.

Vysoce aktuálním řešeným problémem je získávání 3D obrazových dat pomocí strojového

vidění, neboť mnoho úkonů v průmyslové praxi vyžaduje získávání rozměrů ve třech osách

bezkontaktními technikami. Příkladem může být již zmíněná automatická inspekce,

robotická manipulace, odebírání objektů z přepravky (tzv. bin-picking), orientace

servisního robotu v prostoru atp. [1]. Důležitost těchto postupů prokazuje využití i mimo

strojírenský průmysl, jako je např. v zemědělském [2, 3, 4], potravinářském [5] průmyslu,

zdravotnictví [6] nebo nachází využití i ve spotřebním průmyslu [7].

Aplikační úlohy robot vision, detekce tvarů a vad transparentních, či vysoce lesklých

materiálů, jako jsou například výrobky ze skla nebo kovové výrobky s lesklým povrchem a

povrchem s parazitními reflexemi, zůstávají stále problematické, komplikované a drahé.

Získání 3D modelu z naměřených dat je ztěžováno faktem, že viditelné optické

elektromagnetické záření může být materiálem detekovaného objektu od povrchu

zrcadlově odraženo, odráženo směrově pod různými úhly, pohlceno, či propuštěno. Výskyt

parazitních reflexí, změna míry pohlcení v závislosti na tloušťce a teplotě objektu mohou

dále komplikovat snímání objektů. Pokud uvažujeme snímání takovýchto objektů ve

viditelné části spektra, je často nutné volit složitou kombinaci několika typů osvětlení a

vhodné polohy jednotlivých prvků systému.

Obecně, získání obrazu je nejčastěji založeno na interakci elektromagnetického záření

s objektem, především odrazu od povrchu, pohlcení objektem a průchodem záření

sledovaným objektem. Nejběžnějším případem v oblasti viditelného elektromagnetického

záření je využití reflexe, která je pak závislá vedle zdroje tohoto elektromagnetického

záření také na vlastnostech povrchu. Ty lze charakterizovat v rozpětí dvou extrémů, kde

prvním je ideální Lambertovský povrch (ideálně difúzní povrch s rovnoměrným odrazem

do všech směrů nebo rovnoměrným pohlcením) a druhým extrémem je ideální zrcadlový

povrch (s odrazem paprsku pod úhlem rovnající se úhlu jeho dopadu). Pokud má objekt

spíše Lambertovský povrch, je z hlediska pořízení obrazu relativně snadno zachytitelný a

následně lze získaná data interpretovat. Komplikovanější situace vzniká při pořízení

objektů s povrchem, který se blíží zrcadlovému. Takovéto povrchy se označují jako lesklé

a získání vhodného obrazu pro jeho následnou interpretaci je podstatně obtížnější. Touto

tématikou se zabývá předkládaná práce, která řeší problematiku získání a interpretace

obrazu objektů s lesklým povrchem jak netransparentních, tak i transparentních, například

skla. Problematika je dále doplněna o povrchy, které mají komplikovaný odraz díky svým

povrchovým vlastnostem.

12

1 Cíle disertační práce

Disertační práce vychází z problematiky řešené dlouhodobě na Katedře sklářských strojů a

robotiky. Na základě jednotlivých a konkrétních úloh řešených v rámci projektů, grantů a

témat závěrečných prací byly specifikovány oblasti, které nejsou stále uspokojivě řešeny.

Zvolenému tématu disertační práce předcházelo zvážení současného stavu získání a

interpretace obrazových dat, což lze nazvat základní motivací. Dále byly stanoveny hlavní

cíle práce, kde byly také definovány konkrétní oblasti vědeckovýzkumných aktivit.

1.1 Motivace

Trendem současné doby je získání prostorových dat. Tato 3D data jsou následně

interpretována a využívána při hodnocení jakosti produktu, zjišťování orientace a polohy

objektů, pro orientaci kolaborativních a servisních robotů v prostoru, ale i v komerční sféře

v herních konzolách, výukových pomůckách a mnoha dalších aplikacích. Získání a

zpracování 3D dat tak podporuje a pomáhá naplňovat idey Inciativy Průmysl 4.0. V

současné době existuje mnoho propracovaných principů a metod získání virtuálních 3D

modelů, které jsou stále častěji využívány v průmyslové praxi. Tyto metody jsou známy a

existují jejich teoretické základy. V praktickém využití ovšem existuje mnoho technických

potíží, které musí být řešeny, aby byl objekt vůbec detekován v požadovaném rozlišení,

dostatečně spolehlivě a také se zajištěním opakovatelnosti detekce.

Pokud je objekt detekován na základě odrazu dané energie, jsou velmi důležité vlastnosti

povrchu takto sledovaného objektu ve vztahu k dopadající energii. U detekce na základě

odrazu je také důležité zvážit pronikání zvoleného fyzikálního pole částečně nebo úplně do

detekovaného objektu, případně průchod (transmitance) energie objektem. Tyto dva

problémy vyskytující se zvlášť nebo dohromady, činní praktické snímání 3D dat mnohem

obtížnější. Přestože tyto problémy nejsou jediné při získání 3D dat, jsou dominantní a stále

neuspokojivě řešeny, jak ukazuje rešerše v kap. 2.

V technické praxi je k detekci objektů nejvíce využívaným fyzikálním polem

elektromagnetické záření ve viditelném spektru (VIS). Zde jsou uvedené problémy

s detekcí povrchů objektů nejčastější, a právě na tuto oblast se zaměřuje disertační práce.

Jak je v rešerši popsáno, pro získání 3D dat lze využít i další typy senzorů, jako jsou

například ultrazvukové snímače vzdálenosti v kombinaci s kamerou. V literatuře je tento

trend označován jako senzorová fúze nebo také multisenzorika, kap. 3.2.4.

Na základě analýzy rešerše použitelných principů, současného stavu techniky a rozboru

dané problematiky se práce zabývá několika přístupy získání dat a následné geneze

virtuálních třírozměrných modelů, a to pomocí konfokálního snímače a s využitím odrazu

především na optickém rozhraní.

13

1.2 Cíle

Disertační práce si klade za cíl přípravu metodiky pro získání dat pro vytvoření virtuálního

3D modelu objektů (3D obrazů) s lesklým a obtížně detekovatelným povrchem pomocí

vybraných metod. Jedná se tak o vývoj a adaptaci metodik získání 3D obrazových dat pro

následnou interpretaci dat a získání 3D modelu. Cílem práce není problematiku vyřešit

kompletně pro všechny materiály, ze kterých může být sledovaný objekt a pro všechny

typy možných energie (fyzikálních polí), ale na daných reálných případech vyvinout a

aplikovat metodiku s možností přesahu na další podobné materiály.

Vyvinuté, adaptované a použité metodiky mají převážně využívat osvědčeného viditelného

spektra elektromagnetického záření, kde senzorika je vyvinuta a dostatečně ověřena. Ke

splnění hlavního cíle disertační práce jsou především používány a rozvíjeny dva přístupy

získání dat pro následnou interpretaci do virtuálního 3D modelu:

využití odrazu liniového laserového paprsku a

využití konfokálních snímačů.

Práce se ovšem neomezuje jen na tyto přístupy, ale rozvíjí další přístupy jako je využitím

fusion senzoriky s více typy snímačů.

Významným dílčím cílem je uplatnit metodiky na konkrétní aplikace v laboratorních

podmínkách tak, aby teoreticky řešená problematika byla ověřena a připravena pro

průmyslovou praxi. Vlastní aplikace obsahují hardwarovou a softwarovou část. Cílem

proto také je posouzení spolehlivosti a přesnosti metodik, stanovení okrajových a dalších

podmínek metodik. Vyvinuté a adaptované metodiky budou porovnány s ostatními

dostupnými metodami snímání dat pro generování 3D modelu.

Disertace je zaměřena na tyto oblasti využití:

objekty z lesklých kovových materiálů (praktickou aplikací je detekce objektů

v bedně pro bin picking, liniový laser a fusion senzorika, kap. 3),

objekt z lesklých a transparentních materiálů (praktickou aplikací je detekce

výrobků z čirého skla, využití odrazu liniového paprsku a konfokálních snímačů,

kap. 4),

objekt z obtížně detekovatelného odrazově difuzního materiálu (praktickou

aplikací je detekce tepelné folie na elektro-baterii, kap. 5).

14

2 Rozbor současného stavu poznání

Disertační práce se zabývá získáním obrazových dat. Obrazovými daty jsou definována

rastrová data, která umožňují bezprostředně vytvářet vizuálně interpretovatelný obraz.

Práce využívá metod získání 2D obrazu (plošný dvojrozměrný rastr), potažmo 3D obrazu

(třírozměrný prostorový rastr).

K získání obrazových dat je možné využít mnoha typů snímačů, založených na různých

fyzikálních principech. Snímače je možné z hlediska získaných dat rozdělit na:

bodové,

liniové,

plošné,

prostorové (3D snímače).

Snímače získávají standardně data v bodech rastru. K získání obrazových dat z bodových a

liniových snímačů je nutné použít síť těchto snímačů, případně snímačem definovaně

pohybovat a získat rastr postupně. U plošných a prostorových snímačů jsou data v bodech

získána současně během definovaného časového intervalu. Trendem strojového vidění je

současné využití více snímačů.

Zobrazování objektů je možné s využitím různých fyzikálních polí. Obrazová data je

možné obecně získat pomocí následujících polí energie:

Energie elektromagnetického záření od gama záření, přes rentgenové záření a

ultrafialové záření, po viditelné záření, infračervené záření, mikrovlny až po

radiové vlny.

Energie záření částic, jako jsou elektrony (využíváno u elektronového

mikroskopu) a neutrony.

Mechanická energie akustických vln, kdy rychlost šíření akustických vln je

přímo úměrná elastickým vlastnostem média, kterým prostupuje (např. princip

sonaru, nebo též lékařská sonografie).

Elektrická energie, např. konduktivita prostředí, kdy různé prostředí za různých

podmínek má rozdílnou schopnost vést elektrický proud (principu využívá

elektrická impedanční tomografie)

Magnetická energie spolu s energií elektromagnetického pole (radiových vln)

je využívána u nukleární magnetické rezonance.

Mechanická energie např. kontaktní odměřování a odměřování pomocí změny

proudění tekutin.

Nejvíce využívaným fyzikálním polem je elektromagnetické záření ve viditelném spektru

(VIS). Senzory pro tuto oblast jsou vyvinuté, technicky vyspělé a ověřené. Nicméně, při

použití tohoto spektra jsou uvedené problémy s detekcí lesklých povrchů objektů

15

nejčastější. Komplikovanost úloh pro detekci objektů je při použití standardních postupů

velmi vysoká (kap. 2.7).

2.1 Elektromagnetické záření

Při dopadu elektromagnetického záření na obecný povrch objektu dochází k několika

jevům znázorněným na obr. 2.1.

Část záření je od sledovaného objektu odrážena, část objektem pohlcena, část způsobí v

materiálu objektu sekundární emisi záření, část záření objektem projde a část je vyzářena

(emitována) samotným objektem. Podíl jednotlivých částí záření je dán vlastnostmi

ozářeného objektu a vlastností elektromagnetického záření, které na objekt dopadá.

Uvedené jevy jsou popsány pro celé spektrum elektromagnetického záření, se změnou

vlnové délky záření se mění i míra uplatněných jevů při ozáření objektu.

Obr. 2.1 Základní jevy při dopadu elektromagnetického záření na objekt

2.1.1 Viditelné spektrum

Objekty snímané pomocí strojového vidění jsou standardně z neprůsvitných materiálů.

Dopadající záření lze tedy rozdělit pouze na pohlcené a odražené záření.

V následujícím textu je detailněji popsán vznik obrazu díky odrazu záření od povrchů

neprůhledných objektů ve spektru viditelného světla. Většina obrazových senzorů je

založena na měření množství světelné energie dopadající na jednotlivé světlocitlivé body

rastru. Tyto body jsou u obrazových senzorů označovány jako pixely (picture element).

Naměřená intenzita je označována jako jas pixelů obrazu. Tento jev lze popsat pomocí

16

radiometrických nebo fotometrických veličin. Fotometrické veličiny jsou subjektivní,

závislé na pozorovateli, proto budou využity veličiny radiometrické.

Základní radiometrickou veličinou je zářivý tok [W], který vyjadřuje množství energie Q

vyzářené či přijaté za jednotku času t:

.dt

dQ

(2.1)

Ozáření E [Wm-2], představuje množství energie i dopadající na jednotku účinné plochy

světlocitlivé buňky Ap

.p

i

dA

dE

(2.2)

Jednotlivé pixely obrazu jsou kvantifikovány pomocí fotometrické veličiny jas, kdy jsou

definovány stupni šedi pixelů obrazu. Ekvivalentní radiometrickou veličinou je zář. Zář

(radiance) Lp(s,ω ) [Wsr-1m-2] udává světelný výkon , který se z jednotky plochy

povrchu Ap vyzáří do určitého prostorového úhlu

,cos

),(2

ωω

ddA

dsL

p

p

(2.3)

kde s je bod, ve kterém je zář vyšetřována a ω je vektor směru záření, popsaný jako bod

na povrchu jednotkové koule (obr. 2.6) dvěma úhly. Úhel Θ představuje úhel mezi

normálou k elementární ploše Ap a spojnicí k odpovídající obrazové ploše. Veličinu zář

strojové vidění interpretuje jako barvu. Princip radiometrické veličiny zář je zobrazen na

obr. 2.2.

Obr. 2.2 Schéma radiometrické veličiny zář

Na základě odvození například v [8] je možné získat vztah mezi ozářením E, které je

měřeno v obraze a září Lp malé plošky ve scéně, která je zachycena čočkou snímacího

zařízení, je dán tzv. rovnicí ozáření

,cos4

4

2

f

dLE l

p

(2.4)

17

kde dL představuje průměr čočky, f ohniskovou vzdálenost objektivu a α úhel mezi

optickou osou soustavy dírkové komory a paprskem dopadajícím na snímač (obr. 2.3).

Obr. 2.3 Vztah mezi intenzitou ozáření E a září L

Činitel cos4α slouží pro popis vinětace (systematická optická vada), která definuje jev, kdy

jsou paprsky lámající se s větším úhlem α zeslabeny, tím dochází ke ztmavení

nasnímaného obrazu od středu ke krajům [9]. Uvedený vztah platí pro celou snímanou

scénu, pro jednotlivé body senzoru je nutné vycházet z funkce odrazivosti.

Hodnota obrazové funkce může být v některých úlohách brána jako odhad záře Lp (v

literatuře je odhad záře často označen jako jas), ke které dojde odrazem světelné energie

od povrchu objektu. Ozáření E je určeno typem světelného zdroje a jeho umístěním

vzhledem ke snímanému objektu a pozorovateli. Hodnotu jasu ovlivňují povrchové

vlastnosti objektu. Schopnost povrchu odrážet světlo je definována činitelem odrazivosti.

Jas je zároveň určen lokální geometrií plošky, která je udána její normálou np [8].

Osvětlení elementární plošky pomocí bodového zdroje je vyobrazeno na obr. 2.4, kde V je

směr pohledu pozorovatele (snímacího zařízení) a Θi a Θv jsou úhly, které svírá zář Lp a

směr pohledu pozorovatele V s normálou np.

Obr. 2.4 Osvětlení elementární plošky s využitím bodového zdroje.

18

Veličiny popsané indexem i (incident) představují veličiny dopadajícího paprsku, veličiny

označené indexem r (reflected) představují veličiny odraženého paprsku. Všeobecně jsou

odrazové schopnosti materiálu v určitém bodě definovány pomocí BRDF funkce. Tato

dvousměrová distribuční funkce odrazu fr popisuje poměr mezi odraženou radiancí

rω,sdLr v bodě s a vstupní radiancí iω,sdLi promítnutou na kolmou plochu. Světlo

dopadá na povrch ze směru iω a odráží se z povrchu v bodě s ve směru rω . iω

Princip dvousměrové distribuční funkce je zobrazen na obr. 2.5.

Obr. 2.5 Princip dvousměrové distribuční funkce

Orientace plošek se popisuje ve sférické soustavě souřadnic azimutem a polárním úhlem

, jak je zřejmé z obr. 2.6.

Obr. 2.6 Popis orientace plošky ve sférické soustavě souřadnic

Odrazivost většiny využívaných snímaných povrchů však není závislá na otočení podél

normály povrchu. Popsaná dvojrozměrná distribuční funkce odrazu se pak zjednoduší, fr

bude záviset pouze na rozdílu azimutů směrů ke světelnému zdroji a pozorovateli φi – φv.

.,

,),(

ipii

r

irωnωω

ωω,ω

dsdL

sdLsf

i

rr

(2.5)

19

Koeficient odrazivosti nebo také albedo vyjadřuje podíl dopadající energie odražené zpět

do poloprostoru:

,

i

r

E

E

(2.6)

kde iE je intenzita záření dopadajícího na plošku povrchu scény a rE je intenzita

vyzářená zpět do prostoru po odrazu, je vlnová délka elektromagnetického záření.

Koeficient závisí na vlnové délce dopadajícího elektromagnetického záření, vlastnostech

povrchu plošky (míra absorpce záření), na třech úhlech, popisujících vzájemný vztah mezi

směrem ke zdroji světla Lp, směrem k pozorovateli V, lokální orientací danou normálou np,

obr. 2.4. Kosiny těchto tří úhlů lze napsat jako skalární součin vektorů, proto je funkce

odrazivosti R popsána pomocí tří skalárních součinů:

𝑅 = 𝑅(𝒏𝑝 ∙ 𝑳𝑝, 𝒏𝑝 ∙ 𝑽, 𝑽 ∙ 𝑳𝑝). (2.7)

2.1.2 Rozdělení povrchů

Většina snímaných objektů je standardně z neprůsvitných materiálů. Dopadající záření lze

tedy rozdělit pouze na pohlcenou a odraženou část. U optického záření je pro detekci

objektů nejčastěji využíván odraz. K odrazu dochází od povrchu, který má vlastnosti

uvedené mezi dvěma extrémy:

Lambertovský povrch (také ideálně matný, ideálně difúzní povrch) je definován jako

povrch, který odráží světlo do všech směrů stejně, neboli difúzně. Budeme-li

zjednodušeně uvažovat pro osvětlení z jednoho směru zobrazeného na obr. 2.7 (a), kde Li

je světlo dopadající na povrch, které svírá s normálou np úhel Θi. Lambertovský povrch

odráží vstupní světelnou energii Li do všech směrů rovnoměrně. Výstupní difúzně

rozptýlenou světelnou energii Lr lze získat pomocí integrálu přes polokouli Ω

.cos,),( ir ωωω dsLsL iir

(2.8)

kdy světlo dopadá na povrch ze směru iω a odráží se v daném bodě s ve směru rω [9].

Jas odraženého světla je pak ze všech směrů konstantní, jak je vidět na obr. 2.7a.

Odrazivost Lambertovského povrchu R lze při konstantním koeficientu odrazivosti vyjádřit

pomocí kosinového zákona:

iLR cos11

ipLn

. (2.9)

Odrazivé vlastnosti materiálu obecně závisí na třech úhlech, které definují vzájemný vztah

vůči směru ke zdroji světla Li, směru a pozorovateli V a lokální orientaci povrchu danou

normálou. Z rovnice 2.9 je však patrné, že funkce odrazivosti Lambertovského povrchu

nezávisí na směru pohledu V [10]. Příkladem takového povrchu pro střed viditelného

20

spektra je bílý piják s koeficientem odrazivosti 0,8, bílý psací papír 0,68, bílý strop nebo

žlutý papír 0,6, tmavě hnědý papír 0,14 a tmavý samet 0,004 [8].

Ideální zrcadlový povrch odráží dopadající ozáření pod zrcadlově souměrným úhlem

k úhlu dopadu. Vlastní povrch není vidět, ale ukazuje jen zdánlivý zrcadlově převrácený

obraz zdrojů elektromagnetického záření. Paprsek dopadající ze směru 𝝎𝒊 = (𝛩𝑖, 𝜑𝑖) se

odrazí ve směru:

𝝎𝒓 = (𝛩𝑖, 𝜑𝑖 ± 𝜋). (2.10)

Často interpretováno v rovinném zobrazení zákonem odrazu:

𝛩𝑟 = 𝛩𝑖. (2.11)

Výpočetně praktičtější je použít vztahy založené na skalárním součinu:

𝝎𝒓 = 2(𝝎𝒊 ∙ 𝒏 )𝒏 − 𝝎𝑖 . (2.12)

Záře odražená od zrcadlového povrchu bude:

𝐿𝑟(𝑠, 𝝎𝒓) = 𝑓𝑟(𝑠, 𝝎𝒓, 𝝎𝒊)𝐿𝑖(𝑠, 𝝎𝒊), (2.13)

kde fr (s, rω , iω ) je BRDF funkce zrcadlového obrazu:

𝑓𝑟(𝑠, 𝝎𝒓, 𝝎𝒊) =1

𝑐𝑜𝑠 𝛩𝑖 𝛿(𝑐𝑜𝑠 𝛩𝑖 − 𝑐𝑜𝑠 𝛩𝑟) 𝛿[𝜑𝑖 − (𝜑𝑟 ± 𝜋)]. (2.14)

Zrcadlová složka je příčinou parazitních reflexí na snímaných objektech. Množství

odraženého světla pro lesklé materiály popisují Fresnelovy rovnice, podrobněji v [11].

Příklad odrazu od zrcadlového povrchu je vyobrazen na obr. 2.7b. Vlastní povrch není

vidět, ale ukazuje jen zdánlivý zrcadlově převrácený obraz zdrojů elektromagnetického

záření. V praxi se této matematické abstrakci nejvíce podobají vyleštěné povrchy kovů,

voda nebo povrch skla.

Lesklý povrch je kombinací lambertovského a ideálně zrcadlového povrchu. Větší část

záření se odráží zrcadlovým odrazem na základě zákona odrazu. Menší část se odráží

rozptýleně difúzním odrazem. Příklad odrazu na lesklém povrchu je znázorněn na

obr. 2.7c. Lesklý odraz je výsledkem složení několika jevů. Analytické vyjádření BRDF

funkce v obecné formě není známa, používají se však různé její aproximace. Pro popis

lesklého povrchu se používá povrch složený z mikroplošek. Jednu z nejjednodušších

vyvinul Torrance a Sparrow [12]. Pro použití v počítačové grafice ji Cook a Torrance [13]

popisuje vztahem:

𝑓𝑟(𝑠, 𝝎𝒓, 𝝎𝒊) =𝐷 𝐺 𝐹

π 𝑐𝑜𝑠 𝛩𝑖 𝑐𝑜𝑠 𝛩𝑟 .

(2.15)

21

kde D představuje distribuci mikroplošek, G popisuje geometrický model pro vlastní

stínění materiálu a F je Fresnelův koeficient odrazivosti svázaný s transparencí materiálu

[14]. Detailnější popis odrazivosti objektů lze najít například v literatuře [14,15,16].

Obr. 2.7. Odraz záření od povrchu objektu

Vedle těchto povrchů existuje i celá řada různých jiných typů, jako je například materiál

s podpovrchovým rozptylem světla (kap. 5.2), který je popisován pomocí upravené funkce

odrazu světla BSSRDF.

2.2 Pořízení obrazu

Obraz (vizualizovaná obrazová data) může být modelován matematicky pomocí spojité

skalární funkce fb dvou až čtyř proměnných, která je nazývána obrazovou funkcí. Statický

obraz (snímek) s plošným rastrem (2D obraz) je popsán obrazovou funkcí dvou souřadnic

fb(x,y) v rovině (obecněji v ploše, např. na přibližně kulové ploše sítnice lidského oka).

Obraz tak představuje obrazovou funkci ve formě dvojrozměrné matice, kde jejími prvky

jsou obrazové elementy nazývané pixely (picture element). Pokud se jedná o obraz

s plošným rastrem zachycený v čase t , pak obrazová funkce má tři proměnné fb(x,y,t). Tři

proměnné má také obrazová funkce v případě obrazů s třírozměrným rastrem (3D obrazů),

tj. fb(x,y,z). Obraz pak představuje obrazovou funkci ve formě trojrozměrné matice, kde

jejími prvky jsou obrazové elementy nazývané voxely (volumetric element). Speciálním

případem je obrazová funkce se čtyřmi proměnnými pro prezentaci 3D obrazů v čase

fb(x,y,z).

Obrazová data musí být nejdříve získána a následně jsou data interpretována tak, aby

z nich mohla být získána potřebná užitečná informace. Obrazová data jsou získávána z

okolního šumu pomocí převážně bezdotykových snímačů. Data jsou kvantovaná (nabývají

určitých hladin hodnot) a pouze v určitém konečném rozsahu. Hodnoty, kterých získaná

obrazová data nabývají, odpovídají množství/změně naměřené energie zobrazené v daném

rastru, hodnoty jsou tak spojeny s měřenou veličinou.

Interpretace obrazových dat znamená získání požadovaných informací převážně užitím

nástrojů obrazové analýzy. V textu je často zmiňován pojem objekt, který představuje

oblast v obrazu, která je předmětem zájmu. Okolí objektu je pak nazýváno jako pozadí.

Objekt a pozadí spolu tvoří technologickou scénu. K tomu, aby bylo možné objekt a pozadí

oddělit, musí být data náležitě interpretována. Tato interpelace však nemusí sama o sobě

přinést potřebné informace, je tak třeba dalších nástrojů zpracování obrazu.

22

2.2.1 Možnosti získání obrazových dat

Většinu dat získaných v plošném nebo třírozměrném rastru lze vyjádřit jako vizuálně

interpretovatelný obraz. Tato data lze tedy zpracovávat nástroji obrazové analýzy, a to jak

pro jediný snímek (staticky), tak v čase.

Obrazová data lze získat z mnoha typů snímačů, které používají různé druhy energie (různé

veličiny) a různé způsoby pořízení. V zásadě lze obrazová data získat pomocí:

bodových snímačů,

liniových snímačů,

plošných snímačů,

trojrozměrných (3D) snímačů.

Ve své podstatě všechny snímače získávají data v bodech, které tvoří rastr, ale rozdílná je

doba jejich pořízení. U plošných snímačů a 3D snímačů jsou data v bodech získána

současně v jeden časový okamžik (přesněji během definovaného časového úseku). V

případě bodových a liniových snímačů je nutné zajistit posuv senzorů nebo sledovaného

objektu na přesně stanovené pozice s odpovídající přesností polohování a také

synchronizaci získaných obrazových dat s polohou snímače, respektive objektu. V případě

požadavku 3D dat je nutné i u plošných snímačů zajistit získání třetího rozměru.

V současné době se čím dál více uplatňuje propojení více snímačů dohromady. Jedná se o

tzv. Sensor fusion (senzorová fúze nebo také multisenzorika). Jedná se o kombinaci

senzorických dat nebo dat získaných z různých zdrojů tak, že výsledná informace má méně

nejistoty, než by bylo možné dosáhnout, kdyby byly tyto zdroje použity jednotlivě.

Informace tak může být přesnější, úplnější, spolehlivější nebo může být rozšířena.

Například použití dvou kamer za účelem stereoskopického vidění poskytne navíc

informaci o hloubce předmětu na základě dvou 2D obrazů, čehož by se u samostatných

kamer nedosáhlo. Podobně je možné využít rastrovaných obrazových dat a ty rozšířit o

data z bodových senzorů, které po interpretaci přinesou doplňující informaci o hloubce

předmětu v určitém místě.

2.2.2 Kamery

V průmyslové praxi je stále více používáno obrazových senzorů - kamer. Škála všech typů

a druhů kamer je v současné době rozsáhlá a pokrývá širokou škálu aplikací. Pro aplikaci

strojového vidění v průmyslové praxi je potřebné se zaměřit na průmyslové kamery -

kamery odpovídající průmyslovým standardům. Použití běžně dostupných komerčních

kamer a fotoaparátů se pro průmyslovou praxi jeví spíše jako provizorní řešení s

omezenými vlastnostmi, kterými jsou především životnost, odolnost vůči vlivu okolního

prostředí a již provedená komprese snímků, které minimalizují použitelnost pro následné

zpracování obrazu. Po získání obrazu následuje obrazová analýza umožňující automatizaci

jednotlivých úloh, například hodnocení jakosti, nalezení objektů, rozeznání tvarů,

23

vyhodnocování kódů atd. Samotné pořízení obrazu je pouze jedním z nástrojů strojového

vidění.

Pro získání obrazové informace pomocí kamery je zapotřebí zajistit vztah mezi obrazovou

rovinou kamery a objektem snímaným ve 3D prostoru. Převedení bodu v prostoru o

souřadnicích (X, Y, Z), do obrazových souřadnic (x, y) zajišťuje projektivní transformace.

Bod v obrazové rovině je rozšířen o jednu dimenzi (x, y, w). Vztah mezi prostředími je pak

definován jako:

𝒒 = 𝑴𝑾𝑸, (2.16)

kde q představuje vektor polohy bodu v obrazových souřadnicích kamery, M matici

vnitřních parametrů kamery a W spojitou matici pro rotaci a translaci souřadného systému

objektu do systému kamery.

Pro převod do homogenních souřadnic platí:

[𝑥𝑦] → [

𝑥𝑦1

], (2.17)

zpět z homogenních naopak:

[𝑥𝑦𝑤

] → [

𝑥

𝑤𝑦

𝑤

], (2.18)

2.2.3 Vnitřní parametry kamery

Matice vnitřních (intrinsických) parametrů kamery je dána jak harwarovým uspořádáním

při výrobě kamery, tak použitým nastavením při získání obrazu. Jednotlivé hodnoty matice

jsou s neměnnou konfigurací konstantní pro každé snímání. Kalibrace kamery je tedy

nezbytná pouze v případě změny konfigurace kamery (změna objektivu, přeostření apod.).

Matice vnitřních parametrů kamery je dána tvarem:

𝑴 = [𝑓𝑥 𝛾 𝑐𝑥

0 𝑓𝑦 𝑐𝑦

0 0 1

],

(2.19)

kde fx, fy jsou souřadnice ohniska v jednotkách obrazového bodu, cx, cy představují

odchylku středu souřadnic od optické osy obrazové roviny, γ znázorňuje koeficient zkosení

mezi osami x a y, z principu bývá většinou nulový.

Kromě vnitřních parametrů kamery je důležité také uvažovat zkreslení obrazu distorzí

čočky objektivu. Stejně jako matice vnitřních parametrů není závislá na snímané scéně.

Obdobně jako v předchozím případě je kalibrace kamery nutná opět pouze v případě

změny konfigurace kamery. Distorze čočky objektivu se dá rozdělit na radiální a

24

tangenciální. Radiální distorze je častější a je způsobena neideálním tvarem čočky.

Radiální distorze způsobuje efekt tzv. soudkovité nebo poduškové deformace obrazu (Obr.

2.8), kdy deformace roste spolu s vzdáleností od optického středu [17].

Obr. 2.8 Typy radiální deformace obrazu, a) původní obraz, b) soudkovitá deformace, c)

podušková deformace obrazu

K výpočtu radiální distorze se nejčastěji využívá polynomický model. Pro korigované

souřadnice obrazu x´, y´ platí:

= 𝑥(1 + 𝑘1𝑟2 + 𝑘2𝑟4 + 𝑘3𝑟6)

= 𝑦(1 + 𝑘1𝑟2 + 𝑘2𝑟4 + 𝑘3𝑟6)

(2.20)

kde ki jsou koeficienty radiální distorze, x, y jsou původní souřadnice bodu v obraze a x´, y´

jsou přepočtené hodnoty s odstraněnou radiální distorzí. Koeficient r představuje

vzdálenost od středu obrazu, tedy:

𝑟 = √(𝑥 − 𝑐𝑥)2 + (𝑦 − 𝑐𝑦)2 (2.21)

Dominantní jsou převážně první tři výrazy, standardně k popisu vystačíme s koeficienty k1,

k2 a k3 [18,19,20].

Druhým typem uvažované distorze je distorze tangenciální. Toto zakřivení je způsobeno

nepřesností vyrobeného hardwaru kamery, konkrétně nedokonalou rovnoběžností čočky

kamery a obrazové roviny. Je popsáno koeficienty p1 a p2, které stejně jako u radiální

distorze upravují souřadnice tak, aby odpovídaly realitě:

= 𝑥 + [2𝑝1𝑦 + 𝑝2(𝑟4 + 2𝑥2)]

= 𝑦 + [2𝑝2𝑦 + 𝑝1(𝑟4 + 2𝑦2)]

(2.22)

25

Kromě radiální a tangenciální distorze existují také další typy deformace snímku, ty ale

nemají tak významný vliv. Většina kalibračních programů využívá k popisu právě radiální

a tangenciální distorzi. V některé literatuře je tento výpočtový model také označován jako

Brownův, nebo Bown-Conradyho model [21,22].

2.2.4 Vnější parametry kamery

Vnější parametry kamery stanovují polohu snímacího zařízení v prostoru a jsou dány

maticí:

𝑾 = [ 𝑹 ∣ 𝒕], (2.23)

kde t je vektor pozice kamery a R rotační matice představující natočením ve vnějším

souřadném systému. Po dosazení rovnic 2.19 a 2.23 do původní rovnice 2.16 dostaneme

výsledný vztah:

[𝑥𝑦1

] = [𝑓𝑥 𝛾 𝑐𝑥

0 𝑓𝑦 𝑐𝑦

0 0 1

] [ 𝑹 ∣ 𝒕 ] [

𝑋𝑌𝑍1

] .

(2.24)

2.2.5 Snímače viditelného záření

Snímače viditelného elektromagnetického záření (světla) jsou fotonovými senzory záření,

které se používají od 70-tých let 20. století a lze rozdělit do dvou skupin:

Snímače na fotoemisivním principu využívající vnější fotoelektrický jev. Přijetím

fotonu je poskytnut dostatek energie, aby se uvolnil volný elektron. Principu je

využíváno především u světlocitlivých polovodičů, ve vakuových snímacích

elektronkách a fotonásobičích.

Snímače na fotovoltaickém nebo fotovodivostním principu se rozšířily s rozvojem

polovodičů a využívají vnitřní fotoelektrický jev. Na tomto principu jsou založeny

mimo jiné dva základní typy snímačů pro reálné průmyslové nasazení. Starší je

označován CCD (Charge-coupled device), mladší a v poslední době stále více

používaný, CMOS APS (Complementary Metal–Oxide–Semiconductor Active

Pixel Sensor).

2.2.6 Průmyslové kamery

Průmyslové kamery lze obecně dělit podle tvaru snímacího prvku na:

řádkové kamery, snímací body umístěné v linii,

plošné kamery, snímací body umístěné v matici,

3D kamery.

26

Většina metod strojového vidění používá jako optického detektoru kameru. Základem

moderních kamer používaných v dnešních topografických metodách je CMOS nebo CCD

čip. Oba čipy pracují na stejném principu, kdy foton po interakci s atomem dokáže

přemístit některý z jeho elektronů ze základního do excitovaného stavu. V polovodiči je

možno uvolněný valenční elektron přitáhnout k přiloženým elektrodám, které jsou ale od

polovodiče izolovány. Vznikají tak potenciálové jámy (miniaturní obrazové buňky), které

jsou následně vyčítány, zesíleny a digitalizovány. Digitalizace signálu představuje

kvantování podle požadované datové hloubky, tedy na požadovaný počet úrovní jasu.

Jestliže je pro získání obrazových dat o obrazovém elementu (pixelu) použito bbit bitů, je

počet úrovní jasu κ:

𝜅 = 2𝑏𝑏𝑖𝑡 (2.25)

Pro většinu aplikací je dostačující použití 8 bitového popisu na jeden pixel, současné

kamery však zvládají 10 až 12 bitů na pixel.

Rozdíl mezi CCD a CMOS APS je ve vyčítání elektronů. U CCD snímače je použit

posuvný registr a buňky jsou postupně vyčítány, zesilovány a pomocí A/D převodníku je

signál digitalizovaný. U CMOS APS jsou buňky snímače vyčítány přímo. Snímač funguje

na principu použití tranzistoru, kdy každá buňka má svůj zesilovač a A/D převodník. Může

být díky tomu přímo adresována a čtena pomocí jejích souřadnic. Obecně, CCD snímače

mají vyšší citlivost, vyšší dynamický rozsah, menší šum a vyšší fill factor . CMOS APS

snímače mají menší spotřebu, jsou rychlejší a levnější. Více informací lze najít v odborné

literatuře [15,16].

V současné době je v průmyslové praxi nejrozšířenější využití monochromatických kamer

(kamer snímající v šedé škále). Vedle měření jasu, je možné získat i informace o vlnové

délce, přesněji získat barevnost sledovaných objektů v podobném vyjádření tak, jak je

vnímá lidské oko. Pro získání barevného obrazu je možné využít dvou základních principů

a to tříčipového uspořádání a jednočipového uspořádání s barevným filtrem.

Plošné rozlišení, neboli vzorkování, je vzdálenost mezi nejbližšími snímanými

(vzorkovacími) body v obraze (obrazovými buňkami, pixely). Otázku plošné vzorkovací

frekvence (vzdálenosti vzorkovacích bodů) řeší Shannonova věta o vzorkování [16]

Shannonova věta o vzorkování říká, že vzorkovací frekvence musí být alespoň dvakrát

vyšší než nejvyšší frekvence ve vzorkovaném signálu. To znamená, že interval vzorkování

by se měl zvolit tak, aby byl alespoň dvakrát menší než nejmenší detail v obraze. Při

výběru typu vzorkovací mřížky se nejčastěji volí pravidelná čtvercová mřížka [23]. V

případě použití nižší vzorkovací frekvence (nižšího rozlišení) může dojít k tzv. aliasingu

[9,24]. O rozlišení snímače tak primárně rozhoduje požadovaná přesnost měření.

Vzhledem ke zmíněným podmínkám, musí být rozlišení alespoň dvakrát vyšší než

požadovaný nejmenší měřitelný rozměr. Tato teoretická přesnost je však snižována vlivem

šumu v obraze, ztrátovou kompresí obrazových dat a dalšími vlivy. Zkušenost ukazuje, že

pro zpracování obrazu je třeba volit rozlišení zhruba pětkrát větší než je teoretická mez.

27

Běžné průmyslové kamery dnes mají plošné rozlišení okolo 5 MPx, existují ovšem i

kamery s rozlišením až 101MPx [25].

Časové rozlišení snímačů nebo také frekvence, či rychlost snímání odpovídá počtu

nasnímaných snímků za vteřinu (fps, Frames Per Second). Tento parametr je obzvláště

důležitý při snímání relativně rychlých procesů. Frekvence snímání se v současné době

pohybuje od 3 fps až po 750 fps. Obecně platí, že čím vyšší rozlišení snímku, tím nižší

frekvence snímání. Moderní průmyslové kamery umožňují zvýšení rychlosti snímání

záznamem pouze ve zvolené oblasti zájmu na snímači ROI (Region of Interest). Oblast

záznamu na snímači je omezena na pouze část z celé plochy snímače (snižuje se tak plošné

rozlišení).

Objektiv představuje systém optických elementů - čoček a soustředí obraz na snímač. U

převážné většiny objektivů pro spektrum VIS, NIR a NUV je možné pomocí kroužku na

objektivu obraz zaostřit. Objektiv je pro uvedená spektra mimo VIS většinou z křemičitého

skla. U běžného optického skla se často jedná o rozsah vlnových délek 300 až 2 700 nm

(spektrální oblast je jen přibližná, velmi záleží na složení skla). U křemičitého skla je to

160 (160 nm jen několik procent, 170 nm je propustnost 50 %) až 3 600 nm s oknem nízké

propustnosti v rozsahu 2 200 až 2 700 nm (vlivem silné absorpce vody). Existují dopovaná

křemenná skla pro IR oblast, kde absorpce způsobená vodou je silně potlačena a rozsah

rozšířen i přes 4 000 nm [26].

Obr. 2.9 Vztah mezi zorným úhlem, ohniskovou vzdáleností a velikostí snímače

Hlavním parametrem je ohnisková vzdálenost, která určuje pro danou velikost čipu úhel

záběru. Většina objektivů pro průmyslové aplikace má pevnou ohniskovou vzdálenost. Pro

daný typ kamery s danou velikostí snímače je třeba určit objektiv, který bude mít vhodný

úhel záběru, umožňující snímání celé scény z požadované vzdálenosti. Vychází se

z velikosti oblasti zájmu scény, která je určena maximální velikostí předpokládaného

28

snímaného objektu (bez nutnosti výměny objektivu). Oblast by měla být s rezervou

nakonec větší, a to i s ohledem na pokles rozlišení a kontrastu objektivu směrem

k okrajům. Vztah mezi velikostí oblasti zájmu (SU ), velikostí snímače (

Su ), pracovní

vzdáleností kamery (WDL ) a ohniskovou vzdáleností ( f ) je zřejmý z obr. 2.9.

Matematicky je pak možno vyjádřit vztah z poměrů:

W DS

S

L

f

U

u

(2.26)

Z uvedeného lze pak odvodit vztah pro ohniskovou vzdálenost:

S

SW D

U

uLf .

(2.27)

Mechanická clona objektivu dovoluje regulovat množství světla procházející objektivem.

Tímto nástrojem je možné jednoduše ovlivnit celkovou expozici.

Expozice je pro získání obrazových dat obecným pojmem, který ovlivňuje kvalitu

získaných dat u většiny použitých energií k jejich získání. Vedle správného zaostření,

nasvětlení scény, volby vhodného objektivu, snímače a dalších faktorů, je třeba na snímač

přivést požadované množství světla a vzniklý signál správně zesílit. O tom rozhoduje

expozice, která je závislá v optickém spektru elektromagnetického záření na třech hlavních

faktorech: doba expozice (čas expozice, rychlost závěrky), clona a zisk (gain, kontrast, u

komerčních fotoaparátů známé jako ISO).

Doba expozice určuje, po jakou dobu je otevřena závěrka a snímač je tak vystaven

působení světla přicházejícího ze scény. Doba expozice je nastavitelná na hodnoty

zaokrouhlené mocniny 2, kdy zvýšení doby o jednu hodnotu vede ke zdvojnásobení

expozice (fotonů dopadajících na snímač):

sT n

E ,...60,30,15,8,4,2,1,2

1,

4

1,

8

1,

15

1,

30

1,

60

1,

125

1,

250

1,

500

1,

1000

12

(2.28)

kde n je parametr expozice a je celým kladným číslem. U průmyslových kamer je možné

se setkat s použitím hodnot v milisekundách.

Clona je průměr otvoru, kterým prochází světlo, tedy je to fyzické omezení množství

světla přicházejícího na snímač. Clona je většinou součástí objektivu, NA je clonové číslo a

platí pro ně vztah:

𝑁𝐴 =𝑓

𝐶,

(2.29)

kde f je ohnisková vzdálenost [mm] a C je průměr otvoru clony [mm]. Ze vztahu

vyplývá závislost clonového čísla na průměru otvoru clony a ohniskové vzdálenosti. Je tím

ovlivněno i množství dopadajícího světla procházející optikou kamery, tedy expozice. Při

29

zdvojnásobení průměru clony se expozice (množství dopadajícího světla na snímač)

zčtyřnásobí, neboť při zdvojnásobení průměru otvoru clony C se zčtyřnásobí plocha S ,

kterou prochází světlo

4.

2CS

(2.30)

Pro zdvojnásobení expozice je třeba zvýšit průměr clony o 2 ( 4,1 ). Vliv na snížení

množství světla dopadajícího na senzor má také ohnisková vzdálenost. Při zdvojnásobení

vzdálenosti klesne množství dopadajícího světla čtyřikrát. Je to dáno tím, že se světlo

rozprostře na větší plochu. Clony mají clonová čísla velmi často v řadě, která respektuje

výše uvedenou závislost, tedy při změně o jednu hodnotu výše se expozice (dopadající

energie ve formě záření) sníží na polovinu:

...;22;16;11;8;6,5;4;8,2;2;4,1;12 nN (2.31)

kde n je celým kladným číslem. (Často je clona označována jako: f/1.0, f/5.6, f/8 atd.)

Zesílení signálu ze senzoru neboli zisk ovlivňuje u snímačů přímo míru šumu. U

fotoaparátů se vyjadřuje jako ISO citlivost. V praxi nemá smysl normovat vlastní zesílení

pro kamery, protože citlivost senzorů na světlo je různá. Normalizace se provádí u

fotoaparátů i průmyslových kamer, kde se normuje celková citlivost senzoru se

zesilovačem. Citlivost se standardně udává v ISO jednotkách a měla by odpovídat citlivosti

klasického kinofilmu. Každá sousední hodnota na ISO stupnici mění citlivost vždy právě

dvakrát. Typická základní stupnice ISO tedy je:

...;1600;800;400;200;100;50...ISO (2.32)

Pokud se zvýší zisk vyjádřený ISO stupnicí dvakrát (např. z ISO 100 na ISO 200), ke

stejné expozici stačí poloviční energie vybuzená světlem (velice zjednodušeně řečeno -

stačí poloviční množství dopadajících fotonů).

Pomocí tří uvedených parametrů lze nastavovat expozici. Platí, že stejné expozice lze

dosáhnout kombinací všech tří faktorů, ale nezíská se stejný obraz. Pro rychle se měnící

scénu je nutné snímat v kratších časech. Pak je nutné otevřít clonu (nastavit malé clonové

číslo) nebo více zesílit vystupující signál ze snímače. Otevřením clony se sníží hloubka

ostrosti. Vzdálenější a bližší části scény od zaostřeného objektu jsou pak rozostřené, což

může v některých případech úloh v průmyslové praxi být nežádoucí. Druhá možnost zesílit

vystupující signál zase zvyšuje relativní míru šumu v získaném snímku.

Vedle těchto tří faktorů lze ovlivnit expozici pomocí osvětlovačů (zdrojů záření dané

vlnové délky nebo častěji v daném rozsahu vlnových délek). Vliv expozice včetně jejího

ovlivnění pomocí tří parametrů a zdroje záření (osvětlení) je stejný pro celé optické záření.

Je tak přenositelný i na IR a UV záření.

30

Osvětlení technologické scény je nezbytnou součástí hardwaru kamerového systému.

Problematika volby vhodného osvětlovače je velmi složitá. Obecně platí, že nastavení pro

jeden objekt či sledovanou scénu je obtížně přenositelné do jiných podmínek. Volbu

správného osvětlení ovlivňují kromě vlastností osvětlení a snímače také vlastnosti snímané

scény. U snímaného objektu bude hrát stěžejní roli typ snímaného povrchu (spíše difúzní

nebo spíše lesklý kap. 2.1.2). Důležité je i nastavení polohy osvětlení ve vztahu ke zdroji

záření, pozadí a snímači. Obr. 2.10 popisuje základní geometrii osvětlení. Tu je možné

rozdělit podle polohy osvětlovače na:

Brigt-field lightning - přední osvětlení s jasným obrazovým polem. Nejčastější

typ osvětlení, kdy se světlo odráží od povrchu sledovaného objektu do objektivu

kamery.

Dark-field lightnig - přední osvětlení pod nízkým úhlem, kdy se světlo odráží

od struktury na povrchu sledovaného předmětu. Toto osvětlení umožňuje

vytvořit kontrastní obraz členitostí povrchu v temném poli.

Back lightning - zadní osvětlení, případně podsvětlení. V tomto případě světlo

prochází kolem objektu. Toho se používá k vytvoření obrazu obrysu objektu,

typicky v úlohách měření rozměrů.

Obr. 2.10 Základní geometrie používaného osvětlení

Zdrojem osvětlení scény může být například sluneční světlo, zářivka, žárovka, výbojka.

Pro průmyslové aplikace jsou dnes nejčastěji využívána LED světla a lasery. LED

nepotřebují vysoké napětí a jejich světelný tok může být regulován. Vlastnosti světla se s

časem mění jen málo a mají dlouhou životnost. Světlo z osvětlovačů může být rozptýlené

(difúzní), směrové až koncentrované. Obecně platí, že rozptýlené světlo snižuje kontrasty

31

způsobené členitostí objektu a strukturou povrchu a zvýrazní kontrasty způsobené

absorpcí. Směrové světlo naopak členění objektu zvýrazňuje.

Osvětlení a především změny osvětlení výrazně ovlivňují systémy strojového vidění bez

ohledu na prostorové aspekty jeho řešení. Osvětlením je nutné se zabývat již při návrhu

systému strojového vidění, protože interakce světla s dílem tak, jak ji vnímá kamera, je

základem úspěšného řešení. Správná volba typu osvětlení technologické scény navíc

dokáže velmi zrychlit a zjednodušit následnou analýzu obrazu. Osvětlení je v mnoha

odborných publikacích označováno stěžejní veličinou při stanovení okrajových podmínek

strojového vidění [27]. Problematikou osvětlení v průmyslových aplikacích i

v autonomních vozidlových systémech se podrobněji zabývá např. [28,29,30].

V průmyslové praxi je drtivá většina osvětlení realizována právě ve viditelné části

optického spektra. Pro osvětlení běžných objektů ideálně s difúzním povrchem je to

dostačující. Problém může nastat při osvětlování lesklých povrchů, případně průsvitných,

či průhledných materiálů. Logickou hlavní nevýhodou využití těchto snímačů pro detekci

průhledných, či průsvitných materiálů je, že část záření ve viditelné oblasti jimi prochází.

Pouze malá část záření je u těchto vlnových délek odražena a pohlcena. Například odraz

světla při dopadu kolmo na povrch běžného skla je okolo 4%, podíl odraženého paprsku se

zvětší až při relativně velkých úhlech. Tohoto jevu lze potenciálně využít pro detekci tvaru

a to především odrazu liniového paprsku od povrchu skla. Touto problematikou se

podrobněji zabývá kap. 5.1.

2.3 Metody získání 3D informace

Řešení získání a interpretace dat ve 2D a 2,5D je relativně přímočaré a obvykle je řešitelné

pomocí jedné kamery. V případě získání a interpretace 3D dat existuje několik možností,

konkrétně jednokamerové 3D, jedno- nebo multikamerové 3D se strukturovanou světelnou

triangulací a multikamerové stereoskopické vidění. Každý z těchto přístupů nabízí určité

výhody i nevýhody. Jednokamerová 3D řešení mohou být extrémně přesná napříč relativně

úzkými zornými poli, ale mohou vyžadovat několik snímků pro vytvoření 3D sady bodů.

Stereoskopie je vysoce přesná pro velká zorná pole a lze ji dále vylepšit použitím zdrojů

strukturovaného osvětlení, jako jsou projektory světelné mřížky, LED nebo generátory

laserového paprsku, avšak vyžaduje více hardwaru. Všechny tyto systémy závisejí na časté

kalibraci, aby se zajistilo, že nárazy, tepelná roztažnost a další faktory nezpůsobí nepřesná

3D data. Optickými metodami se podrobněji zabývá Bass ve svých publikacích [31,32].

Tato práce se inspirovala rozdělením metod dle Blaise [33] a rozděluje metody získání 3D

informace do dvou základních skupin na:

aktivní metody (kap. 2.4) a

pasivní metody (kap. 2.5).

V tomto textu jsou jako aktivní metody označeny takové metody, kdy je do scény přidána

dodatečná veličina. Touto veličinou je nejčastěji optický paprsek, ale možné je i použití

32

jiného druhu energie (např. kap. 2.4.1). Některé publikace také uvádí pojem přidané

informace. Tento pojem však není v práci používán, neboť by mohl být zavádějící. Aktivní

metody získání 3D informace zpravidla používají kromě samotného obrazového snímače i

další zařízení [35] Pasivní metody jsou takové, ve kterých je scéna zpravidla sejmuta

jedním obrazovým zařízením, bez dodatečně přidávané veličiny. V případě stereovizního

vidění jsou dvě kamery uvažovány jako jedno zařízení – stereosnímač. Aktuálním trendem

je použití kombinace aktivní a pasivní metody, např. [34,35,36]. Jedinou metodou, jejímž

přímým výstupem jsou stereo snímky, je pasivní metoda s normálním postavením kamer.

Výstupem všech ostatních metod je hloubková mapa, pomocí které lze druhý snímek

dopočítat. Z toho vyplývá, že zejména aktivní metody snímání se překrývají s pojmem

„tvorba hloubkové mapy“ [37,38].

2.4 Aktivní metody získání 3D informace

Základním znakem aktivních metod je přidání dodatečné veličiny do scény. Tato práce se

zaměřuje na problematiku světelného záření, a proto jsou popisovány principy optických

měření. Optická měření jsou taková, která se provádí určitým světelným paprskem.

Informace je nejčastěji přidána pomocí projektoru, laseru, nebo infra-zářiče. O těchto

metodách lze mluvit jako o optických metodách měření vzdálenosti a dále je lze dělit na

koherentní a nekoherentní.

Vyjma optického záření je možné využít snímače využívajících jiného typu energie.

Běžnými jsou snímače využívající elektrického nebo magnetického pole. Do této skupiny

patří snímače indukčnostní, kapacitní, či magnetické [39]. Ty nejsou v práci použity a

nejsou zde proto ani podrobněji rozebírány. Jediným zástupcem použití neoptických

metod, který je v práci hlouběji popsán, je senzor využívající odrazu mechanické energie

akustických vln, a to ultrazvukový senzor.

2.4.1 Měření sadou 1D snímačů

V této podkapitole je popsána škála bodových bezkontaktních snímačů. Tyto snímače je

možné umístit do matice a získat rastrovaná obrazová data za předpokladu, že pracují bez

vzájemného ovlivnění. Snímače by navíc měly přinášet spojitou informaci o vzdálenosti

snímače od objektu v určitém rozsahu. Bodové snímače mohou ale také najít uplatnění u

trendů senzorové fúze (multisenzoriky), kdy na základě dat z bodových snímačů může být

rozšířena obrazová 2D informace, např. v kap. 3.1.5.

Ultrazvukové senzory

Kromě optických senzorů lze pro získání 3D informace uvažovat o aplikaci

ultrazvukových snímačů. Stejně jako dále popisované optické metody je založen na odrazu

(v tomto případě mechanického vlnění) od měřeného předmětu. Oproti optickým metodám

se ultrazvuk šíří prostorem relativně pomalu a je tedy možné celkem snadno změřit dobu

odrazu signálu měřeného objektu. Ultrazvuk je lidským uchem neslyšitelné akustické

33

vlnění. Kmitočet tohoto vlnění se pohybuje od 20 kHz až k horní hranici ležící u 1 GHz,

podle [40] a [41].

Měření vzdálenosti ultrazvukovými senzory vychází z reflexního měření doby odezvy od

měřeného objektu, tzv. echa. Vysílač vyšle krátký signál. Tato podélná zvuková vlna se šíří

prostorem. Když narazí do překážky, na mezní ploše mezi dvěma prostředími se část

odrazí a část překážkou projde (obr. 2.11).

Obr. 2.11 Mechanické vlnění – ultrazvuk na rozhraní dvou prostředí

Vlna procházející do druhého prostředí se bude lámat dle Snellova zákona:

𝑐1

𝑠𝑖𝑛 𝛩𝑖=

𝑐2

𝑠𝑖𝑛 𝛩𝑡

(2.33)

kde c1 a c2 představují rychlostí šíření zvuku v jednotlivých prostředích, úhel Θi je úhel

dopadající vlny a úhel Θt popisuje úhel vlny prošlé do druhého prostředí. Úhel odražené

vlny bude dle zákona odrazu roven úhlu dopadu. V ideálním případě by měl být měřený

objekt orientován normálově ke směru šíření zvuku. Nevhodná orientace měřeného objektu

může způsobit odraz signálu mimo snímací část senzoru a znemožní tak změření

vzdálenosti.

Podíl mezi dopadající Ii a odraženou Ir energií je nazýván součinitel odrazivosti zvuku ρz,

je inverzním k součiniteli pohltivosti αz a je dán vztahem:

𝜌𝑧 =𝐼𝑟

𝐼𝑖

(2.34)

Koeficient odrazu je dán především materiálem překážky. Vliv má ale i frekvence vlnění, s

klesající frekvencí roste odrazivost. I to je jedním důvodů k použití měničů pracujících na

frekvenci 40 kHz. Všechny reálné materiály mají koeficient odrazivosti mezi hodnotami 0

a 1. Logické je tedy aplikace metody na materiály s vysokým koeficientem odrazivosti

zvuku, což jsou standardně tvrdé a masivní materiály [42].

Pro měření vzdálenosti ultrazvukovým senzorem vyšle vysílač signál šířící se v daném

prostředí rychlostí c. Nachází-li se ve směru šíření překážka, signál se od ní odrazí zpět k

senzoru. Z doby odezvy t lze učit vzdálenost měřeného objektu:

34

𝑙 =𝑡 ∙ 𝑐

2

(2.35)

Rychlost šíření zvukových vln v ideálním plynu lze definovat vztahem:

𝑐 = √𝜅 𝑝0

𝜌0∙ (1 + 𝛾𝑡𝐶)

(2.36)

kde κ je Poissonova konstanta, p0 je tlak plynu při 0 °C, ρ0 je příslušná hustota plynu při 0

°C, γp je činitel objemové roztažnosti plynu a tC je aktuální teplota ve stupních Celsia. Po

dosazení konstant pro vzduch je rychlost šíření zvuku ve vzduchu při 0 °C

𝑐 = √1,4 ∙ 101,3 ∙ 103

1,29∙ (1 +

1

273∙ 0) = 331,6 𝑚𝑠−1

(2.37)

Rychlost šíření zvuku při jiné než nulové teplotě lze vypočítat opětovným dosazením do

U2. V praxi se však využívá přibližného přepočtu:

𝑐 = 331,6 + 0,61𝑡𝐶 (2.38)

Z rovnice 2.36 vyplývá závislost měření ultrazvukových senzorů na dalších veličinách.

Vyšší tlak plynu snižuje rychlost šíření. Při kolísání atmosférického tlaku v celém rozsahu

běžných hodnot je relativní změna rychlosti šíření zvuku 5% [40]. Rozdíl rychlosti šíření

zvuku při průchodu suchým a vlhkým vzduchem činí přibližně 2% [40]. Z důvodu

zanedbatelného vlivu ostatních veličin se obvykle při měření ultrazvukovými senzory

provádí pouze kompenzace teploty.

Výhodou ultrazvukových snímačů jsou nízké pořizovací náklady a univerzálnost použití.

Vyznačují se stabilitou snímacího procesu. Ten je nezávislý na barvě, transparentnosti a

vlastnostech detekovaného objektu. Rozsahy snímaní se standardně pohybují od 25 mm do

cca 6 m s poměrně vysokým rozlišením, které se může u krátko rozsahových senzorů

pohybovat na hranici setin mm. Aplikace je možná v kombinaci s běžnými 2D kamerami,

které určují polohu objektu ve dvou osách. Ultrazvukový senzor může být využit pro

detekci vzdálenosti v třetí ose. Příklad aplikace ultrazvukových senzorů pro rekonstrukci

3D dat pomocí senzorové fúze popisuje například Odat v [36].

Dalším příkladem může být aplikace ultrazvukových senzorů v kombinaci s jednou či

dvěma plošnými kamerami při odnímání volně ložených pružinových misek z bedny,

kterou se podrobněji zabývá kap. 3.1.5.

Konfokální snímače

Konfokální princip byl vyvíjen za účelem zlepšení rozlišení a kontrastu fluorescenčních

mikroskopů, patentován byl Minskym v roce 1957 [43]. Na základě zaostřování různých

hladin umožňuje měření v transparentních materiálech. 3D rekonstrukcí pomocí

konfokálního mikroskopu se zabývá např. Franck [44]. Gates a kol. patentovali

35

chromatický konfokální snímač pro technologii měření vzdálenosti v roce 2009 [45].

Technologie je založena na konstrukci velmi přesných optických snímačů. Funkce

konfokálního snímače spočívá v zaostřování polychromatického bílého světla na cílovou

plochu pomocí soustavy optických čoček. Čočky jsou uspořádány takovým konfokálním

způsobem, že procházející bílé světlo je řízenou chromatickou aberací prostřednictvím

chromatické odchylky rozděleno na monochromatické složky (na jednotlivé vlnové délky

nezávislé na posunu) [45]. Určitá odchylka je přiřazena ke každé vlnové délce při tovární

kalibraci. Pro měření je použita pouze ta vlnová délka, která je přesně zaměřena na cílový

povrch.

Konfokální uspořádaných čoček představuje stav, kdy odpovídají jejich vzájemné

ohniskové vzdálenosti. Světlo z tzv. fokálního bodu čočky objektivu dává ostrý obraz.

Světlo z ostatních bodů čočky je také zobrazeno, ale jeho obraz není ostrý. Neostrý signál

je možné odfiltrovat pomocí bodové (konfokální) clony. Odražené světlo, které projde

konfokální clonou, dopadá na přijímač (spektrometr), který detekuje a zpracovává změny

ve spektru [46].

V případě měření vzdálenosti konfokálním snímačem dle obr. 2.12, světlo odražené od

povrchu měřeného objektu je optickým vláknem přes clonku navedeno zpět na

spektrometr. Naměřené spektrum pak vykazuje ostrý peak při vlnové délce λ1. Po kalibraci

je možné určit vzdálenost povrchu měřeného objektu od senzoru S1 právě ze získané

vlnové délky λ1. Rozsah použitého měřícího senzoru je určen ohniskovou vzdáleností –

rozdílem nejkratší a nejdelší vlnové délky, kterou je snímač schopen vyhodnotit λmin a λmax.

Obr. 2.12 Princip konfokálního snímače

36

Uvažujeme-li transparentní materiál dle obr. 2.13, kdy jeho obě optická rozhraní jsou

v měřícím rozsahu. Na každém optickém rozhraní dojde k zaostření právě jedné vlnové

délky λ1 a λ2, která je zpět do senzoru odražena. To se samozřejmě projeví ve vyčítaném

spektru jako dva peaky intenzity odraženého světla. Tyto peaky korespondují se

zjišťovanými vzdálenostmi S1 a S2.

Obr. 2.13 Měření tloušťky pomocí konfokálního snímače

Při použité geometrii je nutné uvažovat, že světlo odražené od spodního rozhraní se láme

při průchodu prvním optickým rozhraním při vstupu i výstupu z transparentního materiálu.

Tyto lomové vlastnosti je nutné zohlednit při výpočtu vzdálenosti S2. Geometrická

trajektorie průchodu světla je zobrazena na obr. 2.13. Pro zjednodušení je popsán

specifický případ měření objektu s dvěma rovnoběžnými rovinami umístěnými kolmo

k optické ose senzoru. Na obrázku jsou znázorněny dva paprsky z měřící sondy. Paprsek 2

dopadá na povrch materiálu pod úhlem Θi. Optickou osu snímače by tento paprsek protnul

ve vzdálenosti S0. Nicméně, díky indexu lomu, který je větší než v původním prostředí,

prochází paprsek materiálem s menším úhlem Θr a protíná optickou osu na dalším

optickém rozhraní, právě ve vzdálenosti S2. Budeme-li vycházet ze Snellova zákonu lomu:

𝑠𝑖𝑛 𝛩𝑖

𝑠𝑖𝑛 𝛩𝑟=

𝑛2

𝑛1 .

(2.39)

Pro zjednodušení uvažujme měření transparentního objektu ve vzduchu. Index lomu

prvního prostředí pak můžeme zanedbat (n ≈ 1).

𝑛2(𝜆) = 𝑠𝑖𝑛 𝛩𝑖

𝑠𝑖𝑛 𝛩𝑟

(2.40)

Poté:

𝑠2 − 𝑠1

𝑠0 − 𝑠1=

𝑑2

𝑑0=

𝑡𝑎𝑛 𝛩𝑖

𝑡𝑎𝑛 𝛩𝑟=

𝑠𝑖𝑛 𝛩𝑖

𝑠𝑖𝑛 𝛩𝑟∙

𝑐𝑜𝑠 𝛩𝑟

𝑐𝑜𝑠 𝛩𝑖= 𝑛2

𝑐𝑜𝑠 𝛩𝑟

𝑐𝑜𝑠 𝛩𝑖

(2.41)

37

Reálná tloušťka materiálu dw může být určena z naměřené tloušťky dg integrací přes celý

svazek paprsků, statisticky vážený faktorem g(Θi), který odpovídá podílu jednotlivých

paprsků na celkové intenzitě.

𝑑𝑤 = 𝑑𝑔 ∙ 𝑛2(𝜆) ∫𝑐𝑜𝑠 (𝑠𝑖𝑛−1 [

𝑠𝑖𝑛 𝛩𝑖

𝑛2(𝜆)])

𝑐𝑜𝑠 𝛩𝑖∙ 𝑔(𝛩𝑖) 𝑑𝛩𝑖

𝛼𝑚𝑎𝑥

0

.

(2.42)

Pro optickou sondu může být tento vztah vyjádřen pomocí funkce K, která závisí na vlnové

délce λ a numerické cloně NA = sin Θi max. Rovnice 2.42 se pak zjednoduší na:

𝑑𝑤 = 𝑑𝑔 ∙ 𝑛2(𝜆) ∙ 𝐾(𝜆, 𝑁𝐴). (2.43)

Vlnová délka λ v rovnici 2.43 je funkcí pracovního rozsahu. V našem případě odpovídá

vlnové délce λ2. Ta je odečtena z druhého peaku spektra odraženého světla. Detailnější

popis přepočtů při snímání konfokálními snímači i pro jiné než ploché materiály je

podrobně rozebrán v [47] a [48].

Konfokální princip umožňuje provádět velmi přesné měření vzdálenosti. Udávaná přesnost

těchto snímačů se pohybuje v řádu nm. Konfokální technologie pracuje prakticky nezávisle

na materiálu měřeného objektu. Je tak možné docílit velmi malého a konstantního bodu.

Tuto metodu lze navíc použít i k měření difuzních i zrcadlových povrchů. U

transparentních materiálů navíc umožňuje jednostranné měření tloušťky společně s

měřením vzdálenosti. Při měření nedochází ke stínování, protože vysílač a přijímač jsou

uspořádány v jedné ose [49,50]. Použití této technologie je vhodné pro veškeré

transparentní materiály. V praxi jej omezuje především malý rozsah měřených vzdáleností,

přesné měření musí být provedeno kolmo na měřený objekt (jen s relativně malou

odchylkou), vysoká cena zařízení, dále pak limitovaná vzdálenost mezi snímačem a cílem

a také čisté prostředí pro průchod paprsku. Problematika konfokálních snímačů je

detailněji rozpracována v kap. 4.

2.4.2 Triangulační metody

Triangulační metody lze podle rozměru rozdělit na:

jednorozměrnou,

dvojrozměrnou a

trojrozměrnou triangulaci.

1D triangulace

Jednorozměrná triangulace využívá pro měření vzdálenosti bodového laserového

triangulačního snímače. Princip triangulace je uveden na obr. 2.14. Zdroj světla (bodový

laserový paprsek) spolu se snímačem a osvětleným bodem na zkoumaném objektu tvoří

takzvaný triangulační trojúhelník. Spojnice mezi světelným zdrojem a snímačem je

38

základnou, která je také nazývána triangulační bází. Na straně světelného zdroje je úhel

svíraný triangulační bází konstantní (αT), kdežto na straně snímače je úhel určen

proměnnou pozicí osvětleného bodu na CCD snímači (βT). Z velikostí úhlů lze na základě

znalosti triangulační báze bs spočítat měřenou vzdálenost bodu na povrchu objektu 𝑙𝑧 (na

základě pravidla součtu vnitřních úhlů, sinusové věty a goniometrických funkcí).

Obr. 2.14 1D triangulace pro laserový snímač vzdálenosti

1D triangulační senzor je nejběžnějším a nejdostupnějším zařízením s využitím

triangulace. Snímače mají vysokou přesnost uváděnou v řádech m (většinou v desítkách

m pro běžné rozsahy), vysokou frekvenci snímání v řádech kHz a širokou škálu rozsahů

(od milimetrů po metry).

Bodové měření v ose z pomocí 1D triangulace není efektivní. Pro rekonstrukci povrchu 3D

objektu je nutné dodatečně zajistit pohyb snímače, nebo sledovaného objektu ve dvou

osách (x a y), případně zajistit bodové měření v předem definovaném rastru. Možná je také

kombinace přístupů, kdy rastr v linii (několik bodových snímačů) se pohybuje nad

objektem.

2D triangulace

2D triangulace je v současné době nejčastěji používanou metodou pro získání 3D

virtuálního modelu. Současná zařízení využívají principu představeném National Research

Council of Canada v [51].

Technologie je založena na principu snímání deformací liniového laserového paprsku

promítaném na pohybující se objekt (obr. 2.15a). Alternativně je možné snímat stacionární

objekt při definovaném pohybu kamery a laseru. Obrazový 3D model je generován

skládáním získaných profilů (obr 2.15a), které definují samostatně rozměr v ose y a z.

Z principu snímání vychází nutnost propojení obrazových dat s informací o pohybu

objektu. Vibrace, případně nerovnoměrnosti pohybu je možné softwarově odfiltrovat, touto

39

problematikou se zabývá např. práce [52]. Zařízení nejčastěji funguje ve spektru VIS

s možností přesahu do UV a IR.

a) b)

Obr. 2.15 Princip triangulačních 3D laserových skenerů s 2D triangulací a) při posunu objektu, b)

s využitím rozmítaného laserového paprsku

Existují v podstatě čtyři základní možnosti uspořádání laseru a kamery, obr. 2.16 [53].

Standardní geometrie představuje liniový laser promítaný kolmo na sledovaný objekt (k

ploše v ose x a y) a 2D snímač (kamera) je umístěný pod definovaným úhlem.

Charakteristické je pro tuto geometrii, že výškové rozdíly objektu podél promítané linie

nevytváří změnu v souřadnici y, což zjednodušuje výpočty potřebné k získání tvaru

objektu. Systém je tak jednodušší, přesnější a rychlejší s jednodušší kalibrací. Nevýhodou

může být, že 2D snímač sleduje objekt z úhlu. To zvyšuje nárok na požadovanou hloubku

ostrosti použité kamery. Se zvětšením úhlu kamery vůči laseru (menší sledovací úhel) roste

výškové rozlišení, ale zvětšuje se zároveň pravděpodobnost vzniku slepých míst (míst,

které nejsou díky poloze objektu a jeho tvaru 2D snímačem vidět). Tato konfigurace je

používána pro většinu aplikací.

Obr. 2.16 Uspořádání systému pro 2D triangulaci

40

Převrácená geometrie, kdy je kamera kolmo na rovinu os x a y. Toto uspořádání nabízí

zvětšené výškové rozlišení než standardní geometrie, šikmý úhel laserového osvětlení

způsobí větší posunutí laserové linie při změně výšky objektu. Kamera je ke sledované

ploše umístěná svisle, proto se v tomto případě nevyskytují žádná slepá místa. Nicméně,

při použití převrácené geometrie způsobuje změna výšky objektu změnu v obou osách, což

vede k náročnější interpretaci dat. Nejčastěji se toto uspořádání používá ke sledování

plošných objektů.

Zrcadlová geometrie se vyznačuje stejným úhlem (jiným než normála k povrchu) kamery a

laserového projektoru. Toto dvakrát šikmé uspořádání nabízí lepší detekci linie a vyšší

rozlišení než oba předchozí zmiňované způsoby. Uspořádání umožňuje kameře snímat

zrcadlový nebo téměř zrcadlový odraz laseru, což způsobuje vyšší reflexi, kterou lze využít

ke zvýšení úrovně signálu od tmavých objektů. Tmavé objekty odráží méně světla, a tím

vytváří nižší úroveň měřícího signálu – jinými slovy, detektor má méně světla pro měření.

To může zároveň způsobit chyby měření, pokud tyto reflexe způsobí saturaci, nebo

blooming detektoru. Šikmé umístění kamery opět vede k možným slepým místům

rekonstruovaného objektu.

Při geometrii odvráceného pohledu jsou kamera i laserový projektor šikmo ke snímanému

objektu, ale na stejné straně normály k povrchu objektu. To dramaticky snižuje šanci

zrcadlových reflexí, pokud objekt nemá extrémní texturu nebo strukturu na povrchu. Toto

uspořádání zároveň snižuje možné výškové rozlišení, protože 2D snímač je v podobném

umístění jako laserový projektor. Toto uspořádání umožňuje vznik slepých míst. Jakékoliv

další kombinace 2D snímače a liniového laseru jsou kombinací výše uvedených možností.

Vedle pohybu objektu nebo optického systému (kamera a laser) existují i další možnosti.

Pohyb paprsku může být zajištěn např. přes rotující zrcátko, které rozmítá laserovou linii

(obr. 2.15b). Tento princip byl použitý při průmyslovém řešení odebírání volně ložených

misek z bedny pomocí průmyslového robotu. Konkrétní aplikace včetně zpracování

mračna bodů je podrobněji popsána v samostatné kapitole (kap. 3.1.1).

Snímače založené na 1D a 2D triangulaci využívají především červeného laserového

paprsku (s vlnovou délkou okolo 660 nm), který je výhodný především s ohledem na

použitý CCD nebo CMOS APS snímač odraženého paprsku (snímače mají vyšší citlivost

ve vyšších vlnových délkách). Použití modrého laseru (běžně s vlnovou délkou okolo 450

nm) nabízí lepší výsledky při měření na kovech (značné zlepšení přináší zejména při

snímání žhavých povrchů) a organických materiálech jako dřevo, kůže, potraviny, dýhy

atd. Na rozdíl od červeného laseru neproniká snížená vlnová délka modrého laseru do

měřeného objektu. Předpokládá se, že použití modrého laserového paprsku zefektivní

snímání částečně propustných značně difúzních materiálů. Modrý laser vytváří minimální

laserový bod na povrchu měřeného objektu, což zaručuje stabilní a přesné výsledky měření

na jinak obtížných površích. V komerční nabídce lze také narazit na systémy

s monochromatickými lasery s vlnovou délkou odpovídající zelené barvě.

41

K výhodám triangulačních metod patří dostatečná nezávislost na okolním osvětlení,

vysoká přesnost měření a vysoká rychlost pohybu snímaného objektu. 2D triangulační

kamery jsou značně používány nejen ve strojírenském, ale i v potravinářském průmyslu,

či archeologii. Uplatnění nacházejí při 3D snímání relativně malých předmětů na poměrně

malé vzdálenosti. Zmiňované metody získání 3D obrazu jsou založené na detekci bodu,

profilu nebo světelné struktury, které se odráží od povrchu sledovaného objektu. Ideálně

jsou tak detekovatelné objekty s difúzním povrchem. Pro zrcadlové nebo lesklé povrchy je

použití těchto metod mnohem komplikovanější, pro transparentní materiály popsané

metody nelze použít vůbec. Vedle uvedeného problému s lesklým povrchem je třeba

zmínit další omezení. Tím je především samotný tvar sledovaného objektu. Logicky pro

vytvoření 3D virtuálního modelu objektu je třeba, aby laserový bod, parsek nebo mřížka

byly na povrchu zobrazeny (v částech, kde si objekt sám stíní, není laser zobrazen) a také

2D snímačem (kamerou) viděn. Rozlišení metod závisí na měřené vzdálenosti, velikosti

základny, úhlech laseru a kamery, rozlišení kamery, ohniskové vzdálenosti a pohybu

objektu nebo kamery s laserem [51,54,55].

3D triangulace

3D triangulace je založena na promítání strukturovaného 2D svazku optického záření-

strukturovaného vzoru na měřený objekt a následném vyhodnocení deformací tohoto vzoru

způsobené profilem předmětu vedoucí ke zjištění výškové distribuce. Výhodou 3D

triangulace oproti 1D a 2D triangulaci je označení celého objektu najednou. Odpadá tak

časová náročnost na zpracování scény. Tyto metody jsou většinou založeny na promítání

optické struktury na měřený předmět a následném vyhodnocení deformací této struktury

způsobené profilem předmětu vedoucí ke zjištění výškové distribuce.

Mezi metody založené na 3D triangulaci patří [56]:

použití světelného vzoru,

Moiré topografická metoda,

Furierovská profilometrie,

použití fázového posuvu.

Metoda použití světelného vzoru je založena na promítání definovaného pravidelného

vzoru na povrch sledovaného prostorového objektu. Je využito odrazu a z deformace

promítaného vzoru lze vypočítat třetí souřadnici scény, to znamená kolmou vzdálenost od

snímacího čipu kamery [57]:. Promítaná mřížka může obsahovat pomocný kód pro

zjednodušení následné identifikace jednotlivých polí mřížky [58]. Standardně je využíváno

jednoduchých tvarů - pruhy, čtverce, kosočtverce [59]. Projekcí na objekt je tvar

zdeformován a jeho deformace je vyhodnocována v závislosti na předem zjištěné

kalibrační křivce. Uvažujeme-li projekci lineární laserové stopy na měřený objekt (obr.

2.17). Projekcí na objekt je tvar stopy zdeformován a tento obraz je nasnímán pomocí

kamery. Světelný zdroj, kamera a snímaný objekt tvoří trojúhelník se známými parametry:

42

vzdálenost kamery a světelného zdroje od referenční roviny, jejich úhel vůči referenční

rovině.

Obr. 2.17 Princip metody použití světelného vzoru

Hledaná topografická výchylka Δr je v podstatě vzdálenost každého bodu snímaného

povrchu od referenční roviny a je popsána vztahem:

Δ𝑟 =Δ𝑢

𝑏𝑀 + Δ𝑢,

(2.44)

kde Δu je počet pixelů, o který se posune zobrazení bodu na matici čipu kamery při

projekci na referenční rovinu a na měřený bod. Koeficienty aM, bM jsou parametry

mapovacího algoritmu. Ty je možné vypočítat ze známých parametrů sestavy bs a l0, nebo

získat z kalibrace této sestavy. Rovnice se zjednodušuje využitím McLaurenova rozvoje

vztahu (1) a dosazením cM1=1/b, cM2=a/b [56]: Tím získáme vztah pro topografickou

výchylku v lineárním tvaru:

Δ𝑟 = 𝑐M1Δ𝑢 − 𝑐M2(Δ𝑢)2. (2.45)

Ve spektru viditelného záření je časté využití odrazu světla od povrchu objektu pod

relativně velkým úhlem. Jedná se o získání dat, které umožní virtuální rekonstrukci objektu

ve 3D a jeho bezdotykové měření [60].

Obr. 2.18 Rekonstrukce 3D modelu na základě odlesků promítaného vzoru

Zde se ukazuje aplikační potenciál pro využití při snímání 3D objektů a vytváření modelů

tvarovaných výrobků ze skla, jako jsou například gravitačně tvarovaná autoskla (obr.

2.18). Na zjednodušeném principu je založena kontrola zvlnění okrajů pomocí

promítaného zebra vzoru. Výhodou techniky světelného vzoru je nízká cena potřebného

43

zařízení, která je ovšem na úkor rozlišovací schopnosti. Přesnost detekce závisí nejen na

přesnosti snímané kamery, ale také na hustotě a kontrastu promítané mřížky. Tato metoda

je v průmyslové praxi využívána často, ale má svá omezení, která se vztahují mimo jiné na

vlastnosti povrchu. Touto problematikou se zabývala například práce [61].

Techniku světelného vzoru využívají pro snímání dat i některé herní konzole, z jejich

principu vychází i snímač Microsoft Kinect [7]. Hloubková mapa je v tomto případě

vytvořena na základě snímání promítaného komplikovaného vzoru složeného z

jednotlivých primitiv (speckle pattern). Vzor je promítán v blízkém infračerveném spektru

(NIR) a je snímán 2D CMOS NIR kamerou. Pomocí triangulace jednotlivých primitiv

vzoru (při známém geometrickém uspořádání masky promítaných bodů, IR projektoru a

kamery) lze určit hloubku snímaného bodu. Každý bod je popsán tvarem snímaných

primitiv. Na rozdíl od běžně používané profilometrie je u této metody triangulováno každé

primitivum struktury zvlášť [37]. Pro promítání jsou použity astigmatické čočky (obr.

2.19a), tvořené soustavou dvou cylindrických čoček s různými ohniskovými vzdálenostmi

[17]. Promítaný vzor je tedy v závislosti na vzdálenosti od projektoru definovaným

způsobem ve vertikální a horizontální rovině rozostřen. Je tedy známa závislost impulzní

odezvy optického systému na vzdálenosti:

𝑃𝑆𝐹 = 𝑓(𝑧). (2.46)

Tento vztah určuje přibližnou hodnotu vzdálenosti, a tedy nepřímo i identifikaci daného

primitiva pomocí klasické triangulace. V závislosti na vzdálenosti od senzoru se zároveň

liší tvar projekce daného primitiva (obr. 2.19b).

a) b)

Obr. 2.19 Microsoft Kinect: a) použité astigmatické čočky, b) promítání primitiv

Ač by se mohlo zdát, že tato metoda je používána pouze pro herní konzole, už v roce 2016

byla tato technologie aplikována pro odebírání objektů z pásu, nebo vykládání z vozíků

[62], na TUL byl senzor také využit k navigaci mobilních podvozků [63].

Moiré topografická metoda je založena na principu promítání dvou pravidelných

periodických struktur na měřený povrch. Překrytí dvou pravidelných struktur (lineární,

radiální mřížky, apod.) vyvolá Moiré efekt a dojde ke vzniku třetí struktury pozorovatelné

44

na povrchu měřeného objektu [64,65]. Jedná se o superpozici dvou mřížek s mřížkovou

konstantou 𝑙𝑀. Čím je rozdíl mezi mřížkami menší, tím je jev výraznější. Při promítání

mřížek paralelně na sebe nedochází ke vzniku dalších struktur. Nicméně, při natočení jedné

z nich o úhel αM vznikne další struktura s periodou 𝐿𝑀 (obr. 2.20):

𝐿𝑀 = 𝑙𝑀

2𝑠𝑖𝑛 (𝛼𝑀/2)

(2.47)

Pro malé úhly αM je 𝐿𝑀 = 𝑙/𝛼𝑀. Pokud promítneme jednu z mřížek na zkoumaný povrch,

dojde vlivem tvaru povrchu k deformaci této mřížky. Po superpozici s druhou

nedeformovanou referenční mřížkou dojde ke vzniku Moiré proužků. Tyto proužky budou

mít jiné uspořádání než původní a jejich pozice se bude měnit se vzdáleností objektu od

zdroje záření a 2D snímače. Moiré mřížka za jistých okolností tvoří vrstevnicovou mapu

povrchu předmětu. Topografická výchylka je poté určena řádem Moiré proužku.

Obr. 2.20 Vznik Moiré proužků. 𝑙𝑀, 𝐿𝑀 jsou periody mřížek, αM je úhel natočení jedné z mřížek

Fourierovská profilometrie je nekoherentní optická topografická metoda a je podobně

jako technika Moiré založená na měření fázového rozdílu periodické struktury promítané

na zkoumaný objekt. Promítaná je plošná optická struktura ve formě intenzitní sinusové

mřížky Nejvhodnějším současným zdrojem požadované mřížky je dataprojektor. Ten

standardně nabízí rychlou manipulaci s promítaným obrazem (změna periody mřížky, její

fázový posun, apod.). Fáze promítaného signálu se při dopadu na objekt mění v závislosti

na vzdálenosti objektu. Princip Furierovské profilometrie spočívá ve vyhodnocování

změny fáze obrazu sinusové mřížky deformované povrchem měřeného objektu a jejím

následném porovnání s fází obrazu sinusové mřížky na referenční rovině. Fáze je získána

pomocí Fourierovy transformace [66,67,68] těchto dvou obrazů. Topografická výchylka je

určena pomocí parametrů získaných při kalibraci či výpočtem argumentu komplexní

45

funkce získané inverzní Fourierovou transformací filtrovaného spektra obrazu sinusové

mřížky. Podrobněji je metoda popsána např. v [69,70,71].

Metoda fázového posunu (phase-shifting profilometrie) je nekoherentní optickou

topografickou metodou. Stejně jako u Furierovy profilometrie je dataprojektorem

promítána plošná světelná struktura ve formě sinusové mřížky [56] s následným

vyhodnocením změny fáze obrazů mřížek z referenční roviny a z měřeného objektu.

Rozdíl od předchozí metody je v principu výpočtu změny fáze. Na rozdíl od předchozí

metody je v časovém intervalu promítána na snímaný objekt sada fázově posunutých vzorů

a celá plocha obrazu (kromě případných stínů a okluzí) je snímána kamerou. Změna fáze je

určena z M sinusových mřížek promítnutých nejdříve na referenční rovinu a pak na měřený

objekt [72]. Mřížky mají vzájemně posunutou fázi o 2π/M. Výsledná fáze je pak dána

vztahem:

Φ(𝑥, 𝑦) = 𝑡𝑎𝑛−1 [∑ 𝐼𝑛(𝑥, 𝑦) 𝑠𝑖𝑛(2𝜋𝑛/𝑀)𝑀

𝑛=1

∑ 𝐼𝑛(𝑥, 𝑦) 𝑐𝑜𝑠(2𝜋𝑛/𝑀)𝑀𝑛=1

] , (2.48)

kde In je intenzita obrazu n-té sinusové mřížky v bodě. Pokud vypočteme fázi pro každý

obrazový bod povrchu měřeného objektu z obrazů sinusových mřížek z referenční roviny a

měřeného povrchu, odečtením těchto fází získáme matici změn fází.

ΔΦ(𝑥, 𝑦) = Φ(𝑥, 𝑦) − Φ0(𝑥, 𝑦). (2.49)

Z matice změny fází je možné získat topografické výchylky vztahem: [73]

h(𝑥, 𝑦) =𝑝 ∙ ΔΦ(𝑥, 𝑦) ∙ 𝑙0

𝑝 ∙ ΔΦ(𝑥, 𝑦) − 2𝜋𝑑 .

(2.50)

kde p je vlnová délka obrazu sinusové mřížky z referenční roviny, l0 je vzdálenost kamery

od referenční roviny a d je vzdálenost mezi kamerou a projektorem.

2.4.3 Měření doby letu modulovaného laserového paprsku

Time-of-flight je progresivní technologií používanou při 3D vizualizaci objektu. Systém

používá měření doby letu světelného, případně laserového signálu. Princip je založen na

měření vzdálenosti bodu objektu lz (v ose 𝑧) z doby letu 𝑡 paprsku elektromagnetického

záření od jeho vyslání, odražení od objektu až po jeho opětovné zachycení senzorem podle

vztahu:

𝑙𝑧 = 𝑐𝑠

𝑡

2

(2.51)

kde 𝑐𝑠 je rychlost světla. Tato technologie je principiálně srovnatelná s měřením pomocí

ultrazvukových senzorů (kap. 2.4.1). Na rozdíl od ultrazvukového měření je rychlost

světla 𝑐𝑠 značně vysoká. Z toho vyplývají velké nároky na přesnost měřicího zařízení. U

46

běžně používaných zařízení je prováděno měření doby modulovaného

elektromagnetického signálu.

Obvykle se modulace provádí korelací s vhodným referenčním signálem a lze ji rozdělit

na:

pulzní,

pseudonáhodnou,

spojitou.

Laserový paprsek ToF snímačů má většinou vlnovou délku v NIR oblasti (od 850 až 950

nm). Rozdíl oproti klasickým laserovým dálkoměrům je dán počtem změřených bodů v

relativně krátkém okamžiku.

Výhodou této technologie je zjištění 3D profilu jedním zařízením. Na rozdíl od

standardních kamerových systémů tento systém není náchylný na špatné osvětlení,

nepřesné zbarvení objetu, nečistoty na objektu nebo dopravním pásu. Disponuje však

podstatně menším rozlišením než je běžné u průmyslových kamer (standardně VGA).

V porovnání s 3D skenovacími systémy nabízí podstatně vyšší snímací rychlost, TOF

kamery dosahují rychlosti až 160 fps. Zajímavou možností se jeví kombinace TOF kamery

a standardní průmyslové kamery [38,74,75]. Příklad zobrazení nasnímaného objektu a

složení ve 3D model je zobrazeno na obr. 2.21.

Obr. 2.21 3D obraz získaný TOF kamerou [75]

47

2.4.4 Využití stínu

Podoba ze stínování nebo také metoda SFS (angl. Shape from Shading) je metoda

založena na formování tvaru reliéfu snímaného objektu pouze za pomoci snímacího

zařízení a osvětlení. Při šikmém osvětlení objektu jsou různě nakloněné plochy reliéfu

vzhledem k normále různě tmavé. Virtuální 3D model povrchu objektu je získán z analýzy

intenzivního průběhu snímaného objektu [9]. U technik tohoto typu se určují normály

povrchových elementů z ozáření, stínů a odlesků na obraze. Pro identifikaci je nutné znát

přesnou polohu 2D snímače a zdroje záření. Zjednodušujícím předpokladem je snímání

objektu s dokonale lambertovským povrchem, kap. 2.1.2. Pro takový objekt budeme

vycházet z rovnice ozáření 𝐸(𝑥, 𝑦) bodového světelného zdroje umístěného v pozici x, y

v obrazové rovině. Ozáření je ve vztahu k odpovídající plošce povrchu, který je určen

parametry X, Y. Za předpokladu, že světelný paprsek není znatelně zeslaben médiem mezi

povrchem a senzorem, lze vyjádřit tento vztah ve formě rovnice ozáření vycházející

z rovnice 2.7. Uvažovaný vztah mezi orientací povrchu a měřeným jasem v obraze bude:

𝐸(𝑥, 𝑦) = 𝜌(𝑋, 𝑌)𝑅(𝒏𝑝(𝑋, 𝑌) ∙ 𝑳𝑝, 𝒏𝑝(𝑋, 𝑌) ∙ 𝑽, 𝑽 ∙ 𝑳𝑝) (2.52)

kde 𝜌(𝑥, 𝑦) je koeficient odrazivosti (albedo), 𝑅 je funkce odrazivosti, 𝐧𝑷(x, y) je lokální

orientace normály, 𝐋𝑷 je směr ke zdroji záření a 𝐕 je směr k 2D snímači. Rovnice tedy

uvádí vztah mezi ozářením plochy senzoru a koeficientem a funkcí odrazivosti. Řešení

úlohy je numericky nestabilní a lze jej realizovat pouze za značně zjednodušujících

předpokladů. Problémem při rekonstrukci tvaru objektu pomocí rozložení jasu (záře)

v obraze je určení normály k povrchu. Tento fakt platí i u difúzních Lambertovských

povrchů. Pro lokální maxima záře na povrchu je normála k povrchu rovnoběžná se

směrem od zdroje světla. V těchto bodech gradientního prostoru je tedy normála známá.

Pro ostatní sklony povrchu se získá celá množina řešení [8]. Používané algoritmy pro

rekonstrukci tvaru vycházejí ze sady numerických postupů, kterými se zabýval Ikeuchi

[76] a rozšířili je ve svých publikacích Berthold a Horn [77,78].

Fotometrické stereo je v podstatě rozšířením metody podoby ze stínování. Metodu

představil Woodman [79] a je založena na výpočtu gradientu v každém pixelu matného

povrchu. Předpokladem jsou alespoň tři snímky pořízené statickou kamerou z jednoho

pevného místa, kdy pro každý ze snímků byla scéna jinak osvětlena. Jinými slovy směrové

vektory použitých zdrojů světla neleží ve stejné rovině. Ve většině případů se používá

jeden 2D snímač a několik zdrojů záření, které jsou zapínány pro každý jednotlivý snímek.

Ze znalosti gradientů je dále možné sestavit matici výšek a provést tak rekonstrukci

reliéfu. Tato metoda je vhodná pro detekci povrchových struktur, a to i u lesklých povrchů

[80,81].

Při řešení rekonstrukce pomocí fotometrického sterea je použita jedna statická kamera a t

bodových zdrojů osvětlení, kde t ≥ 3. Každé osvětlení má známou intenzitu a směr Li. Po

fotometrické kalibraci scény je možné sejmout t obrazů k odhadu ozáření Ei (x,y), kde i =

48

1..t. Rovnice ozáření pro Lambertovský povrch vychází z rovnice 2.52, pro Lambertovský

povrch budeme uvažovat zjednodušeně:

𝐸𝑖(𝑥, 𝑦) = 𝜌𝑅(𝑝, 𝑞) (2.53)

kde ρ je albedo, poměr mezi odraženou energií k energii dopadající (rovnice 2.6), a R(p,q)

je mapa odrazivosti závislá na orientaci povrchu [p,q]. Po dosazení kosinového zákona

(rovnice 2.9):

𝐸𝑖(𝑥, 𝑦) = 𝜌𝐿𝑖𝑛𝑝 (2.54)

Každý pixel obrazu bude popsán vektorem ozáření E = [E1..Et]T. Směry světelných zdrojů

můžeme zapsat jako matici o rozměru t x 3,

𝑳 = [𝑳𝟏

⋮𝑳𝒕

]. (2.55)

Každý pixel obrazu tedy může být popsán soustavou rovnic:

𝑬 = 𝜌𝑳𝒏𝒑 (2.56)

Při použití tří světelných zdrojů t = 3 můžeme řešení získat inverzí regulární matice L:

𝜌𝒏𝒑 = 𝑳−𝟏𝑬 (2.57)

A jednotkový vektor normály potom jako:

𝒏 =𝑳−1𝑬

‖𝑳−1𝑬‖

(2.58)

Pro rekonstrukci obrazu s více než třemi osvětleními se použije pseudoinverze obdélníkové

matice a řešení se hledá ve smyslu nejmenších čtverců.

Autor byl součástí výzkumného týmu zabývající se touto problematikou při řešení

žmolkovitosti textilií na FT, TUL. 3D obraz textilie zátažné pleteniny s výrazně

žmolkujícím povrchem byl vytvořen na základě 4 pořízených fotografií (obr. 2.21 a-d) s

postupným osvětlením ze 4 stran. Princip zpracování fotografií ve 3D obraz spočíval ve

využití gradientních polí, kdy se nejdříve obrazy od sebe odečetly v příslušných směrech

osvětlení – obraz s pravým osvětlením se odečetl od levého a obraz s horním osvětlením se

odečetl od spodního.

49

y

f

x

f

g

g

y

xf

(2.59)

kde gx je odhad gradientu ve směru osy x a gy je odhad gradientu ve směru osy y. Tento

vektor obsahuje informaci o směru největší změny funkce f v souřadnicích (x,y).

Dále se obrazy zpracovaly v jeden a aplikoval se Gaussův filtr. Zpracování obrazu bylo

realizováno v programu MATLAB za pomocí vytvořeného algoritmu na základě aplikace

Frankot-Chellapova algoritmu [82]. Konečný obraz byl získán 2D integrací zpracovaného

gradientního pole. Vytvořený 2D a 3D obraz je zobrazený na obrázku 2.21 e), f).

Obr. 2.21 Textilie se žmolky osvětlená a) ze shora, b) ze spodu, c) zleva, d) zprava, e) 2D obraz

textilie se žmolky s aplikací Gaussova filtru vytvořený na základě uvedených fotografií f) výsledný

3D obraz

Problematikou ozáření, určením hodnot pro dané tvary, gradientním prostorem se také

zabývá [8] a podrobněji [83,84,85]

2.5 Pasivní metody získání 3D informace

Dle určeného rozdělení se pasivní metody obejdou bez další veličiny přidané do scény a

3D informaci získáme za použití jedné (kap. 2.6.2.), nebo dvou kamer (kap. 2.6.3.).

Výstupem pasivních metod je obvykle hloubková mapa, případně sada souřadnic - model

snímané 3D scény. Na hranici pasivních metod je považována metoda, kdy jsou do

50

stereovizního snímání přidány terče sloužících k nalezení přesných korespondencí mezi

obrazy. Pro jednokamerové i stereovizní 3D pasivní snímání je nutné uvažovat

inicializační kalibraci kamery.

2.5.1 Kalibrace kamer

Získání odpovídajících prostorových dat je velmi citlivé na správnou kalibraci použitých

kamer. Kalibrací kamery je myšleno zjištění vnitřních parametrů kamery M a distorze

čočky objektivu. Tyto parametry jsou použity při výpočtech, které umožňují přesné

definování polohy sledovaného objektu ve 3D prostoru, a to jak při použití jedné kamery,

tak při použití více kamer při stereovizním snímání. Problematika kalibrace kamery je

detailněji popsána v [86,87,88,89]. V následném textu bude použito označení vektorů a

matic zavedené v kapitole 2.2.3 popisující vztahy při pořízení obrazu.

V současné době existuje mnoho metod kalibrace kamer, které se liší složitostí výpočtu, s

tím spojenou výslednou přesností či nároky na technické vybavení. Metoda

fotogrammetrické kalibrace je založena na snímání kalibračního etalonu o přesně známých

rozměrech v 3D prostoru. Tento objekt se většinou skládá ze 2 až 3 navzájem kolmých

rovin. Auto-kalibrační metody naopak žádný takový etalon nevyžadují. Hledané parametry

je možné získat nasnímáním statické scény z několika různých pohledů.

Nejčastěji využívanou metodou je snímání rovinné kalibrační šablony, standardně

černobílé šachovnice, kterou prezentoval Zhang ve své práci [89]. Na této metodě je

založena řada specializovaných kalibračních softwarů, pro naše aplikace byl využíván

Matlab Calibration Toolbox [90]. Tuto proceduru detailněji popisuje Bouguet v [86].

Vstupem pro užitý algoritmus je série snímků kalibračního vzoru v různých pozicích vůči

kameře. Toto umístění není nijak omezené, vektor posunutí t a matice natočení R není

potřeba znát. Minimální požadavek jsou dva snímky, pro získání vyšší přesnosti je však

doporučeno 15 [89]. Algoritmus postupně zpracovává získané snímky tak, že nejprve

detekuje jednotlivé vnitřní přechody - body mezi poli šachovnice. Tím zjistí souřadnice

(x,y) v obraze (vektor q z rovnice 2.60). Vektor objektových souřadnic Q je možné navíc

zjednodušit z obecného prostoru na rovinu položením třetí souřadnice Z = 0. Tím

dostaneme zjednodušený vztah:

𝒒 = 𝑴𝑾𝑸 (2.60)

Po rozepsání:

𝒔 [𝑥𝑦1

] = 𝑴 [ 𝒓𝟏 𝒓𝟐 𝒓𝟑 ∣ 𝒕 ] [

𝑋𝑌01

] = 𝑴 [ 𝒓𝟏 𝒓𝟐 ∣ 𝒕 ] [𝑋𝑌1

] ,

(2.61)

kde [x,y,1]T je rozšířený vektor souřadnic bodu obrazu a, [X,Y,Z,1]T jsou souřadnice bodu

v prostoru A, R = [r1 r2 r3] a t představují dohromady vnější parametry kamery W.

Parametr s je nenulový faktor zvětšení. Tento vektor je důležitý zejména při snímání jiným

51

než čtvercovým čipem. Většina používaných CCD a CMOS čipů má obdélníkový tvar

(kap. 2.2.2), potom parametr zvětšení ve vodorovném směru sx se liší od parametru

zvětšení ve svislém směru sy. Mezi bodem A v prostoru a jeho nasnímaným obrazem a

platí homografie H:

𝒔𝒂 = 𝑯𝑨, (2.62)

𝑯 = 𝑴[ 𝒓𝟏 𝒓𝟐 ∣ 𝒕 ]. (2.63)

Matice homografie H mezi detekovanými body kalibračního vzoru a jejich obrazy je kvůli

zatížení snímků šumem určena pomocí kritéria největší věrohodnosti, podrobněji v

publikaci [89]. Pokud uvažujeme vektory r1 a r2 za ortonormální a rozložíme H = [h1 h2

h3], můžeme odvodit dvě základní podmínky na hledané vnitřní parametry kamery:

ℎ𝟏𝑇 𝑴−𝑇𝑴−1ℎ2 = 0, (2.64)

ℎ𝟏𝑇 𝑴−𝑇𝑴−1ℎ1 = ℎ𝟐

𝑇 𝑴−𝑇𝑴−1ℎ2. (2.65)

Zhangova kalibrační metoda uvažuje symetrickou matici B definovanou vektorem b:

𝒃 = [𝐵11, 𝐵12, 𝐵22, 𝐵13, 𝐵23, 𝐵33 ]𝑇 (2.66)

𝑩 = 𝑴−𝑻 𝑴−𝟏 = [

𝐵11 𝐵21 𝐵13

𝐵12 𝐵22 𝐵23

𝐵13 𝐵23 𝐵33

]

(2.67)

Z rovnic 2.64, 2.65 a 2.66, 2.67 je možné sestavit homogenní soustavu. Jejím vyřešením je

získán vektor b. Po jeho zpětném přerovnání do matice B je možné vypočíst 5 hledaných

vnitřních parametrů kamery.

a) b)

Obr. 2.22 Použitá kalibrační metoda: a) kalibrační pattern, b) snímaná scéna

52

V případě stereovizního snímání pomocí dvou kamer je navíc nutné uvažovat translační

vektor vzájemné pozice kamer T a matici vzájemného natočení kamer R.

Uvažujme bod P v prostoru. Souřadnice bodu P lze do soustavy levé kamery

transformovat:

𝑷𝒍 = 𝑹𝒍𝑷 + 𝑻𝒍. (2.68)

Analogicky pak do soustavy pravé kamery

𝑷𝒓 = 𝑹𝒓𝑷 + 𝑻𝒓. (2.69)

Tr je vektor posunutí pravé kamery vůči levé, Rr je matice rotace pravé kamery vůči levé a

analogicky Tl a Rl pro levou kameru. Určíme-li vztah mezi oběma souladnými systémy,

dostaneme:

𝑷𝒍 = 𝑹𝑻(𝑷𝒓 + 𝑻). (2.70)

Spojením zmíněných vztahů dostaneme řešení pro vzájemnou polohu kamer:

𝑹 = 𝑹𝒓(𝑹𝒍)𝑇, (2.71)

𝑻 = 𝑻𝒓 − 𝑹𝑻𝒍. (2.72)

Obvykle se matice rotace R a vektor posunu T slučují do jedné matice o velikosti 3x4.

𝑷 = [ 𝑹 ∣ 𝑻 ] (2.73)

Tato matice je v literatuře označována jako projekční. Při lokalizaci objektu v prostoru je

nutné zvolit uvažovanou vztažnou soustavu. Jako vhodné pro zjednodušení výpočtu se jeví

zvolit jednu ze soustav kamery, obvykle je volena vztažná soustava levé kamery.

𝑷𝒍 = [1 00 10 0

0 00 01 0

]. (2.74)

Projekční matice druhé kamery je poté tvořena maticí rotací R a posunu T.

2.5.2 Získání 3D informace pomocí plošné kamery

Sledování známých objektů ve 3D prostoru je při splnění určitých podmínek realizovatelné

i s pomocí jedné kamery. Touto ideou se poprvé zabýval Bray v [91] a podrobněji ji

popisuje Panin v knize [92].

Tuto metodu autor disertační práce využil při sledování 3 souřadnic objektu v obraze tzv.

visual tracking. Nejprve byly ověřeny přístupy blob sledování (obr. 2.23a) a sledování hran

53

(obr. 2.23b). Kombinací byl vytvořen skript pro sledování objektu v prostoru (obr. 2.23c).

V práci byly využity parametry publikované v [93] a [94].

Obr. 2.23 Sledování objektů v obraze a) sledování blobu, b) sledování hran, c) sledování 3D

objektu, d) sledování MOEMS upínky

Předpokladem funkčnosti tohoto skriptu je znalost rozměrů objektu (CAD model) a

vnitřních parametrů kamery M. Ty byly získány pomocí inicializační kalibrace kamery, jak

je blíže popsáno v předchozí podkapitole. Protože se jednalo o vizuální navádění součástí

velice malých rozměrů (MOEMS upínek o velikosti 1200 x 800 x 50 µm obr. 2.23d), byl

na jednom z nosičů metodou hlubokého reaktivního iontového leptání (DRIE) [95]

vytvořen kalibrační pattern (obr. 2.24b) se stranou vyleptaného čtverce 50 µm Popisovaná

metoda umožňuje získání třetí souřadnice z deformace perspektivou kamery. Skript

ztotožňuje virtuální 3D model předem známého objektu se snímkem reálného objektu. Poté

co skript vpasuje 3D CAD model, odečte vzdálenosti mezi jeho jednotlivými uzly. Na

základě těchto vzdáleností a díky znalosti kalibrační matice M lze soustavou rovnic

dopočítat hodnoty vnějších parametrů kamery W, konkrétně matice R a vektoru t.

Úpravou rovnice 2.60 dostaneme soustavu n rovnic:

a)

b)

c)

d)

54

𝑾𝑖 =𝒒𝑖

𝑴 𝑸𝒊

(2.75)

3D sledování objektu jednou kamerou má své uplatnění tam, kde je uživatel limitován

použitelným prostorem. Z tohoto důvodu bylo k této metodě přistoupeno při řešení

automatické montáže kapslové endoskopické mikro-kamery, kde jednotlivé MOEMS

nosiče byly automaticky naváděny do odpovídající drážky na připraveném mikro-

robotickém pracovišti (obr. 2.24a). Problematika vychází z [98,99] a autor disertační práce

se jí hlouběji zabývá v publikacích [A6, A8, A9, A10, A12, A13]. Rozpoznávání obrazu

bylo v tomto případě programováno v C++, v systémovém prostředí Code::Blocks a Visual

Studiu, s využitím sdílených knihoven Open CV a ViSP. Vlastní polohování bylo

realizováno ve 3 rozměrech, na mikro-polohovacím stolku se 2 translacemi a jednou rotací.

Byl připraven experiment ověřující přesnost polohování. Upínka byla opakovaně

automaticky navedena do finální pozice a byl vyhodnocován průběh pohybu sledované

upínky. Po dosažení finální pozice byla vyhodnocena data z posledních 25 cyklů trackeru a

přesnost a opakovatelnost polohování byla spočtena podle mezinárodní normy ISO

kde i=1..n, n představuje počet definovaných bodů v CAD modelu. Je zjevné, že

robustnost skriptu závisí kromě zajištění stabilních okrajových podmínek také na tvaru a

rozmanitosti sledovaného objektu. Obecně při ztotožňování platí, že čím více definovaných

bodů a kontrastních hran, tím lépe. Touto problematikou se detailněji zabývají také práce

[96,97].

a) b)

Obr. 2.24 a) Připravené pracoviště, b) kalibrační pattern

Osvětlení CCD Kamera

Objektiv

s velkým

zvětšením

Přídavné

osvětlení

Pozicovací

stůl

55

9283:1998 [100]. Dosažená hodnota přesnosti polohování byla 0,345 µm a dosažená

opakovatelnost polohování byla 4,3 µm. Přesnost rotace byla menší než 0,13°.

Dosažené hodnoty je možné zlepšit kvalitnější kalibrací kamery nebo použitím kamery

s vyšším rozlišením. To je však zase doprovázeno vyšší pořizovací cenou a většími nároky

na řídící systém. Lepší objektiv by umožnil sledovat větší plochu.

2.5.3 Stereovizní vidění

Stereovizní vidění je proces konstrukce trojrozměrného modelu scény, založený na

zpracování dvou a více obrazů nasnímaných z různých míst. Hlavním úkolem je vytvoření

mapy disparity (hloubkové mapy obrazu) [64]. Metody stereovizního vidění lze rozdělit

podle vzájemné pozice kamer při snímání. Jednodušší případ uvažuje tzv. normální

postavení kamer.

Normální postavení kamer představuje situaci, kdy optické osy obou kamer jsou

rovnoběžné, objektivy mají stejnou ohniskovou vzdálenost a čipy snímacích kamer leží v

jedné obrazové rovině (obr. 2.25). Vzdálenost mezi objektivy je známa a označuje se jako

stereobáze bx.

3

Obr. 2.25 Určení vzdálenosti sledovaného bodu stereovizním snímáním

Bod P = [Xc,Yc,Zc] je promítnut do obrazové roviny kamer jako bod (xL,yL), případně (xP,

yP). Vzdálenost z souřadnice bodu (vzdálenost bodu od roviny snímacích čipů) lze vypočíst

s využití triangulace jako:

𝑍𝑐 = 𝑓. 𝑏𝑥

𝑑𝑑𝑖𝑠 ,

(2.76)

Kde ddis je rozdíl souřadnic bodu v obraze ddis = xL – xP, tzv. horizontální paralaxa. Zbylé

souřadnice lze získat analogicky z podobnosti trojúhelníku:

𝑋𝑐 = 𝑥𝐿 .𝑧

𝑓 = 𝑥𝐿 .

𝑏𝑥

(𝑥𝐿 − 𝑥𝑃)

(2.77)

56

𝑌𝑐 = 𝑦𝐿 .𝑧

𝑓 = 𝑦𝐿 .

𝑏𝑥

(𝑦𝐿 − 𝑦𝑃)

(2.78)

Pro výpočet chyby měření je nutné vzít v potaz chybu určení úhlu odpovídající změně

pozice o jeden pixel na kameře:

∆𝛼𝑠 =𝛼𝑠

𝑥𝑠 𝑝𝑖𝑥 , (2.79)

kde 𝛼𝑠 je zorný úhel snímače ve stupních a 𝑥𝑠 𝑝𝑖𝑥𝑒𝑙 je rozměr snímače v pixelech [64].

Výsledná chyba je pak daná vztahem:

∆𝑑𝑑𝑖𝑠 =𝑑𝑑𝑖𝑠

𝑏𝑥𝑡𝑔(∆𝛼𝑠)

(2.80)

V tomto případě jsou výstupem snímání přímo stereo snímky použitelné pro zobrazení 3D

rekonstrukci a pozice stejných objektů scény se v obrazech liší pouze o horizontální

paralaxu. V poslední době je stále běžnější situace, kdy jsou dva objektivy sloučeny do

jedné kamery či fotoaparátu [37,38].

Druhým případem je využití obecného postavení kamer. V tomto případě se jedná o

obecný vztah kamer, kdy mohou být kamery vůči sobě posunuty ve všech třech směrech a

mít různě natočenou osu snímání. Při obecné poloze kamer není získán přímo levý a pravý

snímek, které jsou potřeba k rekonstrukci scény. Nicméně i při obecném postavení kamer

lze získat hloubkovou mapu a s její pomocí poté vytvořit dva stereo snímky pro 3D

rekonstrukci. Využívá se metody stereokalibrace, vycházející z epipolární geometrie.

Epipolární geometrie je vnitřní projektivní geometrie mezi dvěma pohledy kamer, která je

nezávislá na struktuře scény. Závisí pouze na vnitřních a vnějších parametrech kamery. Na

začátku musí být provedena prvotní kalibrace pomocí referenčních rovin s referenčními

body (často ve formě šachovnice), popisovaná v kap. 2.5.1.

Budeme uvažovat bod P ve 3D prostoru, spojený jednou přímkou se svým obrazovým

bodem pL v první kameře a druhou přímkou se svým obrazovým bodem pP v druhé

kameře. V ideálním případě je tedy úkolem vyřešit průsečík těchto dvou odpovídajících

přímek, tedy:

𝒑𝑳 = 𝑲𝑳𝑷 (2.81)

𝒑𝑷 = 𝑲𝑷𝑷 (2.82)

kde KL a KP jsou kalibrační matice levé a pravé kamery, získané stereokalibrací a lze

vyjádřit pomocí popisovaných matic vnitřních M a vnějších W parametrů kamery jako:

𝑲 = 𝑴𝑾 . (2.83)

Při reálné aplikaci dochází vlivem nepřesností použitých snímačů k chybným interpretacím

bodu v obraze. Přímky se tak nemusí v bodě protnout. Je tedy nutné řešit úlohu nalezení

57

nejbližších bodů dvou mimoběžek a úpravu obrazových bodů tak, aby se přímky ve

snímaném bodě protínaly. Tedy bod P ve 3D prostoru, který splňuje rovnice 2.81 a 2.82.

To je realizováno metodou minimalizace chyby zpětné projekce ddisL2 + ddisP

2.

Bližší popis vztahů pro získání dat pomocí stereovize je uveden v [101,102 a 103]. Mnoho

výpočetně rychlých metod není schopno zpracovat scény s nedostatečným výskytem

textury či vyskytujícími se parazitními odlesky. U takových scén dochází ke vzniku

velkého počtu chyb. Kvalitní a dostatečně rychlé zvládnutí metod počítačového vidění je

limitou k masivnímu rozšíření aplikace autonomních robotů. Výhodou je, že jediným

požadovaným vstupem je obraz z kamer [101]. Metoda stereovizního snímání byla také

testována při vývoji zařízení pro odebírání volně ložených pružinových misek v bedně

(kap. 3.1.4).

2.5.4 Snímání scény 2D snímačem ve více polohách

Jedná se o snímání pomocí jednoho 2D snímače, který mění polohu za získání dvou a více

snímků (nazýváno také jako metoda tvar z pohybu). Princip je shodný s principem

stereovizního vidění, pro rekonstrukci musí být získány dva a více snímků se znalostí

vzájemné polohy kamer při jejich pořízení [104]. Druhou možností je registrace minimálně

dvou bodů, jejichž vzájemnou polohu známe. Existuje řada automatických registračních

technik, jejich přehled je dobře popsán v [55], umožňující transformaci jednotlivých

záběrů do společného (globálního) souřadného systému měřeného objektu.

Metoda je hojně využívána pro zmapování topografie zemského povrchu (označováno také

jako vícesnímková fotogrammetrie), kdy jedeno záznamové zařízení s 2D snímačem se

pohybuje nad terénem na nosiči. Metoda využívá nejméně dva snímky, které se navzájem

překrývají. Uplatnění se nachází především u 3D zpracování. Předmět je zachycen na dvou

snímcích vyhotovených z různých míst, z bodů, jejichž polohu známe a můžeme tak

dopočítat prostorovou polohu zobrazovaného předmětu. Měří se snímkové souřadnice

bodu na snímku a horizontální paralaxa. Uplatnění tato metoda nachází také např. ve

3D rekonstrukci historických budov. Rozbor současné problematiky dobře popisuje Cohen

v [105] a Schönberg v [106]. 3D rekonstrukcí světově unikátních budov z volně

dostupných fotografií se zabývá Ji [107].

Pro rekonstrukci pomocí strojového vidění není metoda využívána samostatně, nicméně

v některých případech se jiné popisované metody rozšiřují právě o pořízení snímků z více

míst, například k odstranění parazitních reflexí snímaného objektu. Podrobněji se touto

problematikou zabývá kap. 2.7.

2.6 Možnosti interpretace mračna bodů

Výstupem mnoha zde prezentovaných metod je získáno velké množství 3D obrazových

bodů (tzv. mračno bodů – point cloud). Jedná se v podstatě o mřížku bodů, která má

pravidelné úhlové rozestupy, přičemž pro každý bod je známá prostorová poloha x, y, z,

kde z-ová souřadnice bývá standardně určena vzdáleností od zařízení. Získané mračno

58

bodů je možné následně interpretovat a analyzovat. Běžně jsou vpasovány do modelu CAD

modelu nebo je body prokládána plocha. Prezentace výsledků zpracování nebo samotného

mračna bodů je po převodu možná v běžných CAD formátech. Data z více měření lze za

předpokladu znalosti transformačních matic mezi snímači spojit v jedno mračno bodů.

Každý bod mračna může navíc obsahovat jasovou, případně barevnou informaci. Do této

hodnoty je možné uložit další parametr, například je možné při použití 2D triangulace

popsat intenzitu dopadajícího laserového paprsku (x, y, z, intenzita) nebo u stereovize

reálnou barvu objektu (x, y, z, R, G, B). Příklad praktické aplikace zpracování mračna bodů

je detailněji popsána v kapitole 3.2.3.

2.7 Problematika získání 3D modelu objektů s lesklým povrchem a z transparentních

materiálů

Snímání objektů s lesklým povrchem je značně problémové. Tyto objekty jsou zatíženy

parazitními reflexemi od jiných (obecných) zdrojů světla, a to často brání jejich úspěšné

identifikaci. V některých případech je ale možné využít lesklosti povrchu pro jeho detekci.

To je zejména v případech, že část objektu má matný povrch a část lesklý povrch. Jako

příklad je možné uvést autorův výzkum v problematice detekce držáků zpětného zrcátka na

čelním skle [A1,A2], kdy byly identifikovány černé držáky na černém potisku právě na

základě rozdílných povrchů. Dalším příkladem může být např. kontrola celistvosti antén

[108], případně lokalizaci bublinek v optické tyči [109].

Příkladem určování třetí souřadnice na základě různých odrazivostí se v podstatě autor

disertační práce zabývá i v [A16] při řešení objektivní kontroly kotoučů textilních strojů,

tzv. twindisků. Cílem práce bylo nalézt spolehlivé řešení detekce přilnavosti plastu na

textilních discích pomocí automatické kontroly strojového vidění na zařízení s

pneumatickým lisem (obr. 2.26). Na disk bylo na 10 místech po obvodu působeno tlakem

silou 1 000 N, případně 700 N, dle typu kotouče a úkolem strojového vidění bylo odhalit

místa, kde dochází k oddělení vulkanizovaného potahu od lesklého duralového tělesa.

Obr. 2.26 a) Testovací zařízení, b) snímaná oblast, c) vyprahovaná oblast

a) b) c)

59

Díky využití osvětlení pod nízkým úhlem (darkfield, kap. 2.2.6.) se oddělení

vulkanizované vrstvy projevilo jako oblast stínu (obr. 2.26b) – oblast s difúzním

povrchem. Ta už je strojovým viděním snadno identifikovatelná (obr. 2.26c). Pro

zpracování obrazu byla využita metoda počítání nadprahových bodů. Kontrola založená na

této metodě uvažovala ve vymezeném úseku snímaného obrazu dva parametry. První

proměnnou byl práh snímané šedé škály, druhou proměnou představoval počet

vyhodnocených bodů (bodů s vyšší hodnotou, než je hodnota prahu).

V současné době existuje celá řada senzorů určených pro kontrolu kvality lesklých povrchů

či určení stupně lesku, založených na vyhodnocení stylu odraženého laserového paprsku

[110]. Úkolem této práce není identifikace lesklosti povrchu, ale zajistit robustní snímání

objektů s lesklými povrchy za účelem následné interpretace získaných dat. Přístupy

k eliminaci parazitních reflexí se dají pomyslně rozdělit na:

softwarové metody (kap. 2.7.1) a

hardwarové metody (kap. 2.7.2).

2.7.1 Softwarové metody

Softwarové metody jsou založené na filtraci nasnímaných dat. Typ filtrace se odvíjí od

metody pořízení 3D dat.

Odstraněním šumu při 2D triangulačním skenování lesklých objektů se zabývají např.

Baribeau a Rioux [111], nebo Dorsch a kol. [112]. Mundy a Porter [113] ve své práci

používají dva zdroje lišící se pozicí, nebo vlnovou délkou a k eliminaci odlesků analyzují

jejich hodnoty. Kanade [114] a Cureless a Levoy [115] se zabývají časoprostorovou

analýzou odlesků. Snímají celý lesklý objekt při pohybu světelného paprsku stacionární

kamerou a vyhodnocují změny jasu v čase pro každý bod.

Jiný přístup, založený na promítání a snímání polarizovaného světla představil Clark a kol.

v [116]. Odražené polarizované světlo je snímáno přes polarizační filtr. Pro zajištění

robustnosti byl každý snímek měřen 3x, pokaždé s jinak polarizovaným světlem.

Snímáním lesklých objektů pomocí dvou plošných senzorů se zabývá např. Trucco a

Fisher v [117]. Z této práce vychází Park a Kak, kteří snímají zdeformovanou laserovou

linii dvěma senzory a v [118 a 119] navrhují filtraci na základě různých intenzit

naměřených dat. Hullin a kol. [120] upravili metodu 2D triangulace tak, že objekt ponořili

do fluorescentní kapaliny a pak ho skenovali standardním způsobem.

Další 3D snímací metodou potýkající se s častým výskytem parazitních reflexí je metoda

stereovizního snímání. Existuje řada prací, které se věnují rozšíření této metody pro

snímání lesklých materiálů. Nayar a kol. v [121] popisuje zlepšení snímání při aplikaci

polarizačního filtru pro každou z kamer. Obecně se změnou polarizace světla při jeho

odrazu se zabývá Miyazaki v práci [122]. Chen [123] navíc vyhodnocuje posun fáze

polarizovaného světla. Yamazaki [124] práci rozšířil vyhodnocováním na stereovizním

principu. Mallick a kol. [125] představují barevnou prostorovou transformaci nezávislou na

60

změnách vlivem odlesků. Nejčastějším přístupem je však identifikace odlesků a jejich

vyřazení z obrazových dat. Práce [126, 127, 128] se zabývají odstraněním diskontinuity

nasnímaných dat při osvětlování scény různě barevným světlem. Časté je také rozšíření

snímání o další informace. Například Bhat and Nayar [129] rozšíří stereovizi o další

kameru a pro získání odlesků analyzují každý pár obrazů zvlášť.

Jiný přístup volí například Zickler a kol., který rozšířil metodu fotometrického sterea o

snímání z více pohledů v [130, 131 a 132].

Pokud se lesklý povrch blíží až k zrcadlovému, je možné na něj aplikovat přístupy pro

zrcadlové povrchy. Mezi nejpoužívanější patří obraz z distorze. Jednou z prvních publikací

je [133], která používá 4 snímky s měnícím se vzorem. Bonfort a Sturm [134] vylepšili

tento přístup, deformace známého vzoru na lesklém objektu sledují z různých pozic. Pro

lesklé transparentní materiály tuto metodu rozšířil Hata a kol. v [135]. Pro identifikaci

známých skleněných modelů se známým indexem lomu ji rozšířil Ben-Ezra a Nayer v

[136]. Na této metodě je založena i kontrola zvlnění skla, kterou se zabývá Hotař v [137] a

byla použita jako srovnávací v kap. 4.2.2. Pro tvarová skla ji rozšiřuje práce Svobody

[138].

Pokud je snímán objekt z lesklého transparentního materiálu, je možné vyhodnocovat

odraz světla od obou optických rozhraní. Tuto problematiku popisuje Kutulakos a Steger

[139]. Odražené světlo v tomto případě sledují ze 3 nezávislých pozic.

2.7.2 Hardwarové metody

Ač k mnoha zmíněným přístupům v předchozí kapitole bylo řešení potřebné rozšířit o další

hardware, samotné odstranění nežádoucích odlesků bylo realizováno pomocí připravených

softwarových algoritmů. Úkolem hardwarových metod je v podstatě nastavit scénu tak,

aby k parazitním reflexím nedošlo, případně aby byly maximálně eliminovány.

Nejjednodušší a často používanou metodou je nástřik antireflexním sprejem [33, 54 a 140],

s tloušťkou nanesené vrstvy v řádu jednotek mikronů [141]. Takto upravený povrch lze

snímat pomocí zmíněných standardních metod [33, 55 a 142]. Příklad úpravy povrchu při

snímání lesklého transparentního objektu 2D triangulační metodou uvádí Wohl v [140].

Data nasnímaná před aplikací antireflexního nástřiku jsou vyobrazena na obr. 2.27a, data

získaná úpravou povrchu na obr. 2.27b.

Metoda zaručí dobré výsledky a je vhodná pro jednotlivě skenované díly. Nevýhodou této

metody je časově náročná příprava objektu před skenováním a následné čištění od

použitého spreje. V případě aplikace této metody na skleněné objekty je navíc nutné

nanesenou vrstvu odstranit v nejkratší možné době z důvodu degradace povrchu skla při

styku s antireflexním materiálem [143]. Jinými druhy mechanického zmatnění povrchu se

zabývají také práce [144-148]. Použití nástřiku antireflexním sprejem bylo uplatněno při

srovnávání metod v rámci skenování 3D modelu pružinových misek v kap. 3.1 a tvarových

skel v kap. 4.4.2.

61

Nejčastějším způsobem eliminace vlivu lesklého povrchu používaným v praxi na proces

získávání obrazových dat, je úplné omezení vlivu vnějšího osvětlení, tedy úplné zastínění

sledovaného objektu a následné přesné naladění geometrie kamery a osvětlovačů. Takové

nastavení ale není vhodné pro jiné typy objektů a při mírné změně vlastností povrchu již

snímání obrazových dat nemusí být spolehlivé. Tento přístup se dá kombinovat s dalšími

popsanými, časté je použití polarizačních filtrů a následná softwarová filtrace [121].

Tuto praxi dokládá příklad bakalářské práce [149], realizované na Katedře sklářských

strojů a robotiky, TUL byly realizovány experimenty k prokázání vlivu povrchu na detekci

3D objektů pomocí 2D triangulace (viz. kap. 2.4.2). Povrch objektu byl od difuzního až po

téměř zrcadlový. Testovány byly designové lišty lemující boční automobilová skla.

Experimenty byly provedeny na čtyřech připravených vzorcích. Odděleny byly části lišt o

délce 100 mm (obr. 2.28) s následující povrchovou úpravou:

vzorek č. 1 – originální chrom,

vzorek č. 2 – povrch upraven - zmatněn brusným papírem,

vzorek č. 3 – nástřik matnou bílou barvou,

vzorek č. 4 – nástřik lesklou bílou barvou.

a)

b)

Obr. 2.27 Objekt snímaný pomocí 2D triangulace, a) bez úpravy povrchu, b) s nástřikem

antireflexním sprejem [140]

62

Snímání bylo prováděno při standardní geometrii uspořádání kamery a laseru (obr. 2.16a v

kap. 2.4.2). Pro měření byl použit zdroj laserového paprsku o vlnové délce 660 nm, s

vyzařovacím úhlem 30° a výkonem 35 mW. Velikost realizovaného posuvu byla

definována pomocí enkodéru na lineární posuvné jednotce.

Obr. 2.28 Vzorky lišt s promítanou laserovou linií

Při experimentu byla sledována závislost nastavení parametru doby expozice (300 až 5 000

µs) a osvětlení. Byla testována detekce při osvětlení temné laboratoře běžnými

průmyslovými zářivkami (14 x 80W, na ploše 46 m2, výška místnosti 2,7 m, bílý difúzní

povrch stěn) a při úplném zastínění. Ostatní parametry byly zachovány shodné (zesílení

signálu, clona). Testované vzorky byly snímány současně a sledováno bylo získání

relevantních obrazových dat. To znamená především vliv parazitních reflexí a celistvost

nasnímaného objektu.

Obr. 2.29 Obrazová data nasnímaných lišt s různými povrchy: (1) lesklý chrom, (2) zmatněný

hliníkový povrch, (3) nástřik matnou bílou barvou, (4) nástřik lesklou bílou barvou; (a) doba

expozice 300s při osvětlení v laboratoři; (b) doba expozice 300s v zatemněné laboratoři; (c)

doba expozice 5 000s při osvětlení v laboratoři; (d) doba expozice 5 000s v zatemněné laboratoři

63

Z výsledků je patrné, že software pro získání obrazových dat nedokáže správně

reprezentovat 3D obraz u lesklých objektů při běžném okolním osvětlení. Odraz okolních

zdrojů na povrchu lesklého až zrcadlového povrchu způsobuje chybnou detekci

obrazových dat. S delší dobou expozice se v tomto případě odlesky projeví jako linie. Na

okrajích vzorků lišt se také při okolním osvětlení objevují odlesky, které jsou způsobeny

strukturou řezu po jejich dělení. Jak se v tomto případě ukázalo, vliv lesklé a matné barvy

na povrchu byl minimální. Matný hliníkový povrch vykazoval lepší výsledky než lesklý

chromovaný. Při zajištění úplného stínění od okolního prostředí a při dostatečně dlouhé

době expozice, je možné touto metodou snímat i tento tvar výrobku v lesklém až

zrcadlovém provedení. Prokazuje se tak nutnost umět při aplikacích zajistit dostatečně

vhodné podmínky omezení okolního zdroje elektromagnetického záření ve vlnových

délkách citlivosti kamery.

2.7.3 Využití jiných spekter elektromagnetického záření

Kromě optického záření se samozřejmě také nabízí využití jiné části elektromagnetického

spektra. Například Kanitsar použil rentgenového záření pro snímání transparentních

objektů [150]. Problematikou detekce transparentních materiálů jejich tvaru a vad napříč

elektromagnetickým spektrem se detailněji věnuje Hotař v práci [109].

Jednou z možností využití jiného než viditelného spektra je aplikace UV (ultrafialových)

kamer (někdy též zvané korónové kamery). Ty jsou určené pro detekci a vizualizaci

procesů, které se projevují v UV části spektra, tj. v oblasti vlnových délek 240 nm až 380

nm. Díky kratším vlnovým délkám lze pod ultrafialovým světlem sejmout větší detaily než

ve viditelném spektru. V průmyslové praxi jsou UV kamery využitelné pro detekci vad,

zašpinění, přítomnosti vlhkosti atd.

Rozbor možností snímání lesklých a transparentních objektů pomocí UV kamery popisuje

Osorio v [151]. Práci založil na faktu, že v UV spektru se některé lesklé povrchy přestanou

být lesklé. Uchino svou práci založil na snímání fluorescence povrchu po osvícení UV

zářením [152]. Tuto práci rozšířil a fluorescenci na povrchu pro různé transparentní

materiály popsal Rantoson a kol. v [153 a 154]. K vytvoření fluorescence na povrchu

objektu použil UV laser a metodu rekonstrukce založil na principu 2D triangulace.

Bohužel metoda je ovlivňována vlastními reflexemi laserového paprsku, což ztěžuje

zaznamenání sledované fluorescence.

Využití UV kamer však skýtá další výhody a to pro aplikaci této metody na transparentní

materiály. Například sklo je ve viditelném spektru (vlnová délka 380 až 750 nm)

transparentní. Není ale transparentní pro celý rozsah elektromagnetického spektra. Rozsah

transparence ve vlnových délkách je dán jeho chemickým složením. U běžného čirého

bezbarvého skla (pro výrobu obalového a plochého skla) bez povrchových úprav jsou

sklem úplně pohlcovány vlnové délky zhruba pod 280 nm, k poklesu propustnosti, ale

dochází již od 380 nm. UV kamera bude objekty z čirého skla vnímat jako neprůhledné

[151]. Pohltivost skla pro UV spektrum popisuje Kim v [155]. Získaný obraz je možné

64

dále zpracovávat obrazovou analýzou s možností aplikace standardních metod pro získání

3D modelu neprůhledných objektů. Hlavní nevýhodou tohoto systému je nutnost řešení

hygienických podmínek z důvodu zdravotní závadnosti záření, nedostatečně velké rozlišení

snímačů a vysoká pořizovací cena UV kamer.

Dalším možným přístupem na druhé straně od viditelného spektra je použití

infračervených (IR) kamer. Nejsnadnější možností je využití kamer v blízké infračervené

oblasti (NIR), tak jako v případě 3D triangulace pomocí Kinect senzoru, popisované v kap.

2.4.2. Běžně používané čipy CCD a CMOS APS mají schopnost detekovat blízké

infračervené záření do vlnových délek 950 nm. Tento přístup je v případě skla použitelný

pro objekty s vyšší teplotou, kdy dochází již k emisi záření v NIR oblasti [156]. Použití

této metody má potenciál zejména ve sklářství, kde finální výrobky jsou transparentní a už

z procesu výroby přicházejí s vyšší teplotou. V případě delších vlnových délek než je

viditelné spektrum, je sklo při běžné teplotě transparentní prakticky v celé oblasti až do

středních vlnových délek infračerveného záření (MWIR). U vlnových délek nad 8 000 nm

významně vzrůstá odrazivost povrchu skla. Tyto a vyšší vlnové délky lze teoreticky využít

pro měření vzdálenosti nebo získání 3D modelu. Běžné termovizní kamery mají rozsah

7 500 – 14 000 nm. Mezi hlavní nevýhody tohoto systému patří nedostatečné rozlišení

snímačů a vysoká pořizovací cena IR kamer. Navíc hrozí tepelné ovlivnění při osvětlování

objektů v IR vlnových délkách.

Použití termovizních kamer se rozšířilo do mnoha technických [157 a 158] i

bezpečnostních [159 a 160] aplikací strojového vidění pro kontrolu aktuálních teplot či

změn teplot. Využití pro 3D rekonstrukci obrazu je prozatím limitováno nedostatečným

rozlišením. Existují však pokusy o realizaci této metody. Například Bertozzi a kol. použili

ke 3D detekci chodců právě dvě termovizní kamery pracující na stereovizním principu

[161]. Úpravu 2D triangulační metody také popisuje Osorio v [151], který nahradil

standardní laser za laser vyšších vlnových délek. 3D rekonstrukcí objektu z promítaného

vzoru v IR oblasti se zabývá Meriaudeau v [162].

Jedna z prvních publikací zabývající se problematikou tvaru z ohřevu je [163]. Pelletier si

klade za úkol získání tvaru z IR snímků. Skenováním lokálně ohřátých míst se zabývá Eren

a kol. v práci [164]. Postupně zahřívají na stanovenou teplotu jednotlivé body na povrchu

transparentního lesklého objektu IR laserem a termovizní kamerou poté snímají emitující

záření.

Disertační práce se zaměřuje na možnosti hardwarových řešení snímání lesklých materiálů.

To představuje přípravu scény takovým způsobem, aby byly odlesky eliminovány nebo

v co největší míře omezeny a bylo možné využít standardních snímacích postupů. Dále si

klade za úkol formulaci shrnutí a východisek pro zhodnocení šíře aplikačního potenciálu

nového hardwaru a specifického softwaru pro snímání materiálů s lesklým povrchem.

65

3 Odnímání volně ložených pružinových misek z přepravky

Problematika robotického odebírání náhodně uspořádaných objektů je řešena již více než

25 let, vysoce aktuálním trendem se však stává nyní díky rozvoji 3D snímačů a

výkonnějším výpočetním systémům. Navíc je tento trend podpořen cíli Iniciativy Průmysl

4.0. Základním požadavkem úspěšné lokalizace objektu v přepravce je však kvalitní

nasnímání dat bez parazitních odlesků. Problematikou bin pickingu se zabývá

v současnosti mnoho integrátorských firem, avšak standardně je jejich nabízené řešení

robustní pro odebírané tvarově složité objekty s výraznými hranami a matným

lambertovským povrchem. Právě pro tyto objekty jsou matematické postupy vyhledání

shody modelu dílu s nasnímanými daty přesnější.

V rámci výzkumu se autor práce zabýval problematikou získání a uplatnění 3D informace

při robotickém odnímání volně ložených pružinových misek (obr. 3.3a) z přepravky. Tyto

misky nespadaly do kategorie běžně řešených objektů z důvodu jejich jednoduchého tvaru.

Navíc byly zatíženy parazitními reflexemi způsobenými jednak lesklým povrchem a pak

nerovnoměrným odřením misek způsobeným při mezioperačním transportu a mezioperační

manipulaci. Pro přepravku byl zaveden nový souřadný systém s počátkem v jejím dolním

levém rohu při pohledu shora, ze strany odebíracího robotu (obr. 3.1).

Obr. 3.1 Zavedený souřadný systém v mezioperační přepravce

3.1 Přehled realizovaných variant řešení

V úvodní fázi řešení bylo testováno několik metod získání 3D souřadnic pro uchopení

objektu robotem. Získání 3D obrazu ve své podstatě není jednoduché a ve spojení

s lesklým povrchem dílů se výrazně komplikuje.

3.1.1 2D Triangulace

2D triangulace je nejrozšířenější používanou metodou získání 3D obrazu. Tato metoda

využívá k získání 3D obrazu deformaci promítaného liniového laserového paprsku. Princip

technologie byl podrobněji popsán v kap 2.3.2. Toto řešení je velmi dobře rozpracováno

66

mnoha firmami. Přístup umožňuje detekovat širokou škálu objektů a dá se považovat za

relativně flexibilní řešení. Nicméně i tento princip má horší výsledky při získání 3D scény

s výrobky s lesklým povrchem. Pro řešení lze použít i běžné 2D kamery bez hardwarového

uzpůsobení pro 3D skenování, což snižuje spolehlivost detekce. Pro testování tohoto

přístupu byl vybrán systém Sick PLB-500. Použití tohoto přístupu se ukázalo jako vhodné,

proto se metodou hlouběji zabývá následující podkapitola 3.1.3.

3.1.2 3D obraz získaný z ToF senzoru

Senzory Time of Flight (ToF, detailněji v kap. 2.4.3) se jeví jako použitelné pro levnější

řešení. Bylo testováno zařízení REVscan řady HandyScan, které poskytuje informace o

poloze v ose x, y, z pro každý bod, ukázka výsledku je na obr. 3.2. Toto zařízení by mohlo

být pro účely bin picking použitelné, ale je nákladné (800 000,- Kč za samotný senzor

HandyScan se zobrazovacím software). Existují průmyslová řešení, která jsou v ceně do

60 000,- Kč, ovšem maximální dosažitelná přesnost není pro reálné nasazení dostatečná.

Přesnosti v ose 𝑧 je u kamery BASLER tof640 [165] na úrovni +/- 10 mm a pod 10 mm u

kamery StarForm ToF [167], i to je na hranici použitelnosti. Také rozlišení samotné

kamery ve 2D pro nalezení přesnějších souřadnic v ose 𝑥 a 𝑦 je vcelku nízké (0,3 Mpx,

respektive 1,3 Mpx), což by vyžadovalo použít několik těchto kamer, případně levnějším

řešením by byla integrace běžné 2D kamery s rozlišením okolo 5 Mpx. Perspektivně, po

zvětšení celkového rozlišení těchto kamer ve všech osách, je řešení reálné a cenově

zajímavé.

Obr. 3.2 3D obraz získaný ToF senzorem REVscan

3.1.3 3D model získaný pomocí fotometrického sterea

Fotometrické stereo se jeví jako velmi zajímavé a levné řešení. Jak bylo principiálně

popsáno v kap. 2.3.4, k řešení postačuje jedna kamera a několik osvětlovačů (3 a více).

Tento přístup byl laboratorně testován (výsledek je vyobrazen na obr. 3.3b – bez

67

rozměrové kalibrace) a vyžadoval by úplné odstínění technologické scény. Snímání

lesklých povrchů touto metodou je ale velmi komplikované a následná shoda s CAD

modelem (obr. 3.3a) je nízká.

a) b)

Obr. 3.3 a) CAD model pružinové misky, b) 3D model získaný pomocí fotometrického sterea

3.1.4 Detekce objektu pomocí stereoskopie

Využití stereoskopie se ukazuje jako vhodné pro alternativní řešení. Pomocí dvou kamer je

možné detekovat pozici objektu v ose x, y a z. Umístění kamer je patrné na obr. 3.8 A.

Pohled z obou kamer se stanovením vzdálenosti je na obr. 3.5. Pro správnou funkci

stereovizního snímání je nezbytná odpovídající kalibrace kamer. Postup kalibrace, včetně

výpočetních vztahů, byl popsán v kap. 2.4.3. V tomto řešeném případě byla kalibrace

provedena s využitím šachovnice známých rozměrů. Pro kalibraci bylo třeba získat 15

snímků s různou polohou a naklopením šachovnice obr. 3.4.

Toto řešení vykazovalo vyšší přesnost v ose x a y, ale ve svislé ose z je dosažitelná přesnost

na úrovni ± 10 mm. Předpokládá se, že odladěním skriptu je možné tuto přesnost výrazně

zlepšit až na ideální úroveň ± 5 mm. Základní nevýhodou přístupu je problém

s naklopením, kdy nepřesnost v ose z má zásadní vliv na nepřesnost stanovení natočení

v ose x a y. Vzhledem k časové náročnosti vývoje software nebylo v úvodním testování

toto řešení zprovozněno spolu s robotem.

68

Obr. 3.4 Použitá stereovizní kalibrační metoda

Obr. 3.5 3D lokalizace misek s využitím stereovizního vidění

69

3.1.5 Multisenzorové řešení

Multisenzorové řešení (senzorová fúze) je založeno na propojení senzorů různých typů.

Předpokladem je, že jsou použity běžné, relativně levné senzory. Samostatně tyto senzory

poskytují nedostatečné množství dat pro aplikaci bin-picking, ale jejich vhodným spojením

umožní společně opatřená data získat potřebné informace pro identifikaci a následné

uchopení objektu. Tento přístup vede k levnějším řešením, ale často při omezení na

aplikaci v dané třídě objektu.

Navržené multi-senzorové řešení zahrnuje plošnou kameru pro nalezení středu hledaného

objektu a tři ultrazvukové senzory pro určení náklonu objektu. Podrobněji je tato varianta

rozpracována v následující kapitole 3.2.4.

3.2 Porovnání vybraných metod

Pro realizaci samotné aplikace Bin-Picking byly vybrány dva přístupy. Komerční řešení

aktivní 2D triangulace bylo porovnáváno s vlastním řešením, kdy byla rozpracována

multisenzorová varianta snímání 2D kamerou a třemi ultrazvukovými senzory.

Implementace obou variant 3D systému do demonstračního pracoviště byla podmíněna

naprogramováním kamerového systému na daný typ manipulovaného objektu - v našem

případě pružinová miska, dále zvládnutím softwarové komunikace mezi vybraným

vyhodnocovacím systémem a řídícím systémem robotu. Následně byly provedeny výchozí

experimenty vedoucí k objektivnímu posouzení systému z hlediska robustnosti (citlivosti

na změny okrajových podmínek, jako je osvětlení, reflexe, problematická orientace

objektů, …) a stanovena efektivita (poměr úspěšně odebraných objektů) pro obě testované

metody.

3.2.1 Experimentální pracoviště

Ověření možností bylo realizováno na připraveném experimentálním pracovišti (obr. 3.6),

které zahrnuje: průmyslový robot KUKA KR16, sadu efektorů pro uchopování (podrobněji

v kapitole 3.3 a na obr. 3.12), systém průmyslových kamer (Sick Ruler pro triangulační,

Basler Pia2400gm a Sick PicoCam I2D304M pro multisenzorové řešení), systém pro

upevnění kamer, periferií a systém pro odkládání odebraných misek (skluz). Reálné

pracoviště je vyobrazeno na obr. 3.11.

Odebírání lokalizovaných misek zajišťoval standardní šestiosý průmyslový robot KUKA

KR 16 řízený řídícím systémem verze KRC4 se systémovým uživatelským softwarem KSS

verze 8.2. Pro ovládání chapadla a kompenzačního modulu bylo nutné základní řídící

systém rozšířit o I/O modul integrovaný prostřednictvím sběrnice EtherCAT.

70

Obr. 3.6 Navrhované testovací pracoviště

3.2.2 Komunikace

Ovládání chapadla a kompenzačního modulu bylo řízeno robotem pomocí digitálních

výstupů. 3D kamera i 2D kamery komunikovaly s řídícím PC přes ethernetové rozhraní,

analogový signál z ultrazvukových senzorů byl vyčítán přes externí měřící kartu.

Komunikace mezi systémy (řídící PC - robot) byla realizována přes ethernetové rozhraní.

Kromě hardwarových úprav bylo do robotu nutné nainstalovat softwarový doplněk

KUKA.Ethernet KRL XML, který umožňuje vytvořit necyklické ethernetové spojení mezi

řídícím systémem robotu a externím systémem. Přenos dat následně probíhá ve formě

řetězců XML pomocí ethernetového protokolu TCP/IP. Přijatá data se navíc ukládají do

vyrovnávací paměti, což eliminuje případnou ztrátu dat.

Z důvodu jednoznačné definice formátu odesílaných a přijímaných dat byl pro řídící

systém robotu navržen XML konfigurační soubor obsahující celkem tři úseky od

konfigurace hardware (inicializaci) přes konkrétní datové typy odesílaných a přijímaných

dat. Vlastní struktura XML souboru pak odpovídá struktuře zápisu dat na externím

kamerovém systému.

Důležitou fází řešení byla synchronizace robotu a kamerového systému, resp. jeho

kalibrace vzhledem k souřadnému systému robotu tak, aby bylo možné dosáhnout

maximálně možné úrovně přesnosti detekované pozice lokalizovaného objektu v

přepravce. Detekovaná pozice udává informaci o poloze objektu, tj. kartézské souřadnice

X, Y, Z a také natočení v prostoru A, B a C. Během optimalizace vlastního programu byly

získané souřadnice ještě dodatečně přepočítány pro tento účel odvozenými

transformačními vztahy.

71

3.2.3 2D Triangulace

Systém PLB-500 se skládá ze 3D kamery Sick Ruler a softwarového balíčku pro lokalizaci

dílů PLB studio 4.0.0.276. Výhodou zařízení Ruler je, že na rozdíl od běžných 2D

triangulačních systémů paprsek rozmítá, to znamená, že na každé místo v obrazu dopadá

pod jiným úhlem (viz. obr. 2.8 a kap. 2.4.2). Tím je do jisté míry eliminován problém

vlastních reflexí.

Software PLB Studio umožňuje komunikaci a ovládání 3D kamery Sick Ruler. Zároveň ale

také umožňuje poměrně snadnou implementaci hledaných dílů a použitého gripperu.

Nabízí nastavení řady volitelných parametrů, mezi ty nejdůležitější patří možnost měnit

souřadné systémy a definovat uchopovací pozici tak, aby software vyhodnocoval rovnou

souřadnice TCP. Přepravka je definována pouze jejími obrysovými rozměry (obr. 3.7b). Po

naskenování scény systém získá mračno bodů (point cloud – obr. 3.7a, kap 2.5), do kterého

vkládá 3D model hledaného dílu. Software vyhodnocuje jeho procentuální shodu

s nalezeným mračnem a pro každý nalezený objekt zároveň určuje míru překrytí jiným

objektem. Pokud je procentuální shoda vyšší než nastavená mez a zároveň míra překrytí je

nižší než která byla zvolena jako hraniční, systém vyhodnotí objekt jako připravený

k odebrání (obr. 3.7b). Pro naše použití byl systém nastaven tak, že z úspěšně

lokalizovaných dílů je vybrán ten, který má nejvyšší z-ovou (svislou) souřadnici a při jehož

odebírání nenastane kolizní situace. Vyhodnocováním kolizí systému není v systému zcela

řešeno, software zkouší vložit importovaný gripper tak, aby nekolidoval pouze s body v

mračnu (obr. 3.7c), proto bylo nutné připravený step model chapadla o tuto vlastní

"bezpečnostní zónu" rozšířit (obr. 3.7d).

Obr. 3.7 a) Získané mračno bodů, b) vpasované CAD modely hledaných objektů s vyznačeným

objektem k odebrání, c) přiřazení pozice efektoru d) rozšíření efektoru o bezpečnostní zóny

72

Pro úspěšnou lokalizaci dílů je samozřejmě potřeba sjednotit souřadné systémy 3D kamery

a robotu. Samotné sjednocení souřadných systémů bylo realizováno tak, že robot s

namontovaným a definovaným kalibračním přípravkem (excentricky uložený kužel)

postupně najel do 15 bodů uvnitř přepravky. Po postupném oskenování scény jsou

nalezeny souřadnice špiček kuželu a k nim přiřazeny světové souřadnice vyčtené z aktuální

polohy robotu. Lokalizace objektu ideálních vlastností (barvy a tvaru), reprezentovaná

kalibračním kuželem je dosažitelná s vysokou přesností, kdy chyba určení polohy

nepřesahuje ± 0,5 mm. Chyba určení reálného objektu (pružinové misky) s vysokým

podílem parazitních reflexí se však ukázala být více jak o řád horší. Největší slabinou

systému bylo přesné určení z-ové souřadnice a náklonu misky při automatickém vpasování

modelu do zašuměných dat.

Značná pozornost byla věnována nastavení parametrů SW pro snížení citlivosti na vnější

osvětlení. Nejprve byla do systému instalována dvě intenzivní diodová osvětlení

s rozptýleným bílým světlem (obr. 3.11). Postupnou optimalizací nastavení parametrů PLB

studia a rozšířením kompenzačních možností efektoru se podařilo vyladit systém tak, aby

nevyžadoval dodatečný osvit. Je však zřejmé, že odolnost systému vůči kolísavému osvitu

má omezení, která není možné jednoduše demonstrovat.

3.2.4 Multisenzorové řešení

Použité multisenzorové řešení se skládalo z průmyslové 2D kamery Basler s rozlišením 5

MPx (obr. 3.8a) a tří ultrazvukových senzorů (obr. 3.8b). Vzhledem k osové souměrnosti

sledovaného objektu (pružinové misky) stačí k určení jeho polohy v prostoru 5 parametrů.

2D pozici středu objektu (parametr x a y) nám určí plošná kamera umístěná nad středem

přepravky. Vzdálenost (z souřadnice) je určena po najetí efektoru nad odebíranou misku

pomocí tří ultrazvukových senzorů. Ty jsou umístěny po obvodu efektoru pod úhlem 120°.

Poměr naměřených vzdáleností zároveň stanoví hodnoty natočení misky okolo os x a y.

a) b)

Obr. 3.8 Alternativní řešení: a) systém kamer (prostřední kamera je používána pro multisenzorové

řešení, krajní kamery jsou použity pro stereoskopii), b) osazení magnetické hlavice ultrazvukovými

senzory - robot v pozici měření nad objektem pro odebrání

73

Vyhodnocení celého multisenzorového řešení je naprogramováno v programu LabView.

Náhled na vyvinutý software je uveden na obr. 3.9. Lokalizaci misek zajišťoval skript

s využitím segmentační techniky watershed. V základní verzi bylo uvažováno s miskami

rozrovnanými do přibližně stejné výšky. Softwarem byl vybrán vhodný objekt pro

odebrání, kdy přidruženým kritériem je rovnoměrné odebírání pružinových misek z

přepravky. Software umožňuje zapamatování pozice, kde byl objekt odebírán a přednostně

navádí robot na pozici, ze které nebylo odebíráno.

Obr. 3.9 Náhled vyvinutého software pro stanovení vhodného objektu pro odebrání a získání

souřadnic x, y, z a natočení objektu kolem osy x a y

Toto řešení bylo následně rozšířeno a centrální plošná kamera byla nahrazena dvěma

stereovizními. Jak se při předchozím ověřování ukázalo (kap. 3.1.1), stereovizní řešení

zajišťovalo dostatečnou přesnost v osách x a y, a méně přesnou hodnotu ve svislé z-ové

ose. Problém nastával u určení natočení objektu, což u multisenzorové varianty řeší 3

ultrazvukové senzory. Pro identifikaci náklonu misky v osách x a y byl určen přepočet.

Budeme-li pro zjednodušení uvažovat zastavení chapadla nad snímačem tak, že dojde ke

ztotožnění odpovídajících os (x, y směr souřadného systému přepravky bude odpovídat x, y

směru souřadného systému chapadla) a rozložení senzorů dle obr. 3.10. Vzdálenost

snímačů od geometrického středu chapadla (potažmo odebírané misky) je určena

poloměrem rbp. Úhel svíraný spojnicemi snímačů s geometrickým středem je označen φbp a

v našem případě φbp = 120°. Snímače U1, U2, U3 měří vzdálenosti u1, u2, u3. Ty odpovídají

vzdálenosti objektu v daném bodě.

74

Úhel náklonu misky kolem osy x (podél y) mezioperační přepravky je označen jako αbp a je

určen vztahem:

𝑡𝑎𝑛 𝛼𝑏𝑝 =∆𝑢𝑦

2𝑎, (3.1)

kde Δuy je dáno naměřenými vzdálenosti, Δuy = u3- u2 a rozměr a je z obr. 3.9 určen:

𝛼𝑏𝑝 = 𝑟𝑏𝑝 𝑠𝑖𝑛𝜑𝑏𝑝

2. (3.2)

Po dosazení a úpravě získáme výsledný vztah pro hledaný úhel αbp:

𝛼𝑏𝑝 = 𝑡𝑎𝑛−1 (𝑢3 − 𝑢2

2 𝑠𝑖𝑛𝜑𝑏𝑝

2 ) .

(3.3)

Vztah pro úhel náklonu misky kolem osy y (podél x) v souřadnicích mezioperační

přepravky βbp je získán obdobně:

𝑡𝑎𝑛 𝛽𝑏𝑝 =∆𝑢𝑥

𝑟𝑏𝑝 + 𝑏 .

(3.4)

Obr. 3.10 Výpočet náklonu odebíraného objektu pomocí multisenzorového efektoru

75

Protože na ose x leží pouze senzor U1, budeme uvažovat virtuální bod UP, kde jeho měřená

vzdálenost je dána průměrem hodnotu snímačů U2 a U3,

𝑢𝑃 =𝑢2 + 𝑢3

2 ,

(3.5)

Δux je určeno vztahem Δux = u1- uP , a rozměr b je dán vztahem:

𝑏 = 𝑟𝑏𝑝𝑐𝑜𝑠𝜑𝑏𝑝

2

(3.6)

Dosadíme-li do vztahu (3.4) dostaneme po úpravě:

𝛽𝑏𝑝 = 𝑡𝑎𝑛−1 (𝑢1 −

𝑢2 + 𝑢3

2

𝑟𝑏𝑝 (1 + 𝑐𝑜𝑠𝜑𝑏𝑝

2 ) )

(3.7)

Reálně však pro zamezení kolizí robotu s přepravkou efektor najížděl nad misku natočen o

60°, 120°, -60° a -120° podle toho, ve kterém kvadrantu přepravky se miska nacházela

(obr. 3.1). Jednotlivé vztahy pak byly v každém kvadrantu přiřazeny a upraveny pro jiný

snímač.

Pro zajištění dostatečné robustnosti skriptu byl systém nasvícen intenzivním rozptýleným

světlem, pomocí dvou osvětlovačů dodaných na připravené pracoviště (obr. 3.11). To mělo

za následek zintenzivnění lesklých ploch (v našem případě hledaných misek) v obraze. Po

lokalizaci dílu k odebrání software posílá souřadnice středu vybraného objektu a je nad něj

navedena úchopná hlavice.

Mezioperační přepravka pro odnímání byla rozdělena na pomyslné 4 kvadranty, do kterých

efektor vždy najíždí natočen tak, aby byl schopen odebrat misku i z rohu přepravky (obr.

3.1). Po odměření vzdáleností z ultrazvukových senzorů dojde k přepočtu náklonu kolem

os x a y a robotu je poslán druhý paket souřadnic, tentokrát již natočeného dílu.

Komunikace je podobná jako se systémem PLB a software robotu byl pro toto řešení jen

modifikován.

V současné době je software vytvořen pouze v základní verzi a neumožňuje řešit některé

reálné situace, jako je například větší náklon pružinové misky. Z časových důvodů nebyla

další softwarová a hardwarová opatření implementována do prezentovaného pracoviště.

76

Obr. 3.11 Připravené experimentální robotické pracoviště k ověření vybraných testovaných metod

3.3 Vývoj chapadla pro bin-picking

Na základě realizované rešerší činnosti a zevrubné analýzy procesu byly pro systém

uchopování předmětů navrženy tři úchopné hlavice. Ty byly navrženy pro konkrétní objekt

manipulace. V prvním případě se jedná o multipřísavkovou hlavici, která uchopuje

manipulovaný předmět v rovině velkého mezikruží, a to z obou stran misky. Druhá

alternativa je tvořena magnetickou hlavicí, která předměty uchopuje v rovině mezikruží

horního výstupku. Třetí alternativou je mechanická hlavice, která uchopuje předmět za

vnitřní průměr, v případě odebírání otočené misky pak za její vnější průměr.

Obr. 3.12 Multipřísavková (A), magnetická (B) a mechanická (C) úchopná hlavice

77

V rámci experimentálního ověřování funkčnosti navržených chapadel byla sledována

schopnost chapadla vyrovnávat nepřesnosti určení polohy a orientace prostřednictvím

připojeného kompenzačního zařízení. Reálná chapadla jsou zobrazena na obr. 3.13.

Z důvodu značně nepřesného určení polohy a náklonu objektu se ukázala jako

nejvýhodnější magnetická hlavice. Všechna popisovaná řešení kompenzovala nepřesnosti

polohy naváděcím trnem. Magnetická hlavice navíc umožňovala odebrat i misky se špatně

určeným náklonem, díky silným magnetům byla miska přitažena na vzdálenost až 15 mm.

Naopak multipřísavková hlavice je na uvedenou situaci nejvíce citlivá, jelikož v případě

nedosednutí všech přísavek nedojde k vytvoření podtlaku nezbytného pro uchopení

objektu. Aplikace mechanického chapadla vykazuje také určitou robustnost, přičemž je

zároveň způsobilá k uchopení obou orientací objektu. Pro finální řešení byla vybrána

magnetická hlavice, její nevýhodou je však možné zmagnetizování odebíraných objektů.

3.4 Porovnání testovaných metod

Systém rekonstrukce 3D dat s využitím 2D triangulace se ukázal jako vhodný i pro lesklé

materiály. Jak bylo zmíněno, výhodou je proměnný úhel dopadu paprsku na lesklý povrch.

Navíc je komerční software pro nasnímání 3D scény stabilní a odladěný. Po odpovídajícím

nastavení softwarových a hardwarových parametrů dokáže najít a vpasovat objekt pro

uchopení i do nasnímaných dat s šumem způsobeným parazitními odlesky. Nutné je však

v tomto případě uvažovat s dostatečnou polohovou kompenzací použitého chapadla. Poté

může být při znalosti transformačních vztahů 3D kamera – robot přesnost navedení s

ohledem na uchopení objektu dostatečná. Po zavedení vlastních ochranných zón na

virtuálním modelu jsou spolehlivě řešeny kolizní stavy a systém lze vcelku pružně

modifikovat na jiné díly a typy efektorů.

Přestože systém je navržen převážně pro detekci tvarově složitých objektů (objektů s více

plochami) s matným povrchem, po vhodné parametrizaci jej bylo možné použít i pro

jednoduchý lesklý povrch. Uplatnění systém najde především v aplikacích, kde se relativně

Obr. 3.13 Multipřísavková (A) magnetická (B) a mechanická (C, D) úchopná hlavice

78

často mění uchopované objekty. V případě odebírání jednoho typu výrobku po dobu

životnosti zařízení by potenciál systému nebyl využit.

Multisenzorový systém se také ukázal být vhodným řešením pro tuto konkrétní aplikaci i

přes to, že je v současné době vytvořena pouze v základní verze vyvinutého softwaru a

neumožňuje řešit některé reálné situace. Největším, ale přesto řešitelným problémem je

způsobilost rozpoznat vyšší náklon pružinové misky než 15°. To není dosud možné ze

dvou důvodů. Vyšší úhly již znemožňují detekování odraženého ultrazvukového signálu,

případně signál již směřuje mimo povrch líce pružinové misky. Hardwarovým řešením se

nabízí úprava zástavba ultrazvukových snímačů do úchopné hlavice tak, aby byly umístěny

na menším roztečném poloměru. Softwarové řešení by spočívalo v rozšíření a odladění

skriptu pro stereovizní snímání, kdy za současných podmínek nebyl z důvodu velké

nepřesnosti identifikován (ani přibližný) úhel, ale pouze výška objektu. Získáním alespoň

přibližného naklopení by se rozšířil použitelný náklon misky. Další softwarovou úpravou

se nabízí vývoj subrutiny pro naklopení chapadla po detekci objektu. V případě chybného

měření dat ze senzoru by byl efektor naklopen a realizovalo by se nové měření objektu.

K úhlu, o který se chapadlo otočí, je přičten nově detekovaný úhel naklopení ze senzorů a

dojde k naklopení chapadla do požadované pozice pro odebrání. Toto je ale možné obejít

právě získáním přibližného úhlu ze stereovize. Z časových důvodů nebyla tato softwarová

a hardwarová opatření implementována do prezentovaného pracoviště.

Bylo ověřeno, že navržené alternativní řešení je vhodné pro uvedenou úlohu a je

upravitelné na danou třídu problémů. Přístup lze sice uplatnit i na další typy objektů, ale

řešení nemůže dosahovat flexibility použitého komerčního softwaru.

79

4 Rekonstrukce 3D modelu lesklých objektů pomocí konfokálních

snímačů

Během řešení 3D rekonstrukce dat při robotickém odebírání objektů se ukázalo, že pro

snímání objektů s lesklým povrchem není možné aplikovat univerzální postupy snímání a

je nutné pro každý případ realizovat individuální softwarové a hardwarové řešení. Z tohoto

důvodu byly pro další výzkum 3D snímání lesklých a transparentních objektů uvažovány

konfokální snímače, nezávislé na typu snímaného materiálu a jeho povrchu.

Konkrétně se tato kapitola zabývá experimentálním ověřením aplikačních možností

konfokálních snímačů pro využití v automobilovém průmyslu. Tento inovativní typ

snímačů založený na zaostřování polychromatického bílého světla na cílovou plochu

pomocí soustavy optických čoček disponuje nabízenou přesností až v řádu nm. Přidanou

hodnotou použitého principu je možnost jednostranného měření tloušťky transparentních

materiálů. Technologie konfokálních snímačů včetně výpočetních vztahů byla podrobněji

popsána v kap. 2.4.1. Pro připravované experimenty byly použity senzory Precitec

Optronik s použitou snímací hlavou 25 mm a senzory Stil CL-MG se snímací hlavou s

upraveným rozsahem na 15 mm a 30 mm. Data byla vyčítána pomocí dodaného i vlastního

softwaru.

V první části se kapitola zaměřuje na ověření vlastností konfokálních senzorů. Pro

kvalitativní a kvantitativní ověření navrhovaných metod byly voleny reprezentativní

vzorky ze skla. Sklo má oproti lesklým neprůhledným materiálům proměnnou míru

odrazivosti v závislosti na úhlu dopadu a tato úloha je tedy komplikovanější. Přenesení

poznatků na lesklé neprůhledné materiály je tak možné bez dalších omezení.

Samotné proměřování reprezentativních vzorků je rozděleno do tří částí, řazeno od

nejjednoduššího přístupu na proměření jedné linie na rovinném skle s deformací (kap. 4.2),

proměření vybraných referenčních bodů na objektu senzorem umístěným na koncovém

členu robotu (kap. 4.3). Nejkomplexnější tvary byly vyhodnocovány proměřením

vybraných linií objektu, kdy poloha objektu je přesně navedena robotem a linie jsou

zajišťovány přesným lineárním pojezdem (kap. 4.4).

4.1 Ověření použitelnosti konfokálních snímačů

Použitelnost konfokálních snímačů byla ověřena řadou realizovaných testů. Nejprve byla

prokázána jejich přesnost porovnáním naměřených dat s 3D souřadnicovým měřícím

systémem. Poté byl studován vliv okrajových podmínek snímačů, jakými jsou například

vliv parazitního osvětlení, vliv náklonu povrchu snímaného objektu a vliv snímaného

materiálu.

4.1.1 Ověření dosažitelné přesnosti pomocí 3D SMS

Pro objektivní identifikaci dosažitelných přesností konfokálních snímačů (uváděno až v

nm) bylo provedeno jejich porovnání s kontaktním měřením. To bylo realizováno

80

v klimatizované místnosti na 3D souřadnicovém měřicím stroji DEA SpA, model ALPHA,

s motorizovanou hlavou Renishaw Phio. Pro měření byla použita dvě dotyková tělíska na

konci motorizované hlavy, a to kulička průměru 2 mm a 1 mm. Pro upevnění konfokálního

snímače byl použit stojan s granitovou deskou a polohovací hlavou Manfroto (obr. 4.1).

Při experimentu byla provedena nejprve kalibrace 3D SMS. Hlava konfokálního snímače

byla seřízena tak, aby byla zajištěna její kolmá poloha vůči základně. Odměřování bylo

realizováno získáním 4 bodů na válcovém tělese hlavy. V použitém software 3D SMS byl

stanoven bod, ve kterém dochází k měření konfokálním snímačem (průmět osy válcového

tělesa hlavy a základny). Následně byla stanovena měřená výška vzorku pomocí

konfokálního snímače a na tuto výšku spolu s polohou nastaveno dotykové odměřování.

Dotykové tělísko najíždělo v ose konfokálního snímače vertikálně směrem dolů k

odměřovanému etalonu a po dotyku došlo ke změření jeho výšky.

Obr. 4.1 Provedení experimentu k posouzení přesnosti konfokálních snímačů na 3D SMS

V rámci experimentu byly provedeny testy s přesnými etalony: planparalelní destička,

klínová destička a plankonvexní čočka. Ukázalo se, že větší průměr měřícího tělíska má

negativní vliv na výsledek, a to především při měření čočky a klínu. Při použití kuličky

průměru 1 mm jsou rozdíly v měření mezi konfokálními snímači a dotykovým

odměřováním pod 10 µm, což je již na hranici deklarované přesnosti použitého 3D SMS.

Lze tedy konstatovat, že přesnost konfokálních snímačů je minimálně na úrovni 10 µm.

4.1.2 Stanovení okrajových podmínek snímačů

V rámci počátečního výzkumu byly provedeny základní testy na experimentálním

pracovišti s cílem správně nastavit řídící jednotku konfokálních snímačů – nastavení

frekvencí, prahů, průměrování, zobrazení, atp. Ukázalo se, že významný vliv na výsledky

při zhoršených světelných podmínkách má frekvence snímání a stanovení prahů.

Neexistuje ovšem jednoznačný předpis (zvýšení, či snížení parametrů), ale je nutné

nastavit parametry podle aktuálních podmínek.

81

Pro zjištění potenciálních možností bylo také provedeno testování skel s různou

povrchovou úpravou. Testování bylo realizováno na vzorcích plochého a obalového skla.

U plochého skla FLOAT byl testován vliv zabarvení a povrchové úpravy. Pro běžně

používané zabarvení skla FLOAT se neprokázala omezení v použití konfokálních snímačů

(odměřování vzdálenosti i tloušťky skla). Při aplikaci povrchových vrstev, které jsou více

odrazivé pro viditelné optické elektromagnetické záření, není možné měřit tloušťku skla,

pokud je odrazivá vrstva směřována na stranu měření konfokálním snímačem. Vzdálenosti

mezi snímačem a objektem jsou měřitelné. V případě ornamentálního skla (vyrobeného

technologií lití) není u většiny motivů možné měřit vzdálenosti a tloušťky skla. Motivy

jsou většinou natolik členité, že dochází k odrazům a lomům, které jsou mimo rozsahy

uváděných úhlů možného náklonu snímací hlavy. Byly také provedeny základní testy

použití konfokálních snímačů na obalovém skle. Jako problematické se ukázalo měření

vzdálenosti a tloušťky u vysoce barveného skla.

Pro aplikaci konfokálních snímačů v praxi je důležité znát okrajové podmínky jejich

použití. Mezi nejdůležitější patří vliv světelného rušení. Pro předpokládanou aplikaci je

také důležitý vliv naklonění konfokálních snímačů nebo sledovaného objektu.

Okolní světlo bude vždy ovlivňovat měření pomocí konfokálního snímače, jeho vliv může

být pod hranicí měření nebo může být významný. Obecně, rozptýlené difuzní osvětlení má

minimální vliv na konfokální snímač, naopak směrové světlo dopadající přímo na bod

měření může měření úplně znehodnotit. Při běžném osvětlení místnosti pomocí běžných

osvětlovacích těles je možné minimalizovat vliv osvětlení vhodným nastavením snímače.

Směrové světlo je třeba minimalizovat nebo odstínit. Maximální náklon snímací hlavy je

dán výrobcem a cílem dalších experimentů bylo stanovit skutečnou míru vlivu úhlu na

měření. Při experimentech s náklonem snímací hlavy byl sledován i vliv směrového

osvětlení pod daným úhlem (obr. 4.2).

Obr. 4.2 Experiment s náklonem snímací hlavice a rušením směrovým světlem

82

Hlava konfokálního snímače byla postupně naklápěna na obě strany, a to po inkrementech

s hodnotou 1°. Byly zaznamenávány vzdálenosti od vzorku a maximální odchylky, které se

posuzovaly od převládající hodnoty a tloušťky vzorku taktéž s maximálními odchylkami.

Naměřené hodnoty byly zprůměrovány, aby byl eliminován potenciální vliv nepřesností

desky, na kterou byl umístěn vzorek.

Měření probíhalo za zapnutého osvětlení (zářivková svítidla, laboratoř bez oken). Výsledné

hodnoty závislosti naměřené maximální odchylky na náklonu snímací hlavy a světelném

rušení byly přeneseny do grafu (obr. 4.3). Při větších hodnotách náklonu byla data při

světelném rušení nečitelná. Výrobcem garantovaný úhel 15° je určitou hranicí, nad kterou

se měření, především při působení světelného rušení, stává nepřesným a nespolehlivým.

Obr. 4.3 Závislost maximální odchylky měření vzdálenosti na úhlu náklonu hlavice

Výrobce snímače doporučuje měřit pokud možno uprostřed měřicího rozsahu, nicméně

experimenty provedené v různých pásmech pracovního rozsahu (1/3, 1/2 a 2/3 rozsahu)

neprokázaly zhoršení výsledků měření.

4.2 Vyhodnocení linie na plochém skle se zdeformovanými okraji

V rámci prvotního měření byly analyzovány přířezy z okrajových částí plaveného skla

(obr. 4.4). Během výrobního procesu jsou okraje plaveného skla zdeformovány od rolen

zajišťujících požadovanou tloušťku plaveného skla. Tyto zdeformované okraje musí být

následně na výrobní lince automaticky odřezány. Nastavení šířky odřezu je v současné

době korigováno manuálně operátorem několikrát denně, na základě průběžně odebraných

a off-line vyhodnocených odřezů okraje plaveného pásu skla v provozní laboratoři. Z

ekonomických důvodů je vhodné řešit toto vyhodnocování online na výrobní lince a z

důvodu vysokého aplikačního potenciálu byly testovány právě tyto vzorky. Pro testování

v rámci projektu byly použity vzorky o rozměrech pro standardní zkoušky, tj. 300x300 mm

s tloušťkou 3 a 4 mm.

Běžnou praxí je, že zvlnění plochého skla je zvýrazněno promítáním světelného vzoru

(podrobněji popsáno v kap. 2.7), velmi často pruhováním pod úhlem 45°, tzv. zebra

0,1

1

10

100

1000

10000

100000

0 2 4 6 8 10 12 14 16 18 20 22

Max

imán

lí n

amě

řen

é o

dch

ylky

[µ

m]

Úhel [deg]

Bez světelného rušení

Se světelným rušením

83

vzorem pod relativně velkým úhlem odrazu [137]. Zvlnění je pak detekováno na základě

deformace obrazu odraženého rozhraní světla a stínu (obr. 4.4).

Obr. 4.4 Přířez okraje skla, zvlnění okraje je zřetelné na deformaci odrazu promítaného vzoru

4.2.1 Experimentální pracoviště pro proměření plochých skel

K měření vzorků plochého skla s deformací okrajů bylo použito připravené experimentální

pracoviště s aktivní pojezdovou jednotkou (obr 4.5), zajišťující pohyb vzorku pod pevně

umístěným konfokálním snímačem. Toto pracoviště zároveň umožňuje jednoduchou

přestavbu na měření pomocí metody deformace laserového paprsku (obr. 5.6). Jedná se o

stand pro testování bezdotykových technologií měření.

Obr. 4.5 Experimentální pracoviště upravené pro snímání konfokálními snímači

84

4.2.2 Výsledky měření plochého skla s deformací okraje

Po vyšetření limit a určení přesnosti systému bylo přistoupeno k proměření připravených

vzorků skla. Vzorky byly laboratorně proměřeny konfokálním snímačem od

nejjednoduššího (pseudo rovinný) až po nejsložitější (obecně tvarovaný).

Měření pseudo rovinného přířezu skla pomocí konfokálního snímače bylo realizováno na

připraveném experimentálním pracovišti. Profil analyzovaného přířezu je zobrazen na obr.

4.6. Detail zdeformované části je poté na obr. 4.7. Další metoda detekce vzdáleností pro

odstranění zvlněného okraje je uvedena v kap. 5.1.1.

Obr. 4.6 Měřený profil přířezu L2 - konfokální snímač

Obr. 4.7 Detail zdeformované části přířezu L2 - konfokální snímač

85

4.3 Měření prostorových profilů s využitím robotu

Měření tvarových etalonů broušeného skla bylo realizováno na připraveném

robotizovaném pracovišti (obr. 4.8). Toto pracoviště umožňuje přesný pohyb snímače ve

všech osách. Konfokální senzor byl instalován na koncový člen průmyslového robotu

KUKA KR 16 s řídícím systém KRC4, u kterého je výrobcem definovaná přesnost

polohování ±0,05 mm.

Orientace efektoru s konfokálním snímačem byla kontrolována ve dvou osách externím

snímačem náklonu, inklinometrem Balluff BSI008. Referenční vzdálenost efektoru od

měřené plochy byla navíc snímána ultrazvukovým senzorem SICK UM18. Základní

(přibližná) nivelace přípravku oproti upínacímu stolu skla (leštěné granitové desce) byla

zajištěna systémem bublinkových vodováh.

Obr. 4.8 Připravované robotizované pracoviště pro měření povrchu konfokálním snímačem

Pro zajištění maximálně dosažitelné přesnosti polohování snímače vzhledem k upínacímu

stolu byl sjednocen lokální souřadný systém robotu s rovinou stolu. Následně proměřená

odchylka rovinnosti se pohybovala na úrovni desetin milimetru. Tato nepřesnost byla

pravděpodobně způsobena mechanickými vlastnostmi sériového kinematického řetězce

uvedeného robotu.

86

4.3.1 Soubor měřených objektů

Pro vývoj a ověření metod byly pořízeny skleněné tvarové etalony, obr. 4.9 (výrobce

Dioptra a. s. Turnov). Pořízeny byly tyto vzorky:

Planparalelní destička o průměru 76,2 mm, tl. 7,7 mm, jednostranně broušena a

druhá strana leštěna s vysokou přesností roviny.

Klínová destička o průměru 76,2 mm, tl. 4,2 až 7,7 mm, úhel 2,61 °, jednostranně

broušena a druhá strana leštěna s vysokou přesností roviny.

Plankonvexní čočka o průměru 76,2 mm, střední tl. 7,6 mm, poloměr kulové

plochy 199,92 mm (nominálně 200 mm), jednostranně broušena a rádiusová strana

leštěna s vysokou přesností kulové plochy.

Obr. 4.9 Přesné etalony pro ověření parametrů měření konfokálních snímačů

Vzorky s obecným 3D tvarem byly připraveny gravitačním tvarováním skla v peci v

laboratořích Katedry sklářských strojů a robotiky. Tyto vzorky simulují gravitačně

tvarovaná autoskla se složitým zakřivením (obr. 4.10).

Obr. 4.10 Gravitačně tvarované přířezy skla

Byl připraven program na přesné najíždění robotu nad etalon na body uspořádané do kříže

(celkem 26), jeden bod byl navíc definován mimo etalon k ověření parametrů (obr. 4.11).

Body byly umístěny od sebe 5 mm ve směru měření. Následně byla analyzována výsledná

přesnost měření soustavy robot – konfokální snímač při proměřování etalonů:

planparalelní, klínové a plankonvexní destičky. Testováno bylo také gravitačně tvarované

sklo. Pro dosažení maximální přesnosti bylo nutné robot v každém bodě měření zastavit.

87

Udávaná přesnost robotu je definována při najetí do jednotlivých bodů, ne při pohybu

celého kinematického řetězce. Navíc tím došlo k omezení vlivu vibrací na snímač.

Obr. 4.11 Body měření na etalonu pomocí robotu a vyznačení směru jeho pohybu

Pro načítání dat z konfokálního snímače byla připravena softwarová utilita v prostředí

LabView. Řídící systém robotu inicioval měření pomocí signálu digitálního výstupu.

Komunikace s řídícím PC a vyčítání dat bylo realizováno pomocí jednodeskového počítače

Arduino. Pro každý definovaný bod byla vyhodnocena sekvence odměřování pro 3

hodnoty: tloušťka skla, vzdálenost 1 a vzdálenost 2.

4.3.2 Měření planparalelní destičky

Nejprve bylo realizováno měření na planparalelní destičce. Výsledky z měření všech bodů

jsou získávány bez jakýchkoliv úprav. Pro reálné hodnoty je tedy nutné uvažovat s

přepočtem surových dat pomocí indexu lomu a Abbého čísla. Jak se ukázalo, z důvodu

oscilace naměřených hodnot v řádu m, pravděpodobně důsledkem chvění snímací hlavy,

je vhodné použít průměr alespoň z tisíce měření. Rozdíly jsou nepatrné, pro reálné

nasazení je možné zvážit zkrácení intervalu měření.

Po přepočtu surových dat byly získány skutečné rozměry objektu. Pro každý z 27

analyzovaných bodů skla (obr. 4.11) byla spočtena průměrná hodnota z 3 000 měření.

Jednotlivé body je možné vykreslit ve 3D modelu (obr. 4.12). Výsledky ale nejsou dobře

vyhodnotitelné, proto je lepší využít zobrazení ve 2D (obr. 4.13). Jak je patrno z výsledků,

rozdíly v naměřené tloušťce etalonů jsou do 20 m. Tato nepřesnost je dána chybou

měření a odchylek tvaru etalonu (výsledek není ovlivněn polohou snímací hlavy, neboť

tloušťka je definována jako rozdíl vzdálenosti 2 – spodní strana etalonu a vzdáleností 1 –

horní strana etalonu). Patrné rozdíly však byly zjištěny porovnáním vzdáleností 1 a 2 mezi

jednotlivými body, a to až o 200 m. Přesnost vzorku byla prokázána při ověřovacích

testech na 3D souřadném měřícím stroji, je tedy pravděpodobné, že zjištěný rozdíl byl

způsoben polohou vzorku vůči snímači (nakloněná granitová deska nebo souřadný systém

88

robotu) a nepřesností polohování robotu. Naklonění granitové desky nebo souřadného

systému by způsobilo lineární závislost změny mezi jednotlivými body v každé linii.

Získaná měření toto potvrzují pouze částečně, v měřené linii bodů se navíc vyskytují

skokové výchylky.

Obr. 4.12 Zobrazení výsledků průměrných vzdáleností planparalelní destičky pro jednotlivé body

ve 3D grafu, osy x a y v mm, osa z v m

Byla provedena opakovaná měření vzorku na definovaném místě a po posunutí umístěného

vzorku na jinou pozici na měřícím stole (jednalo se o posunutí polohy celého kříže

měřených bodů). Po každém proměření etalonu bylo vzorkem pootočeno.

Na obr. 4.14 jsou zobrazeny rozdíly v naměřené tloušťce etalonu a vzdálenosti 1. Jak je

zřejmé, rozdíl v tloušťce je možné zdůvodnit chybou měření, v tomto případě se jednalo o

přibližně 40 m. V případě vzdálenosti 1 kopíruje průběh výsledků vždy podobné hodnoty

pro každou ze dvou poloh kříže měřených bodů. Rozsah naměřených hodnot je v měřených

bodech podstatně menší při měření v dané poloze bodu kříže, maximálně 20 m.

Z analýzy výsledků vyplývá, že přesnost polohování daného robotu je pouze do 200 m.

Nicméně pro opakované najetí robotu do stejného bodu je přesnost o řád vyšší a lze ji

využít pro měření tvaru objektů při znalosti chyby najetí robotu do daného bodu. Tuto

chybu lze stanovit na základě proměření etalonu před samotným měřením sledovaného

objektu.

89

Obr. 4.13 Zobrazení výsledků průměrných tlouštěk a vzdáleností pro jednotlivé body ve 2D

Obr. 4.14 Zobrazení výsledků tlouštěk a vzdáleností pro opakovaná měření etalonu planparalelní

destičky a po posunutí měřených bodů v řídící jednotce robotu do polohy A a B

90

4.3.3 Měření klínové destičky

Podobně jako u etalonu planparalelní desky i u klínové destičky byly provedeny

experimenty se získáním 3D dat. V grafu 3D zobrazení na obr. 4.15 nejsou příliš patrné

rozdíly mezi jednotlivými měřenými body, proto je pro porovnání s přesností měření

jednotlivých bodů opět použito 2D grafů (obr. 4.16). Tři opakovaná měření bez otočení

skla v poloze měřených bodů A splývají díky zobrazení grafu pro výsledky tloušťky a

vzdálenosti 1. Po porovnání opakovatelnosti měření v jednom bodě je zřejmá velmi dobrá

shoda jednotlivých měření, pod 20 m. V poloze měřených bodů B bylo etalonem dále

otáčeno, což je zřejmé z výsledků.

Obr. 4.15 Výsledky průměrných vzdáleností klínové destičky pro jednotlivé body ve 3D grafu

Obr. 4.16 Zobrazení výsledků průměrných tlouštěk a vzdáleností pro opakovaná měření etalonu

klínové destičky a po posunutí měřených bodů do polohy A a B

91

4.3.4 Měření plankonvexní destičky

Výše uvedená měření byla provedena také pro etalon plankonvexní destičky a opět s

podobnými výsledky, jako u etalonu klínové destičky (obr. 4.17, obr. 4.18.) Etalon v

poloze B byl po každém měření opět otáčen.

Obr. 4.17 Zobrazení výsledků průměrných vzdáleností plankonvexní destičky pro jednotlivé body

ve 3D grafu, osy x a y v mm, osa z v m

Obr. 4.18 Zobrazení výsledků tlouštěk a vzdáleností pro opakovaná měření etalonu plankonvexní

destičky a po posunutí měřených bodů v řídící jednotce robotu do polohy A a B

92

Z testů vyplývá omezení použitého robotu pro přesné polohování v daném bodě (až +/- 100

m v ose měření vzdálenosti mezi sklem a konfokálním snímačem). To je dáno

mechanickými limity stroje. Na druhou stranu opakovatelnost měření je u tohoto typu

robotu celkem vysoká, o řád vyšší než u polohování. Lze tak využít etalonů pro zjištění

aktuální polohy snímací hlavy a zvýšit přesnost měření.

4.3.5 Měření gravitačně tvarovaného skla

Jak již bylo uvedeno výše, z naměřených bodových dat je možné sestavit 3D model. Přířez

gravitačně tvarovaného skla (obr. 4.10) byl proměřen maticově v 782 bodech (23 x 34

bodů s postupným posunem 5 mm v ose x a y).

Obr. 4.19 zobrazuje matici naměřených bodů, jako podklad pro následné získání 3D

modelu. Tento model bude zatížen jak zmíněnými chybami měření v ose konfokálního

snímače (v ose z), tak i ve zbývajících dvou osách polohování (x a y).

Obr. 4.19 Získané 3D body gravitačně tvarovaného skla, osy x a y v mm, osa z v m

93

4.5 Aplikace sady snímačů na robotizovaném pracovišti

Pro ověření reálného aplikačního nasazení konfokálních snímačů za účelem ověření

rovinnosti plochých skel či identifikaci geometrie nejkomplexněji tvarovaných skel,

jakými můžou být například skla pro stavebnictví či automobilová skla, bylo připraveno na

půdě katedry experimentální pracoviště. Toto pracoviště využívá kombinace dvou

předchozích způsobů a je tvořeno (obr. 4.20a) 2 angulárními roboty Kuka KR16,

zajišťujícími manipulaci se skly pomocí připravených specifických efektorů (obr. 4.20b), a

jejich ustavení na přesnou pozici pro vlastní měření. Měření bylo realizováno pomocí

konfokálních snímačů definovaně fixovaných v nosné desce (obr. 4.2a) umístěné na

portálovém manipulátoru. Vlastní měření je zajištěno translačním pohybem nosné desky se

snímači. Dodávka skel je realizována prostřednictvím pásového dopravníku s lokalizací

odnímací polohy. Po měření jsou skla roboty odkládána na připravené periferie. Řízení

celého systému zajišťuje nadřazený programovatelný automat (PLC).

Obr. 4.20 a) Připravené experimentální pracoviště pro ověření možností aplikačního nasazení

konfokálních snímačů, b) rozložení přísavek na efektoru robotu

Pro získání, interpretaci dat, vyhodnocení a grafické zobrazení byl v prostředí NI LabView

vyvinut software. Náhled připraveného grafického rozhraní je zobrazen na obr. 4.21.

94

Obr. 4.21 Náhled na software pro načítání, filtraci, interpretaci a zobrazení dat

Po spuštění skriptu je připravený software v režimu real-time zobrazení měřených dat, ale

bez jejich ukládání, filtrace a interpretace. Software je inicializován signálem pohybu

lineárního vedení. Pokud je detekován a pokud je alespoň na jednom snímači nenulová

naměřená hodnota, probíhá ukládání dat. To trvá po celou dobu platnosti těchto dvou

podmínek.

Data jsou z konfokálních snímačů načítána přes sériovou linku v ASCI formátu. Získané

bitové hodnoty lbit jsou následně přepočteny na vzdálenost L podle vzorce:

𝐿𝑚𝑚 =𝑙𝑏𝑖𝑡 . 𝑟. 𝑚

𝑛

(4.1)

kde r je rozsah měřítka v m, v našem případě 15 000 a 30 000, m je faktor měřítka (scale

factor), v našem případě 2, n je maximální velikost získané hodnoty lbit, v případě našeho

15-ti bitového kódování sériové linky je 𝑛 = 215 – 1 = 32767 .

Výsledný vztah platný pro naší aplikace lze zjednodušit na:

𝐿𝑚𝑚15 = 𝑙𝑏𝑖𝑡 .0,915555284

𝐿𝑚𝑚30 = 𝑙𝑏𝑖𝑡 .1,831110569

(4.2)

Vyhodnocovací jednotka umožňuje měření jedné vzdálenosti, kdy za nejbližší rozhraní

bere vždy to s nejvyšší intenzitou odrazu. Vzhledem k tomu, že se neměří plochy kolmo,

ale často pod úhlem, nemusí být odraz od nejbližšího rozhraní nejintenzivnější. V tomto

případě může být detekováno až druhé rozhraní skla (zadní plocha skla proti snímači), což

znamená získání neodpovídajících obrazových dat. Z tohoto důvodu byl využit režim

snímání tloušťky. Z naměřeného spektra byla vybrána dvě nejintenzivnější rozhraní, ta

95

byla porovnána a vybráno bylo to s menší hodnotou vzdálenosti (bližší). Tento proces byl

realizován již v řídící jednotce snímače, aby nedocházelo k přetěžování komunikační linky

(RS 485) nepotřebnými daty.

V softwaru jsou naměřená data filtrována a srovnána s kalibrační základnou. Získané linie

jsou zobrazeny na obr. 4.22. Filtrace probíhá v několika operacích, které se pro urychlení

běhu programu časově překrývají. U každé linie jsou definovány počátky tak, že nenulové

hodnoty reprezentují použitelná data, nulové hodnoty jsou data k zahození. Při přejezdu

konfokálních snímačů nad hranou skla dochází k zašumění dat, způsobené především

zbroušením hrany (členitý povrch brusu způsobuje odraz paprsku do všech stran). Z tohoto

důvodu je vyřazen určitý počet prvních a posledních měřených hodnot. Přesný počet je

závislý na vzorkovací frekvenci snímače, vyšší způsobí více ovlivněných dat. Na jedné

linii může být více počátků a konců, což může být způsobeno vzdáleností skla, které

překročí snímače rozsah měření snímače.

a)

b)

Obr. 4.22 2D zobrazení naměřených dat: a) ploché sklo, b) tvarované sklo

96

Dále se v datech náhodně objevuje šum, který je nutné odstranit. Šum je charakteristický

podstatně větší změnou v detekované vzdálenosti mezi jednotlivými body měření

(naměřené hodnoty z konfokálních snímačů). Jsou tedy sledovány rozdíly mezi

následujícími hodnotami. Postupně je kontrolován signál a při překročení stanovené

odchylky mezi jednotlivými body měření je zaznamenán počátek šumu. Od počátku šumu

je pak následně odečten zvolený počet hodnot. Následně je pokračováno ve sledování

rozdílů a případně znovu vyřazena část dat. Hodnoty parametrů pro filtraci byly nastaveny

s rezervou a pro daná data získaná za specifických podmínek snímání. Pro nové uspořádání

a v novém prostředí je nutné parametry znovu zvolit na základě experimentů.

a)

b)

Obr. 4.23 3D zobrazení naměřených dat: a) ploché sklo, b) tvarované sklo

Filtrovaná data jsou uložena v textovém souboru jako jednotlivé body v osách x, y, z

(matice o rozměru n x 3, kde n je počet použitelných a získaných dat). Data jsou řazena pro

jednotlivé konfokální snímače pod sebou, což je možné vzhledem k tomu, že jednotlivé

naměřené body jsou plně určeny ve všech osách. Body tak představují nasnímaný objekt,

který je definován v liniích ve 3D souřadnicích. Proměřené ploché sklo je vyobrazeno na

obr. 4.22a) ve 2D souřadnicích a pro představu na obr. 4.23a) ve 3D. Tvarové sklo bylo

také proměřeno v 6 liniích a ty jsou ve 2D zobrazeny na obr. 4.22b) a ve 3D na obr. 4.23b).

97

V případě použití více konfokálních snímačů by bylo možné získaná data zpracovat jako

mračno bodů - kap. 2.5. Měření několika linií na objektu je méně časově náročné díky

menšímu objemu dat a je tak vhodné pro kontrolu určitých geometrických parametrů

objektu, jako je rovinnost, poloměr ohnutí skla, apod.

4.5.1 Základní ověření funkčnosti pracoviště

Funkčnost celého pracoviště byla sledována z pohledu stability měření v závislosti na

okrajových podmínkách procesu. Byly realizovány testy s plochým sklem tloušťky 4 mm

(rozměru 500 x 750 mm), 2 mm (rozměru 600 x 800 mm) a tvarovým sklem

(automobilové sklo).

Opakovatelnost měření

Při realizaci opakovaného měření 1 robotem byla dosažena míra přesnosti měření ve

zvolených bodech lepší než ± 0,05 mm. Po doladění pozic byla na dvou robotech dosažena

míra přesnosti měření ve zvolených bodech lepší než ± 0,15 mm.

Vliv vibrací

Ověření vlivu vibrací je podstatné pro kvantifikaci doby, po kterou musí být sklo v klidové

poloze před spuštěním měření. Rychlost pohybu robotu byla postupně snižována

z rychlosti 0,7 m/s na 0 m/s. Po najetí do měřicí polohy (rychlost pohybu ramene robotu 0

m/s) je vibrace do 0,02 mm a po 1 s je vliv vibrací prakticky utlumen. Vibrace jsou větší

pro ploché sklo a na okrajích skla. Grafické znázornění výsledků měření s plochým sklem

tloušťky 2 mm (rozměru 200 x 800 mm) a pro tvarové autosklo tl. 1,6 mm dokládá obr.

4.24.

Obr. 4.24 Vliv vibrací u plochého skla tl. 2 mm a tvarového autoskla tl. 1,6 mm

98

Vliv lineárního vedení, směru pohybu

Dalším sledovaným faktorem byl vliv pohybu lineární jednotky s konfokálními snímači.

Bylo zjištěno, že lineární jednotka ovlivňuje měření na úrovni maximálně 0,08 mm.

Grafické znázornění výsledků z měření plochého skla tloušťky 4 mm dokládá obr. 4.22a.

Navíc byl zkoumán vliv směru pohybu z pohledu odchylky mezi dílčími měřeními. Lze

konstatovat, že nebyl zjištěn významný vliv směru měření, maximální odchylky byly pod

úrovní 0,04 mm. Příslušné výsledky s plochým sklem tloušťky 4 mm dokládají obr. 4.25a

pro nejvýše uložený senzor a obr. 4.25b pro nejníže uložený senzor. Jak je z obrázků

patrné, míra výkyvu se zvyšovala s nižším uložením senzorů, nosná deska zde fungovala

jako páka.

Obr. 4.25 Porovnání směru měření u skla tloušťky 4 mm pro senzor 1 a 6

99

4.5.2 Porovnání výsledků tvarového skla s výsledky ze 3D scanneru

Závěrečným experimentem pro ověření funkčnosti zařízení bylo porovnání výsledků

měření s výsledky z 3D scanneru (obr. 4.26a) Jako verifikační zařízení byl použit 3D

scanner ToF, REVscan s přesností měření do 0,2 mm. V rámci měření byla potvrzena

shoda obou metod, jelikož zaznamenané rozdíly ve výsledcích byly na úrovni přesnosti

ToF scanneru (obr. 4.26b). Srovnání výstupů bylo provedeno za pomoci komerčního

software GOM metodou best-fit.

a)

b)

Obr. 4.26 Porovnávání výsledků s 3D scannerem: a) skenovaná skla, b) porovnání shody

naskenovaného dílu s naměřenými daty

100

4.5.3 Vliv uchopení objektu

V případě studie vlivu polohy uchopení bylo cílem zjistit vliv změny těžiště a projevy

vlastní hmotnosti skla na průhyb přířezu. K danému experimentu bylo použito ploché sklo

tloušťky 2 mm (o rozměrech 600 x 800 mm), které bylo snímači proměřeno s uchopením

přísavkami v několika variantách. Pro názornost jsou na obr. 4.27 zobrazeny výsledky

extrémních případů uchopení přířezu skla v jeho spodní (obr. 4.28a) a vrchní (obr. 4.2b)

části. Bylo potvrzeno, že vlivem hmoty skla umístěné nad chapadlem dochází k prohnutí

skla v obou osách x a y.

a)

b)

Obr. 4.27 Výsledky deformace skla při uchopení: a) ve spodní části přířezu, b) ve vrchní části

přířezu skla

101

Obr. 4.28 Test vlivu polohy uchopení: a) spodní části přířezu, b) vrchní části přířezu skla

Výrazný vliv má natočení celého chapadla, potažmo poloha jednotlivých přísavek. Lepší

variantou se ukázalo uchopení tak, že v těžišti přířezu byly použity dvě přísavky (4.27b).

Sklo se poté ohýbalo rovnoměrněji v jedné ose a průhyb v druhé ose byl při tomto

uchopení zanedbatelný.

Výsledky byly rovněž potvrzeny prostřednictvím numerického modelu vytvořeném

v prostředí MSC.Marc (obr. 4.29).

Obr. 4.29 Ověření deformace uchopením numerickým modelem

Vliv velikosti přísavek

Na tvarovém autoskle byla provedena sada testů k identifikaci vlivu velikosti přísavek

(malá a velká přísavka). Veškerá manipulace byla prováděna efektorem s přísavkami o

průměru 84 mm. Pro porovnání vlivu velikosti přísavky byly použity přísavky o průměru

40 mm. Vliv velikosti přísavky byl zaznamenán pouze lokálně u konfokálního snímače 1

102

(v horní části skla), viz obr. 4.30a, kde linie měřených bodů procházela přímo osou

přísavky. U ostatních konfokálních snímačů je průběh měření velmi podobný, křivky jsou

od sebe posunuty v ose y, ale kopírují průběh. Posun je dán rozdílnou výškou přísavek a

případné další malé rozdíly výchylky jsou dány jen změnou uchopení (obr. 4.30b).

a)

b)

Obr. 4.30 Vliv velikosti přísavek: a) senzor 1, b) senzor 3

Třetím zkoumaným faktorem v rámci studie vlivu chapadel byl podtlak v přísavkách (obr.

4.31). Cílem bylo určit míru vlivu podtlaku v přísavkách, nastavení podtlaku bylo řešeno

nepřímo nastavením tlaku vzduchu na redukčním ventilu. Testovány byly tlaky 0,6 MPa

(vypočtený podtlak na přísavce 0,088 MPa, což odpovídá vyvozené síle 152 N všemi 3

přísavkami) a 0,3 (0,033 MPa, 57 N). Podtlak přísavek byl testován pouze pro sklo 2 mm.

103

a)

b)

Obr. 4.31 Vliv podtlaku přísavky: a) senzor 3, b) senzor 5

Snížení sil na přísavkách zhruba na 1/3 deformovalo ploché sklo jen minimálně, ale

ovlivnilo pozici skla, čemuž odpovídá kopírování charakteru křivky, která je v případě

vyššího tlaku posunuta od konfokálních snímačů k přísavkám. Snížení míry vakua ani

zmenšení přísavek nevede k eliminaci deformací způsobených robotickým uchopením.

104

5 Rekonstrukce 3D modelu transparentních či průsvitných objektů

pomocí deformace laserového paprsku

Metoda využití konfokálních snímačů pro 3D rekonstrukci obrazových dat popisovaná

v předchozí kapitole nabízí velice přesné výsledky. Ty jsou však vykoupeny velkými

nároky na periferie měřícího systému a vysoké pořizovací náklady. Z tohoto důvodu autor

zkoumal další možnosti snímání 3D dat a hledal cesty k eliminaci problematicky

snímatelných povrchů pomocí hardwarových úprav. V této kapitole se autor práce zabývá

úpravou a rozšířením nejběžnější 2D triangulační metody tak, aby byla použitelná i pro

problémově snímatelné objekty. Komerční řešení získání profilu pomocí deformace

laserového paprsku není vždy pro lesklé materiály dostačující. Pokud jsou materiály navíc

semi-transparentní, případně transparentní, standardní řešení je vyloženě nevhodné -

laserový paprsek proniká do materiálu či skrz něj a kamerový systém nezaznamená

skutečné deformace. Podrobněji se touto problematikou zabývá kap. 2.7.

Při řešení problematiky byly uvažovány dva přístupy. Pro transparentní materiály

s lesklým povrchem byla upravena metoda 2D triangulace o promítání odražené

deformované linie na další průmětnu (kap. 5.1). Pro specifický případ semi-transparentního

materiálu s podpovrchovým rozptylem byla uplatněna projekce liniového laseru jiné

vlnové délky (kap 5.2).

5.1 Vyhodnocení odrazu snímaného paprsku

Pro kvalitativní a kvantitativní ověření navrhované metody byly voleny stejně jako

v předchozí kapitole reprezentativní skleněné vzorky s lesklým povrchem. Kromě zatížení

lesklým povrchem jsou navíc snímané vzorky transparentní. Pro takové objekty je

uplatnění standardní 2D triangulace nerealizovatelné. Přenesení poznatků na lesklé

neprůhledné materiály je však možné bez dalších omezení.

Na základě realizované rešerše bylo přistoupeno k vyhodnocování odraženého laserového

paprsku, respektive k vyhodnocení jeho deformace na projekční desce. Princip je

vyobrazen na obr. 5.1. Princip byl použit jako jedna z alternativ získání vzdáleností

zdeformovaných okrajů plaveného skla pro nastavení šířky ořezu. Problematika a další

použité metody jsou zmíněny v kap. 4.2.

105

Obr. 5.1 Zjednodušený princip navrhovaného řešení

Pro prvotní účely vyhodnocení deformace povrchu (horní strany skla) byl analyzován

pouze řádný odraz. V dalším výzkumu bude za účelem určení tloušťky skla uvažován i

odraz mimořádný. Metodika generování dat je založena na postupném skládání obrazů.

5.1.1 Měření plochého skla s deformací okraje

Z důvodu jednoduchosti byly nejprve analyzovány rovné přířezy plochého skla. Bylo

připraveno stacionární experimentální pracoviště (obr. 5.2) umožňující ověřit

připravovanou technologii snímání. Pro případ identifikace zdeformované části skla byl

připravený systém a jeho přesnost dostačující. Pro genezi 3D dat bylo nutné systém rozšířit

o další posuvnou jednotku v ose kolmé na směr pohybu současné jednotky.

Obr. 5.2 Stacionární experimentální pracoviště

K získání odpovídajících výsledků bylo potřeba systém kalibrovat. Za tímto účelem byl ve

spolupráci s Katedrou výrobních systémů a automatizace na TUL vytvořen kalibrační

vzorek vypálením přesného vzoru do plochého skla dané tloušťky (obr. 5.3a). Odražená

linie je zobrazena na obr. 5.3b).

106

Obr. 5.3 Kalibrace scény a) kalibrační vzorek, b) analyzovaný odraz linie, c) analyzovaný odražený

paprsek

Z kalibračního vzorku byl metodou nejmenších čtverců z 22 definovaných bodů vytvořen

matematický model pro vzdálenostní přepočet. Body byly definovány jako změna intenzity

při odrazu paprsku od přesně vypálených linií kalibračního vzorku (obr. 5.3b). Poté byl

vytvořen skript pro určení velikosti zdeformované části. Detailnější popis skriptu včetně

přepočtových vztahů je možné nalézt v autorových publikacích [A19, A20 a A24]. Byly

analyzovány vzorky odebrané v průběhu plavení různých skel (obr. 5.3c). Získané

výsledky byly následně porovnány s výsledky se standardně používanou metodou

promítání zebra vzoru (obr. 5.4).

Obr. 5.4 Porovnání metody laserové projekce a standardního zebra testu

a)

b)

c)

107

Obr. 5.5 Porovnání metody odraženého laserového paprsku a měření konfokálním snímačem

Zároveň byly porovnány výsledky z testovaných metod projekce laserové linie a měření

konfokálním snímačem (obr. 5.5) popsaným v kap. 4.2.2. Porovnání jednotlivých metod je

zobrazeno v tab. 5.1. Hodnoty z nejpřesnějšího měření – pomocí konfokálních snímačů

byly brány jako etalony. Hodnoty získané pomocí zebra testu byly vyhodnocovány

subjektivně. Obecně lze říci, že standardně používaná metoda zebra testu neposkytuje

dostatečnou přesnost.

Tab. 5.1: Hodnoty vzdálenosti zdeformované části získané 3 použitými přístupy.

vzorek Laserová projekce Zebra test Konfokální senzor

L1 68,3 70 66,9

L2 64,8 65 62,9

R1 24,4 27 25,8

Na základě testů provedených na několika vzorcích skla lze konstatovat, že pomocí

projekce laserového paprsku a následného vyhodnocování jeho deformace je možné

dosáhnout větší přesnosti než u běžně používané metody odrazu zebra-desky. Nejpřesnější

výsledky potom udává konfokální snímač. Tím by bylo nutné nad plaveným sklem šikmo

pohybovat odpovídající rychlostí tak, aby byla vždy proměřena linie kolmá na směr

pohybu vyráběného pásu skla. Zebra test je také možné zautomatizovat, avšak zde budou

větší nároky na zástavbu a údržbu zařízení.

108

Po odladění bylo přistoupeno k rozšíření experimentálního pracoviště o aktivní pojezdovou

jednotku. Princip i parametry zůstaly stejné jako v prvním případě, pojezdová jednotka

pouze umožňuje vyhodnocovat v čase proměnnou deformaci skla a tím získávat 3D

informaci z odrazu laserového paprsku. Metoda generování dat je založena na postupném

skládání získaných profilů. Experimentální pracoviště bylo využito i pro snímání

tvarových etalonů a je vyobrazeno na obr. 5.6. Získání 3D modelu v tomto případě nebylo

nezbytné, pro on-line kontrolu by bylo dostačující sledovat změny v získaném 2D profilu.

Nicméně, složením získaných 2D profilů je možné 3D model vygenerovat.

5.1.2 Měření tvarových etalonů

Pro ověření možností detekce tvarů bylo provedeno testování etalonů na připraveném

experimentálním pracovišti (obr. 5.6). Pro získání tvaru je třeba získat projekci mnoha

linií, jejichž počet se odvíjí od požadovaného rozlišení získaného 3D modelu. Závislost

požadovaného rozlišení a rychlosti snímání použité kamery potom udává požadovanou

rychlost pojezdu.

Obr. 5.6 Experimentální pracoviště s aktivním pojezdem - ověřování odleskové metody

Při provedených testech bylo pohybováno objekty pomocí posuvného stolku. Během

posuvu je enkodérem odečítána poloha, která musí být svázaná se získaným snímkem.

Snímaná odražená linie laseru se mění podle tvaru objektu. Na základě znalosti úhlu

promítaného laseru, polohy projekční desky (průmětny) a polohy stolku lze získat tvar

objektů pro každou z linií (obr. 5.7).

109

Obr. 5.7 Získané odražené linie laseru na projekční desku od etalonu plankonvexní čočky pro různé

polohy objektu

5.1.3 Měření gravitačně tvarovaného skla

Jak se ukázalo v průběhu výzkumu odleskové metody, získané odrazy laserové linie

(přesněji jednotlivé body linie) nejsou vždy jednoznačně určitelné a předpokládají odraz od

rovinné plochy (obr. 5.8). Pro výpočet tvaru, který není rovinný ve směru dopadu laserové

linie, jsou takto získaná data nedostatečná a proto nevedou k jednoznačnému popisu 3D

modelu.

Řešením je využití odrazu objektu na druhou projekční desku či použití více laserových

zdrojů. Tímto rozšířením lze získat informaci o úhlu normály odrazivé plochy a o poloze

sledovaného bodu promítané laserové linie. Pro experimentální účely je také možné

provést měření opakovaně s různými polohami projekční desky. Touto problematikou se

bude autor zabývat v následujícím výzkumu.

Obr. 5.8 Nejednoznačná poloha bodu linie na projekční desce a řešení pomocí druhé průmětny

110

5.2 Využití jiných vlnových délek elektromagnetického záření promítaných linií

V rámci výzkumu rekonstrukce 3D povrchu byly analyzovány vzorky lesklých semi-

transparentních fólií. Úkolem byla detekce mechanického poškození teplovodivé fólie, rýh

a vzduchových bublin pod nalepenou teplovodivou fólií elektromobilových baterií.

Snímaná teplovodivá fólie byla z průsvitného materiálu s lesklým povrchem. Tento

materiál se v literatuře označuje jako subsurface scattering material (materiál

s podpovrchovým rozptylem světla). Vlastnosti odrazu světla na takovémto materiálu je

možné popsat pomocí funkce BSSRDF (bi-directional sub-surface scattering reflectance

distribution function). V tomto případě nedochází k odrazu světla pouze v bodu dopadu

paprsku, tak jak je to uvažováno při rozdělení povrchů v kap. 2.1.2. Část světla se odrazí

od povrchu a část se odrazí v různých hladinách hloubky materiálu. To se v praxi projeví

„rozlitím“ promítaného světla (obr. 5.9), v odborné literatuře označováno jako light

scattering. Matematické vyjádření BSSRDF funkce odrazu světla popsal Nicodemus a kol.

v [167] jako poměr záře Lo vystupující v bodě so ve směru ωo a světelného toku i

vstupujícího do objektu v bodě so ve směru ωo:

𝑑𝑳0(𝒔𝒐, 𝝎𝒐)

𝑑Ф𝑖(𝒔𝒊, 𝝎𝒊)= 𝑆(𝒔𝒊, , 𝝎𝒊, 𝒔𝒐, 𝝎𝒐 ∣ 𝜎𝑠, 𝜎𝑎, 𝑔, 𝜂),

(5.1)

kde vyšetřovaná funkce S je navíc závislá na vlastnostech materiálu, koeficientu rozptylu

𝜎𝑠, absorpce 𝜎𝑎, relativním indexu lomu 𝜂 a parametru anisotropie 𝑔.

Existují numerické techniky odhadu BSSRDF, např. [168, 169, 170 a 171]. Kvůli

výpočetní složitosti vyšetřované funkce a nutnosti dlouhé expozice při snímání jsou však

časově velmi náročné [169]. Například snímání BSSRDF kapaliny s vyhodnocením běžně

používanou metodou Monte Carlo path tracing založeného na mapování fotonů

[11,168,172] běžně zabere až 30 hodin [170]. Z tohoto důvodu se autor práce snaží odraz

eliminovat, případně se mu vyhnout.

a) b)

Obr. 5.9 Popis funkce odrazu: a) BRDF, b) BSSRDF funkce

111

5.2.1 Testované metody získání 3D obrazu

Pro samotnou realizaci 3D rekonstrukce a inspekce povrchu teplovodivé folie byly

uvažovány a testovány tři přístupy a to:

metoda fotometrického sterea,

použití 1D snímače s definovaným pojezdem,

použití 2D triangulace.

Fotometrické stereo

Prvním testovaným přístupem byla rekonstrukce obrazu metodou využití gradientních polí

tzv. fotometrického sterea. Princip je popsán v kap. 2.3.4 a byl zároveň využit při ověření

možností lokalizace pružinové misky v kap. 3.1.3. Tato metoda se úspěšně využívá např.

při detekci žmolkovitosti textilií. Výhodou této metody je rychlost pořízení a zpracování

obrazu v rámci několika sekund. 3D povrch (obr. 5.10 e) a f) byl rekonstruován ze 4

pořízených snímků folie (obr. 5.10 a - d). Přesnost získaného 3D profilu nebyla bohužel

dostačující.

Obr. 5.10 Rekonstrukce 3D obrazu metodou fotometrického sterea, a) - d) pořízené snímky, e), f)

získaný 3D profil

112

Použití 1D snímače s definovaným pojezdem

Druhým testovaným přístupem bylo proměření sítě bodů pomocí triangulačního snímače

vzdálenosti. Tento princip získání 3D dat byl detailněji popisován v kap. 2.4.1. Měření

bylo realizováno na zařízení Talysurf CLI 500 na Katedře hodnocení textilií, Fakulty

textilní, TUL. Hloubková 3D mapa je zobrazena na obr. 5.11a), získaný 3D model poté na

obr. 5.11b). To umožňuje velice přesné měření v řádech mikrometrů, což řádově

převyšovalo požadavky detekce. Limitou je ale logicky čas potřebný k měření. V

požadovaném rozlišení trvalo proměření desítky minut.

a)

b)

Obr. 5.11 Rekonstrukce 3D obrazu pomocí 1D triangulace, a) hloubková mapa, b) 3D zobrazení

povrchu

Použitím 2 triangulace

Posledním testovaným přístupem bylo získání 3D obrazu aplikací metody 2D triangulace.

Metoda byla popsána v kap. 2.3.2 a použita jako jedna z realizovaných řešení odnímání

pružinových misek v kap. 3.1.1 a podrobněji 3.2.3. Jelikož byla metoda vybrána pro finální

řešení, je popsána zvlášť v samostatné kapitole.

113

5.2.2 Získání 3D obrazu pomocí 2D triangulace

Pro hodnocení vad na povrchu folie elektromobilové baterie byla vybrána metoda získání

3D obrazu pomocí 2D triangulace. Bylo testováno průmyslové dodavatelské řešení.

Výsledky nebyly zcela uspokojivé, zejména kvůli limitám uzavřeného systému. Z tohoto

důvodu bylo přistoupeno k adaptaci experimentálního pracoviště a vývoji vlastního

softwaru.

Bylo připraveno experimentální pracoviště (obr. 5.12), kde bylo testováno vhodné

nastavení systému. Při snímání pomocí 2D triangulace existují v podstatě čtyři základní

možnosti uspořádání laseru a kamery (jak bylo popsáno v kap. 2.3.2, obr. 2.16). Během

řešení byla testována všechna uspořádání. Jako nejvhodnější se ukázala reverzní geometrie.

Následně byly testovány světelné zdroje různých vlnových délek. Kamera zaznamenávala

průběhy deformací liniového paprsku při posuvu objektu lineární jednotkou. Skript

zajišťoval snímání dat, ukládání snímků a spárování získaných snímků s daty z enkodéru.

Tím určoval délkové rozlišení v ose x. Zavedený souřadný systém je patrný z obr. 5.17.

Šířkové rozlišení (osa y) získaného modelu je dáno velikostí čipu použité kamery. Čip s

vyšším rozlišením zajistí přesnější výsledky, jeho limitou však může být velikost

ukládaných snímků, kdy větší snímky potřebují delší čas na zpracování většího objemu dat.

Pro testování byla použita plošná kamera Basler ac2440 s ROI (region of interest)

2556*130 Pix a snímací frekvencí až 160 snímků za vteřinu.

Obr. 5.12 Pracoviště pro získání 3D obrazu analyzované folie pomocí 2D triangulace

Liniový laser

Kamera

Lineární pojezd

Vyhodnocovací PC

114

5.2.3 Software

Připravený vývojový software se skládá ze dvou částí: snímací (získání profilů) a

analytické (složení 3D modelu povrchu). Důvodem byl snadnější vývoj každé části

aplikace. Komunikace s enkodérem, kamerou a PC je zajištěna přes skript připravený ve

vývojovém prostředí LabView, obr. 5.13. Připravené rozhraní krom spuštění a ukončení

snímání umožňuje náhled na snímanou scénu v reálném čase a aktuální stav vytížení

paměti. Pro zrychlení snímání danou kamerou je v RAM paměti alokován určitý prostor

(provedeno před začátkem snímání). Získané snímky jsou nejprve načteny do RAM

paměti. Během snímání a po něm dochází k zápisu snímků z alokované části paměti na

pevný disk. Software také provádí analýzu stejných snímků a ty neukládá, grafika

zobrazuje počet neuložených snímků.

Obr. 5.13 Připravené grafické rozhraní pro ukládání snímků s daty z enkodéru

Snímky jsou získávány pouze z té části obrazu, kde dochází k deformaci laseru vlivem

změny tvaru na povrchu folie. Využito bylo oblasti zájmu kamery (ROI), kdy není využito

plné rozlišení čipu kamery, ale data jsou vyčítána pouze z určitých řádků. Jednotlivé

snímky jsou potom menší a snižují tak nároky na datový tok. Díky tomu lze dosáhnout

větší snímkovací frekvence. Snímky byly ukládány s aktuálním počtem pulzů enkodéru při

jejich pořízení. To definuje přesnou polohu nasnímaného profilu na objektu.

Analytická část softwaru byla připravena ve vývojovém prostředí Matlab (obr. 5.14), které

poskytuje širokou knihovnu funkcí pro zpracování signálu a analýzu obrazu. Jejím úkolem

je vyhodnocení jednotlivých naskenovaných profilů a složení 3D modelu povrchu folie.

Získaný 3D profil je možné softwarově vyrovnat do jedné roviny, provést ořezání

analyzované části a nastavit kalibraci. Navíc, aplikace nabízí identifikaci vad a jejich

115

rozměrů. To je realizováno analýzou povrchů překračujících danou horní a spodní mez.

Horní i spodní mez je možné měnit.

Obr. 5.14 Grafické rozhraní pro skládání nasnímaných profilů a analýzu získaného 3D profilu

Obr. 5.15 Kalibrace rozměrů: a) kalibrační přípravek, b) snímané deformované profily,

c) Generovaný kalibrační 3D model povrchu folie

116

5.2.4 Kalibrace

Identifikace přesných rozměrů je podmíněna správnou kalibrací pro všechny osy. K tomuto

účelu byl připraven jednoduchý přípravek. Ten se skládal z podstavce s výškou shodnou s

výškou testovaných baterií (obr. 5.15). Na povrchu jsou umístěny pásové měrky se

známými rozměry ve všech osách. Z rozměrů měrek a počtu voxelů je stanoveno měřítko

pro jednotlivé osy.

5.2.5 Výsledky

Snímače založené na 1D a 2D triangulaci využívají z důvodu vyšší citlivosti čipu

především červeného laserového paprsku. V první fázi byl použit červený laser (vlnová

délka 660 nm, výkon 35 mW). Specifický materiál folie vytvářel difuzní BSSRDF

rozptýlený odraz laserové linie, což komplikovalo detekci deformovaného profilu (obr.

5.16). K úspěšnému sejmutí obrazu bylo nutné snížit expozici snímače, to bylo realizováno

mechanickou clonou. Nevýhodou bylo značné zeslabení jasu vyčítané zdeformované

křivky. K samotnému nalezení středu získané linie bylo nutné použít nástrojů obrazové

filtrace. Konkrétně byla nejprve rozmazána obrazová data ve směru získané linie

laserového paprsku (v zavedeném souřadném systému označeno osou y) aplikací

konvoluční masky, poté byl v každém sloupci obrazových dat (označeno směrem x)

aplikován mediánový filtr. Finálně byla data ještě vyhlazena k odstranění skokových změn.

V rámci testování byla ověřována použitelnost metody 2D triangulace laserové linie také

při simulovaném zatížení povrchu plochým sklem (s rovným povrchem, vyrobené

technologií float). Sklo bylo nejprve volně položeno na povrch a v dalších testech také

zatěžováno. Laserový paprsek prochází sklem a umožňuje detekci bublinek i vrypů ve folii

i pod simulovanou zátěží.

Filtrací dat docházelo bohužel ke ztrátě informace. Bublinky byly spolehlivě detekovány,

nicméně filtrace vylučuje detekci tenkých škrábanců, především ve směru kolmém na

laserový paprsek. Ty jsou odfiltrovány s šumem. Protože detekce poškození ve formě

škrábanců byla také požadována, byly hledány další možnosti spolehlivé detekce povrchu

folie. Byly analyzovány výsledky při použití různých světelných zdrojů. Podle teoretických

předpokladů se ukázalo, že nejlepší výsledky poskytuje fialový laser, použitý byl laser o

vlnové délce 405 nm. Paprsek této vlnové délky neproniká hluboko do povrchu materiálu

měřeného objektu. Získaný obraz deformované linie tak není rozostřený jako v případě

červeného laseru. Tento zásah zlepšil nasnímaná data do takové míry, že bylo možné

vynechat původní filtraci.

Profil získaný červeným laserem je na obr. 5.16a, s přítlakem byl touto metodou získán

profil na obr. 5.16b. Fialovým laserem byl pořízen profil na obr. 5.16c a pod simulovaným

přítlakem obr. 5.16d.

117

a)

b)

c)

d)

Obr. 5.16 Profil získaný deformací a) červeného paprsku, b) červeného paprsku s přítlakem skla

na folii, c) fialového paprsku, d) fialového paprsku s přítlakem skla na folii

Složený 3D model povrchu folie při snímání fialovým laserem, včetně řezu ve zvolené

pozici je zobrazen na obr. 5.17.

Obr. 5.17 Profil získaný deformací fialového paprsku

118

6 Závěr

V současné době je velmi obtížné najít spolehlivý, dostatečně přesný a dostupný systém

pro odměřování vzdálenosti a získání 3D modelu objektů s lesklým nebo obtížně

detekovaným povrchem. Disertační práce potvrzuje, že nelze aplikovat univerzální postupy

na celou škálu obtížně detekovatelných povrchů sledovaných objektů. Na druhou stranu,

pro získání obrazových dat lze uplatnit pro různé povrchy více přístupů, které jsou

charakterizovány rozdílnou spolehlivostí, přesností a citlivostí na vnější okolí. Na základě

rešerše realizované v kap. 2. se autor rozhodl řešit problematiku odlesků hardwarově, tzn.

připravit scénu tak, aby byly odlesky eliminovány nebo v co největší míře omezeny a bylo

možné využít standardních snímacích postupů.

Aplikační část práce se ve třetí kapitole zabývá řešením specifické manipulace objektů

v nezorganizovaném prostředí. Ačkoliv je problematika robotického odebírání náhodně

uspořádaných objektů řešena již více než 25 let, stává se nyní s podporou Iniciativy

Průmysl 4.0 vysoce aktuálním trendem. Rozvoj 3D snímačů a výkonnější výpočetní

systémy nabízejí stále dokonalejší lokalizaci objektu v přepravce. Základním požadavkem

je však kvalitní nasnímání dat bez parazitních odlesků. Problematikou bin pickingu se

zabývá v současnosti mnoho integrátorských firem, avšak standardně je jejich nabízené

řešení robustní pouze pro tvarově složité objekty s výraznými hranami a matným

Lambertovským povrchem. Právě pro tyto objekty jsou matematické postupy vyhledání

shody modelu objektu s nasnímanými daty nejpřesnější. Na druhou stranu tvarově

nesouměrné a složité díly mohou mít tendenci se do sebe zaklesnout a v případě

orientovaného odběru roste riziko kolize chapadla s jiným objektem či přepravkou. Práce

popisuje konkrétní aplikaci robotického odebírání pružinových misek pro automobilový

průmysl. Bylo porovnáno několik možných přístupů a z nich byly vybrány dvě metody pro

finální řešení. Konkrétně byly porovnány metody 3D rekonstrukce objektu realizované

pomocí deformace laserové linie u 2D triangulační metody a aplikace senzorové fúze –

stereovize s ultrazvukovými senzory. Bylo ověřeno, že obě navržená řešení jsou za splnění

určitých podmínek použitelná pro uvedenou úlohu. Komerční 2D triangulační systém

dokázal i do dat zatížených šumem přiřadit objekt pro uchopení. Vzhledem k nepřesnostem

při srovnávání shody modelu a naměřených dat je však nutné uvažovat s polohovou

kompenzací použitého chapadla. Multisenzorový systém se také ukázal jako vhodný pro

tuto konkrétní aplikaci, ale řešení nemůže dosahovat flexibility komerčních softwarů.

Výhodou tohoto systému jsou nižší pořizovací náklady. Obecně lze říci, že pro

problematiku Bin-pickingu neexistuje univerzální metodika a je nutné pro každý případ

aplikovat individuální softwarové a hardwarové řešení.

Další část práce se zabývá kvalitativním hodnocením obtížně snímatelných lesklých,

průsvitných a transparentních objektů pomocí specifického hardwaru. Během

realizovaného výzkumu byly analyzovány možnosti snímání a následné interpretace

třírozměrných dat lesklých materiálů pomocí konfokálních snímačů ve 4. kapitole, a s

využitím odlesku na optickém rozhraní v 5. kapitole.

119

Konfokální snímače představují revoluční typ vysoce přesných snímačů. Tyto snímače

založené na zaostřování polychromatického bílého světla na cílovou plochu pomocí

soustavy optických čoček nejsou při správném nastavení citlivé na lesklé plochy. Navíc

nabízí možnost jednostranného měření tloušťky transparentních materiálů. Úkolem

disertační práce bylo experimentálním ověřením určit šíři aplikačního potenciálu těchto

snímačů pro využití v průmyslové praxi, konkrétně s orientací na automobilový průmysl. V

rámci výzkumu možností získání a interpretace 3D dat pomocí konfokálních snímačů byly

nejprve testovány limity systému pro použití v průmyslové praxi. Byl analyzován vliv

materiálu a jeho povrchu, dále byl testován vliv rušení okolním světlem a vliv náklonu

měřící hlavice na měřený materiál. Dosažitelná přesnost snímače byla testována

porovnáním se 3D souřadnicovým měřícím strojem. Výzkum prokázal bezprostřední

možnosti aplikace konfokálních snímačů pro průmyslovou praxi. Byla ověřena přesnost

jednotlivého měření konfokálního snímače do 10 µm, limita byla v tomto případě dána

maximální přesností 3D SMS. Na připraveném experimentálním pracovišti s pojezdovou

jednotkou bylo testováno snímání profilu zdeformovaného plochého skla. Broušené

tvarové etalony a volně tvarované přířezy skla byly také proměřeny na připraveném

robotizovaném pracovišti, kdy byly vzorky proměřovány v definovaných bodech pomocí

jednoho snímače umístěným na koncovém členu robotu. Zde byla určena limita přesnosti

20 µm po kalibraci robotu pomocí přesných etalonů. Pro dosažení této míry přesnosti bylo

však nutné v každém bodě robot zastavit, což značně zvyšuje časové nároky na kontrolu.

Z tohoto důvodu bylo přistoupeno k finální aplikaci a to ověření možnosti integrace

technologie na výrobní linku. K inspekci tvarově členitých objektů se ukázalo jako vhodné

snímat objekt pomocí spojitých linií měření, případně vytvořit ortogonální síť ze spojitého

měření linií. Takto získané mračno bodů je poté možné vpasovat do CAD modelu metodou

Best-fit. To umožní zjistit odchylky na proměřených liniích a následně kontrolu objektu

jako celku.

Zde však nová technologie naráží na tradiční přístupy pro kontrolu kvality, jak ze strany

výrobců automobilových skel, tak ze strany odběratelů z automobilového průmyslu, které

formulací požadavků omezuji aplikaci nových metod. Tradičním pojetím takovéto kontroly

je přesné polohování objektu na maketu a jednoduché (často kontaktní) proměření v přesně

definovaných bodech. Moderním přístupem je však eliminace nutnosti přesného

polohování objektu, kterou dovolovala právě metoda best-fit. Pokud ji nebudeme uvažovat,

budeme vnášet chyby řádově převyšující přesnost používaných konfokálních snímačů.

K úspěšnému hodnocení bude nutné korigovat klasický přístup ke kontrole

automobilových skel.

Limitu snímačů představuje také malý rozsah a použitelný odklon od normály měřeného

povrchu. Z tohoto důvodu je nutné zajistit velmi přesné polohování těchto snímačů tak,

aby nedošlo k znehodnocení míry přesnosti samotného měření. Polohování snímačů celý

měřící systém limituje a degraduje přesnost, se kterou je snímač schopen pracovat.

Multiplikace senzorů v zařízení je navíc v současné době limitována vysokými

120

pořizovacími náklady. I přesto se ale podařilo prokázat aplikační potenciál těchto snímačů

pro průmyslovou praxi s reálnou návratností investice do několika let.

Metoda využití konfokálních snímačů pro 3D rekonstrukci obrazových dat nabízí velice

přesné výsledky. Ty jsou však vykoupeny velkými nároky na periferie měřícího systému a

vysokými pořizovacími náklady. Z tohoto důvodu autor zkoumal další možnosti snímání

3D dat a hledal cesty k eliminaci problematicky snímatelných povrchů pomocí

hardwarových úprav. Konkrétně se autor práce zabývá úpravou a rozšířením nejběžnější

2D triangulační metody tak, aby byla použitelná i pro problémové objekty. Prvním

příkladem je využití odrazu paprsku dopadajícího pod nízkým úhlem od optického

rozhraní. Využitelnost metody byla ověřena aplikací pro ploché sklo se zdeformovaným

okrajem. Byl zde navíc generován vzdálenostní přepočet tak, aby bylo možné určit délku

zdeformovaného okraje. Tato technologie má velký aplikační potenciál daný možností

jednoduché integrace na výrobní linku. Následně byla ověřována možnost získání

vícerozměrných dat na tvarově přesných broušených etalonech a gravitačně tvarovaném

sklu. Velkou výhodou uvažované metody je rychlost proměření celého 3D objektu, kdy

nasnímání dat je v podstatě limitováno pouze rychlostí pojezdu objektu, případně systému

kamery, laseru a průmětné desky. Ukázalo se však, že odrazy laserové linie nejsou vždy

jednoznačně určitelné a předpokládají odraz od rovinné plochy. Takto získaná data

nevedou k jednoznačnému popisu 3D modelu. Předpokládá se, že řešením tohoto problému

by mohla být projekce odrazu na druhou projekční desku případně použití druhého

laserového zdroje. Tato problematika se jeví v budoucnu jako vysoce perspektivní.

Druhým příkladem je využití nestandardních vlnových délek viditelného

elektromagnetického záření při snímání 2D triangulační metodou. Tento přístup byl

uplatněn při řešení rekonstrukce lesklého semi-transparentního povrchu teplovodivé folie

elektromobilové baterie. V tomto případě bylo využito klasické 2D triangulační metody,

avšak oproti standardním systémům byl promítán zdroj světla jiné vlnové délky. Pro tuto

aplikaci se ukázal jako nejvhodnější fialový laserový zdroj na hranici viditelného spektra -

s vlnovou délkou 405 nm. Světlo nižších vlnových délek neproniká tak hluboko do

povrchu snímaného materiálu. Navíc čipy snímacích kamer nejsou tak citlivé na světlo této

vlnové délky, a proto zachytává pouze nejsilnější část odraženého světla. Díky tomu je

získán ostřejší a intenzivnější obraz zachytávaný plošnou kamerou, který vede k získání

kvalitnějších trojrozměrných dat k rekonstrukci objektu.

121

6.2 Přínosy pro vědu

Vědecké přínosy předložené disertační práce a rovněž celého dosavadního výzkumu autora

lze spatřovat především v úrovni uplatnění vědeckých poznatků na konkrétní aplikace v

průmyslu. Jedná se především o aplikovaný výzkum, který zde tvoří spojnici mezi vědou,

experimentem a průmyslovým nasazením. Přínosy práce lze heslovitě shrnout do těchto

bodů:

Vyhledání a experimentální ověření potenciálních možností získání dat pro

vytvoření 3D obrazu u obecně obtížně detekovatelných povrchů;

Využití lesku povrchu skla pro detekci jeho tvaru použitím odrazu liniového

laserového paprsku od povrchu sledovaného objektu;

Získání a interpretace dat z konfokálních snímačů pro získání 3D obrazu

sledovaného lesklého a transparentního objektu;

Ověření využitelnosti fusion senzoriky (kamera s plošným senzorem v

kombinaci s ultrazvukovými snímači vzdálenosti) pro realizaci bin pickingu.

Kromě uvedených bodů bylo nutné vyřešit řadu technických problémů, které leží na okraji

tématu disertace, přesto jejich zvládnutí je nezbytné pro reálné nasazení metodiky

do průmyslové praxe.

6.3 Přínosy pro praxi

Výzkum prokázal, že přenos výše uvedených metod z výzkumu do průmyslové praxe je

možný. Většina v práci uvedených reálných aplikací získání 3D obrazových dat je

podpořena požadavkem na řešení problematiky z průmyslu. Průmyslový výzkum

v současné době je základem pro konkrétní aplikace pokročilých technik snímání lesklých

a obtížně detekovatelných materiálů na výrobní linky v průmyslu. Konkrétními

průmyslovými aplikacemi jsou bezkontaktní detekce tvaru a kvantifikace odchylek od

požadovaného stavu automobilových skel, detekce a popis vad teplovodivé folie

elektromobilové baterie a další, které využívají poznatků z této práce.

Přínosy pro praxi lze shrnout do těchto bodů:

Odladění komerčního systému pro získání 3D obrazu pro bin picking;

Technické řešení úchopných hlavic pro bin picking, které umožňují eliminovat

nepřesnosti v navádění na objekty k odebrání;

Ověření opakovatelnosti polohování robotů;

Ověření potenciální aplikace konfokálních senzorů pro průmyslovou praxi;

Ověření restrikcí aplikačního potenciálu měřícího systému s konfokálními

snímači a formulace metodiky pro jednoduchou a rychlou kontrolu bortu

plaveného skla;

Využití fialového laseru pro detekci semi-transparentního povrchu teplovodivé

folie.

122

Pro všechny uvedené metody bylo také získáno aplikační know-how, což jsou specifické

znalosti z použití a zavedení použitých snímačů pro danou oblast. Výsledky uplatnění

nových metodik jsou slibné a jsou již v současnosti inspirací pro další výzkum.

Cílem disertace bylo připravit metodiky pro získání dat pro vytvoření virtuálního 3D

modelu objektů (3D obrazů) s lesklým a obtížně detekovatelným povrchem pomocí

vybraných metod. Tyto cíle se podařilo naplnit a v práci bylo uvedeno několik těchto

metodik daného typu.

Dílčím cílem naplněným v disertační práci bylo uplatnění metodiky na konkrétní aplikace

v laboratorních podmínkách tak, aby teoreticky řešená problematika byla ověřena a

připravena pro průmyslové nasazení na výrobních linkách.

Širší výzkum, jehož součástí je předložená disertace, dále pokračuje a je zaměřen na

dopracování metodik průmyslovým vývojem a na transfer poznatků do praxe.

123

Literatura

[1] PÉREZ, L. et al. Robot guidance using machine vision techniques in industrial environments: A

Comparative Review. Sensors. 2016, 16(3), 335:1-335:26. DOI: 10.3390/s16030335.

[2] MA, J. et al. Applications of computer vision for assessing quality of agri-food products: A

Review of Recent Research Advances. Critical Reviews in Food Science and Nutrition. 2014,

56(1), 113-127.DOI: 10.1080/10408398.2013.873885.

[3] BARNARD, S. et al. Quick, accurate, smart: 3D computer vision technology helps assessing

confined animals’ behaviour. PLOS ONE. 2016, 11(7). DOI: 10.1371/journal.pone.0158748.

[4] STURE, Ø. et al. A 3D machine vision system for quality grading of atlantic salmon. Computers

and Electronics in Agriculture. 2016, 123, 142-148. DOI: 10.1016/j.compag. 2016.02.020.

[5] BAR et al. Towards robotic post-trimming of salmon fillets. Industrial Robot: An International

Journal. 2016, 43(4), 421-428. DOI: 10.1108/IR-11-2015-0205.

[6] LUN, R. and Z. WENBING. A Survey of applications and human motion recognition with

microsoft kinect. International Journal of Pattern Recognition and Artificial Intelligence. 2015,

29(05). DOI: 10.1142/S0218001415550083.

[7] MICROSOFT. Meet kinect for windows. Microsoft 2016 [online]. [cit. 2016-09-27]. Dostupné

z: <https://developer.microsoft.com/en-us/windows/kinect>

[8] HLAVÁČ, V. a M. SEDLÁČEK. Zpracování signálu a obrazu. 2. vydání. Praha : ČVUT, 2007.

ISBN 978-80-01-03110-0.

[9] ŽÁRA J., B. BENEŠ a P. FELKEL. Moderní počítačová grafika. Praha: Computer Press, 1998.

ISBN 80-7226-049-9.

[10] HLAVÁČ, V. Pořízení obrazu. Praha, 2007. České vysoké učení technické v Praze, Fakulta

elektrotechnická, Centrum strojového vnímání. Dostupné z:

http://cmp.felk.cvut.cz/~drbohlav/TeachPres/02ImageFormation.pdf

[11] JENSEN, H. W. Realistic Image Synthesis Using Photon Mapping. AK Peters, 2001. ISBN

1568811470.

[12] TORRANCE, K. E. and E. M. SPARROW. Theory for off-specular reflection from roughened

surfaces. Journal of the Optical Society of America. 1967, 57(9), 1105–1114. DOI:

10.1364/JOSA.57.001105

[13] COOK, R. L. and K. E. TORRANCE. A reflectance model for computer graphics. ACM

Transactions on Graphics. 1982, 1(1), 7–24. DOI: 10.1145/357290.357293

[14] COHEN, M. F. and J. R. WALLACE. Radiosity and realistic image synthesis. Academic Press,

1993. ISBN 0-12-059756-X.

[15] HOTAŘ, V. Úvod do problematiky strojového vidění, část 1: Základní principy a hardware.

Liberec: Technická univerzita v Liberci, 2015. ISBN 978-80-7494-156-6.

[16] HLAVÁČ, V. a M. ŠONKA. Počítačové vidění. Praha : GRADA 1992. ISBN 80-85426-67-3.

[17] Základy geometrické optiky: Vady zobrazení (aberace) [online]. Praha: MFF UK [cit. 2017-02-

19]. Dostupné z:

https://physics.mff.cuni.cz/kfpp/skripta/kurz_fyziky_pro_DS/display.php/optika/3

[18] MA, L., Y. CHEN and K. MOORE. Rational radial distortion models of camera lenses with

analytical solution for distortion correction. International Journal of Information Acquisition.

2004, 1(2), 135-147. DOI: 10.1142/S0219878904000173

[19] MA, L., Y. CHEN and K. MOORE. Rational radial distortion models with analytical

undistortion formulas. In: Computing Research Repository [online]. 2003 [cit. 2014-03-20].

Dostupné z: http://arxiv.org/abs/cs/0307047v1

[20] DEVERNAY, F. and O. FAUGERAS. Straight lines have to be straight: Automatic calibration

and removal of distortion from scenes of structured enviroments. Verlag: Springer, 2001.

Dostupné z: https://hal.inria.fr/inria-00267247/file/distcalib.pdf

124

[21] BROWN, D. C. Decentering distortion of lenses. Annual Convention of the American Society

of Photogrammetry, 1965, 32(3) [cit. 2018-09-22]. Dostupné z: http://www.close-

range.com/docs/Decentering_Distortion_of_Lenses_Brown_1966_may_444-462.pdf

[22] MEDIONI, G. et al. Emerging topics in computer vision: Camera calibration. 2003. Dostupné

z: http://people.inf.ethz.ch/pomarc/pubs/KangMedioniBook.pdf

[23] GONZALES, R.C., R. E. WOOD. Digital image processing. 2003, Prentice-Hall, 3rd Edition.

ISBN-13: 978-0131687288

[24] FOLEY, J. D. et al. Computer praphics: principle and practice. Massachusetts : Addison-

Wesley Publishing Company, 1990. ISBN 0-201-12110-7

[25] ADEPT TURNKEY. High resolution camera Flare 48MP30-CX. [online]. [cit. 2017-01-05].

Dostupné z: http://www.adept.net.au/cameras/ioi/flare_48m.shtml

[26] TYDEX. Quartz glass for optics. www.tydexoptics.com [online]. [cit. 2018-01-11]. Dostupné

z: http://www.tydexoptics.com/pdf/Quartz_glass.pdf

[27] MENN, N. Practical optics. San Diego, Elsevier academic press, 2004, ISBN 0- 12-490951-5.

[28] AFIFI, M. et al. As-projective-as-possible bias correction for illumination estimation

algorithms. Journal of the Optical Society of America A. Osa Publishing. 2019, 36(1), 71-78.

DOI: 10.1364/JOSAA.36.000071.

[29] SONG, Y., Y. JU, K. DU, W. LIU and J. SONG. Online road detection under a shadowy traffic

image using a learning-based iIlumination-independent image. Symmetry - Basel. 2018, 10(12).

DOI: 10.3390/sym10120707.

[30] ALVAREZ, J., M. Álvarez and A. M. LOPEZ. Road detection based on illuminant invariance.

In: Proceedings of Transactions on Intelligent Transportation Systems. IEEE, 2011, 12(1), 184-

193. DOI: 10.1109/TITS.2010.2076349.

[31] BASS, M. et al. HANDBOOK OF OPTICS: Fundamentals , techniques , and design [online]. II.

USA: McGraw-Hill, 1995 [cit. 2019-01-22]. ISBN 0-07-047740-X. Dostupné z:

http://inis.jinr.ru/sl/P_Physics/PE_Electromagnetism/PEo_Optics/Bass%20M.,%20et%20al.%2

0(eds.)%20OSA%20Handbook%20of%20Optics,%20vol.%201%20(MGH,%201995)(1606s).p

df

[32] BASS, M. at al. HANDBOOK OF OPTICS: Devices , measurements , and properties [online].

II. USA: McGraw-Hill, 1995 [cit. 2018-04-19]. ISBN 0-07-047974-7. Dostupné z:

http://inis.jinr.ru/sl/P_Physics/PE_Electromagnetism/PEo_Optics/Bass%20M.,%20et%20al.%2

0(eds.)%20OSA%20Handbook%20of%20Optics,%20vol.%202%20(MGH,%201995)(1496s).p

df

[33] BLAIS, F. Review of 20 Years of Range Sensor Development. Journal of Electronic Imaging.

2004, 13(1), 231–243. Dostupné z: https://nrc-

publications.canada.ca/eng/view/accepted/?id=a4b60f11-9330-413e-9a20-d7e8cbe079a1

[34] BERALDIN, J. A. Integration of laser scanning and close-range photogrammetry - the last

decade and Beyond. In: Proceedings of ISPRS Congress. 2004, 972–983. Dostupné z:

http://www.isprs.org/congresses/istanbul2004/comm5/papers/188.pdf

[35] SREENIVASA, S. K. et al. Overview of passive and active vision techniques for hand-held 3D

data acquistion. Optical Metrology, Imaging, and Machine Vision. 2003, 4877.DOI:

10.1117/12.463773.

[36] ODAT, E., J. S. SHAMMA and Ch. CLAUDEL. Vehicle classification and speed estimation

using combined passive infrared/ultrasonic sensors. In: Proceedings of Transactions on

Intelligent Transportation Systems. IEEE, 2018, 19(5), 1593-1606. DOI:

10.1109/TITS.2017.2727224.

[37] UREL: 3D snímání: Metody a snímače [online]. Brno [cit. 2019-01-22]. Dostupné z:

http://www.urel.feec.vutbr.cz/web_documents/studium/predmety/MVDK/FRVSg/snimace.pdf

[38] KALOVÁ, I. a HORÁK, K. Optické metody měření 3D objektů. Elektrorevue [online]. 2005

[cit. 2018-01-22]. Dostupné z: http://www.elektrorevue.cz/clanky/05023/index.html

125

[39] ĎAĎO, S. Senzory a měřicí obvody. Praha: České vysoké učení technické, 1996. ISBN 80-01-

01500-9.

[40] MARTINEK, R. Senzory v průmyslové praxi. 1. Praha: BEN - technická literatura, 2004. ISBN

80-7300-114-4.

[41] ĎAĎO, S., L. BEJČEK a A. PLATIL. Měření průtoku a výšky hladiny: Senzory neelektrických

veličin. 1. Praha: BEN - technická literatura, 2005. ISBN 80-7300-156-X.

[42] VLACHOVÁ, M. Mechanické kmitání a vlnění. MF WEB [online]. [cit. 2018-10-04]. Dostupné

z: https://is.muni.cz/el/1431/podzim2012/F1141/um/superzabavnejucebnitext.pdf

[43] MINSKY M. Microscopy apparatus. US Patent 3013467A, Dec 19, 1961.

[44] FRANCK, C. et al. Three-dimensional full-field measurements of large deformations in soft

materials using confocal microscopy and digital volume correlation. Experimental Mechanics.

Springer, 2007, 47(3), 427-438. DOI: 10.1007/s11340-007-9037-9.

[45] GATES, B. J. et al. Chromatic confocal sensor. US Patent WO2009048808(A1), April 16,

2009.

[46] VOJÁČEK, A. Konfokální princip optického měření vzdáleností. Automatizace HW [online].

2016 [cit. 2018-05-02]. Dostupné z: https://automatizace.hw.cz/komponenty-mereni-a-

regulace/konfokalni-princip-optickeho-mereni.html

[47] JAKOB, G. Koaxiale interferometrische Schichtdickenmessung [online]. Sonderdruck aus

Photonik, 2000 [cit. 2018-07-12]. Dostupné z: http://armstrongoptical.co.uk/wp-

content/uploads/2013/09/interferometric-thickness.pdf

[48] KUNKEL, M. et al. Non-contact measurement of central lens thickness. Glass Science and

Technology. Laser Institute of America, 2005, 78(5), 1502-1505. DOI: 10.2351/1.5060438.

[49] AUTOMATIZACE.HW: Komponenty [online]. 2018 [cit. 2019-01-22]. Dostupné z:

http://automatizace.hw.cz/komponenty

[50] MICRO-EPSILON: Snímače [online]. 2015 [cit. 2019-01-22]. Dostupné z: http://www.micro-

epsilon.cz/displacement-position-sensors/confocal-sensor

[51] BERALDIN, J. A., S. EL-HAKIM and F. BLAIS. Performance evaluation of three active vision

systems built at the national research council of Canada. In: Proceedings of the Conference on

Optical 3-D Measurements Techniques [online]. 1995, 352-361 [cit. 2019-01-28]. Dostupné z:

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.3.9973&rep=rep1&type=pdf

[52 GOEL, S. and B. LOHANI. A motion correction technique for laser scanning of moving

objects. Geoscience and Remote Sensing Letters. IEEE, 2014, 11(1), 225-228. DOI:

10.1109/LGRS.2013.2253444.

[53] LATIMER, W. Understanding laser-based 3D triangulation methods. Vision System Design.

2015, 31-35. Dostupné z: https://edge.coherent.com/assets/pdf/3DMachineVision.pdf

[54] VÁRADY, T., R. R. MARTIN and J. COX. Reverse engineering of geometric models-an

introduction. Computer-Aided Design. Elsevier Science, 1997, 29(4), 255-268. DOI:

10.1016/S0010-4485(96)00054-1.

[55] BERNARDINI, F. and H. RUSHMEIER. The 3D model acquisition pipeline. Computer

Graphics Forum. 2002, 21(2), 149-172. DOI: 10.1111/1467-8659.00574.

[56] HÄUSLER, G. Three-dimensional sensors-potentials and limitations. In: Handbook of

Computer Visions and Applications: Sensors and Imaging. Academic Press, 1999, 1, 485-506.

Dostupné z:

http://www.optik.uni-erlangen.de/fileadmin/leuchs/leuchs-

uni/osmin/papers/1999/1999_120_GH_3DSens_Pot_Lims_1999.pdf

[57] ASUNDI, A. and W. Zhou. Mapping algoritm for 360-deg profilometry with time delayed

integration imaging. Optical Engineering. 1999, 38, 339-343. DOI: 10.1117/1.602093

[58] GENG, J. Structured-light 3D surface imaging: a tutorial. Advances in Optics and Photonics,

2011, 3(2), 128-160. [cit. 2018-02-26]. Dostupné z:

https://www.osapublishing.org/aop/abstract.cfm?URI=aop-3-2-128

126

[59] DALEY, R. C. and L. G. HASSEBROOK. Channel capacity model of binary encoded

structured light-stripe illumination. Applied Optics, 1998, 37(17) [cit. 2018-02-26]. Dostupné z:

https://www.researchgate.net/publication/5579487_Channel_capacity_model_of_binary_encode

d_structured_light-stripe_illumination

[60] HOTAŘ, V. Fractal geometry for industrial data evaluation. Computers & Mathematics with

Applications. 2013 66 (2), 113-121. DOI: 10.1016/j.camwa.2013.01.015.

[61] POSPÍŠIL, P. 3D triangulační technika rekonstrukce objektů. Brno, 2009. Diplomová práce.

Vysoké učení technické v Brně.

[62] AUTOMATIONWORLD: 3D Vision enhances robot efficiency [online]. 2013 [cit. 2018-06-

22]. Dostupné z: https://www.automationworld.com/article/technologies/sensors-discrete/3d-

vision-enhances-robot-efficiency

[63] NOVOTNÝ Š. Využití Kinect senzoru pro robotické účely. Bakalářská práce. Liberec 2018.

Technická univerzita v Liberci.

[64] MANDÁT D. Optické bezkontaktní topografické metody. Olomouc: Univerzita Palackého v

Olomouci, 2012. ISBN 978-80-244-3075-1.

[65] BARTL, J., R. FÍRA and M. HAIN. Inspection of surface by the Moiré method. Measurement

Science Review. 2001, 1(1), 29-32. Dostupné z: http://www.measurement.sk/PAPERS/Bartl.pdf

[66] WEISSTEIN, E. W. Fourier series. World of Physics [online]. 2007 [cit. 2018-11-23]. Dostupné

z: http://scienceworld.wolfram.com/physics/FourierTransformSpectrometer.html

[67] BARTSCH, H. J. Matematické vzorce. 4. Academia, 2009. ISBN 80-200-1448-9.

[68] WYLIE, C. R. a L. C. BARRETT. Advanced engineering mathematics. Singapore: McGraw-

Hill Book Company, 1985. ISBN 0070721882

[69] GRUBER M. and G. HÄUSLER. Simple, robust and accurate phase-measuring triangulation.

Optik. 1992, 89(3), 118-122. Dostupné z: http://www.optik.uni-

erlangen.de/fileadmin/leuchs/leuchs-

uni/osmin/papers/Bis_1997/1992_69_GH_Simple_robust_1992.pdf

[70] BONE, D. J. Fourier fringe alnalysis: the two-dimensional phase unwrapping problem. Applied

Optics. 1991, 30(25). DOI: 10.1364/AO.30.003627.

[71] DURSUN A., N. ECEVÍT and S. ŐZDER. Application of wavelet and Fourier transforms for

the determination of phase and three-dimensional profile. In: Proceedings of International

Conference on Signal Processing. 2003, 1, 168-172. DOI: 10.1117/12.739674.

[72] LI, J. L., H. J. SU and X. Y. SU. Two-frequency grating used in phase-measuring profilometry.

Applied Optics. 1997, 36(1), 277-280. DOI: 10.1364/AO.36.000277.

[73] CHANG, M. and D. WAN. Automated phase-measuring profilometry. Optics and Lasers in

Engineering. Elsevier Science 1991, 15(2), 127-139. DOI: 10.1016/0143-8166(91)90029-S.

[74] ROBOTICS. Advanced vision guided robotics: Technology & trends impacting VGR

proliferation [online]. Michigan, USA: Robotic Industries Association, 2013 [cit. 2019-01-21].

Dostupné z: https://www.robotics.org/content-detail.cfm/Industrial-Robotics-Featured-

Articles/Advanced-Vision-Guided-Robotics-Technology-Trends-Impacting-VGR-

Proliferation/content_id/3992

[75] METRILUS: Time-of-Flight [online]. [cit. 2019-01-03]. Dostupné z:

http://www.metrilus.de/technology/time-of-flight/

[76] IKEUCHI, K., K. BERTHOLD and P. HORN. Numerical shape from shading and occluding

boundaries. Artificial Intelligence. Elsevier Science, 1981, 17(1-3), 141-184. DOI:

10.1016/0004-3702(81)90023-0

[77] BERTHOLD, K. and P. HORN. Robot vision. London: The MIT Pres, 1986. ISBN 0-262-

08159-8.

[78] WOODMAN, R. J. Photometric method for determining surface orientation from multiple

images. Optical Engineering. 1980, 19(1), 139–144. DOI: 10.1117/12.7972479

127

[79] BERTHOLD, K. a P. HORN. Height and gradient from shading. International Journal of

Computer Vision. Netherlands: Kluwer Academic Publishers, 1990, 5(1), 37-75. DOI:

10.1007/BF00056771.

[80] NAM. G. and M. H. Kim, Multispectral photometric stereo for acquiring high-fidelity surface

normals. Computer Graphics and Applications. IEEE, 2014, 34(6), 57-68. DOI:

10.1109/MCG.2014.108.

[81] CHANTLER, M. and J. WU. Rotation invariant classification of 3D surface texturesusing

photometric stereo and surface magnitude spectra. In: Procedings of the British Machine Vision

Conference. British Machine Vision Association, 2000, 49:1-49:10. DOI: 10.5244/C.14.49.

[82] FRANKOT, R. T. and R. CHELLAPPA. A method for enforcing integrability in shape from

shading algorithms. Pattern Analysis and Machine Intelligence. IEEE, 1988, 10(4), 439-451.

DOI: 10.1109/34.3909.

[83] IKEUCHI, K. Surface reflection mechanism. In: Handbook of Pattern Recognition and Image

Processing: Computer Vision. San Diego: Academic Press, 1994, 131-160. ISBN:0-12-774561-

0.

[84] AGRAWAL, A., R. RASKAR and R. CHELLAPPA. What is the range of surface

reconstructions from a gradient field? Proceedings of European Conference on Computer

Vision. 2006, 1, 578-591. Dostupné z: http://www.merl.com/publications/docs/TR2006-021.pdf

[85] AGRAWAL, A., R. RASKAR and R. CHELLAPPA. An algebraic approach to surface

reconstruction from gradient fields. In: Proceedings of International Conference on Computer

Vision. IEEE, 2005, 1, 174-181. DOI: 10.1109/ICCV.2005.31

[86] BOUGUET, J. Y. Camera calibration toolbox for Matlab [online]. 2010 [cit. 2013-06-22].

Dostupné z: http://www.vision.caltech.edu/bouguetj/calib_doc/#system

[87] ŠTEFANOVÁ, E. Kalibrace neměřičských kamer, [online]. 2006, [2013-06-22]. Dostupné z:

<http://www.vugtk.cz/odis/sborniky/jine/geos06/paper/53_stefanova_e/paper/53_stefanova_e.p

df

[88] HEIKKILA, J. and O. SILVEN. A four-step camera calibration procedure with implicit image

correction. In: Proceedings of Computer Society Conference on Computer Vision and Pattern

Recognition. IEEE, 1997. DOI: 10.1109/CVPR.1997.609468.

[89] ZHANG, Z. A flexible new technique for camera calibration. Transactions on Pattern Analysis

and Machine Intelligence. IEEE, 2000, 22(11), 1330-1334. DOI: 10.1109/34.888718.

[90] Camera calibration. MathWorks: Matlab [online]. US, 2017 [cit. 2018-05-03]. Dostupné z:

https://www.mathworks.com/help/vision/camera-calibration-and-3-d-vision.html

[91] BRAY, A. J. Tracking objects using image disparities. Image and Vision Computing. Elsevier

Science, 1990, 8(1), 4-9. DOI: 10.1016/0262-8856(90)90049-B.

[92] PANIN, G. Model-based visual tracking: The openTL framework. USA: Wiley, 2011. ISBN

978-0-470-87613-8.

[93] RABENOROSOA, K. et al. A micro-assembly station used for 3D reconfigurable hybrid

MOEMS assembly. Proceedings of International Symposium on Assembly and Manufacturing.

IEEE, 2009, 95-100. DOI: 10.1109/ISAM.2009.5376922

[94] BARGIEL, S. et al. Towards Micro-Assembly of Hybrid MOEMS Components on

Reconfigurable Silicon Free-Space Micro-Optical Bench. Journal of Micromechanics and

Microengineering. 2010, 20(4). DOI: 10.1088/0960-1317/20/4/045012.

[95] WASILIK, M. and N. CHEN. Deep reactive ion etch conditioning recipe. International Society

for Optical Engineering. 2004, 5342, 103-110. DOI: 10.1117/12.522941

[96] GENNERY, D. B. Visual tracking of known three-dimensional objects. International Journal of

Computer Vision. 1992, 7(3), 243-270. DOI: 10.1007/BF00126395.

[97] LEPETIT, V. and P. FUA. Monocular Model-Based 3D Tracking of Rigid Objects. Foundations

and Trends in Computer Graphics and Vision. 2005, 1(1), 1-89. DOI: 10.1561/0600000001

[98] YESIN K. B. and B. J. NELSON. A CAD-model based tracking system for visually guided

microassembly. Robotica. 2005, 23, 409–418. DOI: 10.1017/S0263574704000840.

128

[99] FEDDEMA, J. T. and R. W. SIMON. Visual servoing and CAD-driven microassembly.

Robotics and Automation Magazine. IEEE, 1998, 5 (4), 18–24. DOI: 10.1109/100.740460.

[100] ISO. Manipulating industrial robots - Performance criteria and related test methods [online].

1998 [cit. 2018-12-17]. Dostupné z: https://www.iso.org/standard/22244.html

[101] ZITNICK, C. L. and J. A. WEBB. Multi-baseline stereo using surface extraction.

Semanticscholar [online]. 1996 [cit. 2018-02-22]. Dostupné z:

https://pdfs.semanticscholar.org/6258/8bc7b8247791757ef2a8b06d0ec570a6d6b5.pdf

[102] HARTLEY, R. and A. ZISSERMAN. Multiple view geometry in computer vision. 2. UK:

Cambridge University Press, 2004. Dostupné z:

http://cvrs.whu.edu.cn/downloads/ebooks/Multiple%20View%20Geometry%20in%20Computer

%20Vision%20(Second%20Edition).pdf

[103] LAZAROS, N., G. CH. SIRAKOULIS and A. GASTERATOS. Review of stereo vision

algorithms: from software to hardware. International Journal of Optomechatronics. 2008, 2(4),

435–462. DOI:10.1080/15599610802438680.

[104] BLAIS, F., M. PICARD and G. GODIN. Accurate 3D acquisition of freely moving objects. In:

Proceedings International Symposium on 3D Data Processing: Visualization and Transmission.

IEEE, 2004, 422-429. DOI: 10.1109/TDPVT.2004.1335269.

[105] COHEN, A. et al. Indoor-outdoor 3D reconstruction alignment. Computer Vision. Springer,

2016, 285-300. DOI: 10.1007/978-3-319-46487-9_18.

[106] SCHÖNBERGER, J. L. et al. Pixelwise view selection for unstructured multi-view

stereo. Computer Vision. Springer,2016, 501-518. DOI: 10.1007/978-3-319-46487-9_31.

[107] JI, D., E. DUNN and J. M. FRAHM. Synthesizing illumination mosaics from internet photo-

collections. International Conference on Computer Vision. IEEE, 2015, 3988-3996. DOI:

10.1109/ICCV.2015.454.

[108] SVOBODA, J. Zařízení pro měření celistvosti antén tištěných na skle. Liberec, 2015.

Diplomová práce. Technická univerzita v Liberci.

[109] HOTAŘ, V. Pokročilé metody získání a interpretace obrazových dat a jejich aplikace v

průmyslové praxi. Liberec, 2019. Habilitační práce. Technická univerzita v Liberci. V tisku.

[110] VOJÁČEK, A. Senzor snímání a detekce lesku povrchu předmětů - Sick Glare.

Automatizace.HW [online]. 2017 [cit. 2018-03-02]. Dostupné z:

https://automatizace.hw.cz/senzorika/senzor-snimani-a-detekce-lesku-povrchu-predmetu-sick-

glare.html

[111] BARIBEAU, R. and M. RIOUX. Influence of speckle on laser range finders. Applied Optics.

1991, 30(20), 2873–2878. DOI: 10.1364/AO.30.002873

[112] DORSCH, R. G., G. HAUSLER and J. M. HERRMANN. Laser triangulation: fundamental

uncertainty in distance measurement. Applied Optics. 1994, 33(7), 1306–1314. DOI:

10.1364/AO.33.001306.

[113] MUNDY, J. L. and G. B. PORTER. Three-dimensional sensor based on structured light. Three-

dimensional machine vision. Kluwer Academic Publishers, 1987, 3-61. DOI: 10.1007/978-1-

4613-1981-8_1

[114] KANADE, T., A. GRUSS and L. CARLEY. A very fast VLSI rangefinder. In: Proceedings of

International Conference on Robotics and Automation. IEEE, 1991, 39, 1322–1329. DOI:

10.1109/ROBOT.1991.131796

[115] CURLESS, B. and M. LEVOY. Better optical triangulation through spacetime analysis. In:

Proceedings of International Conference on Computer Vision. IEEE, 1995, 987–994. DOI:

10.1109/ICCV.1995.466772.

[116] CLARK, J., E. TRUCCO and L. B. WOLFF. Using light polarization in laser scanning. Image

and Vision Computing. Elsevier Science, 1997, 15, 107–117. DOI: 10.1016/S0262-

8856(96)01126-2.

129

[117] TRUCCO E. and R. B. FISHER. Acquisition of consistent range data using local calibration.

In: Proccedings of International Conference on Robotics and Automation. IEEE, 1994, 3410–

3415. DOI: 10.1109/ROBOT.1994.351046.

[118] PARK, J. and A. C. KAK. Specularity elimination in range sensing for accurate 3D modeling

of specular objects. In: Proceedings of International Symposium on 3D Data Processing,

Visualization and Transmission. 2004, 707–714. Dostupné z:

https://engineering.purdue.edu/RVL/Publications/Park04Specularity.pdf

[119] PARK, J. and A. C. KAK. 3D modeling of optically challenging objects. Transactions on

Visualization and Computer Graphics. IEEE, 2008, 14(2), 246–262. DOI:

10.1109/TVCG.2007.1069.

[120] HULLIN, M. B. et al. Fluorescent immersion range scanning. In: Procedings of Conference

ACM SIGGRAPH. 2008, 27(3), 1–10 (2008). Dostupné z:

http://citeseerx.ist.psu.edu/viewdoc/download?rep=rep1&type=pdf&doi=10.1.1.226.7409

[121] NAYAR, S. K., X. S. FANG and T. BOULT. Removal of specularities using color and

polarization. In: Proceedings of Computer Society Conference on Computer Vision and Pattern

Recognition. IEEE, 1993, 583–590. DOI: 10.1109/CVPR.1993.341071

[122] MIYAZAKI, D., M. KAGESAWA and K. IKEUCHI. Transparent surface modeling from a

pair of polarization images. Transactions on Pattern Analysis and Machine Intelligence. IEEE,

2004, 26(1), 73-82. DOI: 10.1109/TPAMI.2004.1261080.

[123] CHEN, T. et al. Polarization and phase-shifting for 3D scanning of translucent objects. In:

Proceedings of Conference on Computer Vision and Pattern Recognition. IEEE, 2007, 1-8.

DOI: 10.1109/CVPR.2007.383209.

[124] YAMAZAKI, M., S. IWATA and G. XU. Dense 3D reconstruction of specular and transparent

objects using stereo cameras and phase-shift method. ACCV 2007. Berlin: Springer-Verlag,

2007, 550-579. Dostupné z:

http://www.liv.ic.unicamp.br/~saracchini/Artigos/2008_05_29/Dense%203D%20Reconstructio

n%20of%20Specular%20and%20Transparent%20Objects%20Using%20Stereo%20Cameras%2

0and%20Phase-Shift%20Method.pdf

[125] MALLICK, S. P. et al. Beyond Lambert: Reconstructing specular surfaces using color. In:

Proceedings of Computer Society Conference on Computer Vision and Pattern Recognition.

IEEE, 2005, 2, 619– 626. 10.1109/CVPR.2005.88

[126] STICH, T., A. TEVS and M. A. MAGNOR. Global depth from epipolar volumes - A general

framework for reconstructing non-Lambertian surfaces. In: Proceedings of International

Symposium on 3D Data Processing, Visualization and Transmission. 2006, 1–8. DOI:

10.1109/3DPVT.2006.69.

[127] YANG, R., M. POLLEFEYS and G. WELCH. Dealing with textureless regions and specular

highlights - A progressive space carving scheme using a novel photo-consistency measure. In:

Proceedings of International Conference on Computer Vision. IEEE, 2003, 576–584. DOI:

10.1109/ICCV.2003.1238399.

[128] JIN, H., S. SOATTO and A. J. YEZZI. Multi-view stereo Beyond Lambert. In: Proceedings of

Computer Society Conference on Computer Vision and Pattern Recognition. 2003, 1, 171–178.

DOI: 10.1109/CVPR.2003.1211351.

[129] BHAT, D. N. and S. K. NAYAR. Stereo in the presence of specular reflection. In: Proceedings

of International Conference on Computer Vision. IEEE, 1995, 1086–1092. DOI:

10.1109/ICCV.1995.466813

[130] MAGDA, S. et al. Beyond Lambert: Reconstructing surfaces with arbitrary BRDFs. In:

Proceedings of International Conference on Computer Vision. IEEE, 2001, 2, 391–398. DOI:

10.1109/ICCV.2001.937652.

130

[131] ZICKLER, T., P. N. BELHUMEUR and D. J. KRIEGMAN. Helmholtz stereopsis: Exploiting

reciprocity for surface reconstruction. International Journal of Computer Vision. 2002, 49(2-3),

215–227. Dostupné z:

http://www.eecs.harvard.edu/~zickler/papers/HelmholtzStereopsis_ijcv.pdf

[132] ZICKLER, T. E. et al.: Binocular Helmholtz stereopsis. In: Proceedings of International

Conference on Computer Vision. 2003, 2, 1411–1417. DOI: 10.1109/ICCV.2003.1238655.

[133] HALSTEAD, M. A. et al. Reconstructing curved surfaces from specular reflection patterns

using spline surfce fitting of normals. In: Proceedings of Conference on Computer Graphics and

Interactive Techniques. 1996, 335–342. DOI: 10.1145/237170.237272.

[134] BONFORT, T. and P. STURM. Voxel carving for specular surfaces. In: Proceedings of

International Conference on Computer Vision. IEEE, 2003, 591–596. DOI:

10.1109/ICCV.2003.1238401

[135] HATA, S. et al. Shape extraction of transparent object using genetic algorithm. In: Proceedings

of International Conference on Pattern Recognition. IEEE, 1996, 4, 684–688. DOI:

10.1109/ICPR.1996.547652

[136] BEN-EZRA, M. and NAYAR S. K. What does motion reveal about transparency? In:

Proceedings of International Conference on Computer Vision. IEEE, 2003, 2, 1025–1032. DOI:

10.1109/ICCV.2003.1238462.

[137] HOTAŘ V. et al. Objective evaluation of corrugation test. Glass Technology: European Journal

of Glass Science and Technology Part A., 2011, 52(9), 197-202. ISSN: 1753-3546

[138] SVOBODA, J. Zařízení pro detekci přesnosti tvaru ohýbaných přířezů plochého skla. Liberec,

2012. Bakalářská práce. Technická univerzita v Liberci. Dostupné také z: http://knihovna-

opac.tul.cz/documents/464286.

[139] KUTULAKOS, K. N. and E. STEGER. A theory of refractive and specular 3D shape by light-

path triangulation. In: Proceedings of International Conference on Computer Vision. IEEE,

2005, 1, 1448–1455. DOI: 10.1109/ICCV.2005.26.

[140] WOHL, J. Digitizer education-part 3: Materials for 3D Scanning. MarkerBot [online]. 2013

[cit. 2018-03-19]. Dostupné z: https://www.makerbot.com/stories/education/digitizer-education-

part-3-materials-for-3d-scanning/

[141] LASER DESIGN: CyberOptics Corporation [online]. 3D Scan Spray. 2019 [cit. 2019-01-29].

Dostupné z: https://www.laserdesign.com/3d-scan-spray/

[142] EGELS, Y. and M. KASSER. Digital Photogrammetry. New York: CRC Press, 2001. ISBN

9780748409457.

[143] MERCADO-DEPIERRE, S. et all. Antagonist effects of calcium on borosilicate glass

alteration. Journal of Nuclear Materials. 2013, 441(1-3), 402-410. DOI:

10.1016/j.jnucmat.2013.06.023.

[144] ZONGKER, D. et al. Environment matting and compositing. In: Proceedings of Conference on

Computer graphics and interactive techniques. 1999, 205–214. Dostupné z:

http://grail.cs.washington.edu/projects/digital-matting/papers/sig1999.pdf

[145] CHUANG, Y. Y. et al. Environment matting extensions: Towards higher accuracy and real-

time capture. In: Proceedings of ACM SIGGRAPH. 2000, 121–130. Dostupné z:

http://grail.cs.washington.edu/wp-content/uploads/2015/08/Chuang-2000-EME.pdf

[146] WEXLER Y., A. W. FITZGIBBON and A. ZISSERMAN. Image-based environment matting.

In: Proceedings of of Eurographics Symposium on Rendering. 2002, 279–290. Dostupné z:

https://www.robots.ox.ac.uk/~vgg/publications/2002/Wexler02b/wexler02b.pdf

[147] PEERS, P. and P. DUTRÉ. Wavelet environment matting. In: Proceedings of Eurographics

Symposium on Rendering. 2003, 157–166. Dostupné z:

https://pdfs.semanticscholar.org/3c6a/a313199aaaeab6b0e7319462a6a994224ab0.pdf

[148] AGARWAL, S et al. On Refractive Optical Flow. Proceedings of European Conference on

Computer Vision. 2004, 279–290. Dostupné z:

https://homes.cs.washington.edu/~sagarwal/rof.pdf

131

[149] HALUŠKA, J. Bezkontaktní kontrola geometrie profilu designových lišt. Bakalářská práce.

Liberec, 2016.Technická univerzita v Liberci.

[150] Kanitsar, A. et al. Christmas tree case study: computed tomography as a tool for mastering

complex real world objects with applications in computer graphics. Visualization. IEEE, 2002,

489–492. DOI: 10.1109/VISUAL.2002.1183812.

[151] OSORIO, M. F. et al. Three-dimensional digitization of highly reflective and transparent objects

using multi-wavelength range sensing. Machine Vision and Applications. 2012, 23(4), 761-772.

DOI: 10.1007/s00138-010-0308-6.

[152] UCHINO, T. and T. YAMADA. White light emission from transparent Si02 glass prepared

from nanometer-sized silica particles. Applied physics letters, 2004, 85(7). DOI:

10.1063/1.1782263.

[153] RANTOSON, R. et al. 3D reconstruction of transparent objects exploiting surface fluorescence

caused by UV irradiation. In: Proceedings of International Conference on Image Processing.

IEEE, 2010, 2965-2968. DOI: 10.1109/ICIP.2010.5653448.

[154] RANTOSON, R. et al. Optimization of transparent objects digitization from visible

fluorescence ultraviolet induced. Optical Engineering. 2012, 51(3). DOI:

10.1117/1.OE.51.3.033601

[155] KIM, G. and J. T. KIM. UV-ray filtering capability of transparent glazing materials for built

environments. Indoor and Built Environment. 2010, 19(1), 94-101. DOI:

10.1177/1420326X09358020.

[156] SZERUDA, R. Problematika bezdotykového měření teploty skla. [on-line, cit. 19.4.2016]

Dostupné z: http://pyrometrie.sweb.cz/Sklo.htm

[157] ROGALSKI, A. Infrared detectors: status and trends. Progress in Quantum Electronics.

Elsevier Science, 2003, 27 (2-3), 59–210. DOI: 10.1016/S0079-6727(02)00024-1

[158] CORSI, C. History highlights and future trends of infrared sensors. Journal of Modern Optics.

2010, 57(18), 1663–1686. DOI: 10.1080/09500341003693011.

[159] TU, J. I-Ch. Technology at work: Firefighters look into the future - New computers, camera can

spot hidden dangers. Seattle Times [online]. 1997 [cit. 2017-01-30]. Dostupné z:

http://community.seattletimes.nwsource.com/archive/?date=19970818&slug=2555416

[160] CORSI, C. Infrared: A key technology for security systems. Advances in Optical Technologies.

2012, 2012, 1-15. DOI: 10.1155/2012/838752.

[161] BERTOZZI, M. et al. Stereo Vision-based approaches for Pedestrian Detection. In:

Proceedings of Computer Society Conference on Computer Vision and Pattern Recognition.

IEEE, 2005, 10-16. DOI: 10.1109/CVPR.2005.534

[162] MERIAUDEAU, F. et al. 3D scanning of non-opaque objects by means of imaging emitted

structured infrared patterns, Transactions on Instrumentation and Measurement, IEEE, 2010,

59(11), 2898 - 2906. DOI: 10.1109/TIM.2010.2046694

[163] PELLETIER, J. F. and X. MALDAGUE. Shape from heating: A two-dimensional approach for

shape extraction in infrared images. Optical Engineering. 1997, 36(2), 370–375. DOI:

10.1117/1.601210.

[164] EREN, G. Scanning from heating: 3D shape estimation of transparent objects from local surface

heating. Optics Express. 2009, 17(14), 11457-11468. DOI: 10.1364/OE.17.011457.

[165] BASLER. Basler 3D Cameras [online]. [cit. 2019-01-15]. Dostupné z:

https://www.baslerweb.com/en/products/cameras/3d-cameras/time-of-flight-camera/tof640-

20gm_850nm/

[166] ODOS IMAGING. StarForm swift 3D time-of-flight camera [online]. 2019 [cit. 2019-01-15].

Dostupné z: https://www.odos-imaging.com/product/starform-3d-time-of-flight-camera/videos/

[167] NICODEMUS, F. E. et al. Geometrical considerations and nomenclature for reflectance.

Technical Report. 1977. Dostupné z: https://graphics.stanford.edu/courses/cs448-05-

winter/papers/nicodemus-brdf-nist.pdf

132

[168] JENSEN, H. W. et al. A practical model for subsurface light transport. In: Proceedings of

conference on Computer Graphics and Interactive Techniques. 2001, 511–518.

DOI:10.1145/383259.383319.

[169] WEYRICH, T. Principles of appearance acquisition and representation. Foundations and

Trends in Computer Graphics and Vision. 2008, 4(2), 75-191. DOI: 10.1561/0600000022

[170] DONNER, C. et al. An empirical BSSRDF model. Journal ACM Transactions on Graphics.

2009, 28, 3, 1-10(30). DOI = 10.1145/1531326.1531336

[171] YAN, L. Q. et al. A BSSRDF model for efficient rendering of fur with global illumination.

Journal ACM Transactions on Graphics. 2017, 36(6), 1-13 (208). DOI:

10.1145/3130800.3130802.

[172] JENSEN, H. W. Global illumination using photon maps. In: Proceedings of the eurographics

workshop on Rendering techniques. 1996, 21–30. Dostupné z:

http://graphics.ucsd.edu/~henrik/papers/photon_map/global_illumination_using_photon_maps_

egwr96.pdf

133

Vybrané publikace autora

[A1] MATÚŠEK, O. Rear-view mirror holder position determination by an industrial camera. In:

Sborník příspěvků Mezinárodní Masarykovy konference pro doktorandy a mladé vědecké

pracovníky 2011. Hradec Králové: Magnanimitas, 2011, 647-654. ISBN 978-80-904877-7-2.

[A2] MATÚŠEK, O. Určení polohy držáku zpětného zrcátka na skle s černým potiskem s využitím

průmyslové kamery. In: Recenzovaný sborník příspěvků interdisciplinární mezinárodní

vědecké konference doktorandů a odborných asistentů QUARE 2012. Hradec Králové:

Magnanimitas, 2012, 1167-1174. ISBN 978-80-905243-0-9.

[A3] HOTAŘ, V. a O. MATÚŠEK. Využití vlastností skla pro jeho detekci a hodnocení jakosti

průmyslovou kamerou. In: Sborník abstraktů, XIII. Mezinárodní konference Sklářské stroje a

seminář Kovy ve sklářských technologiích, 2012, Liberec: Technická univerzita v Liberci, 15.

[A4] MATÚŠEK, O. Car rest-view mirror holder position determination by an industrial camera.

Grant Journal. 2012, (1), 1-4. ISSN 1805-062X. Dostupné z:

http://www.grantjournal.com/images/stories/0101matusek.pdf

[A5] HOTAŘ, V. a O. MATÚŠEK. Využití reflexe skla plochého skla pro jeho detekci. Sklář a

keramik, 2012, 62(7 -8), 170-173, ISSN 0037-637.

[A6] MATÚŠEK, O. Possibilities of object tracking. In: Workshop pro doktorandy Fakulty strojní a

Fakulty textilní. Liberec: Technická univerzita v Liberci, 2013, 1, 173 – 176, ISBN 978-80-

7372-987-5.

[A7] HOTAŘ, V., P. SALAČ a O. MATÚŠEK. Estimation of fractal dimension and statistical tools

for surface evaluation. In: Proceedings of Nostradamus 2014: Advances in Intelligent Systems

and Computing. Springer-Verlag, 2014, 289, 43-53. DOI: 10.1007/978-3-319-07401-6_5

[A8]

MATÚŠEK, O., V. HOTAŘ, G. J. LAURENT, B. TAMADAZTE a C. CLEVY.

Characterization of the positioning accuracy and precision of MEMS die servoing using

model-based visual tracking. In: Applied Mechanics and Materials: Industrial and Service

Robotics. Switzerland: Trans Tech Publications, 2014, 613, 426-433. DOI:

10.4028/www.scientific.net/AMM.613.426. ISBN 978-3-03835-202-0.

[A9] MATÚŠEK, O. Polohování MEMS upínek za pomocí průmyslové kamery. In: Studentská

vědecká a odborná činnost 2014: Strojírenství. Liberec: Technická univerzita v Liberci, 2014,

162-170. ISBN 978-80-7494-071-2.

[A10] MATÚŠEK, O. MEMS Die holder servoing using model-based visual tracking. In: Workshop

for Ph.D. Students of Faculty of Textile Engineering and Faculty of Mechanical Engineering

TUL. Liberec: Technical University of Liberec, 2014, 213-218. ISBN 978-80-7494-100-9.

[A11] MATÚŠEK, O. a V. HOTAŘ. Pokročilé snímání transparentních materiálů. In: Sborník

abstraktů XIV. mezinárodní konference Sklářské stroje a semináře Kovy ve sklářských

technologiích. Liberec: Technická univerzita v Liberci, 2015, 29-32. ISBN 978-80-7494-226-6.

[A12] MATÚŠEK, O. Ověření přesnosti polohování MEMS upínek za pomoci průmyslové kamery.

In: Studentská vědecká a odborná činnost 2015. Liberec: Technická univerzita v Liberci, 2015,

55-63. ISBN 978-80-7494-209-9.

[A13] MATÚŠEK, O. Accuracy verification of MEMS holder servoing using industrial camera. In:

Workshop for Ph.D. Students of Faculty of Textile Engineering and Faculty of Mechanical

Engineering TUL. Liberec: Technická univerzita v Liberci, 2015, 223-227. ISBN 978-80-

7494-229-7.

[A14] MATOUŠEK, I. a O. MATÚŠEK. Simulation of isothermal compression test. Mechanism and

Machine Science: Advances in Mechanism Design II. Switzerland: Springer, 2017, (44), 199-

206. DOI: 10.1007/978-3-319-44087-3_26. ISSN 2211-0984.

[A15] HOTAŘ, V. a O. MATÚŠEK. Jak zvolit správnou průmyslovou kameru a její příslušenství.

Sklář a keramik, 2016, 66 (3 – 4), 60-64, ISSN 0037-637

134

[A16] MATÚŠEK, O. Zařízení pro detekci vadných dílů textilních disků. In: Studentská vědecká a

odborná činnost 2016. Liberec: Technická univerzita v Liberci, 2016, 114 - 119. ISBN 978-80-

7494-275-4.

[A17] MATÚŠEK, O. New approaches in transparent object identification. In: Workshop for Ph.D.

Students of Faculty of Textile Engineering and Faculty of Mechanical Engineering TUL.

Liberec: Technická univerzita v Liberci, 2016, 165-168. ISBN 978-80-7494-293-8

[A18] HOTAŘ, V., O. MATÚŠEK a J. SVOBODA. Laboratory detection of flat glass shapes using

its reflection. MATEC Web of Conferences. 2017, 89, 01007-. DOI:

10.1051/matecconf/20178901007. ISSN 2261-236x.

[A19] MATÚŠEK, O., Z. VÍT a V. HOTAŘ. Detection of glass edge corrugarion for cutting distance

optimization. MM Science Journal, 2017, 01, 1734-1737. DOI:

10.17973/MMSJ.2017_02_2016182. ISSN 18031269.

[A20] MATÚŠEK, O. Detekce zdeformované části plaveného skla pomocí laserového paprsku. In:

Studentská vědecká a odborná činnost 2017. Liberec: Technická univerzita v Liberci, 2017,

118 - 124. ISBN 978-80-7494-332-4.

[A21] HOTAŘ, V., O. MATÚŠEK a J. SVOBODA. Laboratory detection of flat glass shapes using

its reflection. MATEC Web of Conferences. 2017, 89, 1007-. DOI:

10.1051/matecconf/20178901007. ISSN 2261-236x.

[A22] MATOUŠEK, I. a O. MATÚŠEK. Simulation of isothermal compression test. Mechanism and

Machine Science: Advances in Mechanism Design II. Switzerland: Springer, 2017, (44), 199-

206. DOI: 10.1007/978-3-319-44087-3_26. ISSN 2211-0984.

[A23] HOTAŘ, V. a O. MATÚŠEK. Konfokální chromatické snímače pro aplikace ve sklářském

průmyslu. Sklář a keramik. 2017, 67(3-4), 62-64. ISSN 0037-637.

[A24] MATÚŠEK, O. a V. HOTAŘ. Možnost detekce bortů plaveného skla na výrobní lince. Sklář a

Keramik. 2017, 67(7-8), 143-147. ISSN 0037-637.

[A25] HÁJKOVÁ, L., O. MATÚŠEK a M. TUNÁK. Zařízení pro snímání, kontrolu a objektivní

hodnocení parametrů kvality technických tkanin, zejména sít. 2017. UV 30745. Dostupné z:

https://isdv.upv.cz/webapp/webapp.pts.det?xprim=10284991&lan=cs&s_majs=&s_puvo=&s_

naze=&s_anot=

[A26] HOTAŘ, V., O. MATÚŠEK, J. SVOBODA a P. DANČOVÁ. Laboratory detection of flat

glass shapes using its reflection. MATEC Web of Conferences. 2017, 89, 1007:1- 1007:5.

DOI: 10.1051/matecconf/20178901007.

[A27] MATÚŠEK O. a V. HOTAŘ. Detekce bortů plaveného skla na výrobní lince pomocí

odraženého laserového paprsku. In: XV. Mezinárodní konference sklářské stroje a kovy ve

sklářských technologiích. Liberec: Technická univerzita v Liberci, 2018, 29-34. ISBN 978-80-

7494-425-3.

[A28] HOTAŘ, V., A. HOTAŘ a O. MATÚŠEK. Metodika analýzy korozního napadení kovů

sklovinou pomocí fraktální geometrie. Sklář a Keramik. 2018, 68(3-4), 51-57. ISSN 0037-637.

[A29] HOTAŘ, V., J. ŠAFKA a O. MATÚŠEK. Současné trendy 3D tisku ze skla. Sklář a Keramik.

2018, 68(7-8), 147-152. ISSN 0037-637.

[A30] HOTAŘ, V., O. MATÚŠEK a J. ŠAVKA. Průmysl 4.0 ve sklářském průmyslu a technologie

3D tisku ze skla. In: Sborník XV. mezinárodní konference sklářské stroje a kovy ve sklářských

technologiích. Technická univerzita v Liberci, 2018, 9-13. ISBN 978-80-7494-425-3.