Terepi mozgó és álló tárgyak felismerésére és azonosítására

szolgáló integrált gépi látó rendszer

Fő feladatok

• Különböző hullámhosszon működő kame-ráktól származó képek felvétele és előkészítése további feldolgozásra.

• A képek digitalizálásának megoldása, a szükséges (számított) hardverteljesítmény kísérleti igazolása.

• A rendszertervben kidolgozott eljárások szoftveres megvalósításának megkezdése.

Hardver eszközök és fejlesztés• Négyprocesszoros, amerikai gyártmányú (Alacron).

• Hazai fejlesztésű Hexium Apolló kártya.

• Terepi mérőkocsi és elektronikusan vezérelt állvány .

• Színes RGB kamera, Infravörös hő kamera, 4-13 . 801 x 502 pixel és érzékenység 0.08 K

• Kamerák és az optikák elektronikus távvezérlése

• Real time képfelvevő és tároló berendezés, szoftverek laborszintű tesztelésére.

• Az előfeldolgozást végző 4 processzoros kártya, és a kamera összeépítését elkezdtük.

• PC- alapú változatot is kidolgozzuk, nem terepi katonai felhasználásoknál is igény van erre.

Kifejlesztett és beszerzett eszközök

• Vezérelhető kameratartó állvány

Képdigitalizáló kártyák

• Hexium Apolló

Kamerák

• Nappali kamerák– fekete/fehér– színes

• Hőkamerák– 4-6 – 7-13

Képdigitalizáló kártyák

• Alacron FastImage 1300 4TM

Képdigitalizáló kártyák

• Data Translation FrameGrabber DT3153

II. Szoftver fejlesztés

Képelőfeldolgozó gyorsító kártya vezérlő szoftver.

• Képdigitalizálási módok beállítása, formátum konverzió, geometriai transzformáció, megjelenítés,

• Szűrések, képintegrálás, régió kijelölés, maszkolás.

• Megvalósítás az amerikai Alacron Fastimage 1300 típusú 4 processzoros képdigitalizáló és hardvergyorsító kártyával.

• Pipe line ill. párhuzamos működési módok.

• Hexium Apolló grabber dll kifejlesztése.

• Mindkét hardver támogatja a Philips SDE Software Development Environment fejlesztői programot.

Főprogram és verifikált szoftver modulok

 Képmegjelenítő modul

A képmegjelenítést a DirectX technikával végezzük.

Digitalizált élő és befagyasztott kép megjenítés, felismert objektumok, háttérpontok, eredmények megjelenítése.

Képfeldolgozó modul (Multi thread technika)

• A képfeldolgozó egység több, egymástól független, de egymás eredményeit felhasználó szálból áll.

• Az egyes szálak konkurens módon futnak.

• Többprocesszoros rendszerben, ha az operációs rendszer ezt biztosítja (pl. Windows NT vagy Windows 2000 alatt), az egyes szálak külön processzoron is futhatnak.

• A szálak összekapcsolása "pipeline" módon, gyors képfeldolgozást eredményez. 

• Az egyes kiviteli formákhoz nem kell új programot generálni.

Eddig megvalósított programszálak

Grabber.dll

Támogatott hardverek és adatforma:

• DT3153 Datatranslation képdigitalizáló,

• Hexium Apolló digitalizáló és DSP kártya.

• Fastimage 1300 4 TM fejlesztés alatt.

• AVI file formátum támogatás

Kép előfeldolgozásFilter.dll

Tipikus szürő funkciók: Medián, zaj szűrés, interlace efektusok szűrése, élkiemelés.

A szűrések 5x5 ablakban végezzük.

RGB->Y transzformáció.

Forgató mechanika vezérlés

Forgató vezérlés

szektoros

körkörös

programozott, illetve kézi

Háttérkövetés, kamera remegés

kompenzáció.

• Jellegzetes pontok és azok szűk környezetének detektálása.

• Ezen pontok elmozdulásának mérése keresztkorrelációval.

• Eredő képelmozdulás számítása.

• Adaptív automatikus háttérpont kiválasztás.

• Következő kép várható poziciójának predikciója.

Mozgásdetektálás

• Visszaadja azokat a képpontokat és régiókat, ahol elmozdulás történt.

• A MotionDetect.dll a hardveren és PC-n is fut a kiviteltől függően.

• Mozgásdetektálási lépések.

- az utolsó N kép alapján hátteret képez, majd ebből kivonja a jelenlegi képet,

-mozgási küszöb adaptiv számítása a mozgási hisztogram alapján exponenciális illesztéssel

-a különbségi képet szegmentálja,

-mozgási küszbönél nagyobak megjelölése.

A képfeldolgozó modulMozgásdetektálás és kamera remegés kompenzáció

Fejlesztés alatt álló szálak:

Template illesztés• A template (minta) könyvtár alapján megkeresi a

képen az illeszkedő részleteket.

• Bemenetek:

• Kép: Pixelenként monokróm intenzitással megadott, látható és infravörös tartományban készült felvétel.

• Keresési tartományok:

• befoglaló téglalap, illetve regió maszk.

• Template könyvtár

Nagyítás, eltolás és forgatás független

felismerés.

• Az eltolás függetlenséget a keresztkorreláció biztosítja.

• A forgatás független felismerés: esetünkben az objektum térbeli elfordulását jelenti. A minta készlet deformálásával biztosítjuk bizonyos tartományban, valamintkülönböző vetületi irányokban tipkus minta készletet állítunk elő.

• Nagyítás függetlenséget a képpiramis struktúrával biztosítjuk.

Mintaillesztési példa

Mintahalmaz előállítása és kezelése.

• Különböző állásban és távolságban felvett minta képek.

• Deformált template halmaz előállítása.

• Template halmazok klaszterezése, tipikus mintahalmazok előállítása.

• Saját templatek előállítása gyors keresés céljára.

• Template hierarchia létrehozása gyors keresés céljára.

Korrelációs technika gyorsítása.

• Template transzformáció, jellegzetességek kiemelése.

• Bemeneti élkiemelt kép távolságtranszformáltjának előállítása.

• A minta kiemelt vonalai és régiói menti korreláció számítása.

• Néhány nagyságrendnyi sebesség növekedés várható.

Mintakeresés gyorsítás