presentación de powerpointgaunal.medellin.unal.edu.co/moycot/wp-content/uploads/... · 2016. 7....

Método de Video Detección y Seguimiento a

Vehículos en la ciudad de Medellín

Prof. Jorge Espinosa CSE, M.Sc., Ph.D(c)

1

3er Seminario Internacional de Tráfico y Transporte Julio 28 y 29 de 2016 - Medellín - Colombia

Agenda

2

1. Motivación - Problemática

2. El Seguimiento (Tracking)

3. Detección Multiobjetivo

4. Detección y Seguimiento Multiobjetivo

5. Método de Detección y Seguimiento

6. Calibración de cámaras

7. Self-Adaptive Gaussian Mixture Model for Urban Traffic Monitoring System

(SAGMM)

8. Aplicaciones de Hough Transformation para SAGMM


Motivación

3

• Tráfico vehicular y normatividad:• Congestión de las vías (Tiempos de viaje incrementados en un 40%)[6]• Regulación y control [18]• Centros de Control de Tráfico Masivo [11]• Dificultades en los entornos Urbanos [22]• Interacción Vehicular (Flujo Multimodal) [13]

• Oportunidades tecnológicas:• Capacidad de Procesamiento [1]• Representación en 3D y reconstrucción• Reconocimiento de objetos [3]• Análisis del movimiento y monitoreo (tracking). [2]

Imagen de Arizona Department of Transportation

Imagen Diario ADN - Medellín

¿Cuál es la problemática?


Problemática

44

Video Detección Lecciones Aprendidas Caso MedellínJuan Manuel Gómez SierraXM – Seminario Internacional de TyT - 2015https://www.medellin.gov.co/simm/mapas/camaras.html

https://www.medellin.gov.co/simm/mapas/camaras.html


Problemática

• Costo computacional• Utilizar Infraestructura disponible• Ángulos de las cámaras• Conectividad lógica de CCTV• Oclusiones Parciales[4]• Fluctuaciones de Luz[5]• Cambios continuos en el fondo [7]• Errores de identificación• Seguimiento desde múltiples cámaras [15] Imagen Experimentación

5


Seguimiento (Tracking)

Estimación de la trayectoria de un objeto en el plano de la imagen amedida que este se mueve alrededor de una escena (Yilmaz et al., 2006). [8]

Subdividido en dos aspectos:1. Construir un modelo del objeto a seguir:

a) Representación de Objeto (Forma y Apariencia)

b) Selección de características (Color, Borde, Textura y Flujo Óptico)c) Detección de Objetos (Detectores de Puntos, Sustracción de Fondo,

Segmentación y Aprendizaje Supervisado)Cámara estática

Tiempo Computacional

Tiempo Computacional

Invariante a transforma.

Aprendizaje de diferentes vistas del objeto automát.

Ejemplos de entrenamiento y Labelling

Ideal para imágenes binarias

2. Se utilizará la información de la ubicación del objeto en el fotograma anterior parahacer las predicciones de lo que será la ubicación en el fotograma actual y restringir lacomplejidad de la búsqueda.

6



7

Taxonomía



8

Taxonomía



9

Benchmark

Realizado por (Wu, Lim, and Yang 2013) éste Benchmark se considera referenteimportante para comparar diferentes algoritmos de seguimiento en línea. Se tomaron encuenta en el siguiente análisis los algoritmos que presentan un mejor comportamientoante los siguientes factores:

IV – Illumination Varition – Variación de la iluminación: La iluminación en la región objetivo del seguimeinto sufre de variaciones considerables.SV – Scale Variance – Variación en la escalaOCC – Oclusión: El objetivo sufre de oclusiones parciales o totales.IPR – In Plane Rotation - Rotaciones en el plano: El objetivo de trazabilidad rota en el plano de la imagen.OV – Out of View – Fuera de vista: Alguna parte del objetivo de trazabilidad abandona la vista.



10

Benchmark (Consolidado)


Los Mejores Algoritmos de tracking

11

Struck Structured Output Tracking with Kernels.(Hare,

Saffari, and Torr 2011)

• Método Adaptativo de seguimiento.

• Utiliza SVM – online learning.

• Mecanismo de BUDGET que evita demasiados sv.

SCM : Robust object tracking via sparsity-based collaborative model

(Zhong, Lu, and Yang 2012)

• Modelo de Colaboración• Clasificador basado en ladispersión discriminativo (SD-C)(Background)

• modelo generativo basado endispersión (SGM).(Foreground)

TLD (Predator)Track Learn And Detect. (Kalal, Mikolajczyk, and

Matas 2012)

• T: Median Shift – LucasKanade tracker.

• L: P-N Learning• D: 2 fases: 1)Randomizedforest. 2) 1-NN, 10x10 patch


Detección y Seguimiento Multiobjetivo

12

• La mayoría de algoritmos basados en MAP (Máxima a posteriori) o HMM. Usando Viterbi [25] Pero sujetos a errores en oclusiones.

• MHT(Reid 1979)[26] joint probabilistic data association filter (JPDAF) (Fortmann, Bar-Shalom, and Scheffe 1983) Limitados porobjetos nuevos en ROI.

• Mayoría de procedimientos parten de inicialización manual o conocimiento previo de los objetos.

• GMM – Muy sensible al ruido.Imagen Experimentación – Utilización de GMM


Detección Multiobjetivo

13

Experimentación (Calidad de Imágenes)

Video Experimentación – Utilización de GMM (Sensibilidad al Movimiento) Video Experimentación – Utilización de GMM (testBackgroundSubtractorJEEO.m)


Detección Multiobjetivo

14

Conteo de Vehículos

Video Experimentación – Utilización de GMM (Sensibilidad al Movimiento) Video Experimentación – Utilización de GMM (testBackgroundSubtractorJEEO.m)


Detección y Seguimiento Multiobjetivo

15

Experimentación (Kalman Filter)

Video Experimentación – – Utilización de GMM + Filtro de Kalman - Cámara (Mejor Resolución) Video Experimentación – – Utilización de GMM + Filtro de Kalman – Videos de la Secretaría

3er Seminario Internacional de Tráfico y Transporte Julio 28 y 29 de 2016 - Medellín - Colombia 16

Método de Detección y Seguimiento

• Cámaras= Proyección de la realidad en un espacio:∈ × ×Donde

= imagen en cámara j

k= Instante discretizado= …… . – Ver siguiente página= …… . �á

RGB



17

∈ × ×∈ × ×

∈ × × ∈ × ×∈ �× �×

= | ∈



18

Entonces tendremos que

Podremos identificar el objeto en la imagen tomada

= | ∈= , , � = � �Iluminación, Condiciones climáticas� = � �

Orientación, óptica de la cámara== | ∈



19

En realidad los objetos tienen coherencia temporal pseudodeterminística, quiere decir esto que los objetos: = ,En un escenario discretizado sería + = , Donde: : ℤ+ → ℛ es una secuencia y= para ℎ ≤ < + ℎ , = , , … .

pseudoaleatorio (Desconocido) Decisiones de conductores

Inercia



20

En realidad los objetos tienen coherencia temporal pseudodeterminística, quiere decir esto que los objetos: = ,En un escenario discretizado sería + = , Donde: : ℤ+ → ℛ es una secuencia y= para ℎ ≤ < + ℎ , = , , … .

pseudoaleatorio (Desconocido) Decisiones de conductores

Inercia



21

¿Cómo a través de las imágenes puedo inferir los objetos ?

¿Como puedo inferior la posición futura de los objetos + ó los + ?Se deberá entonces validar la Hipótesis + | ó + |Generando una hipótesis de los que debería ser la imagen de los objetos en las cámaras: + | ó + |

Cuando NO tenemos conexidad en las cámaras



22

Cam 1

Cam 2

Cam M

Nuevas Imágenes

SegmentaciónAgrupamientoClasificación

Básica

Cam 1Candidatos a objetos

De M Cámaras y N

Objetos

Objetos Estimados

Nuevos Candidatos a objetos

De M Cámaras y N

ObjetosCreación de

zonas de entrada

,,Cam 2

……

Cam M

�, |

Fusióny

Re-Clasificación

EstadoFuturo

de objetos estimados

PredicciónPor Inercia

+ | + | = � ,

Objetos Predichos

en las imágenesProyección de

los objetos predicho en las cámaras

+ = + | , + | , � + |

+

�,

Corrección

+ | +

+ |



23

Cam 1

Cam 2

Cam M

Nuevas Imágenes

SegmentaciónAgrupamientoClasificación

Básica

Cam 1Candidatos a objetos

De M Cámaras y N

Objetos

Objetos Estimados

Nuevos Candidatos a objetos

De M Cámaras y N

ObjetosCreación de

zonas de entrada

,,Cam 2

……

Cam M

�, |

Fusióny

Re-Clasificación

EstadoFuturo

de objetos estimados


+ | + | = � ,

Objetos Predichos

en las imágenesProyección de

los objetos predicho en las cámaras

+ = + | , + | , � + |

+

�,

Corrección

+ | +

+ |SegmentaciónAgrupamientoClasificación

Básica

Fusióny

Re-Clasificación


Proyección de los objetos

predicho en las cámaras

Corrección

Información Espacial y del Entorno

�,


Calibración de Cámaras

24

Determinar los parámetros Intrinsecos y Extrinsecos de la cámara…a t a és de p i iti as des itas e es e a ios de t áfi o u a o

Using geometric primitives to calibrate traffic scenes

(Masoud & Papanikolopoulos, 2007) [8]

= � |ParámetrosIntrinsecos

� = − ��



25

Aplicación – Uso de Patrón Secuencia de Imágenes y Ubicación de puntos de control



26

Aplicación – Uso de Patrón Midiendo las Monedas

Para medir la primera moneda convertimos las esquinas superior derecha e izquierda del bounding box en las coordenadas del mundo real. Luego calculamos la distancia euclídea entre ellos en milímetros. Se debe tener en cuenta que el diámetro real de una moneda de $200 colombiana es de 25 mm

>> Camera_calibration

Diámetro medido de

una de las monedas =

28.00 mm

Diámetro medido de la

otra moneda = 26.70

mm


Aplicación – Carril vial a escala


27

Imagen capturada en espacio controlado

Se definen coordenadas reales X,Y,Z.

Para asegurar el rango completo de la Matriz , se debe optar por máximo 3 puntos coplanares.

Para su tratamiento son las coordenadas son convertidas al sistema homogéneo


Ubicación de la Cámara

PQ1=PuntoRef1-PuntoRef11;

PQ2=PuntoRef22-PuntoRef2;

Ac=[PQ2(1) -PQ1(1);PQ2(2) -

PQ1(2);PQ2(3) -PQ1(3);]

bc=[PuntoRef11(1)-

PuntoRef2(1);PuntoRef11(2)-

PuntoRef2(2);PuntoRef11(3)-

PuntoRef2(3)]

PCamara=[PuntoRef2+PQ2.*ST(1)]

PCamara =

312.3584

845.4626

406.5877

1.0000


28



29

Cálculo de los restantes parámetros de traslación y rotación

r11 = -0.984308682818791

r12 = 0.0837554814663234

r13 = -0.155310773135286

r21 = -0.126975429548508

r22 = -0.507556000757743

r23 = 0.852211327304313

Tx = 299.792373454259

Ty = 848.282780990152

Tz = 408.164988287159



30

Ángulos de RotaciónZ

X

Y

U

V

Centro ópticoCh1,Ch2,Ch3

Plano de la Imagen

(X,Y,Z)

f

(Uo,Vo)

(u,v)

Ty

Tx

R = -0.984308682818791 0.0837554814663234 -0.155310773135286

-0.126975429548508 -0.50755600075 0.852211327304313

0.00746083389905795 -0.859629935391832 -0.510862711631771

alfa_deg_yaw(derrape) = -172.649460990937

beta_deg_pitch(cabeceo) = -48.27478259988041

gamma_deg_roll(balance) = -40.722259316045



31

Aplicación – Vial realImagen capturada en espacio Real (Avda. las Vegas)



32

Aplicación – Vial realCalculo de una región

Longitud medida de

una de las líneas =

268.87 cm

Ancho medida de una

de las líneas =

41.63 cm

Media Real = 269 .00 cm

X 41.00 cm

Mse=0.2069


Detección de VehículosConteo de vehículos - Resultados

33

Video Experimentación – Utilización de GMM (Ajustado) Video Experimentación – Utilización de GMM (testBackgroundSubtractorJEEO.m)


Self-adaptive Gaussian mixture model for urban traffic monitoring system (Z. Chen and T. Ellis, 2011) [5]

Self-Adaptive Gaussian Mixture Model for Urban Traffic Monitoring System

34

• SAGMM : Se implementa una tasa de aprendizaje dinámica en línea y un mecanismo de adaptación del fondo de acuerdo a cambios súbitos en iluminación.

• Basado en Zivkovic-Heijden Gaussian mixture model (ZHGMM)[6] que permite seleccionar adaptativamente el numerode Gaussianas, para modelar cada pixel en linea.

• Modelo global de cambio de la iluminación:

• Algoritmo:• Datos de actualización

• Selección de Gaussians por Background

• Background



35

Remoción de Sombras

• Las caracterísiticas usadas para la detección de sombras son extraidas de los dominios: Espectral, Espacial y Temporal.

• Basado en el trabajo de Horprasert y Harwood, -1999 – Trabajando en el espacio RGB. Se actualize esta propuestaincluyendo MofQ factor g.

• Distorsion de Brillo y Distorsion Cromática

• Determinación del Pixel:




36


SAGMM – Aplicado a escenario las Vegas SAGMM – Aplicado a Segmento Zenu


SAGMM – Como mejorar los resultados?

37

Hough Transformation

HOUGH, P. V. C. Method and means for recognizing complex patterns. U. S. Patent 3, 069 654,

December 18 , 1962.



38




39




40

EstimaciónPunto de Fuga



41

EstimaciónPunto de Fuga

, ,

, ,

= −− ,− = − ),= − + ,



42

• De esta Manera la Búsqueda se restringirá a los objetos detectados dentro de los carriles de tráfico.

• “e o te d á ejo es tie po de espuesta… Tie po eal??• Se están desarrollando pruebas para demostrar estos resultados.


Conclusiones

• Los sistemas de detección en entornos urbanos son proclives a varios tipos de factores que afectan sus desempeño (oclusiones, sombras, congestiones, etc.)

• Los desarrollos hasta ahora obtenidos muestran que se puede mejorar los resultados aportando desde el punto de vista de modelado 3D y representación del entorno.

• El trabajo realizado muestra prometedores resultados aplicables a la detección en entornos urbanos con tráfico congestionado. (Caso Medellín)

43


Gracias !!!© Man Bouncing Question Mark Towards Doctor - Artist: Art Glazer

44

http://www.illustrationsource.com/stock/artist/art-glazer/

• [1] G. E. Moore, Cramming more components onto integrated circuits. McGraw-Hill, 1965.• [2] A. Yilmaz, O. Javed, a d M. “hah, O je t t a ki g: A su e , ACM Comput Surv, vol. 38,

no. 4, Dec. 2006.

• [3] “. J. Di ki so , O je t ep ese tatio a d e og itio , What Cogn. Sci., vol. 7, pp. 172–207, 1999.

• [4] L. M. Fuentes and S. A. Velastin, Ad a ed “u eilla e: F o T a ki g To E e t Dete tio , Lat. Am. Trans. IEEE Rev. IEEE Am. Lat., vol. 2, no. 3, pp. 206–211, 2004.

• [5] W. Hu, T. Tan, L. Wang, and S. Maybank, A su e o isual su eilla e of o je t otio a d eha io s, IEEE Trans. Syst. Man Cybern. Part C Appl. Rev., vol. 34, no. 3, pp. 334–352, 2004.

• [6] M. Barnard and J. Odobez, “po ts E e t Re og itio Usi g La e ed HMM“, i IEEE International Conference on Multimedia and Expo, 2005. ICME 2005, 2005, pp. 1150–1153.

• [7] N. Buch, “. A. Velasti , a d J. O ell, A Re ie of Co pute Visio Te h i ues fo the A al sis of U a T affi , IEEE Trans. Intell. Transp. Syst., vol. 12, no. 3, pp. 920–939, Sep. 2011.

Referencias

• [8] O. Masoud and N. P. Papanikolopoulos, Usi g geo et i p i iti es to ali ate t affi s e es, Transp. Res. Part C Emerg. Technol., vol. 15, no. 6, pp. 361–379, 2007.

• [9] N. Cornelis, B. Leibe, K. Cornelis, and L. Van Gool, d u a s e e odeli g i teg ati g e og itio a d e o st u tio , Int. J. Comput. Vis., vol. 78, no. 2–3, pp. 121–141, 2008.

• [10] K. Pa k, D. Lee, a d Y. Pa k, Video-based detection of street-pa ki g iolatio ., i IPCV, 2007, pp. 152–156.

• [11] B. Mo is a d M. T i edi, Ro ust lassifi atio a d t a ki g of ehi les i t affi ideo st ea s, in IEEE I tellige t Tra sportatio Syste s Co fere ce, 2006. ITSC ’06, 2006, pp. 1078–1083.

• [12] K. Muller, A. Smolic, M. Drose, P. Voigt, and T. Wiegand, -D reconstruction of a dynamic e i o e t ith a full ali ated a kg ou d fo t affi s e es, IEEE Trans. Circuits Syst. Video Technol., vol. 15, no. 4, pp. 538–549, Apr. 2005.

• [13] N. Buch, J. O ell, a d “. A. Velasti , d e te ded histog a of o ie ted g adie ts dhog fo lassifi atio of oad use s i u a s e es, 009.

• [14] S. Messelodi, C. M. Modena, and M. Zanin, A o pute isio s ste fo the dete tio a d lassifi atio of ehi les at u a oad i te se tio s, Pattern Anal. Appl., vol. 8, no. 1–2, pp. 17–31,

2005.

Referencias (Cont.)

• [15] X. Che a d C. )ha g, Vehi le lassifi atio f o t affi su eilla e ideos at a fi e g a ula it , i Advances in Multimedia Modeling, Springer, 2006, pp. 772–781.

• [16] J. Lou, T. Tan, W. Hu, H. Yang, and S. J. Maybank, -D model- ased ehi le t a ki g, IEEE Trans. Image Process., vol. 14, no. 10, pp. 1561–1569, Oct. 2005.

• [17] X. Song and R. Nevatia, Dete tio a d T a ki g of Mo i g Vehi les i C o ded “ e es, i IEEE Wo kshop o Motio a d Video Co puti g, 007. WMVC ’07, 007, pp. –4.

• [18] Y. Guo, C. Rao, S. Samarasekera, J. Kim, R. Kumar, and H. Sawhney, Mat hi g ehi les u de la ge pose t a sfo atio s usi g app o i ate D odels a d pie e ise MRF odel, i IEEE Conference on Computer Vision and Pattern Recognition, 2008. CVPR 2008, 2008, pp. 1–8.

• [19] Ali Ghodsi, Dimensionality Reduction A Short Tutorial. Department of Statistics and Actuarial Science University of Waterloo, Waterloo, Ontario, Canada, 2006

• [ 0] Imagery Library for Intelligent Detection Systems - Detailed guidance - GOV.UK. [O li e]. Available: https://www.gov.uk/imagery-library-for-intelligent-detection-systems. [Accessed: 02-Dec-2014].

• [21] I age Li a fo I tellige t Dete tio “ ste s - Detailed guidance - GOV.UK. [O li e]. Available: https://www.gov.uk/imagery-library-for-intelligent-detection-systems. [Accessed: 02-Dec-2014].

Referencias (Cont.)


AgradecimientosEste trabajo ha sido parcialmente apoyado por el Proyecto ColcienciasFP44842-202-2015: Modelamiento y Control de tráfico urbano en la ciudad de Medellín Fase 2. Convocatoria 669.

/moycot @gaunalmed www.moycot.org

48

presentación de powerpointgaunal.medellin.unal.edu.co/moycot/wp-content/uploads/... · 2016. 7....

Documents