uimp: sistemas multiagente para la gestion de camaras
DESCRIPTION
Uso de los sistemas multiagente para la construcción de redes de cámaras inteligentes (smart cameras) que integran capacidades de visión artificial, razonamiento espacial y temporal y capaces de cooperar en tareas de detección, identificación y seguimiento de objetos. Estas cámaras forman lo que se llama una red de sensores visualesTRANSCRIPT
03/07/2008
1
Miguel Angel Patriciompatrici@inf uc3m [email protected]
http://www.giaa.inf.uc3m.es
El contexto: “Inteligencia ambiental”.Motivación: Evolución en los sistemas de ot ac ó o uc ó e os s ste as demonitorizaciónRedes de sensores visuales (Visual Sensor network):◦ Gestión de sensores. Sistemas Multiagente.◦ Capacidad de razonamiento.
UIMP. Julio 2008
03/07/2008
2
Concepto que redefine la experienciainteractiva entre el hombre y las
ámáquinas.
Integración del mundo digital con el mundo físico de los objetos
Los objetos y el entorno observan las
UIMP. Julio 2008
Los objetos y el entorno observan las acciones del usuario y le presentan la información y servicios que necesita.
Comportamiento de un usuario.
Anticiparse a las intenciones.
Información relevante.
Interfaces proactivos sin ser “pesados/odiosos”
UIMP. Julio 2008
Integrar de forma natural.
03/07/2008
3
Ejemplo de concepto: “Entornos inteligentes”◦ La casa aprende patrones de
comportamiento de sus habitantes con el objeto de optimizar el uso de la energía.◦ La casa aprende que los
Sábados sueles levantarte más tarde
UIMP. Julio 2008
tarde.◦ La casa adapta las preferencias
de cada uno de sus habitantes.
AmI http://awarehome.imtc.gatech.edu/
Inteligencia distribuida
Reconocimiento
Interfaces de usuario
“Smart floor”
Inteligencia perceptual
Cámaras, óf
Modelo de comunicaciones
Internas,
UIMP. Julio 2008
de actividades “Smart Shirt” micrófonos externas
03/07/2008
4
“La clave de la inteligencia perceptual es hacer a las máquinas conscientes de sumáquinas conscientes de su entorno […] La meta no es hacer ordenadores que sean ubicuos y relacionados en red […] sino que trabajamos para hacer sistemas con capacidades perceptuales “Inanimate things are
UIMP. Julio 2008
p p pfiables y capaces de aprender respuestas simples.”
Pentland, A. 2000. “Perceptual user interfaces: perceptual intelligence”. Commun. ACM 43, 3 (Mar. 2000), 35-44.
Inanimate things are coming to life”.
Agente Software: "Un agente es un sistema informático situado en un entorno del cual percibe y que es capaz de realizar acciones de forma autónoma para conseguir susrealizar acciones de forma autónoma para conseguir sus objetivos de diseño". Es decir: percibe, decide y actúa.
Wooldridge, M. “Agent Based Software Engineering”. IEEE Proc. on Software Engineering, 144 (1), 26-37, 1997.
UIMP. Julio 2008
03/07/2008
5
Definición (Carlo S. Regazzoni): ◦ Por sistema de monitorización podemos entender
como el conjunto de herramientas tecnológicas que facilitan a un operador humano las labores de monitorización.
UIMP. Julio 2008
Con la tecnología actual es "barato" desplegar cámaras de video-vigilancia.Mantenimiento por parte de operadoresMantenimiento por parte de operadores humanos:◦ Es costoso.◦ Limitado:
Un operador humano es capaz de mantener la atención hasta en 4 monitores a la vez.La atención con garantías por un humano no supera los
UIMP. Julio 2008
La atención con garantías por un humano no supera los 20 minutos de continuidad.
03/07/2008
6
En transporte: ◦ Aeropuertos, fronteras, ferrocarriles,
metropolitanos, y autopistas.En lugares públicos:◦ Bancos, supermercados, hogares,
almacenes, parkings, etc. Otros:◦ Turismo fines militares
UIMP. Julio 2008
Turismo, fines militares, …
Monitorización de vehículos: ◦ Detección de atascos, maniobras peligrosas, …gAnálisis de comportamientos durante un largo periodo de tiempo:◦ Ej: Anotar trayectorias más utilizadas para proponer
cambios de infraestructurasReconocer patrones de actividad de personas o vehículos
UIMP. Julio 2008
o vehículos.Análisis de actividades deportivas (entrenadores, cazatalentos,…).
03/07/2008
7
Cámaras analógicas de circuito cerrado de televisión (CCTV) junto con grabadoras de vídeo analógicas.Monitorizadas completamente por operadores humanos.
UIMP. Julio 2008
MultiplexadorMonitor Analógico Vídeo grabadoranalógico
(Fuente: Axis)
Switchs
UIMP. Julio 2008
Nivelsensorial
NivelProceso local
Nivelde red
AlmacenamientoNivel
de operador
03/07/2008
8
La información visual (imágenes) es transmitida continuamente, a través de un circuito cerrado de televisión (CCTV) analógico.La información visual (imágenes) es presentada a los operadores a través de l itlos monitores.La información visual (imágenes) es procesada exclusivamente por un operador humano.El operador humano gestiona las grabaciones de las imágenes en un grabador analógico.La gran mayoría de estos sistemas se centran en la vigilancia de interioresde los edificios.
PROS CONTRAS
UIMP. Julio 2008
• Bajo coste.• Facilidad de uso.
• Alta probabilidad de pérdida en la detección de eventos, debido a la atención humana.• La transmisión analógica limita su utilización sólo para interiores.
Se van sustituyendo elementos analógicos por digitales.Detección automática de eventos basada en la detección del movimento.
TCP/IP
Multiplexador
Alarma E/S Monitor
UIMP. Julio 2008
Cámaras
DVR
(Fuente: Axis)
(Fuente: Mobotix)
03/07/2008
9
IEEE 802.11 HUBWAN/LAN
Cable modem
VDSL modem
WAN/LAN
¡Alarma!
UIMP. Julio 2008
Nivelsensorial
NivelProceso local
Nivelde red
Nivelde operador
La información visual (imágenes) es transmitida desde el área a vigilar a un centro de control remoto:
M di t i t ló i ◦ Mediante sistemas analógicos; o◦ Formato digital mediante redes cableadas y/o inalámbricas.La información es procesada en el centro de control remoto (filtrado, reconocimiento y clasificación).Se utilizan sencillos métodos de indexación temporal.
• Primeros resultados de PROS
• Necesidad ancho de banda por CONTRAS
UIMP. Julio 2008
análisis: detección de movimiento .• Herramientas HW/SW de procesamiento de imágenes a bajo coste.
el aumento de cámaras que utilizan el mismo medio de acceso.• Proceso centralizado.
03/07/2008
10
Solución digital: cámaras, vídeo-grabadores.Cooperación multicámara.pAlgoritmos de más alto nivel: seguimiento, análisis de comportamiento, gestión de eventos, etc.
UIMP. Julio 2008
(Fuente: MIT CSAIL)
IEEE 802.11 HUBWAN/LAN
¡Alarma!
Cable modem
VDSL modem
¡Alarma!
UIMP. Julio 2008
Nivelsensorial
NivelProceso local
Nivelde red
Nivelde operador
Procesamientoimágenes
03/07/2008
11
Motivación:◦ Sistema de monitorización donde cada cámara obtiene
información dentro de su campo de visión (FoV)información dentro de su campo de visión (FoV).◦ El objetivo es cubrir un amplio lugar geográfico con un
solo sistema.◦ Es posible que existan cientos de cámaras que
colaboren de forma conjunta en la vigilancia.◦ Dificultad de monitorizar y procesar en tiempo real por
un operador una cantidad tan grande de información
UIMP. Julio 2008
visual.
M. A. Patricio, J. Carbó, O. Pérez, J. García, and J. M. Molina, “Multi-Agent Framework in Visual Sensor Networks,” EURASIP Journal onAdvances in Signal Processing, vol. 2007
Ventajas:◦ Una mayor cobertura geográfica.
Red ndancia ante fallos◦ Redundancia ante fallos.◦ Robustez en la información. Disminución de la
incertidumbre.
UIMP. Julio 2008
03/07/2008
12
Problema I "gestión de sensores visuales":◦ Problemas relacionados con:
Alineamiento temporal. SistemaSistemaAlineamiento temporal.Alineamiento espacial.Coordinación de actividades.…
◦ Arquitectura: ¿centralizada / distribuida?
Sistema multi-agente
Sistema multi-agente
UIMP. Julio 2008
Problema II "aumentar capacidad interpretativa": ◦ Sensorial: Incorporación nuevos sensores (rayos-x, omni-
cámaras infrarrojos ) cámaras, infrarrojos, …) ◦ Representación multi-modal (color, texturas, …)◦ Capacidad de razonamiento (ej. Contexto)
UIMP. Julio 2008
03/07/2008
13
Entorno no determinista: En cada instante de tiempo existen varias formas posibles en las cuales el entorno que percibe un agente puede evolucionar.entorno que percibe un agente puede evolucionar.Sistema no determinista: En cada instante de tiempo existen varias acciones que el sistema puede realizar.Una sola acción de percepción no es suficiente para determinar el estado del entorno de forma completa.En cada instante de tiempo potencialmente existen di ti t bj ti li
UIMP. Julio 2008
distintos objetivos a realizar.Las mejores acciones para conseguir los objetivos dependen del estado del entorno (contexto) y son independientes del estado interno del sistema.
UIMP. Julio 2008
03/07/2008
14
El modelo o arquitectura BDI (Belief-Desire-Intentions) de agentes utiliza nociones mentales como: Deseos Creencias e intencionescomo: Deseos, Creencias e intenciones.Cada agente BDI posee:◦ Creencias: Acerca de si mismo y de su entorno.◦ Deseos: Son los estados que quiere alcanzar en cada
momento.◦ Intenciones (Planes): Son los planes que se adoptan en cada
instante para alcanzar los deseos.
UIMP. Julio 2008
M.E. Bratman. “Intentions, Plans and Practical Reasoning.” Harvard University Press, Cambridge, Massachusetts, 1987.
Deseos
<goals>
<achievegoal name="surveillance">
<parameter name="object" class="Target" direction="in">
Creencias
<beliefs>
<beliefset name="owncapabilities" class="Capability">
<fact>new Capability ("Tracking");
Intenciones
<plan name="MakeCoalition">
<parameter name="agent" class="Agent"/>
<parameter name="target" l "T t"/>
g
</achievegoal>
</goals>
p y ( g );</fact>
<fact>new Capability ("Recognition"); </fact>
</beliefset>
<beliefset name="environment" class="Target">
<fact>new Target ("ID001"); </fact>
</beliefset>
<beliefset name="neigborhood" class="Neighbor">
UIMP. Julio 2008
class="Target"/>
<parameter name="capability" class="Capability"/>
<body>new MakeCoalitionPlan () </body>
</plan>
g
<fact>new Neighbor("aid001", "Tracking");</fact>
<fact>new Neighbor("aid002", "Recording", area_j);</fact>
</beliefset>
</beliefs>
03/07/2008
15
Problemas:• Alineamiento temporal• Alineamiento espacial (calibración)
UIMP. Julio 2008
Detecciones de los tres agentes
Agente1Agente1
Agente2
UIMP. Julio 2008
Agente3
03/07/2008
16
Seguimiento de los tres agentes
Agente1Agente1
Agente2
UIMP. Julio 2008
Agente3
El problema del aliniamiento espacio-temporal
UIMP. Julio 2008
03/07/2008
17
Agente 2Agente 1
ImágenesImágenes
Red LOCALIZACIÓNDETECCIONDE ROSTRO
RedRed
UIMP. Julio 2008
Agente 3Imágenes RECONOCIMIENTO
La utilización de diferentes tecnologías nos presenta el reto de la fusión de sensores hetereogeneos.
Cam: Vídeo cámaraBS: Punto de acceso WIFI
• Las cámaras calibradas dan la posición.• Mediante triangulación identificamos el
UIMP. Julio 2008
identificamos el individuo.
03/07/2008
18
Maleta/Equipaje abandonado.
UIMP. Julio 2008
Seguimiento de objetos de interés.
UIMP. Julio 2008
03/07/2008
19
Abandono de paquetes.
UIMP. Julio 2008
Identificación/verificación de personas.
UIMP. Julio 2008
03/07/2008
20
Análisis de ocupación.
UIMP. Julio 2008
Aparcar en áreas no permitidas.
UIMP. Julio 2008
03/07/2008
21
Definición de bordes/líneas de seguridad.
UIMP. Julio 2008
Detección de graffitis y carteles.
UIMP. Julio 2008
03/07/2008
22
La incorporación de otros sensores específicos aumenta la id d d l i t ticapacidad del sistema perceptivo.
UIMP. Julio 2008
Infrarrojos omnicamaras
Rayos X
Objetivos: ◦ Aumentar la capacidad semántica en el análisis de imágenes.◦ Permitir el análisis de escenas complejas.◦ Diferentes niveles de abstracción aumentan la capacidad de
proceso de información.
situacionesInformación procesada por unidad de tiempo y espacio
UIMP. Julio 20081995 2000 2005 2010 2020
señal
características
eventos
03/07/2008
23
Otros modelos no basados en la lógica matemática.
Ejemplo: Viola-Jones
UIMP. Julio 2008
Paul Viola and Michael J. Jones, “Rapid Object Detection Using a Boosted Cascade of Simple Features”, IEEE CVPR, 2001
Característcas básica.
UIMP. Julio 2008
03/07/2008
24
UIMP. Julio 2008
Mejores prestaciones, pero ti lno tiempo real.
UIMP. Julio 2008
03/07/2008
25
Incluyendo información de contexto.
UIMP. Julio 2008
UIMP. Julio 2008
03/07/2008
26
Información de contexto
UIMP. Julio 2008
UIMP. Julio 2008
03/07/2008
27
UIMP. Julio 2008
¡MUCHAS [email protected]
Grupo de Inteligencia Artificial Aplicada
UIMP. Julio 2008