uam azcapotzalco - conceptos relacionados con...
TRANSCRIPT
Conceptos Relacionados
con Agentes Reactivos
Ana Lilia Laureano-Cruces
Universidad Autónoma
Metropolitana-Azcapotzalco
ConcepRelAgReac : Ana Laureano /
UAM-A
2
¿Qué es un agente?
• Es algo que puede percibir su entorno a
través de sensores y actuar en este
entrono a través de sus actuadores.
Agente
Entornof
ConcepRelAgReac : Ana Laureano /
UAM-A
3
Carácterísticas …
• Si fuera posible especificar: la acción para cada posible secuencia de percepciones, diríamos que más o menos eso es un agente.
• Matemáticamente hablando el comportamiento de un agente es una función que mapea cualquier percepción en una secuencia de acciones.
ConcepRelAgReac : Ana Laureano /
UAM-A
4
Carácterísticas …
• El concepto de emergencia …
• Podríamos tratar de seguir toda la
secuencia de acciones que producen
las percepciones en un determinado
agente, esta sería infinita, a menos que
colocáramos límites en los rangos de
los parámetros percibidos.
ConcepRelAgReac : Ana Laureano /
UAM-A
5
Ejemplo …
A B
ConcepRelAgReac : Ana Laureano /
UAM-A
6
Secuencia de
Percepciones
A, limpio
B, limpio
A, limpio; A, limpio
Secuencia de Acciones
MOVDer
MOVIzq
MOVDer
A, limpio; A, sucio…
A, limpio; A, limpio, A,
limpio
A, limpio; A, limpio, A,
sucio
LIMPIAR…
MOVDer
LIMPIAR
Percepciones - Acciones …
ConcepRelAgReac : Ana Laureano /
UAM-A
7
Un buen comportamiento …
• Un buen agente es aquel que hace las cosas correctas …
• Pero, qué es lo correcto
• Se necesitan medidas de desempeño
• Con cada percepción, se genera una serie de estados
• Si esta es deseable, se dice que el agente se ha desenvuelto de forma correcta.
ConcepRelAgReac : Ana Laureano /
UAM-A
8
Un buen comportamiento …
• No se puede contar con criterios subjetivos.
• De aquí que se deba fijar una medida con base en el objetivo del agente para calificar su comportamiento.
• En el caso del agente del tamaguchi, se le pueden dar recompensas por tener el piso limpio. O un premio por haberlo hecho bien.
ConcepRelAgReac : Ana Laureano /
UAM-A
9
Un buen comportamiento …
• Una regla para el saber como medir el
buen comportamiento es …
• Diseñar las medidas de desempeño con
base en lo que se desea pase en el
entorno, más que lo que se desea haga
el agente.
ConcepRelAgReac : Ana Laureano /
UAM-A
10
Un buen comportamiento …
• En el ejemplo del piso limpio, se basa
en las menos limpiezas al día…
• este trabajo podría ser realizado por
dos agentes:
Mediocre que limpie mas menos bien.
Excelente que limpie muy bien pero tarde
más en aparecer.
ConcepRelAgReac : Ana Laureano /
UAM-A
11
Racionalidad …
• Esta depende de 4 cosas:
La medida de desarrollo que define el
criterio de éxito.
El conocimiento que el agente tiene del
entrono.
Las acciones que el agente puede
desarrollar.
La secuencia de percepciones en curso
(temporales).
ConcepRelAgReac : Ana Laureano /
UAM-A
12
Definición de Racionalidad …
• Para cada posible secuencia de
percepciones, un agente racional
debería seleccionar una acción que se
espera maximize el desempeño de su
tarea, dada la evidencia que proviene
de la secuencia de los perceptores y tal
vez construir conocimiento a partir de
ello.
ConcepRelAgReac : Ana Laureano /
UAM-A
13
Omnimicencia, aprendizaje y
autonomía …
• Ser omnimicente significa, tener un conocimiento total de todo lo que afecta mis acciones y actuar en consecuencia; en realidad esta propiedad es casi imposible…
• (Champs Elysées, 33,000 ft. Boing 747,Jumbo. New York Times, 1989)
• Racionalidad ≠ perfección
• Ser racionalidad implica que se potencia el desempeño esperado, mientras que la perfección maximiza el desempeño actual.
ConcepRelAgReac : Ana Laureano /
UAM-A
14
• Sin embargo existe algo que se llama
‘ayuda’. Esto se refiere a que pueden
existir otros agentes percibiendo y ellos
tienen información que puede
ayudarnos a potenciar nuestras
acciones.
ConcepRelAgReac : Ana Laureano /
UAM-A
15
Aprendizaje …
• Aprender lo más posible de lo que percibe
• En una configuración inicial en el conocimiento del agente se representa la experticia en el domino
• Pero posteriormente se puede agregar aprendizaje maquinal
• El aprendizaje implica modificar y aumentar la base de conocimiento.
ConcepRelAgReac : Ana Laureano /
UAM-A
16
El diseño de agentes que
aprenden se divide en…
• El diseño de este tipo de agentes puede ser dividido en 3 fases:
Cuando de primera vez el diseñador le coloca la experticia.
Cuando considera la experiencia pasada, y delibera cual puede ser la mejor acción.
Y cuando aprende de la experiencia (como el robot de los increíbles); decide como debe modificar su base de conocimiento.
ConcepRelAgReac : Ana Laureano /
UAM-A
17
Autonomía …
• Un agente es autónomo cuando es
capaz de modificar el entorno, para
alcanzar sus propios objetivos.
• Si existe una relación entre un agente
autónomo y otro no autónomo,
entonces hablamos de un sistema
MultiAgente.
ConcepRelAgReac : Ana Laureano /
UAM-A
18
Propiedades de los entornos …
• Totalmente Vs. Parcialmente: observables:
Si los perceptores son capaces de captar todos
los aspectos relevantes, para la elección de la
acción,entonces contamos con el primer tipo. Este
tipo es deseable debido a que el agente no
necesita un estado interno, para mantenerse
conectado al mundo.
El segundo tipo se puede dar debido a ruido en la
entrada de los datos o incertidumbre. Este tipo de
agentes necesita un tratamiento especial de la
información que considere este aspecto.
ConcepRelAgReac : Ana Laureano /
UAM-A
19
Determinístico Vs. Estocastico …
• Cuando tanto el estado del entrono como la acción ejecutada son completamente determinadas; se dice que pertenecen a un entorno determinístico.
• Cuando el entorno es parcialmente observado, entonces existe incertidumbre y este se vuelve estocástico.
ConcepRelAgReac : Ana Laureano /
UAM-A
20
Determinístico Vs. Estocastico …
• En el caso de un taxista el entrono es
estocástico. En el caso de mundo tamguchi el
mundo es determinístico, pero las
variaciones en él pueden incluir elementos
estocásticos (aparición de basura o que se
descomponga la aspiradora).
• Si el entorno es determinístico, a excepción
de las acciones de otros agentes entonces se
dice que el entrono es estratégico.
ConcepRelAgReac : Ana Laureano /
UAM-A
21
Episodios Vs. Secuecial …
• En un entorno de tipo episodio, la experiencia del agente es dividida en episodios atómicos. Cada episodio consiste en una vista parcial del entorno y sus correspondientes acciones. En este caso las acciones dependen sólo del estado en curso del entorno, no de lo que haya pasado previamente. Muchas tareas en el mundo real son de este tipo. Por ejemplo un agente que detecta defectos en una línea de ensamble; basa su decisión sólo en la pieza que revisa.
ConcepRelAgReac : Ana Laureano /
UAM-A
22
Episodios Vs. Secuecial …
• En el caso de un entorno secuencial la decisión en curso puede afectar decisiones futuras. Como ejemplos podemos tener los entornos de un taxista y de un juego de ajedrez.
• En el caso de los entornos por episodios estos son más simples, debido a que los agentes no tienen que pensar por adelantado.
ConcepRelAgReac : Ana Laureano /
UAM-A
23
Statico Vs. Dinámico …
• Si el estado del entorno puede cambiar cuando éste está deliberando entonces se dice que el entrono es dinámico; de otra forma es estático.
• Los entornos estáticos son fáciles ya que el agente no tiene que estar incorporado (embodiment) y ubicado (situatedness) mientras decide la acción, (el juego de palabras cruzadas).
ConcepRelAgReac : Ana Laureano /
UAM-A
24
Estático Vs. Dinámico …
• En los entornos dinámicos por otro lado el
agente no puede estar sin enterarse de lo
que pasa en el mundo. Aquí de lo que se
trata es de cerrar el tiempo del ciclo que pasa
entre la percepción y la acción, (el entorno
del taxista).
• Cuando el entorno no cambia con el paso del
tiempo, pero las acciones del agente si
entonces se dice que el entorno es semi-
dinámico (juego de ajedrez con reloj).
ConcepRelAgReac : Ana Laureano /
UAM-A
25
Discreto vs. Continuo …
• Este concepto depende de la forma en
que el tiempo es manejado con
respecto al estado del entorno.
• Por ejemplo un entorno de estado-
discreto es el juego de ajedrez que
tiene un conjunto de estados finito. Así
mismo son discretas sus percepciones
y acciones.
ConcepRelAgReac : Ana Laureano /
UAM-A
26
Discreto vs. Continuo …
• En el caso del ejemplo del taxista el estado del entorno es continuo y continuo el problema del tiempo. La localización y la velocidad del taxi, así como la velocidad de los otros vehículos se representan por una serie de valores continuos en el tiempo.
• Sus acciones también son continuas, (giros, frenado, acelerar).
ConcepRelAgReac : Ana Laureano /
UAM-A
27
Agentes con aprendizaje …
• Turing (1950) donde se considera la
idea de construir máquinas inteligentes.
• El método que el propone es construir
maquinas que aprendan y
posteriormente enseñen.
• En muchas áreas de IA este es un
método utilizado para crear sistemas de
estado de arte.
ConcepRelAgReac : Ana Laureano /
UAM-A
28
Agentes con aprendizaje …
• El aprendizaje tiene la ventaja de
permitir operar a los agentes en
entornos inicialmente desconocidos y
volverse competentes conforme pasa el
tiempo a partir de su conocimiento
inicial.
ConcepRelAgReac : Ana Laureano /
UAM-A
29
Agentes con aprendizaje …
• Un agente con aprendizaje puede ser
dividido en cuatro componentes
conceptuales:
Un elemento de aprendizaje: responsable
de desarrollar mejoras.
Un elemento de desempeño: responsable
de seleccionar las acciones externas con
base en las percepciones.
ConcepRelAgReac : Ana Laureano /
UAM-A
30
Agentes con aprendizaje …
• El elemento de aprendizaje utiliza una
retroalimentación de la crítica que
recibe la actuación del agente y con
base en esto determina como debe el
elemento de desarrollo ser modificado
con el fin de hacerlo mejor en un futuro.
ConcepRelAgReac : Ana Laureano /
UAM-A
31
Agentes con aprendizaje …
• El último componente es el generador de
problemas:
Este es responsable de sugerir acciones que le
conduzcan a experiencias con nueva información.
El punto es el siguiente: mientras el elemento de
desempeño desarrolla las acciones de acuerdo a
su mejor punto de vista. El agente explora otras
acciones que a lo mejor no son buenas en corto
plazo, pero si en largo plazo. Galileo lo que hacía
era tratar de modificar su cerebro para identificar
mejor sus teorías.