experiencias en robótica social. interacción, motivación y...

I I WorkshopWorkshop Español de Robótica, ROBOT 2007Español de Robótica, ROBOT 2007CEDI 2007CEDI 2007

Experiencias en robótica social. Experiencias en robótica social. Interacción, motivación y aprendizajeInteracción, motivación y aprendizaje

Eduardo Zalama Casanova Eduardo Zalama Casanova -- Universidad de ValladolidUniversidad de ValladolidSalvador Domínguez Quijada Salvador Domínguez Quijada -- Fundación CartifFundación CartifJaime Gómez García Bermejo Jaime Gómez García Bermejo -- Universidad de ValladolidUniversidad de Valladolid

Robótica social Robótica social Robot social:Robot social: Entidad fEntidad fíísica a la que se le ha dado sica a la que se le ha dado una apariencia compleja, dinuna apariencia compleja, dináámica, y un entorno mica, y un entorno social que le conduce hacia la consecucisocial que le conduce hacia la consecucióón de sus n de sus objetivos y a los de su comunidad.objetivos y a los de su comunidad.

ARISCO: (Android Robot Interface for Social Comunication and Operation)

Requisitos (segRequisitos (segúún n DauthenhahnDauthenhahn, 1999):, 1999):

Robótica social Robótica social

• Personificación. • Emoción• Diálogo• Personalidad• Percepción orientada a humanos• Modelado del entorno• Aprendizaje• Intencionalidad

Complejidad:Complejidad:Robótica social Robótica social

• Integración de técnicas de diferentes campos: electrónica, mecánica, comunicaciones, localización, navegación, etc.

• Estudio e integración de aspectos psicológicos, sociológicos y biológicos.

• Dificultad de implementar aspectos de inteligencia social y representación del conocimiento.

• Sistemas perceptivos poco robustos: Reconocimiento visual, reconocimiento de voz, etc.

Soluciones de implementaciSoluciones de implementacióón:n:Robótica social Robótica social

• Acotar el problema, reduciendo la funcionalidad en contextos definidos.

• Definir arquitectura escalable, incorporar nuevas funcionalidades e interfaces.

• Incorporar sistemas de aprendizaje como fórmula para evitar la programación explícita.

• Validación en entornos reales. Fuera del entorno del laboratorio.

Robótica social Robótica social MotivaciMotivacióón:n:Experiencia previa con Tito, el robot guía del Museo de la Ciencia de Valladolid

Expresividad y emoción. Expresividad y emoción. Estructura física de AriscoEstructura física de Arisco

Cara

Cuello

Plataforma “craneal”

Plataforma base

30cm 30cm

45cm

Expresividad y emoción. Expresividad y emoción. Movimientos del cuello de AriscoMovimientos del cuello de Arisco

Movimiento inclinaciMovimiento inclinacióón lateral de la cabezan lateral de la cabezaMotor 4Motor 4

Movimiento adelanteMovimiento adelante--atratráás de la cabezas de la cabezaMotor 3Motor 3

Movimiento arribaMovimiento arriba--debajo de la cabezadebajo de la cabezaMotor 2Motor 2

Movimiento de giro de la cabezaMovimiento de giro de la cabezaMotor 1Motor 1

FunciFuncióónnMotoresMotores

Total: 4 servo motores

Expresividad y emoción. Expresividad y emoción. Rasgos gestuales de AriscoRasgos gestuales de Arisco

Giro independiente de las comisuras para Giro independiente de las comisuras para simular el movimiento del msimular el movimiento del múúsculos sculos zigomzigomáático mayor de los humanostico mayor de los humanos

(2 servos) comisura de los (2 servos) comisura de los labioslabios

Apertura y cierre de la mandApertura y cierre de la mandííbula inferiorbula inferior(1 servo) apertura de (1 servo) apertura de mandmandííbulabula

Labios y bocaLabios y boca

Giro de las orejas de manera independiente Giro de las orejas de manera independiente estirestiráándolas hacia fuera o recogindolas hacia fuera o recogiééndolas ndolas

hacia la cabezahacia la cabeza

(2 servos) estiramiento de (2 servos) estiramiento de cada orejacada oreja

Giro o rotaciGiro o rotacióón de las orejas de manera n de las orejas de manera independiente echindependiente echáándolas hacia delante o ndolas hacia delante o

hacia atrhacia atrááss(2 servos) giro de cada oreja(2 servos) giro de cada oreja

OrejasOrejas

Giro del subconjunto pGiro del subconjunto páárpados, cejas y ojos rpados, cejas y ojos en el plano vertical del campo visual en el plano vertical del campo visual simulando el movimiento epicraneal simulando el movimiento epicraneal

humano.humano.

(1 servo) movimiento vertical (1 servo) movimiento vertical de la miradade la mirada

Giro simultGiro simultááneo de ambos ojos en el plano neo de ambos ojos en el plano horizontal del campo visualhorizontal del campo visual

(1 servo) movimiento (1 servo) movimiento horizontal de ojoshorizontal de ojos

Apertura y cierre de los pApertura y cierre de los páárpados de rpados de manera independientemanera independiente

(2 servos) 1 servo para cada (2 servos) 1 servo para cada ppáárpado superiorrpado superior

Movimiento de giro de las cejas de manera Movimiento de giro de las cejas de manera independienteindependiente

(2 servos) 1 servo para cada (2 servos) 1 servo para cada cejaceja

PPáárpados, rpados, cejas y ojoscejas y ojos

FunciFuncióónnServosServosZona de la Zona de la caracara

Total: 13 servo motores

Expresividad y emoción. Expresividad y emoción. Sistema de control de movimientos de AriscoSistema de control de movimientos de Arisco

Hardware

Controladora Motores 1

Controladora Motores 2

Controladora Servos

MCMot MCSer

MCSeg

RReeffeerreenncciiaass ddee sseegguuiimmiieennttoo

MCGes

EExxpprreessiioonneess eemmoocciioonnaalleess

Hardware

M M M M ServosCuello Cara

Control de movimientos

Control de GDL

InteracciInteraccióón, aprendizaje, estados de n, aprendizaje, estados de áánimonimoSorpresa

Felicidad

Tristeza

SomnolenciaLocura

Ira

Aversión

Miedo

Neutro

Robótica socialRobótica social

Sensores visuales, sonoros, proximidad, otrosSensores visuales, sonoros, proximidad, otros

Micrófonos: Localización

sonido Micrófono:

Reconocimiento sonido

Dispositivo Emisor-receptorde códigos IR

Webcam: Localización

Movimiento 180º

Webcam: Detección

Caras y colores

Sensor IR: Medición

de distancias

Mando de controlpor IR

Internet

Sistema sensorial Sistema sensorial

Arquitectura S. ComportamientosArquitectura S. Comportamientos

Planificador

Comportamiento

Modulos actuadores Modulos perceptores Bases de datosreconocimiento

Hardware

Acciones

Acciones

Acciones

Estím

ulos

Acciones

Ordenesexternas

Informaciónexterna

Referencias

Niv

el re

activ

oN

ivel

inte

rmed

ioN

ivel

pla

nific

ació

nPlanes y

secuencias

RedesNeuronalesMotivación

Acciones

Acciones

Arquitectura Arquitectura

Arquitectura funcional. Arquitectura funcional. AquitecturaAquitectura hardwarehardware

CF 1GB

PC104

VisiVisióón perifn periféérica para rica para movimientomovimiento

DetecciDeteccióón de n de carascaras

DetecciDeteccióón de n de color saturado y brillocolor saturado y brillo

Seguimiento por Seguimiento por histograma de colorhistograma de color

TrackingTracking

PercepcciónPercepcción Visual Visual

Detección visual demovimiento, 180ºCámara + espejo convexoMáscara semianillo para determinar ROI

Visión PeriféricaVisión Periférica

BradskiBradski & & DavisDavis (2002)(2002)

IHM(timestamp)

GradienteImagen en grises(*)

),()),(),(( yxcyxmyxpabs σ>−*

Algoritmo detección de movimiento Algoritmo detección de movimiento

DirecciDireccióón movimiento con relacin movimiento con relacióón al cuellon al cuelloExperimentos detección de movimientoExperimentos detección de movimiento

Reconocedor de Viola (2001), Reconocedor de Viola (2001), LienhartLienhart (2002)(2002)Cascada de clasificadoresCascada de clasificadoresBasadas en Basadas en ““caractercaracteríísticassticas”” (funciones Harr)(funciones Harr)Diferencia de sumas (ponderadas) de pDiferencia de sumas (ponderadas) de pííxelesxeles

Visión Central: Detección de caras Visión Central: Detección de caras

Grupos de caracterGrupos de caracteríísticas (distintos tamasticas (distintos tamañños):os):

CCóómputo eficiente, una sola pasadamputo eficiente, una sola pasada

Características Características

FasesFases(1) Entrenamiento con (miles de) im(1) Entrenamiento con (miles de) imáágenes +/genes +/--(2) Aplicaci(2) Aplicacióón de clasificadores en cascadan de clasificadores en cascada

Cada clasificador: rechaza noCada clasificador: rechaza no--objetosobjetos

Cascada de clasificadores Cascada de clasificadores

ExperimentaciExperimentacióónnResultados detección de caras Resultados detección de caras

Espacio HSV Espacio HSV ---- regiones alta S, Vregiones alta S, VPPííxeles de cada uno de los 7 coloresxeles de cada uno de los 7 coloresClusteringClustering meanmean--shiftshift y y cdgcdg zonas mzonas máás extensass extensas

ROJO

NARANJA

AMARILLO

VERDE

CIAN AZUL

VIOLETA

SATMIN Hue

Imagen en formato HSV

Puntos con (H, S) Є intervalos(respectivamente V)

Calcular Centro de Masas Ventana de Búsqueda

Centrar VB en CM. Tamaño VB

¿Converge?Resultado (X,Y)

SI NO

MEANSHIFT

Detección de color saturado y brillo Detección de color saturado y brillo

ExperimentaciExperimentacióónnResultados detección color saturadoResultados detección color saturado

FukanavaFukanava (1990), (1990), BradskiBradski (1998)(1998)Algoritmo Algoritmo camcam--shiftshift: mean: mean--shiftshift con adaptacicon adaptacióónn

Elegir posición y tamaño Ventana de BúsquedaEj: última cara detectada

Región de Cálculo doble y centrada en VB

Calcular histograma de color de región de cálculo

Imagen en formato HSV

Calcular Imagen de Densidad Probabilística: p(pixel) Є patrón

Calcular Centro de Masas de IDP bajo la VB

Centrar VB en CM. Tamaño VB

¿Converge?Resultado (X,Y)

SI NO

MEANSHIFT

Seguimiento por histograma de colorSeguimiento por histograma de color

ExperimentaciExperimentacióónnSeguimiento por histograma de colorSeguimiento por histograma de color

ExperimentaciExperimentacióón:n:Seguimiento Seguimiento

Seguimiento de caras: Seguimiento de caras: LienhartLienhart + histograma de color+ histograma de colorSeguimiento de caras Seguimiento de caras

ExperimentaciExperimentacióónnSeguimiento de color saturado Seguimiento de color saturado

Localización de sonidosLocalización de sonidos

Cálculo del ángulo a partir del DIT

sonidoVdDIT Δ

=

sonidoVsenrdrsenrdr

tDIT2222 ))90(())90cos(())90(())90cos(( αααα −⋅++−⋅−−⋅+−−⋅

=Δ=

Aproximación

D

⎟⎠⎞

⎜⎝⎛ ⋅

=⎟⎠⎞

⎜⎝⎛ Δ≈ −−

DVDITsen

Ddsen sonido11α

FOCO(x,y)

-dMI

+dMI

ΔdD

α

α

Localización de sonidosLocalización de sonidos

MIC.IZQ.

MIC.DER.

Previo Filtro Rectificador uControladorRS232

(Angulo,Niveles máximo)

PC

Implantación:Implantación:

ExperimentaciExperimentacióón:n:Seguimiento sonidoSeguimiento sonido

Aprendizaje en AriscoAprendizaje en AriscoModelos de aprendizaje:Modelos de aprendizaje:

Aprendizaje condicionanteAprendizaje condicionanteAprendizaje operanteAprendizaje operante

Asociación Estímulo - Respuesta

Estímulos:Estímulos:Visuales: Cara, color, brilloVisuales: Cara, color, brilloSonoros: Palmada, RuidoSonoros: Palmada, RuidoVocales: Reconocimiento vozVocales: Reconocimiento voz

Respuesta:Respuesta:Estado emocional: Triste, enfadado, contento, …Estado emocional: Triste, enfadado, contento, …Movimiento: foco de atenciónMovimiento: foco de atenciónVocal: Información Vocal: Información metereológicametereológica, chiste, …, chiste, …

Modelos neuronales dinámicos

Modelo multiplicativo (on-center off surround)

( ) ( )[ ] ( )∑≠

−+−+−=ji

jiiiiii xfxxfIxBAx

dtdx - +

- --

)( jxf

En Arisco f(x)=Dx2 i≠j , f(xi)=0

F2

F1

xj

Si

j

i

jjijji Szx

dtdz

)( −=

Modelo instar

- +

- --

)( jxf

F2

F1

Si

j

i

Aprendizaje competitivo

∑ ⋅=i

ijij zSx

Motivación y aprendizaje. Arquitectura del sistema de comportamientos

F0 Estímulos

F2 Comportamientos

Yj

F1 Estímulos habituados

Ki

Hi Ii

+

+

xi gi

Si

Generador aleatorio

Red de habituación

iiii IaKaS

dtdS

+−=

Filtro de entrada

iiii gSFgE

dtdg

−−= )1(

Habituación

Capa de estímulos

[ ] ∑≠

−+−+−=ji

jiiiiiii DxxDxgSxBAx

dtdx 22)(

∑=

=N

jijjj zxy

1

Capa de comportamientos

[ ] ∑≠

−+−+−=ji

ijjjjjj DyyDyTyBAy

dtdy 22)(

jijiijij xzyz

dtdz

)( −+−= βγAprendizaje

Motivación y aprendizaje. Habituación y filtro de entrada

iiii IaKaS

dtdS

+−=

Filtro de entrada

iiii gSFgE

dtdg

−−= )1(

Habituación

E n t r a d a s

0

0 . 2

0 . 4

0 . 6

0 . 8

1

1 17 33 49 65 81 97 113

129

145

161

177

193

209

225

241

257

273

289

305

321

337

353

369

C o lo r R o jo Im p u ls o s o n o ro C o m a n d o d e vo z

Decaimientopor habituación

Decaimientopor desestimulación

Motivación y aprendizaje. Competición entre neuronas

N iv e l de activ idad de las ne uronas de e stímulo

00.10.20.30.40.50.60.70.8

1 17 33 49 65 81 97 113

129

145

161

177

193

209

225

241

257

273

289

305

321

337

353

369

A c tividad Rojo Ac tividad sonido Ac tividad com ando verbal

Competiciónentre estímulos

[ ] ∑≠

−+−+−=ji

jiiiiiii DxxxfgSxBAx

dtdx 2)()(

Motivación y aprendizaje.Motivación y aprendizaje.Motivación en AriscoMotivación en Arisco

Subsistema comportamientos

Otrasacciones

Drive j

Modificación degananciasde neurotransmisiónKs=f(q), s=[1,...,n]

qj

Carga/Descarganivel motivacional j

Δqj

Drive m

qm

......

Drive 1

q1

Xi

Módulo motivacional

Drive j

qj

Δqj

Drive m

qm

......

Drive 1

q1

Módulo motivacional

Plan

Acción de Carga/DescargaDrive j con Δqj

Planificador

Interacción con el sistema de comportamientos Interacción con el planificador

( ) ( ) ( ) ( ) ⎟⎠

⎞⎜⎝

⎛+∗∗−−⎟⎟

⎠

⎞⎜⎜⎝

⎛+∗∗−= ∑∑

lilliii

jjjii pYCQmYQB

dtdQi ηρ

↑↑∼∼↑↑AburrimientoAburrimiento

↓↓∼∼↑↑Recibir peticiRecibir peticióón de informacin de informacióónn

↓↓↓↓↑↑Recibir insultosRecibir insultosAcercamiento de cosas a la caraAcercamiento de cosas a la cara

↓↓↑↑↑↑Recibir piroposRecibir piroposRecibir peticiRecibir peticióón de chistesn de chistesRecibir a saludosRecibir a saludos

↑↑∼∼↓↓DormirDormir

Necesidad de Necesidad de InteracInterac. Social. SocialHumorHumorCansancioCansancio

( ) ( )( ) ( ) ( )( ) ⎟⎠

⎞⎜⎝

⎛ +−∗−−⎟⎟⎠

⎞⎜⎜⎝

⎛+−∗−= ∑∑

lilllii

jijjjii

i rCQEkpQBkDdtdk μγ **

Nivel motivacional

Ganancia de sensibilidad a estímulo

Ejemplo:

Motivación y aprendizaje.Motivación y aprendizaje.“Drives”“Drives”

Resultados.Resultados.AprendizajeAprendizaje

ASUSTADO

ASUSTADO

Palmada

TarjetaRoja

TarjetaRoja

ENC

+EC

RNC

RCEC

Aprendizaje condicionante de primer orden

Resultados.Resultados.AprendizajeAprendizaje

E s t í m u l o d e e n t r a d a

00 . 10 . 20 . 30 . 40 . 50 . 60 . 70 . 80 . 9

11 49 97 145

193

241

289

337

385

433

481

529

577

625

673

721

769

817

865

913

961

1009

1057

1105

t ( S e g x 1 0 )

Valo

r

C o lo r R o jo P a lm a d a

C a p a d e c o m p o r t a m ie n t o s

0

0 .1

0 .2

0 .3

0 .4

0 .5

0 .6

1 50 99 148

197

246

295

344

393

442

491

540

589

638

687

736

785

834

883

932

981

1030

1079

t ( S e g . x 1 0 )

Y j

A s u s ta d o E n fa d a d o A le g r e T r is te D o r m id o

AprendizajeAprendizaje condicionantecondicionante de primer ordende primer orden

Resultados.Resultados.AprendizajeAprendizaje

Aprendizaje condicionante de segundo orden

ASUSTADO

ASUSTADO

TarjetaRoja

ComandoVerbal

ComandoVerbal

EC1

+EC2

EC2

Resultados.Resultados.AprendizajeAprendizaje

E s tím u lo s d e e n tr a d a

00.10.20.30.40.50.60.70.80.9

1

1 75 149

223

297

371

445

519

593

667

741

815

889

963

1037

1111

1185

1259

1333

1407

1481

1555

1629

1703

t (S e g . x 10)

S ig i

C o lo r R o jo P a lm ada C om ando de voz

A c tiv id a d c a p a d e c o m p o rta m ie n to s

00 .0 5

0 .10 .1 5

0 .20 .2 5

0 .30 .3 5

0 .40 .4 5

1 80 159

238

317

396

475

554

633

712

791

870

949

1028

1107

1186

1265

1344

1423

1502

1581

1660

t (S e g . x 1 0 )

Yi

A sus ta d o E nfa d a d o A le g re Tris te D o rm id o

Aprendizaje condicionante de segundo ordenAprendizaje condicionante de segundo orden

Triste

Alegre

Dormido Enfadado

Asustado

Comando:"Triste"

Comando:"Alegre"

Comando:"Dormido"

Comando:"Enfadado"

Comando:"Asustado"

Comando:"Enfadado"

Comando:"Triste"

. . .

Resultados.Resultados.AprendizajeAprendizaje

Aprendizaje por condicionamiento operante

Resultados. Resultados. AprendizajeAprendizaje

Entradas capa de estímulos(Fase de aprendizaje)

00.10.20.30.40.50.60.70.80.9

1

1 24 47 70 93 116

139

162

185

208

231

254

277

300

323

346

369

392

415

438

461

484

507

t (Seg. x 10)

S ig i

Asustado Triste Enfadado Contento Dormido

Activ idad capa de com portam ientos (Fase de aprendizaje)

00.020.040.060.08

0.10.120.140.16

1 25 49 73 97 121

145

169

193

217

241

265

289

313

337

361

385

409

433

457

481

505

t (Se g. x 10)

Y i

Asustado Enfadado Alegre Tris te Dorm ido

FASE DE APRENDIZAJE

E ntradas capa de es tím u los (Fase de test)

00.10.20.30.40.50.60.70.80.9

1

1 12 23 34 45 56 67 78 89 100

111

122

133

144

155

166

177

188

199

210

221

232

243

t (Se g. x 10)

S ig i

Asus tado Tris te Enfadado Alegre D orm ido

Activ idad capa de com portam ientos (Fase de tes t)

0

0.005

0.01

0.015

0.02

0.025

1 13 25 37 49 61 73 85 97 109

121

133

145

157

169

181

193

205

217

229

241

t (Se g. x 10)

Y i

Asus tado Enfadado Alegre Tris te Dorm ido

TRAS EL APRENDIZAJE INICIAL

Aprendizaje por condicionamiento operante.Aprendizaje por condicionamiento operante.

Resultados. Resultados. MotivaciónMotivación

Humor

Sma. Comportamientos

Insulto ¿Enfadarse?

PresentaciónPresentación

ReferenciasReferencias• S. Domínguez. Contribución a la robótica social:“Arisco”, un robot con capacidContribución a la robótica social:“Arisco”, un robot con capacidad de interacción ad de interacción y aprendizaje. Tesis Doctoral. Departamento de Ingeniería de Sisy aprendizaje. Tesis Doctoral. Departamento de Ingeniería de Sistemas y Automática. temas y Automática. Universidad de Valladolid. 2007.Universidad de Valladolid. 2007.

• S.Domínguez, E. Zalama, J. G. García-Bermejo. “Arisco” Un Robot Social con Capacidad de Interaccion, Motivacion y Aprendizaje. Enviado a 'RIAI: Revista Iberoamericana de Automática e Informática Industrial'. 2007.

• S. Domínguez, E. Zalama, J. G. García-Bermejo, Jaime Pulido. Robot Learning in a Social Robot. Lecture notes in Artificial Intelligence. ISBN 3-540-38608-4. Vol 4095. pp:691-702. Springer Ed., 2006.

• S. Dominguez, E. Zalama, J.G. García-Bermejo, Jaime Pulido. “Arisco” un Robot Social con capacidad de Aprendizaje. Proceedings de XXVII Jornadas de Automática. (ISBN: 84-689-9417-0) pp: 570-576. Almeria 2006.

• S. Domínguez. E. Zalama, J. G. García-Bermejo. Arisco. Un Robot Social con Vocación de Recepcionista. Proceedings de VII Workshop de Agentes Físicos. ISBN: 84-689-8115-X. Las Palmas de Gran Canaria. 27-28 de Abril 2006.

• S. Tapias, S. Domínguez Quijada, E. Zalama Casanova, J. Gómez García-Bermejo. Desarrollo de un Sistema de Localizacion de Fuentes Sonoras Basado en Microcontroladores. Proceedings de XXVI Jornadas de Automática. ISBN: 84-689-0730-8. Alicante 2005.

• S. Domínguez Quijada, E. Zalama Casanova, J. Gómez García Bermejo. Desarrollo de una Cabeza Robótica con Capacidad de Seguimiento Visual e Identificacion de Personas. Proceedingsde XXVI Jornadas de Automática. ISBN: 84-689-0730-8. Alicante 2005.

• S. Dominguez, E. Zalama, J. Gómez García Bermejo, J.R. Perán A mobile robot with enhanced gestual abilities. . 9th IEEE International Conference on Mechatronics and Machine Vision in Practice (M2VIP'2002). Proceedings of 9th IEEE International Conference on Mechatronics and Machine Vision in Practice (M2VIP'2002). ISBN 962-442-228-1. Chiang Mai (Tailandia). 2002.

• S. Domínguez, E. Zalama, J. Gómez García Bermejo, J.R. Perán. Development of an Expressive Social Robot. Mechatronics and Machine Vision 2002: Current Practice, pp. 341-348, ISBN 0-86380-278-8. Research Studies Press Ltd, Baldock, Hertfordshire, England. 2002.