cómputo consciente del contexto: cognición aumentada mediante interfaz cerebro-computadora

Cómputo Consciente del Contexto: Cognición Aumentada mediante BCI

Dr. Gabriel González SernaGrupo CARS Sistemas Distribuidos

[email protected]

@gabogs10

Agenda

Actividad DuraciónCENIDET 5Líneas de Investigación 5Cómputo Consciente del Contexto 15Cognición Aumentada 15Evaluación Centrada en el Usuario 15Conclusiones 5

CENIDETCEntroNacional deInvestigaciónDEsarrolloTecnológico

El CENIDET ofrece Maestrías y Doctorados para profesionistas interesados en prepararse para la investigación aplicada y el desarrollo tecnológico. En estos programas el estudiante adquiere conocimientos y competencias para integrarse a: Industria de base tecnológica Instituciones de investigación o desarrollo tecnológico y

Escuelas para la formación de ingenieros

cenidetOferta Académica

En cenidet se ofrecen tres programas de posgrado (todos con beca CONACyT): Maestría y doctorado en ingeniería electrónica

Electrónica de potencia Control automático

Maestría y doctorado en ingeniería mecánica Sistemas térmicos Diseño mecánico

Maestría y doctorado en ciencias de la computación

Sistemas Distribuidos (grupo CARS) Ingeniería de software Inteligencia Artificial

Agenda


Líneas de Investigación

Tecnologías de la Web Semántica1. Procesamiento de lenguaje natural

(PLN)2. Sistemas Basados en Conocimiento3. Modelado Semántico

Tecnologías Context-Awarness1. Cómputo conscientes del contexto

(CAC)2. Interacción Humano-Computadora

(HCI)3. Evaluación Centrada en el Usuario

(UCE)i. Evaluación heurísticaii. Experiencia del usuario (UX)iii. Cognición aumentada

Agenda


CCCCómputo

Consciente del

Contexto

En un ambiente de cómputo consciente del contexto la computadora es capaz de identificar el entorno del usuario para

ofrecerle servicios de apoyo en la realización de sus actividades.

Contexto

Material

Simbólico

CCCCómputo

Consciente del

Contexto

Un CCC debe caracterizar las siguientes dimensiones del contexto: Patrones de comportamiento (¿Por qué?), Descubrimiento de intenciones (¿Para qué?), Capacidades del Usuario (¿Cómo presentar la

información?) Capacidades del dispositivo (¿Qué puede hacer?)

HCIHumanComputerInteraction

Es un área de estudio que trata sobre la investigación, diseño y desarrollo de nuevas tecnologías para ayudar a mejorar la interacción entre el humano y las computadora

Ambient ComputingLa nube extiende NUI a través

de varios dispositivos

¿Qué es

HCI?

Natural User Interface (NUI)El software interpreta el

comportamiento humano

La Informática se convierte en parte de la vida cotidiana

Redes, nube, siempre conectado

Emula la comunicación

humanaMultisensores,

contextualización, anticipación, intuición,

aprendizaje

Human -Computer Interface (HCI)

Los sensores detectan el comportamiento humano

Detecta y procesa el comportamiento

humanoVisión, sonido, señal

biométrica, ambiente.

¿Qué es un

HCI?

Cómputo ambiental- NUI se convierte en parte de la vida cotidiana

Relaciones• Reglas• Event-triggers

Perfil del usuario• Reglas

Contexto • Datos• Experiencia

Acciones implícitas• Predicción de comportamiento

Cómputo Consiente del Contexto

Device-to-Device

Evolución de las tecnologías

HCIHumanComputerInteraction

CLICommand

Line Interface(Texto)

GUIGraphical

User Interface(Gráficos)

NUINatural

User Interface(Objetos)

OUIOrgnic User

Interface(Biométrico

s)

¿Qué es

HCI?

Dispositivos de interfaz humana y software

Detectar y tratar el comportamiento humano

¿Qué tecnologías HCI utiliza el CCC?

Agenda


Cognición Aumentada

Cognición aumentada (AugCog) es un campo de investigación en la frontera entre la Interacción Humano-Computadora, la psicología, la ergonomía y la neurociencia, que tiene como objetivo la creación de nuevas modelos de Interacciones Humano-Computadora.

¿Qué estamos desarrollando?


Identificación de estados cognitivos. Evaluación de estados cognitivos en el desarrollo de actividades

Concentración Estados no aptos para realizar la actividad

Evaluación de estados cognitivos aplicados

Evaluación Centrada en el Usuario (UCE) Experiencia del Usuario (UX)

Identificación de estados de ánimo Emociones, satisfacción, disgusto, alegría, enojo

Proceso de comunicación Generador automático de oraciones mediante

EEG y EMG

Contexto introspectivo

Lecturas Biométricas

Electrocardiograma ECG.

Electromiografía. EMG

Electroencefalograma. EEG

Electroculograma. EOG

EEG

EEG (Electroencefalograma) es un medidor

neurofisiológico de la actividad

eléctrica del cerebro por medio de electrodos colocados en la superficie de la cabeza

También conocido como brainwaves o impulsos eléctricos cerebrales.

Ubicación de los electrodos10-20

Ubicación de los electródos10-20

BCIInterfaz Cerebro Computadora

Mindwave Mobile

Electrodos: 1 2 mental states (based on 4 brainwaves), eyeblinks

21 March 2011 Neurosky .NET,Android,iPhone,Arduino

Necomimi

Electrodos: 11 mental state July 2012Neuroware

Mindset

Electrodos: 12 mental states (based on 4 brainwaves), eyeblinks

1 December 2011Neurosky

Mindball

Electrodos: 11 mental state21 December 2009Mattel (Neurosky partner)

Star wars force trainer

Electrodos: 11 mental state21 June 2009Uncle Milton (Neurosky partner)

XWave Sport

Electrodos:18 EEG bands5 January 2011XWave

MyndPlay

Electrodos:18 EEG bands1 December 2011MyndPlay

Neural Impulse Actuator

Electrodos:32 brainwaves (Alpha & Beta), facial muscle and eye movements

May 2008OCZ TechnologyPython

Emotiv EPOC

Electrodos:144 mental states (based on brainwaves), 13 conscious thoughts, facial expressions, head movements (sensed by 2 gyros)

21 December 2009Emotiv SystemsC#,C++,Java,Matlab,Python

NeuroSky MindWave

Peso ligero

Comunicación vía wireless

8 horas de batería AAA

Incluye un CD extra con 10 aplicaciones de neurociencia

Compatible con Mac OS X, Windows XP, Windows Vista, Windows 7

Emparejamiento del equipo inalámbrico automático

Una sola pila AAA

$79.99 dólares = $1048.16 pesos

http://store.neurosky.com/products/mindwave-1

Mindo-4S Jellyfish

Cuenta con sensores secos. Utiliza una banda a base de silicio. Mide la actividad cerebral en la zona frontal.

Inalámbrico

Cuenta con 4 sensores EEG

Compatible con Tablet y PC a través de bluetooth

Batería recargable con duración de hasta 10 horas continuas

http://mindo.com.tw/en/goods.php?act=view&no=4

B-Alert 24 Channel Wireless EEG

20 canales EEG de grado médico, además de 4 canales auxiliares de ECG, EMG, o EOG (24 canales en total)

Mide la concentración, distracción, somnolencia y estrés

Comunicación bluetooth de hasta 20 metros

8 horas de duración de la batería recargable

Cuenta con acelerómetro

Acceso en tiempo real de los datos sin procesar

SDK compatible con Matlab, EEGLab, BCI2000, qEEG, entre otros.

Windows únicamente

Dry EEG Headband

http://www.cognionics.com/index.php/products/dry-eeg-headband

Compatible con plataforma Mac OS X y Windows

Conexión bluetooth

Monitoreo en tiempo real de señales EEG

Guarda EEG en formatos estándar para la importación en MATLAB y otros paquetes de análisis

Herramientas basadas en GUI así como una API fácil de usar para el acceso de datos en bruto directamente a los auriculares.

Dry EEG Cap

http://www.cognionics.com/index.php/products/dry-eeg-headband

Esta diadema contiene electrodos secos y un peso de 250gr; cuenta con 16 electrodos. No requiere gel o sustancias para hidratar los electrodos.

Emotiv

Expresiones faciales.Métricas de rendimiento y Estados Emocionales.

Comandos Mental.

EmotivEPOCEEG


Caracterización de estados mentales

Las frecuencias del cerebro están vinculadas a acciones y a diferentes etapas de conciencia. Estas frecuencias son denominadas comúnmente Ritmos Cerebrales.

Ondas beta: Asociadas con la concentración.

Ondas gamma:. Asociadas con la atención, la percepción, y la cognición

Ondas alfa: Se asocian con la relajación y desconexión.

Ondas theta: Asociadas con la inspiración creativa,

alucinaciones….(drogas).

Ondas delta: Se presentan cuando estamos durmiendo…





El objetivo de nuestra línea de investigación es modelar, diseñar y evaluar métodos de HCI aplicados en sistemas de CCC para personas con capacidades diferentes, mediante interfaces multimodales y dispositivos multisensoriales que complementen las capacidades de una persona, con o sin discapacidad.



Los sistemas de CCC cuenta con servicios para explotar la información contextual que permita explotar información mediante máquinas de inferencia para mostrarle al usuario la información que sea de su interés de acuerdo al perfil ¿Quién? (Who?) ¿Dónde? (Where?) ¿Cuándo? (When?) ¿Qué? (What?)

Patrones de comportamiento (¿Por qué?), Descubrimiento de intenciones (¿Para qué?),Capacidades del Usuario (¿Cómo presentar la

información?)Capacidades del dispositivo (¿Qué puede hacer?)

En el perfil de usuario no se consideran las discapacidades que permitan al sistema de CCC adaptarse a las necesidades del usuario y complementar sus capacidades sensoriales.



• Identificación de emociones• Generador de oraciones (PLN)• Interacción Humano-

Computadora• Control de Dispositivos



Relajación

¿Qué tecnologías se

utilizan?


Orientación

EEG

EMG

ADQUISICIÓN DE SEÑALES

Señales en bruto

001010100101010101

Señales digitalizadas

PROCESAMIENTO DE SEÑALES

Extracción de características

Algoritmo de traducción

PROCESAMIENTO DE COMANDOS

Funciones predefinidas

SINTETIZACIÓN DE VOZ

¿Qué tecnologías se

utilizan?


Dominio Futbol

ID Frase

1 ¡Gooooool!

2 Buen juego

3 ¡Eso es falta!

. …..

. ….

. ….

n Buena jugada

Pensamientos

EmocionesGestos

ID Frase

1 ¡Gooooool!

2 Buen juego

3 ¡Eso es falta!

. …..

. ….

. ….

n Buena jugada

Falta! =


Tema 1 Tema 2

Tema 3 Tema 4

Tema 5 Tema 6

Tema 7 Tema 8

1. Entrar al sistema

2. Verificar hora

3. Selección de temas según el contexto de la hora

Estado 1

Estado 2

Estado 3

Estado 4

Estado cognitivo del usuario

Bolsa de palabras general

Bolsa de palabras

Bolsa de palabras

Bolsa de palabras

Bolsa de palabras

Método de escritura Texto en pantalla

4. Palabras comunes en cualquier contexto

5. ¿Cuál es el estado emocional del usuario?

6. Selección de palabras según su estado emocional

8. Retroalimentación del estado cognitivo del usuario

7. Método para la selección de las palabras para generar una frase

9. Expresar el mensaje de diferentes medios.

Técnicas de Escritura

Agenda


USER EXPERIENCE

Transparencia

Escrutabilidad

Eficiencia

Persuasión

Confianza

Satisfacción

Eficacia

Investigaciones recientes sobre técnicas de explicación en los SR, muestran que las explicaciones aportan diferentes beneficios y objetivos a un SR.

Evaluación Centrada en el Usuario

Perfil Integral de Usuario (PIU)

A partir de los datos almacenados en el PIU se refleja, entre otras, la conexión:

Estilo de personalidad - Estado cognitivo - Respuestas neurofisiológica - Género - Coeficiente Intelectual - Edad

Aplicación del protocolo

inicial

Monitoreo de la actividad

cerebral del usuario

Aplicación de entrevistas

Aplicación de cuestionarios

Análisis observacional

Análisis de los datos

Poblado del Perfil Integral de Usuario

Metodología para el poblado del PIU

Perfil Integral de Usuario (PIU)

Metodología para el poblado del PIU

Aplicación del

protocolo inicial

Monitoreo de la actividad

cerebral del usuario

Aplicación de entrevistas

Aplicación de cuestionarios

Análisis observacional

Análisis de los datos

Poblado del Perfil Integral de Usuario

•Fase 1: Medición durante un estado cognitivo neutral•Fase 2: Medición durante un estado cognitivo motivado•Fase 3: Medición la generación de estrés cognitivo•Fase 4: Medición durante una fase de recuperación post-estrés

Evaluación Centrada en el Usuario

Evaluación Centrada en el Usuario (UCE)

ECU

Agenda


Concl

usi

on

es

Los sistemas conscientes del contexto formarán parte de los servicios de soporte para la toma de decisiones.

La incorporación de servicios de apoyo y guía marcan la tendencia en TICs.

El mercado de TICs está demandando profesionistas con competencias para diseñar e implementar sistemas de información que incorporen tecnologías móviles y HCI.

De acuerdo a la vigilancia tecnológica las áreas de oportunidad para los próximos 10 años son:

LBS Realidad aumentada UCE/UX BCI

Gracias por su atención

Información de contacto:Dr. Gabriel González SernaE-mail: [email protected]. ofic.: 3627770 ext. 311Twitter: gabogs10Home page: http://www.cenidet.edu.mx/subaca/web-dcc/Staff/sds/serna.htmlMis presentaciones: http://www.slideshare.net/GabrielSerna

cómputo consciente del contexto: cognición aumentada mediante interfaz cerebro-computadora

Presentations & Public Speaking