foros - elsemantico.es · •aplicación de sna a los términos (conspect) vi. contenido de la...
TRANSCRIPT
FOROS ACADÉMICOS ¿Podemos medir su eficiencia automáticamente?
Guillermo de Jorge Botana
Dto. Psicología Evolutiva y de la Educación
Fac. de Psicología. UNED
gdejorge (a) psi.uned.es
Pag.: www.elsemantico.com / es
Curso de Verano impartido en el centro
asociado de Alcalá la Real, 2012
I. INTRODUCCIÓN
Preguntas:
• ¿Necesitamos monitorizar automáticamente los procesos
en el ámbito académico?
• ¿De dónde podemos partir?
• ¿A qué se parece?
• ¿Hay algo hecho al respecto?
I. Introducción
Motivación general: Monitorizar los procesos de
aprendizaje y actuar potencialmente sobre los hechos
observados en un LMS (Learning Management System)
I. Introducción
• LMS (Learning Management System)
se emplea para administrar, distribuir y controlar las
actividades de formación no presencial.
I. Introducción
• Minería de datos educativa (Educational data
mining)
• Analítica Académica (Academic Analytics)
• Analítica sobre aprendizaje(Learning Analytics)
I. Introducción
• Aplicación de técnicas de inteligencia de negocio y de
marketing al dominio del aprendizaje (Goldstein y Katz,
2005)
• El uso de datos y otras observaciones disponibles para
impactar directamente en los estudiantes, los
profesores y el proceso de aprendizaje.
• Detectar situaciones específicas y riesgos especiales
I. Introducción
• Planteamiento
• La necesidad de números en el rendimiento de sistemas y
comportamientos de clientes ha generado un gran corpus de
técnicas.
• Copiar el modelo para la gestión de herramientas educativas y
aprendizaje de los alumnos.
II. Fuentes de datos
Preguntas
• ¿De dónde sacamos los datos?
• ¿Qué camino recorren los datos?
• ¿A quién se los pedimos?
• ¿Cómo hay que pedirlos?
• ¿Por qué tenemos que involucrarnos los que trabajamos
en educación?
II. Fuentes de datos
• CRM (Customer Relationship Management)
Sistemas informáticos de apoyo a la gestión de las
relaciones con los clientes, a la venta y al marketing. Con
este significado CRM se refiere al sistema que administra
un “data warehouse” (almacén de datos) con la
información de la gestión de ventas y de los clientes de la
empresa.
II. Fuentes de datos
• Minería de datos (y textual)
prepara, sondea y analiza los datos para sacar la
información oculta en ellos
Preparación Análisis
Datos
II. Fuentes de datos
• Big Data (Facebook, linkedin, etc)
Gestión y análisis de cantidades ingentes de datos distribuidos en
multitud de servidores a lo largo de todo el mundo.
II. Fuentes de datos
KPI (Key Performance Index)
• Un indicador clave de rendimiento (KPI) es un índice que da a
conocer el progreso que se está realizando para lograr un objetivo, o
para monitorizar un proceso.
II. Fuentes de datos
• Objetivo: Que los alumnos intervengan en cuantas más temáticas mejor
• Creamos un KPI
1. Es importante definir con palabras el concepto que queremos medir y darle un nombre
“Focalización en hilos”: Cuán focalizada es la intervención de los alumnos en torno a unos pocos hilos
2. Suelen ser Ratios, por ejemplo:
nº de hilos en los que interviene una persona
---------------------------------------------------------------
total de hilos
II. Fuentes de datos
• Centro de mandos
Una vez definidos los KPIs en nuestro plan de
medidas representamos los más importantes dentro
un “cuadro de mandos”, que estarán representados
en tiempo real (o casi, según sea la temporalidad de
lo que medimos).
1 2 3
II. Fuentes de datos
Análisis Rendimiento
DEFINICIÓN E INTERPRETACIÓN
DE KPIs
II. Fuentes de datos
• SLA (Service Level Agreement)
Un acuerdo de nivel de servicio, también conocido por las
siglas ANS o SLA, es un contrato escrito entre un
proveedor de servicio y su cliente con objeto de fijar el
nivel acordado para la calidad de dicho servicio.
III.¿Qué medir en los foros?
Preguntas:
• ¿Qué podemos medir?
• ¿Cómo podemos medirlo?
• ¿Hasta dónde podemos llegar?
III.¿Qué medir en los foros?
• ¿Qué podríamos monitorizar automáticamente?
• Magnitud de participación
• Relaciones de los participantes
• Contenido de la participación
• Análisis sobre secuencias
• Ratios y promedios
IV. Magnitud de participación (ejemplos)
• 1. Volumen de participación
• 2. Masa silenciosa
• 3. Participación ermitaña
• 4. Focalización de hilos
IV. Magnitud de participación
• 1. Volumen de participación
*Alumnos participativos tendrá que definirse bajo algún criterio, por ejemplo,
alumnos que hayan posteado, o que hayan posteado y han sido respondidos.
CENSO DE
ALUMNOS
ALUMNOS
PARTICIPATIVOS
IV. Magnitud de participación
• 2. Masa silenciosa
Personas que entran en los foros pero no participan.
TOTAL DE
SESIONES
SESIONES
PARTICIPATIVAS
IV. Magnitud de participación
• 3. Participación ermitaña
Personas que participan una sola vez
ALUMNOS
PARTICIPATIVOS
ALUMNOS
PARTICIPACIÓN ÚNICA
IV. Magnitud de participación
• 4. Participación focalizada Las participaciones se focalizan en unos cuantos hilos
• *Nº de hilos en los que se ha participado: Si un alumno ha participado se
consigna 1, sino 0.
• * Se promediaría el resultado de cada alumno participativo no ermitaño
Nº DE HILOS Nº de hilos en los
que se ha
participado
V. Relaciones entre participantes
• Medidas de SNA (Social Networks Analysis)
• 1. Centralidad
• 2. Corrillos
• 3. “Brokers” de información (intercambiadores)
• 4. Influencia en la comunicación
• 5. Proporción Core-Periferia
V. Relaciones entre participantes
• 1. Centralidad
• El número de enlaces que parten o llegan de un actor. Lo que mide
realmente es la exposición de un alumno a lo que se dice.
• No es lo mismo recibir información que dar información
• Centralidad “In-Degree”: Reciben muchos mensajes de otros
• Centralidad “Out-Degree”: Mandan muchos mensajes a otros
V. Relaciones entre participantes
• 1. Centralidad
El gráfico muestra en una escala que va de 0 a 1 el grado de
centralidad de los jugadores (nodos) de la red (equipo) del FC
Barcelona. http://arsfutbol.wordpress.com/ (Aplicaciones de Análisis
de Redes al Fútbol)
V. Relaciones entre participantes
• Centralidad: Matriz de proximidad (Adjacency Matrix)
Lanzan
Reciben
V. Relaciones entre participantes
• 2. Corrillos (“Cliques”)
• Nº de corrillos (o subgrupos) a los que pertenece un alumno
• Los corrillos se identifican a partir de la matriz de proximidad
• Existen varios criterios para considerar corrillos (estrictos y laxos)
• Diadas, triadas, etc
• Proximidad, densidad de las relaciones, reciprocidad
V. Relaciones entre participantes
• 3. “Brokers” de información (“hubs”)
• Personas que actúan de intermediarios
• Hablan con personas que no hablan entre ellos
V. Relaciones entre participantes
• 4. Influencia en la comunicación
• Combinación entre la centralidad y la participación en corrillos.
• Muestra como una persona está “al tanto” de la información.
V. Relaciones entre participantes
• 5. Proporción Core-Periferia
• Personas bien conectadas en proporción a las personas aisladas o
desconectadas
• Se suelen medir en referencia a un modelo de core-periferia.
• 0 indicaría que no se ha formado un core entre los alumnos
• > 0,5 indicaría que se ha formado un core
• “Un entendimiento profundo [del juego] se obtiene
consignando el coeficiente de conglomerado (clustering)
el cuál captura la naturaleza combinatoria del tiqui-taca”
• Los jugadores tienden a distribuirse en clusters, unidos
por “intercambiadores” (Xabi Alonso, Xavi Hernandez).
Cotta, Mora, Merelo-Molina, Merelo(2011). FIFA World Cup 2010: A
Network Analysis of the Champion Team Play. the Complex Systems in
Sports Workshop, August 2011
• Otras medidas
• -Número de pases
• -Longitud de las cadenas de los pases (profundidad)
• Centralidad de los jugadores
Cotta, Mora, Merelo-Molina y Merelo(2011). FIFA World Cup 2010: A
Network Analysis of the Champion Team Play. the Complex Systems in
Sports Workshop, August 2011
VI. Contenido de la participación
• 1. Proporción de off-topic
• 2. Tópicos más discutidos
• 3. Tono emocional
• 4. Entropía de los mensajes
• 5. Cohesión de los mensajes
VI. Contenido de la participación
• Se suelen usar técnicas:
• Apariciones literales
• Vectoriales
• Ontologías
VI. Contenido de la participación
• 1. Proporción de off-topic
• Consignar la proporción de contenido que es ajeno a la materia
• Cómo de centrado está la conversación en los temas académicos
TOTAL DE
ENTRADAS
OOT
VI. Contenido de la participación
• 2. Tópicos más discutidos
• 2.1 Categorías a las que pertenecen los temas más discutidos
• 2.2 Visualización de términos
VI. Contenido de la participación
• 2.1 Categorías a las que pertenecen los temas más
discutidos
Se clasifican automáticamente las entradas del foro en
categorías previamente establecidas
Disfasia
Dislexia
TEL
Afasia
Alexia
Pruebas
OOT
VI. Contenido de la participación
• 2.2 Visualización de términos
• Tratan de visualizar la representación de las palabras en la
comunidad de estudiantes
• Cómo se relacionan
• Cuáles son centrales
• Grupos de palabras asociados
• Cuáles son intermediarias entre unos temas y otros
VI. Contenido de la participación
• 2.2 Visualización de términos
• Aplicación de SNA a los términos (CONSPECT)
VI. Contenido de la participación
• 3. Tono emocional
• Análisis del sentimiento (“Sentiment Analysis”)
• Listados de palabras para encontrarlas en el texto.
• LIWC (Linguistic Inquiry and Word Count)
VI. Contenido de la participación
• 3. Tono emocional
• Ejemplo: comparación por edades en usuarios de mySpace
Tomado de Pfeil, Arjan y Zaphiris (2008)
VI. Contenido de la participación
• 4. Entropía de los mensajes
• Cantidad de información que porta el lenguaje.
• Especificidad del mensaje
“La movida es qué la mente se pone a
trabajar”
VS.
“Las zonas parieto-temporales registran
actividad”
VII. Análisis sobre secuencias
No se toma como unidad la entrada sino la conversación (y sus hilos)
1. Reconstrucción de conversaciones
2. Profundidad, nº participantes
3. Cohesión
4. Nivel de resolución
5. Pérdida de temática
VII. Análisis sobre secuencias
• 1. Reconstrucción de conversaciones
Reconstruir la estructura multi-hilo de las conversaciones en base a su
temática y su temporalidad (o por claves de la base de datos)
Identificar los hilos padre
Identificar el flujo de las conversaciones
VII. Análisis sobre secuencias
• 2. Profundidad, nº participantes
• Profundidad: nº de interacciones que alcanza una conversación
• Participantes: nº de personas que participan en la conversación.
VII. Análisis sobre secuencias
• 3. Cohesión
• grado de cohesión entre las diferentes entradas que
forman parte de un hilo.
VII. Análisis sobre secuencias
• 4. Nivel de resolución
En que medida las conversaciones académicas acaba siendo
resueltas satisfactoriamente (dudas, sugerencias, valoraciones)
- Cada participante declara la resolución
- Se identifica automáticamente
VII. Análisis sobre secuencias
• 5. Pérdida de temática
En que medida el estado inicial de la temática de la
conversación dista del estado final.
• Tomar los datos provenientes de las anteriores medidas y
convertir todo en promedios, porcentajes o ratios globales
(no de personas y eventos individuales)))
• Analizar estrategias e intervenciones en los foros en base
a ésos índices.
VII. Ratios y Promedios
Conclusión
• Se necesitan números para comprobar la efectividad de
las intervenciones
• Los profesionales de la educación tienen que estar
involucrados en la definición de los índices (no hay
escusa)
• Existe software para explorar posibles definiciones de los
índices
• Existen fuentes de datos localizadas para extraer los
datos, ordenarlos, y calcular KPIs o índices análogos
Biobligrafía
-Cotta, Mora, Merelo-Molina, Merelo(2011). FIFA World Cup 2010: A Network Analysis of the
Champion Team Play. the Complex Systems in Sports Workshop, August 2011
-Romero-Zaldivar, Pardo, Burgos, Delgado-Kloos (2012) Monitoring Student
Progress Using Virtual Appliances: A Case Study. Computers & Education., 58,
1058-1067
-Rose, Wang, Cui, Arguello, Stegmann, Weinberger & Fischer(2008) Analyzing
Collaborative Learning Processes Automatically: Exploiting the Advances of
Computational Linguistics in Computer-Supported Collaborative Learning, 3,
237-271
-Vercellone-Smith, Jablokow, & Friedel (2012) Characterizing communication
networks in a web-based classroom: Cognitive styles and linguistic behavior of
self-organizing groups in online discussions. Computers & Education, 59, 222-235
-Yi-Chia Wang, Mahesh Joshi, Carolyn Rosé and William Cohen. Recovering Implicit Thread Structure
in Newsgroup Style Conversations. In Proceedings of the 2nd International Conference on Weblogs
and Social Media (ICWSM 2008).
Software • UCINET
(https://sites.google.com/site/ucinetsoftware/home)
• LIWC (http://liwc.net/liwcespanol/index.php)
• CONSPECT (http://www.ltfll-
project.org/index.php/conspect.html)
• Pajek (http://vlado.fmf.uni-lj.si/pub/networks/pajek/)
• WEKA (http://www.cs.waikato.ac.nz/ml/weka/)
• NLTK (http://nltk.org/)
• Gallito 2.0 (http://www.elsemantico.es)
• Coh-Metrix
(http://cohmetrix.memphis.edu/cohmetrixpr/index.htm)