interactive training materials
Post on 19-Jun-2015
857 Views
Preview:
DESCRIPTION
TRANSCRIPT
Programa Graduado Sistemas de Instrucción y Tecnología Educativa
Evaluación Formativa de Materiales Interactivos de Adiestramiento
Carlos Muñiz / Elvin O. Candelaria / Santia E. Velázquez Vera
Dra. Rosa Ojeda - EDU 618
Introducción
Presentación basada en el capítulo 7 del libro Formative Evaluation for Educational Technologies de Barbara N. Flagg.
Caso: Interactive Training Materials
¿Por qué SANDY Corporation?Compañía dedicada al adiestramiento de
personal y a las comunicaciones desde 1984.
Sus equipos han encontrado métodos de evaluación efectivos para llevarse a cabo durante el proceso de desarrollo.
Ha desarrollado programas interactivos para las 100 compañías de mayor prestigio según la revista FORTUNE.
Para hacer el escogido de estas compañías, la revista FORTUNE se une a “Great place to work Institute” quienes llevan a cabo la encuesta empresarial más grande e importante. Esta encuesta refleja la voz de los empleados mediante 57 preguntas.
Por ejemplo, el año pasado se contactaron 1,500 empresas y sólo 407 respondieron. De éstas, GOOGLE obtuvo el primer lugar.
Videodisco interactivoVideodisco interactivoProceso de desarrollo
Proceso de desarrolloEstudiar el proceso antes de discutir las
técnicas de evaluación.
Recuerdar que el videodisco es la integración del uso de la computadora, audio y video.
Este proceso requiere planificación, análisis, creatividad y ejecución del diseño.
Para que sea efectivo, el tiempo debe ser apropiado.
Tener muy claro el proceso de las 13 fases.
Lo que explicó el cliente
Lo que se entendió
Cómo el experto lo
diseñó
Lo que hizo el programador
Lo que describió el consultor
Cómo se documentó Lo que se creó
Lo que pagó el cliente
Lo que entendió la audiencia
Lo que se necesitaba en
realidad
¿Qué se espera?¿Qué se espera?
Definir las metas, contexto
y especificacione
s técnicas
Diseñar lo que se pideNuevo
contenido y necesidades
revisadas
Diseño e implementación
Diseño revisado
Producto efectivo y fácil
de usar
Conceptos y visualización Prototipo
Evaluación
Conozca las
necesidades
Storyboard o
prototipo
Pruebas guiadas
Lista de cotejo o flujograma
Presentación del producto final
Uso efectivo
Resumen
1
2
34
5
Las 13 fases del proceso de desarrollo
Llevar a cabo el lanzamiento del proyecto
Llevar a cabo el lanzamiento del proyecto
Llevar a cabo el análisisLlevar a cabo el análisis
Establezaca los criterios de evaluación
Establezaca los criterios de evaluación
Prepare el plan de implementaciónPrepare el plan de implementación
Diseñe la aplicaciónDiseñe la aplicación
Enlace los elementos computadorizados
Enlace los elementos computadorizados Produzca el videoProduzca el video
Mezcle y realice pruebasMezcle y realice pruebas
Valide el programa y haga revisiones finales
Valide el programa y haga revisiones finales
Manufactura y copiasManufactura y copias
Implementación y presentaciónImplementación y presentación
EvalúeEvalúe
MantenimientoMantenimiento
Todos los participantes del proyecto participan en reunión para la aprobación final de la oferta.
En ésta, se inician las metas del programas a ejecutar, discusión del proceso de desarrollo, asignación y clarificación de roles y responsabilidades, así como, el horario programado.
Exige trabajo colaborativo.
Se establecen los requisitos del programa.
Se definen y organizan las metas, estrategias, y contenido del programa.
Se conducen las entrevistas e investigaciones a determinar:- Necesidades de la audiencia- Perfiles de la audiencia- Tareas y secuencia de tarea- Investigaciones de artículos, y otras asuntos de ambientes de aprendizaje.
Se identifican las metas en su totalidad.
Los patrones de pruebas se establecen para medir la efectividad del proyecto.
Se estudia el costo por hora, eficacia y la aceptación del estudiante.
Documentación de la audiencia, las estrategias, y las herramientas a entregar.
Se dirige hacia la preparación del inicio del proyecto.
Se definen los objetivos medibles y el contenido en cada segmento.
Se establece un plan de prueba del programa.
Se utilizan elementos discretos de los medios, incluyendo el guión, video y audio, actividades computarizadas, y la estructura del programa.
Finalmente, se inicia la integración de los componentes en un “storyboard” o narrativo, lo que dará pie a la toma de decisiones.
Fase de ProducciónLuego del proceso tantoevaluativo como narrativo,los componentes de los medios computarizados semezclan para crear lasprimeras imágenes. Estasprimeras producciones seintegran para seguircualquier dato de lainformación requerida.
Producción de VideoAquí se aplica todo el
análisis y desarrollo del diseñ0
Incluye todas las fases de producción.
Planificación de la geografía del video (minimiza tiempo de búsqueda) Computadora/Video/Audio
Unión y Prueba
Los componentes de lacomputadora y del videodisco son mezclados, verificando la secuencia y ramificación.
El texto se conduce según el plan de prueba desarrollado durante la fase de diseño y también incluye corregir las imágenes. Se verifica la logística del programa.
Validación y Revisión FinalAnalista
Usuarios RepresentantesRevisiones
en Resultado
s
+- +
Manufactura y CopiasVideodiscos
Disco de programación
Materiales del usuario que se pondrán en práctica.
Preparar las guías de la documentación del programa.
Implementación y EntregaSe le presenta el programa a los usuarios de la audiencia.
Lo ponen en práctica, según desarrollado en la fase 4.
Lleve a cabo la evaluaciónSe mide el logro de las metas totales del proyecto, usando los patrones de pruebas fijadas en la evaluación de la fase 3.
Análisis de los informes generados por los componentes del mantenimiento de registros del programa.
La colección de datos de las técnicas, tales como; Exámenes Entrevistas Sesiones del grupo
Mantenimiento del Programa
Depuración, revisión.
Actualizaciones apropiadas para el lanzamiento del programa a los usuarios finales.
Evaluación formativa dentroEvaluación formativa dentrodel proceso de desarrollodel proceso de desarrollo
Fases
Avalúo de necesidades
Evaluación formativa de
la preproducción
Evaluación formativa de la
producción
Avalúo de necesidadesAquí el programa toma forma de acuerdo al
bosquejo. Se organiza por temas y subtemas.
Comprensión:
¿Qué información es extraña? ¿Qué falta?
¿Tiene secuencia?
¿Hay opciones para el usuario?
Interactividad:
¿El usuario se siente cómodo? ¿El programa ejerce control?
¿El usuario puede aumentar el nivel de dificultad?
Grupo Focal
Funciones del grupoReflejar sus
paricularidades acerca del producto.
Organizar los tópicos en orden de importancia.
Añadir tópicos si era necesario.
Resultado: Sugirieron que el material presentado se colocara completo para que la parte de adiestramento en mercadeo incorporara todos los tópicos así como casos hipotéticos; y que una demostración se colocara separada como apoyo.
Funciones del grupoInteractividad:
(sugerencias)
No solamente flexible, sino activo.
El mismo material para adiestramiento, demostraciones y audiencia general.
Debe incluir diversos audios dirigidos a cada audiencia.
El usuario debe tener la opción de encender y apagar el audio.
Evaluación formativa de la Evaluación formativa de la preproducciónpreproducción
Primer prototipoDurante la fase de diseño se hace un examen
detallado del contenido y visuales a través de un “storyboard” o narrativo.
Este narrativo debe presentar lo que el aprendiz experimentará de manera secuencial.
Puede incluir:
Texto Gráficas Audio
¿Qué se evalúa?Comprensión: ¿El método de
presentación se entiende y es consistente?
¿ El usuario es capaz de seguir la secuencia de un segmento al otro?
Interactividad: ¿Pueden
entender cómo moverse hacia dónde desean?
¿El nivel de control y movimiento, ¿es poco o demasiado?
Apariencia: ¿Es atractivo a
la audiencia?
¿Logra comprometerse la audiencia?
La mezcla de elementos tecnológicos, ¿es variada?
Metodología:Metodología: Atención individualOne-on-One walk-through
Evaluador Evaluador Evaluador Evaluador
Tono de voz
Tiene que ser evaluado.
Puede afectar la comprensión y la apariencia.
Narrativo FinalNarrativo Final
EjemplosPueden variar de acuerdo al proyecto, sistema de autor, lenguaje o programa.
Debe incluir...Texto
Visuales
Descripción del movimiento
Interactividad
Enlaces
¿Qué se evalúa?Comprensión:
¿La información y el contenido están claros y fácil de recordar?
¿ Se cumplen los objetivos?
Las instrucciones y los ejercicios están claros?
Interactividad:
¿Los participantes son capaces de moverse a través del programa?
¿Cómo responden al nivel de interactividad?
Apariencia:
¿Los usuarios disfrutan del programa?
¿Se quedan interesados?
¿Encuentran retos?
¿Qué hacer? Utilizar nuevamente la metodología 1-1.
Actividades computadorizadas más completas.
El evaluador provee los enlaces no incluídos.
Los participantes deben hacer selecciones y tomar decisiones en cada ramificación.
El evaluador describe con más detalles el lugar o ambiente y los personajes.
El usuario trabaja por una hora y pasa dos con el evaluador.
Interactividad
VS
Aunque no hubo una interactividad “real” a través de las opciones de las ramificaciones en el narrativo, pudieron presentar insumos para el diseño final.
Quejas frecuentes
Instrucciones no precisas.
Fraseo o léxico equivocado.Personajes o casos no
reales.Idioma o sincronía de voz.SecuenciaInteractividad por ser en
papel.No permite regresar a
temas previos.Falta de orejitas o “hints”.
Lo que gustó
Estructura Segmento de preguntas Retroalimentación inmediata. Valoración, sentirse parte del
proceso.
Verificación del disco Esta versión debe ser en
un disco barato. Debe pasar por dos
evaluaciones formativas: En el lugar de desarrollo En el lugar del cliente.
¿Qué se evalúa?Comprensión:
¿El programa es claro, definido así como sus ejercicios, estructura y sus niveles?
¿Les interesa salir a probar las nuevas técnicas?
Interactividad:
¿Los participantes son capaces de interactuar a través del programa?
¿Cumple con las necesidades?
¿Aprende el usuario?
Apariencia:
¿Los usuarios disfrutan del programa?
¿Mantienen el interés?
¿El tono de voz es adecuado?
Métodos de evaluación Recolección de datos
Observación Si se estancan Si omiten partes o
ejercicios.
Cuestionarios
Mapa de progreso
Anotaciones
Otros
Resultados según categorías
8 personas / 1h30 min con el programa / 30 mins con evaluador
CategoríasTiempo y Dinero
• Instrucciones más detalladas
• Diferentes formatosreferentes a las
preguntas
Interactividad de videos
Toque de pantalla
Conclusión Asuntos de comprensión, instrucciones o apariencia pueden ser evaluados en papel; pero la evaluación a la parte interactiva, cuesta.
Es importante recopilar información durante el desarrollo. Sin embargo, la retroalimentación y patrones encontrados tienen igual relevancia.
La evaluación formativa en una herramienta importantísima para obtener el potencial deseado. No obstante, las dificultades son primordiales para esa perfección.
top related