Elaboración de Instrumentos de

Evaluación

Evaluación y Recursos DigitalesCEPR08

Especialización TACProf Elvira Navas

¿Qué es un instrumento de evaluación?

Lista de preguntas relativas a un mismo tema destinadas a ser contestadas por una gran número de individuos (Salvat, 1968 p 244)

Un procedimiento que permite obtener respuestas a preguntas, mediante el uso de un formulario que el sujeto puede llenar por si solo (Berdie y Anderson,1974)

Un conjunto de preguntas respecto a una o más variables a medir (Hernández, Fernández y Baptista,1991)

Un instrumento de evaluación esta integrado por preguntas que solicitan información referida a un problema, objeto o tema de investigación, el cual normalmente es administrado a un grupo de personas (Ruiz Bolívar, 2002)

Clasificación de los instrumentos de evaluación

Por el tipo de preguntas De respuestas abiertas De respuestas cerradas De respuestas semi-cerradas. Mixtos (contiene preguntas de los tres tipos

anteriores)

Ejemplo de respuesta abierta Indique su opinión general sobre el sitio

evaluado. _________________________________ _________________________________ _________________________________ _________________________________

Ejemplo de respuesta cerrada

¿Cuál de las frases que se presentan a continuación expresan su opinión acerca de las imágenes utilizadas en el programa evaluado? (Marque con una X)

___ Son adecuadas para la edad de la audiencia ___ Son muy infantiles ___ Son demasiado abstractas

Ejemplo de pregunta semi-cerrada ¿Cuál es su opinión acerca de la

navegación en el sitio evaluado? Es muy fácil de seguir Al comienzo es complicada pero luego se

hace fácil Es muy difícil de seguir No es evidente Otra ______________________________

Ventajas de las preguntas cerradas Los ítems de respuesta cerrada son

fáciles de puntuar y de codificar. No es necesario que el individuo

evaluador sea capaz de expresarse verbalmente de manera adecuada. ( el caso de los niños)

Facilita que se conteste todo el instrumento ya que es mas rápido completarlo.

Desventajas de las preguntas cerradas Siempre existe la posibilidad de no

proveer de todas las respuestas posibles al evaluador.

Se puede inducir al sujeto no intencionalmente a responder de una determinada manera.

Ventajas de las preguntas abiertas Son muy útiles cuando el evaluador tiene

poca información acerca de la población objeto del estudio.

Permite obtener una información mas completa y determinar detalles.

Desventajas de las preguntas abiertas Las respuestas son mas difíciles de

clasificar y codificar. En las respuestas abiertas se siente la

influencia de las destrezas verbales del individuo para expresar su opinión correctamente.

Consumen mucho mas tiempo tanto el llenado del instrumento como su codificación posterior.

Por el momento de la codificación Pre-codificados Post-codificados

Por la forma de administración Autoadministrados (entrega personal, envío por

correo o en línea) Entrevista personal Entrevista telefónica

Clasificación de los instrumentos de evaluación

Pasos para el diseño de un instrumento de evaluación Reflexiones previas Planificación Elaboración del instrumento Estudio piloto Administración Análisis de datos

Reflexiones previasAntes de comenzar a diseñar un cuestionario debemos hacer algunas reflexiones tales como:

1. ¿Cuál es el propósito del instrumento?2. ¿A quiénes está dirigido?3. ¿Cuán fácil será la aplicación del instrumento?4. ¿Qué modalidad de instrumento se utilizará?5. ¿Qué clase de preguntas se emplearán?6. ¿Qué extensión podría tener el instrumento?7. ¿Cuánto control puede ser ejercido sobre los

factores que pueden afectar la validez de los resultados?

Planificación del instrumento

Determinar el propósito del instrumento. Determinar las dimensiones en que

puede dividirse el propósito del instrumento.

Determinar los indicadores de cada una de las dimensiones establecidas.

Redactar los ítems necesarios para cada uno de los indicadores.

Propósito del instrumento Dimensión Indicadores

Evaluar la calidad del software propuesto en cuanto a contenido, funcionalidad y calidad técnica.

Aspectos funcionales y de utilidad.

-Facilidad de acceso -Facilidad de uso-Facilidad de ayuda-Identificación de créditos-Facilidad de navegación

Contenido y Aspectos pedagógicos

-Relevancia e interés del contenido.-Actualidad del contenido-Adecuación a la audiencia-Claridad de Objetivos-Organización de los contenidos-Presentación de los contenidos-Presentación y manejo de los contenido-Adecuación a la audiencia-Motivación-Manejo de las actividades-Trabajo colaborativo-Presentación de contenidos

Diseño-Navegación-Interfaz-Funcionamiento

Aspectos técnicos-Uso de la Web-Conectividad-Elementos de comunicación

Ejemplo:

Dimensiones e indicadores de instrumento presentado en Navas(2004)

Elaboración del instrumento

Algunas recomendaciones para la elaboración del instrumento según Hernández(1991)

1. Las preguntas deben ser claras y comprensibles2. Las preguntas no deben incomodar al respondiente3. Las preguntas deben referirse a un solo aspecto o

asunto4. Las preguntas no deben inducir las respuestas5. Las preguntas no deben apoyarse en instituciones,

ideas respaldadas socialmente ni en evidencia comprobada

6. El orden fijo de las alternativas de respuesta puede favorecer determinadas opciones

7. El lenguaje debe ser adecuado al nivel de los respondientes

Ejemplo (cont)Indicadores: 1.-Facilidad de acceso

2.-Facilidad de uso3.- Facilidad de ayuda

4.- Identificación de créditos5.- Facilidad de navegación

ItemIndicador

1 Es fácil el acceso al Programa. 1

2 En general el uso del sitio se hace agradable. 2

3 Es fácil encontrar la información. 5

4 Se puede acceder al área de ayuda desde cualquier punto del material.

3

5 Los autores están totalmente identificados 4

6 Los enlaces a otros sitios fuera del material funcionan correctamente.

5

7 Es fácil moverse en el programa 5

Algunos Items del instrumento presentado en Navas(2004

Elaboración del instrumento Para el formato del cuestionario se deben

tener en cuenta: La diagramación La secuencia de las preguntas

Se debe empezar por preguntas fáciles y no agresivas

Es preferible avanzar desde preguntas amplias y generales a las mas específicas

Si hay preguntas confidenciales, trate de no hacerlas al principio del instrumento

Estudio piloto

Se hace con la primera versión del instrumento para verificar su funcionalidad. Debe hacerse en dos fases:

Validación por juicio de expertos Mediante una muestra piloto de sujetos

Administración del instrumento Se debe definir la forma de

administración del instrumento Auto administrado Por entrevista personal o por teléfono.

Análisis de los datos•Análisis estadístico•Análisis de contenidos (evaluación cualitativa)

Bibliografía Salvat(1968) Diccionario Enciclopédico. Madrid España Berdie,D y Anderson J (1974) Questionaires: Design and

use. Metuchen N.J. The Scarecrow Press Inc. Hernandez,S.; Fernandez,C; Baptista,L. (1991)

Metodologia de la Investigación. Mc Graw-Hill Mexico Navas, E.(2004) Diseño de un material multimedio

educativo de educacion en valores para la universidad metropolitana. Tesina doctoral presentada en al Universidad de Sevilla.

Ruiz ,C.(2002) Instrumentos de Investigación Educativa. Procedimientos para su diseño y validación. CIDEC Barquisimeto Venezuela.