metodologia ceneval

8/10/2019 Metodologia Ceneval

1/36

Metodologa Ceneval


2/36


3/36


4/36


5/36

Metodologa Ceneval


6/36

Directorio

Direccin GeneralRafael S. Vidal Uribe

Direccin General Adjunta de los EXANILuca Monroy Cazorla

Direccin General Adjunta de los EGEL Jorge Hernndez Uralde

Direccin General Adjunta de Programas EspecialesRoco Llarena de Thierry

Direccin General Adjunta de OperacinFrancisco Javier Apreza Garca Mndez

Direccin General Adjunta de Difusin Javier Daz de la Serna Braojos

Direccin General Adjunta de AdministracinFrancisco Javier Anaya Torres

Direccin Tcnica y de InvestigacinCsar A. Chvez lvarez

Direccin de Procesos pticos y Calificacin Mara del Socorro Martnez de Luna

Direccin de Tecnologas de la Informacin y las ComunicacionesFrancisco Manuel Otero Flores

Direccin de Relaciones Institucionales Mara Elena Barrera Bustillos

Redaccin Erika Gonzlez Corzo, Patricia Martnez Cuevas

Revisin tcnicaCsar Chvez lvarez

Revisin editorialDireccin General Adjunta de Difusin

Diseo grfico Mnica Corts Genis| lvaro Reynoso Castaeda

Metodologa Ceneval

D.R. 2013, Centro Nacional de Evaluacin para la Educacin Superior, A.C. (Ceneval) Av. Camino al Desierto de los Leones 19, Col. San ngel, Deleg. lvaro Obregn, C.P. 01000, Mxico, D.F.

www.ceneval.edu.mx

Se prohbe la reproduccin total o parcial de esta obra incluido el diseo tipogrfico y de portada,sea cual fuere el medio, electrnico o mecnico, sin el consentimiento por escrito del editor.

Julio de 2013

Impreso en Mxico| Printed in Mexico


7/36


8/36


9/36

| Presentacin

La evaluacin educativa es una herramienta fundamental para encaminar polticas pblicas pode la mejora de la educacin. Da con da, las pruebas de logro acadmico a gran escala acrecieimportancia al identificar las fortalezas y debilidades de los sistemas educativos, de los prograestudio y de los aprendizajes logrados por los estudiantes.

El Ceneval ha desempeado desde su creacin un papel relevante en nuestro pas, en virtud ha generado informacin til para que las instituciones educativas, pblicas y privadas, de losmedio superior y superior apliquen estrategias de mejora en el cumplimiento de sus funciones

El Ceneval disea y administra exmenes de alta calidad al servicio de las instituciones eduSe ha ganado el reconocimiento de la sociedad por ser un organismo con bases tcnicas slidadamentadas en la psicometra y en la investigacin educativa.

El Centro es lder en la construccin de pruebas de opcin mltiple, rbricas y otros instrumde evaluacin de habilidades y competencias acadmicas o profesionales. Para conservar este liel Ceneval debe fortalecer sus acciones de mejoramiento continuo, mantener actualizados los mentos de medicin, ampliar la participacin de expertos en los cuerpos colegiados encargadospervisar y construir los exmenes, cuidar con esmero los procesos involucrados en cada estratevaluacin y capacitar de manera permanente a su personal tcnico.

El conocimiento adquirido a lo largo de su trayectoria y la profusa revisin de la literatura desarrollo de pruebas que producen instituciones educativas y organizaciones nacionales y deljero dedicadas a la evaluacin, se constituyeron en el cimiento que permiti consolidar en los acientes la metodologa del Ceneval, que sistematiza los procesos y fases indispensables para construir, aplicar y calificar los instrumentos de evaluacin.

Los avances del conocimiento, los cambios en la sociedad y sus instituciones y las nuevas nedes que debe satisfacer la evaluacin obligan a repensar, revisar y actualizar los modelos con opera en los hechos; en congruencia, la Metodologa Ceneval tambin se modifica. Otra actividatante del Centro son las acciones permanentes de control de calidad de los procesos; el desaruso intensivo de recursos informticos y un amplio programa de capacitacin para el perfecmiento tcnico del personal.

En la perspectiva de promover la cultura de la evaluacin en amplios sectores de la sociedadel propsito de difundir en todo foro pblico los rasgos esenciales de la Metodologa Cenevapreparado la segunda edicin de esta publicacin que incorpora modificaciones recientes. Ahampla la informacin sobre el marco institucional y se incluyen aspectos que permiten complas particularidades de su quehacer en torno al modelo que se emplea en el desarrollo de los mentos de evaluacin.

Presentacin


10/36


11/36

| Marco institucional

Principios institucionales

El Centro Nacional de Evaluacin para la Educacin Superior (Ceneval) es una asociacin cisurge por mandato de la Asociacin Nacional de Universidades e Instituciones de Educacin Su( ANUIES ) en 1994. Desde su creacin se caracteriza por ser una institucin eminentemente tcuya misin es promover la calidad de la educacin mediante evaluaciones vlidas, confiablesnentes. Sus actividades se orientan, principalmente, a evaluar los conocimientos y habilidades dos por los individuos en procesos de enseanza-aprendizaje formales o no formales de los neducativos medio superior y superior.

El Centro ofrece sus servicios a instituciones educativas pblicas y privadas, organizaciones fesionistas y a organismos del sector gubernamental y del mbito empresarial.

Para cumplir su misin, el Ceneval rige sus actividades con los siguientes principios bsico Imparcialidad. El Centro no favorece a ninguna persona, organismo o institucin en particu Calidad tcnica. Los procesos de diseo, construccin, aplicacin, calificacin y reporte de r

tados de los exmenes estn apegados a estndares de calidad reconocidos por agencias de cin nacionales y de otros pases para garantizar su validez y confiabilidad.

Actualidad. Los exmenes se revisan continuamente para ajustar los contenidos que se evallos cambios que sobrevienen en las reas disciplinares o profesionales.

Confidencialidad. Las personas y las instituciones evaluadas tienen derecho a que sus resultno sean revelados sin su consentimiento.

Transparencia. Los procesos concernientes a la elaboracin, aplicacin y calificacin de exmenes estn abiertos a escrutinio, siempre y cuando no se contrapongan al princip confidencialidad.

Exmenes del Ceneval

Caractersticas

La mayora de los exmenes que desarrolla y aplica el Ceneval son evaluaciones de alto imppersonas que los sustentan afrontan consecuencias directas de los resultados que obtienen. Esticularidad compromete al Centro a que cada uno de sus instrumentos de evaluacin cumpla csiguientes propiedades:

Marco institucional


12/36

Validez. Los instrumentos se disean y construyen para medir un dominio claramente identifiLos reactivos de cada instrumento de medicin son congruentes con las definiciones del obj

medida sancionado por el Consejo Tcnico del examen. Por ello, es posible realizar inferepartir de indicadores fehacientes del rasgo medido. Confiabilidad. Los resultados de la evaluacin son consistentes, de tal forma que diferentes p

tajes reflejan diversos niveles de competencia de los sustentantes. Equidad. Los instrumentos de medicin se construyen de forma tal que no benefician a un gr

determinado. Se establecen las medidas necesarias para evitar sesgos culturales que alt evaluacin.

Pertinencia. Los instrumentos de medicin cuentan con un marco de referencia conceptual sustenta la definicin del constructo medido y cubre de manera representativa los dominionidos como objeto de evaluacin.

Objetividad. Las ristras de respuestas de los sustentantes se califican siguiendo el algoritmorizado para cada examen, por lo que todos los sustentantes son calificados de la misma f Todos los instrumentos de medicin se califican en un rea independiente a la que construyemen y a la que lo aplica.

Tipologa de exmenes

Cada instrumento de medicin se disea y construye de acuerdo con un propsito que delimusos de sus resultados de evaluacin. El Ceneval desarrolla los siguientes exmenes:

Exmenes de admisin Son exmenes normativos que evalan dominios con un alto poder predictivo sobre el rendim

acadmico de los estudiantes en el primer ciclo educativo. Permiten a las instituciones educativas identificar a los mejores candidatos para ingresar a u

grama acadmico. Los sustentantes que presentan el examen en una institucin educativa son ordenados de ac

con el puntaje que obtuvieron en la prueba de logro acadmico.

Las instituciones usuarias determinan el puntaje requerido para ingresar a cada uno de sus prog Los resultados de los exmenes se reportan en una escala continua a la que se le da el nom

ndice Ceneval. A las instituciones usuarias se les entregan reportes con la informacin de la poblacin que su

el examen.

10


13/36

Exmenes de egreso Son exmenes criteriales que se disean considerando un perfil profesional validado; puede

alineados o no a un programa de estudios especfico. Su propsito es identificar los conocimientos y habilidades que logran los sustentantes al coun proceso formal de instruccin.

Informan sobre los niveles de desempeo en las reas que mide el examen, por lo que la esmedicin es categrica.

A todos los sustentantes se les entrega un reporte individual de resultados. Se otorga un testimonio de desempeo satisfactorio o sobresaliente a los sustentantes que c

los criterios establecidos en cada examen. A las instituciones educativas se les entrega un reporte que contiene informacin de todos

tudiantes que presentaron el examen.

Exmenes de diagnstico Son exmenes criteriales que informan sobre los niveles de desempeo logrados por los susten Su propsito es informar sobre los conocimientos, habilidades y competencias que han adq

los sustentantes en un punto de su trayecto educativo o desempeo profesional. Generalmente los contenidos que se evalan se alinean a currculos o a descripciones puntu

una competencia. Permiten a las instituciones educativas identificar fortalezas y debilidades de un programa aca

Exmenes de acreditacin Son exmenes criteriales que se disean considerando los aspectos esenciales del nivel edu

que se pretende acreditar. Su objetivo es identificar si los sustentantes poseen los conocimientos y las habilidades equiv

a los que tienen en su repertorio los estudiantes que cursaron formalmente el nivel educativse pretende acreditar.

Estos exmenes se aplican en momentos no ligados a procesos de instruccin. A cada sustentante se le informa el resultado de su evaluacin. A las autoridades de la Secretara de Educacin Pblica se les notifican los resultados de to

sustentantes que presentan el examen.

Exmenes de certificacin Su objetivo es identificar si los sustentantes cuentan con un repertorio actualizado de conocim

y habilidades considerados como esenciales para la prctica profesional. Se aplican en momentos no ligados a procesos de instruccin. Se cien a lo que el gremio profesional considera relevante de evaluar.

Marco institucional


14/36

Cuerpos Colegiados

En los procesos de construccin de los instrumentos de medicin contribuyen con el Ceneval cde especialistas que aportan sus conocimientos y experiencia en diversos rganos de trabajo. pecialistas docentes, investigadores y autoridades provienen de instituciones educativas pprivadas de todo el pas; colaboran tambin profesionales con amplio reconocimiento en su cque laboran en el mbito empresarial, en el sector pblico y en el ejercicio libre de la profesi

Para cada examen se constituye un Consejo Tcnico y diversos comits acadmicos. Estos ccolegiados se distinguen entre s por las actividades que realizan en las fases de la Metodologa Los cuerpos colegiados son de vital importancia para el desarrollo de los instrumentos, esenciaporque aportan el conocimiento y el juicio de expertos que permiten, por una parte, construir etenido de la evaluacin y, por la otra, conjuntar evidencias para sustentar la validez del instrum

A continuacin se describen brevemente las funciones de cada grupo de apoyo: Consejo Tcnico. Es el rgano rector del examen. Sus funciones son proponer, guiar, vigilar y

torizar todas las decisiones que afectan la evaluacin, cuidando que el instrumento sea vigelido, confiable, pertinente y relevante.

Comit Acadmico de Diseo. Este grupo se conforma con especialistas de los campos temticos que incorpora el examen y puede integrar a miembros del Consejo Tcnico. Su funcicipal es delimitar el objeto de medicin, y en tal virtud define los constructos por medir y selelos contenidos que deben ser evaluados. Con este grupo se elaboran las definiciones concepde las reas que se medirn, as como la estructura del examen.

Comit Acadmico de Elaboracin de Especificaciones. Con base en la estructura del examen,este cuerpo colegiado elabora las especificaciones de reactivos que ponen de manifiesto unnicin operacional de los conocimientos, habilidades o competencias que se pretende medcomo un reactivo muestra. En este grupo pueden participar consejeros tcnicos o miembrocomit de diseo.

Comit Acadmico de Validacin del Objeto de Medida. Este cuerpo colegiado valida de ma-nera integral los contenidos propuestos para el instrumento y verifica que la estructura y lacificaciones sean congruentes. Un aspecto esencial de las tareas del comit es revisar la cordencia del contenido con las definiciones del perfil referencial del examen. Con estas lab

alinean todos los elementos definitorios del contenido. Adems de especialistas en los temaden participar expertos que hayan formado parte de los comits anteriores o consejeros tcn Comit Acadmico de Elaboracin de Reactivos. Este comit se encarga de elaborar los reacti-

vos alineados a las especificaciones y siguiendo los lineamientos tcnicos institucionales. Intepecialistas que cumplen un perfil acadmico y profesional establecido por el Consejo Tcnicocon los temas en que participan. Para garantizar la calidad de los reactivos, todos los elabor

12


15/36

participan en talleres de capacitacin y utilizan el Banco de Reactivos para Asesores Ex(eBRAE ), que es la herramienta informtica del Ceneval para la administracin de los bancos

activos en proceso de construccin. Comit Acadmico de Validacin Externa de Reactivos. Los miembros del comit, organiza-dos en mesas de trabajo, verifican que el contenido de cada reactivo est alineado a la especify, por tanto, a la estructura del examen; analizan que el reactivo est libre de errores de con(redaccin, imgenes, tablas o cualquier otro recurso utilizado); revisan que tenga nicamerespuesta correcta, que los distractores sean plausibles y que la informacin del reactivo esde sesgos culturales (de gnero, religiosos, polticos, regionalistas, racistas, clasistas, sexistas,El comit debe dictaminar si el reactivo mide contenidos vigentes, relevantes y pertinentes poblacin sustentante. Sus miembros podrn hacer modificaciones para lograr que el reactivolas caractersticas adecuadas ya que posteriormente no ser modificado, excepto para corregres ortotipogrficos.

Por su importancia, los especialistas que participan en este comit deben tener una trayeacadmica o laboral destacada y, por aadidura, los conocimientos necesarios para emitir unsobre el contenido de cada reactivo.

Comit Acadmico de Clasificacin. Este cuerpo colegiado se conforma con la intencinde verificar la ubicacin temtica de los reactivos en la estructura y su correspondencia especificacin.

Comit Acadmico de Puntos de Corte. Este cuerpo colegiado se conforma para los exmenecon referencia al criterio; es su responsabilidad establecer los puntajes mnimos (puntos deque sern la base para clasificar a los sustentantes en los diferentes niveles de logro determpreviamente por los especialistas en el consejo tcnico del examen. Este comit tambin elos descriptores conceptuales de cada nivel de desempeo.

Programas permanentes de control de calidad

El Ceneval ha redoblado esfuerzos para mejorar la calidad de los productos y servicios que bsus usuarios. Se han vigorizado las acciones para detectar fortalezas y reas de oportunidad q

mitan una mejora constante.En este sentido, para garantizar la observancia de las normas institucionales, el cumplimielos estndares, la recoleccin de las evidencias que den cuenta de los procesos realizados y laatencin a los usuarios, en el Ceneval se llevan a cabo acciones de control interno, auditoras ty estudios para conocer el nivel de satisfaccin del usuario.

Marco institucional


16/36

Acciones de control interno

La supervisin del cumplimiento de las normas, procedimientos y estndares de calidad son acticotidianas del cuerpo directivo que conforma cada una de las direcciones generales adjuntasfuncionarios coordinan las actividades del personal tcnico a su cargo y revisan la calidad de ductos o servicios que se brindan a los usuarios.

Sobre este cuerpo directivo recae la responsabilidad de establecer los mecanismos de contrse requieran para vigilar la calidad de los procesos y productos. Asimismo, es de su competencitar los apoyos que se requieran para solventar dificultades tcnicas y de capacitacin.

Auditoras tcnicas

Simultneamente a las acciones de control desplegadas en cada una de las direcciones generaletas, la Direccin Tcnica y de Investigacin ( DTI ) realiza auditoras cuyo objeto es la valoracin tcnide los aspectos nodales de los instrumentos.

En las auditoras se verifica el cumplimiento de los lineamientos con base en protocolos espefocalizados en los aspectos que interesa revisar; en cada auditora se elabora un informe de resque incluye la descripcin de las fortalezas encontradas y, si es el caso, las recomendaciones pjorar la calidad tcnica del instrumento en cuestin. Posteriormente, laDTI realiza el seguimiento delas recomendaciones emitidas.

Auditoras cualitativas y cuantitativas abordan, por ejemplo, la revisin de la estructura del ela calidad de los reactivos activos del banco, las reglas de diseo utilizadas en el ensamble de vlas especificaciones tcnicas de los reactivos incorporados en cada versin, las caractersticas ptricas de los reactivos y de las versiones operativas, los procesos de lectura y calificacin y los que se turnan a las instituciones usuarias, as como los informes de observaciones que los sustehacen a los reactivos.

Auditoras de los diferentes procesos que define la Metodologa Ceneval consisten en veriin situ el desarrollo de acciones que deben llevarse a cabo de manera obligatoria, conforme lo estaben el Prontuario de Normas Tcnicas.

En las acciones de auditora tcnica colaboran con laDTI las direcciones generales adjuntas deDifusin y de Operacin, la direccin de Tecnologas de la Informacin y la Comunicacicomo la de Procesos pticos y Calificacin, suministrando informacin, procesndola o trabaconjuntamente.

14


17/36

Estudios del nivel de satisfaccin del usuario

Un aspecto fundamental para el control de la calidad es la opinin de los usuarios acerca de lductos y servicios del Centro. En la exploracin de los niveles de satisfaccin de los usuarios sidera el anlisis sobre la utilidad y la pertinencia de la evaluacin, la oportunidad con que se formacin sobre los exmenes o sobre la logstica de las aplicaciones, la eficiencia del registro el desempeo de los coordinadores de aplicacin o aplicadores de exmenes, la rapidez en el elos resultados de los sustentantes, la diligencia para solucionar problemas y la difusin de los sa los cuales pueden acceder, entre otros aspectos.

El cuidado de la calidad est vinculado con la bsqueda constante de un alto nivel tcnicoelaboracin de los exmenes, junto con una atencin esmerada a los usuarios de los instrumenevaluacin.

Marco institucional


18/36


19/36

| Metodologa Ceneval

Despus de algunos aos de experiencia, el Ceneval se dio a la tarea de formalizar el modelo luacin institucional, recuperando lo hecho por las diferentes reas de la organizacin y enriqdolo con los conocimientos emanados de la literatura especializada.

En los primeros aos de su existencia, cada coordinacin de examen estableci normas y prmientos mnimos retomados de las experiencias nacionales y de instituciones con experiencia menes de gran escala (College Board, Educational Testing Service, entre otros). Durante variocoexistieron varios mtodos de trabajo en los que se realizaban tareas comunes pero no estandarPosteriormente, la constitucin de un rgano de evaluacin externa en el ao 1999,1 permiti estable-cer los estndares de calidad para todos los instrumentos del Centro.

Entre los aos 2001 y 2005 un proyecto conjunto del personal tcnico tuvo la finalidad de comlas prcticas de trabajo, y el resultado fue una primera documentacin de los procesos inherenconstruccin de los exmenes. Sin embargo, el mayor impulso para la concrecin de una metopropia se ha desplegado en estos ltimos aos.

Los esfuerzos de sistematizacin han cristalizado en la Metodologa Ceneval que describe la cia de procesos y las fases necesarias para el desarrollo de los instrumentos de evaluacin.

La metodologa incorpora procedimientos basados en los ltimos avances de la psicometrotras disciplinas afines. En el modelo que se sigue, los productos de una fase se convierten en inde la siguiente. Adems, considera diversas tareas de verificacin en las que se revisa el cumpde los lineamientos tcnicos institucionales que se han emitido para lograr los estndares de exigidos.2

De esta manera, la metodologa establece tanto el mtodo por seguir, las consideraciones ty los estndares, as como las normas, procedimientos y responsabilidades a las que el personal dy el tcnico deben ajustarse en cada fase de trabajo.

Como complemento indispensable para desplegar las actividades necesarias y controlar caceso y producto, el Ceneval ha consolidado un equipo tcnico capaz de desarrollar una herrainformtica robusta y confiable. El Banco de Reactivos para Asesores Externos (eBRAE ) y el Banco deSeguridad (eBASE ) conforman la plataforma informtica que obliga a que la estructura del exam

totalidad de los reactivos que se elaboran y los exmenes que se ensamblan transiten por los prestablecidos en la Metodologa Ceneval.

Metodologa Ceneval

1 En 1999 se instala el Consejo Asesor Externo,CAE. En 2000 el Ceneval publica los Estndares de Calidad para Instrumentos de Evaluacin.

2 Al final del documento se incorpora una bibliografa bsica.


20/36

La administracin de la plataforma est a cargo de la Direccin Tcnica y de InvestigacinDTI ).En lo que respecta a los aspectos tecnolgicos, el rea responsable es la Direccin de Tecnolo

la Informacin y las Comunicaciones ( DTIC ).La Metodologa Ceneval se difunde entre la comunidad institucional a travs delProntuario de normas tcnicas y estndares , publicado en volmenes distribuidos de la siguiente manera: el primero correspa los procesos de diseo de la evaluacin, delimitacin del objeto de medida y construccin dede reactivos. El segundo aborda las normas de los procesos de verificacin cuantitativa y ensamcuadernillos y formas de versiones. El tercero se refiere de manera particular al proceso de apl(operacin) de los instrumentos. En otro volumen se establece la normativa para los procesos lificacin y emisin de resultados, as como lo relativo al mantenimiento de los instrumentosmente, en un volumen independiente, se documentan las normas para la elaboracin de matcomplementarios a los instrumentos: la gua del sustentante y el manual tcnico, entre otros.

La normativa del Ceneval se apega a las recomendaciones emanadas de entidades acadmica American Educational Research Association ( AERA ), American Psychological Association ( APA ), Na-tional Council on Measurenment in Education ( NCME ) y el Joint Committee on Standards for Educa-tional Evaluations.

Procesos y fases de la Metodologa Ceneval

El modelo de evaluacin consta de diez procesos que se subdividen en 33 fases: desde la concde un examen hasta las acciones para su mantenimiento, incluyendo la elaboracin de sus macomplementarios. En la tabla 1 se muestra la metodologa y a continuacin se describen sus principales.

18


21/36

Metodologa Ceneval

I. Diseo de la evaluacin

Tabla 1 | Metodologa Ceneval: procesos y fases

Proceso Fase

1. Definicin de las caractersticas de la evaluacin

2. Definicin conceptual del objeto de medida

3. Propuesta de la estructura

4. Diseo de especificaciones de reactivos

5. Validacin del objeto de medida

6. Elaboracin de reactivos

7. Validacin externa de reactivos

8. Revisin de estilo de reactivos

9. Piloteo de reactivos

10. Calibracin de reactivos11. Integracin

12. Revisin editorial

13. Publicacin

14. Planeacin y programacin

15. Registro

16. Capacitacin y asignacin de auxiliares para la aplicacin

17. Logstica y preparacin de materiales de aplicacin en papel y en lnea

18. Ejecucin y control de aplicacin

19. Lectura y correccin

20. Establecimiento de puntos de corte

21. Equiparacin

22. Calificacin

23. Validacin de resultados

24. Difusin de los resultados

25. Resguardo de la informacin

26. Revisin cualitativa

27. Revisin cuantitativa

28. Renovacin de bancos y versiones

29. Elaboracin de la gua para el sustentante

30. Integracin del Manual tcnico

31. Conformacin del Cuestionario de contexto

32. Elaboracin de materiales adicionales

33. Publicacin en el portal del Ceneval

II. Delimitacindel objeto de medida

III. Construccindel banco de reactivos

IV. Verificacin cuantitativa

V. Ensamblede cuadernillos y formas

VI. Aplicacin

VII. Procesamientode la informacin

y calificacin

VIII. Emisin de resultados

IX. Mantenimientodel examen

X. Elaboracindel materialcomplementario


22/36

Descripcin de los procesos

Proceso I. Diseo de la evaluacin

A partir de la aprobacin institucional del proyecto, se definen las caractersticas generales de tegia de evaluacin que sern las directrices para su desarrollo. Con estas bases se elabora unmento rector denominado perfil referencial , el cual concentra las caractersticas ms importantes del intrumento de medicin y sus condiciones de aplicacin, calificacin e interpretacin de los resu

En este proceso se desarrolla la fase 1:1. Definicin de las caractersticas de la evaluacin El perfil referencial debe ser elaborado con base en el propsito de la evaluacin, la poblaci

que se dirige y las condiciones en que es posible la evaluacin. En aras de garantizar su calidad perfil referencial debe ser aprobado por los especialistas que conforman el consejo tcnico del examen, qu verifican la pertinencia de los planteamientos que sern el fundamento para el desarrollo delmento de evaluacin.

Proceso II. Delimitacin del objeto de medida

En el proceso de delimitacin del objeto de medida se elaboran los elementos que constituyen cripcin conceptual y operacional de lo que se pretende medir y se realiza su validacin por juexpertos.

En un marco terico se plantea la definicin del constructo y la delimitacin conceptual de lminios que lo constituyen. Sobre la base de la racionalidad trazada, se seleccionan los conteninerales y especficos que se incluirn en el examen. Los contenidos se organizan en una estrucrrquica que muestra con claridad las reas, subreas y temas considerados. Con estos elemeconstruyen las especificaciones de los reactivos que constituyen una descripcin de cmo debenreactivos. La pertinencia de los contenidos y su congruencia lgica debe ser validada por espe

Este proceso se desarrolla en cuatro fases:2. Definicin conceptual del objeto de medida

3. Propuesta de la estructura 4. Diseo de especificaciones de reactivos 5. Validacin del objeto de medida

Cada uno de los productos de las diversas tareas que se realizan aporta evidencias para suste validez del examen. Asimismo, estos elementos permiten concretar el objeto de la medicin y la materia prima para la construccin de los reactivos con que se har la medicin.

20


23/36

Proceso III. Construccin del banco de reactivos

Los reactivos constituyen la unidad bsica de observacin que permite hacer inferencias sobresencia de un conocimiento o habilidad. Los reactivos representan las variables manifiestas (obsede los constructos o rasgos latentes (no observables) que fueron definidos como objeto de la mea travs de la estructura y de las especificaciones.

Para conformar el banco, los reactivos elaborados por los especialistas deben someterse a u visin efectuada por el personal tcnico del Ceneval; posteriormente, otro grupo de expertos la validacin del contenido. Para esta distribucin de tareas, los especialistas se agrupan en dos acadmicos independientes y participan en talleres de capacitacin sobre la elaboracin y valde reactivos.

Antes de permitir su exposicin en pruebas piloto, los reactivos pasan por una revisin de Las fases previstas para este proceso de construccin del banco son:

6. Elaboracin de reactivos 7. Validacin externa de reactivos 8. Revisin de estilo

Las acciones realizadas en esta fase permiten garantizar que los reactivos cumplen de manercon los lineamientos tcnicos institucionales y que estn libres de errores de contenido; asimCeneval asegura que se generen y conserven las evidencias que sustentan la validez de los condel examen.

Proceso IV. Verificacin cuantitativa

Durante la construccin del banco, la revisin de los reactivos es eminentemente cualitativa. parte, el proceso de verificacin cuantitativa se enfoca a comprobar la calidad psicomtrica deactivos. El Centro se vale de diferentes procedimientos para poner a prueba los reactivos, con psito de calibrarlos y observar su comportamiento estadstico bajo condiciones prximas a la sireal en que sern resueltos por los sustentantes.

El Ceneval desarrolla este proceso en dos fases:9. Piloteo de reactivos 10. Calibracin de reactivos

Esta etapa permite la seleccin de los reactivos idneos para incorporarse a las versiones del ey la estimacin de las caractersticas psicomtricas del examen considerado como una unidad

Metodologa Ceneval


24/36

Proceso V. Ensamble de cuadernillos y formas

Una vez que se cuenta con los reactivos calibrados con los parmetros ptimos, el siguiente paensamble de distintas versiones de la prueba, de acuerdo con la estructura del examen. Este prdebe seguir reglas tcnicas de diseo para la seleccin de los reactivos que formarn parte de csin, cuidando las caractersticas psicomtricas del instrumento.

Una vez que est conformada, cada versin debe ser revisada editorialmente antes de su impen cuadernillos o la colocacin de las formas en los servidores, para su aplicacin en lnea.

El proceso se desarrolla en tres fases:11. Integracin 12. Revisin editorial 13. Publicacin

En sntesis, este proceso comprende desde la integracin de las versiones operativas del ehasta la supervisin de su publicacin en lnea o en papel. Por la naturaleza de estas fases, se patencin especial en las medidas de seguridad de los materiales de examen.

Proceso VI. Aplicacin

El logro de la validez y la confiabilidad en los resultados de un instrumento de evaluacin requprocedimientos adecuados para que los sustentantes enfrenten la prueba en condiciones controestandarizadas, ptimas y equitativas. De ah la relevancia que adquiere el proceso de aplicacisiderado en la metodologa.

Las estrategias de aplicacin deben apegarse a las caractersticas de la evaluacin y a los criterlados en el perfil referencial de cada examen. La implementacin depende de la planeacin y los aestablecidos con los usuarios y de la capacitacin de quienes asumen la administracin de los ex

Las actividades necesarias se organizan en las siguientes fases:14. Planeacin y programacin 15. Registro

16. Capacitacin y asignacin de auxiliares para la aplicacin 17. Logstica y preparacin de materiales en papel y lnea 18. Ejecucin y control

22


25/36

Los procesos previos de construccin carecen de sentido si no se tiene el mismo cuidado enplementacin de las estrategias de aplicacin a la poblacin destinataria del instrumento. La efi

los procedimientos logsticos y operativos descansa en la eficiencia, compromiso y honestidadresponsables del proceso.

Proceso VII. Procesamiento de la informacin y calificacin

Para los sustentantes, el aspecto ms importante tras resolver su examen es el proceso de califiEllos necesitan tener la certeza de que sus resultados son obtenidos correctamente, es decir qucalificados sin error y con imparcialidad. Ofrecer garantas sobre la seguridad de los procedimde calificacin se basa en altos estndares de calidad y confidencialidad en la lectura y calificlas respuestas de los sustentantes.

En este trayecto de la metodologa se procesa la informacin recolectada durante la aplicacirealizan las siguientes fases:

19. Lectura y correccin 20. Establecimiento de puntos de corte 21. Equiparacin 22. Calificacin 23. Validacin de resultados

En el caso de pruebas con referencia al criterio, en este proceso se hace un anlisis para estalos rangos de puntuacin aplicables a los niveles de desempeo que se darn en los resultados. Pparte, como garanta de equidad se emplean procedimientos de equiparacin entre versiones pamidan de manera equivalente a todos los sustentantes.

La calificacin de los sustentantes debe ser precisa y libre de errores. As, el Ceneval ha estalos mecanismos para corroborar los procesos y productos de cada fase, cuenta con ciclos de autrol que alertan sobre la necesidad de auditar la calificacin de alguna aplicacin.

La calificacin validada es la base para la emisin de resultados, objetivo del siguiente procemetodologa.

Metodologa Ceneval


26/36

Proceso VIII. Emisin de resultados

La entrega de resultados de los exmenes del Ceneval tiene dos vertientes fundamentales: los rindividuales de los sustentantes y los reportes institucionales. La entrega a las instituciones y lhace a la poblacin evaluada deben respetar las polticas de seguridad y confidencialidad para guarda de la evaluacin de cada persona. La informacin que se genera debe resguardarse para raciones necesarias, para la elaboracin de diversos informes especiales o para su posterior anfines de investigacin.

Este proceso se desarrolla en dos fases:24. Difusin de resultados 25. Resguardo de la informacin

En el Centro se hace un amplio esfuerzo para comunicar los resultados de la evaluacin de moportuna y comprensible para los usuarios. Por otra parte, guardando la confidencialidad de lopersonales, los resultados pueden ser utilizados por especialistas con fines de investigacin.

Proceso IX. Mantenimiento del examen

Diversas actividades hacen posible el adecuado funcionamiento de cada examen a lo largo de manencia operativa. Estas acciones de retroalimentacin se agrupan en el proceso de mantenim

Es importante visualizar los exmenes como instrumentos dinmicos, cuyos contenidos npermanentes dados el avance de la ciencia y la tecnologa y los cambios que renuevan las pprofesionales y el contenido de los planes y programas educativos. Asimismo, se deben conlas modificaciones que, por efecto de su uso, se observan en el funcionamiento psicomtrico reactivos.

El mantenimiento del examen considera la revisin y actualizacin de aspectos cualitativos titativos de los componentes del instrumento de evaluacin. Este proceso acaece en tres fases:

26. Revisin cualitativa 27. Revisin cuantitativa

28. Renovacin de bancos y versiones

La fase de revisin cualitativa se ocupa principalmente de mantener actualizado el conteniinstrumento sistematizado en el perfil referencial, la estructura del examen y las especificacionreactivos; tambin implica la confirmacin de la vigencia del contenido de los tems. La revisititativa se concentra en la actualizacin y estabilizacin de los parmetros estadsticos, en los

24


27/36

para corroborar la dimesionalidad de la prueba y en el estudio del funcionamiento diferencial dreactivo, entre otros estudios psicomtricos. Finalmente, dado que se requieren versiones sufi

para evitar la sobreexposicin de los reactivos y garantizar la seguridad de la prueba, es indispcontar con estrategias para robustecer los bancos.

Proceso X. Elaboracin del material complementario

Como un proceso paralelo e independiente, pero ntimamente ligado al desarrollo del examen, lde elaboracin de materiales complementarios son determinantes para el xito de la evaluacin validez y operacin.

Particularmente, se plantean como indispensables las siguientes fases, cada una abocada a un m29. Elaboracin de la gua para el sustentante 30. Integracin del Manual tcnico31. Conformacin del Cuestionario de contexto32. Elaboracin de materiales adicionales 33. Publicacin (de informacin) en el portal del Ceneval

Para su construccin requieren de la informacin que se produce a lo largo del diseo de la ecin. A continuacin se brinda una breve descripcin de los rasgos caractersticos de cada ma

Gua para el sustentanteLas guas para los sustentantes informan de los contenidos que evala el examen. En ellas tamexplica el propsito de la evaluacin, los instrumentos, sus caractersticas, las formas de aplicaentrega e interpretacin de los resultados.

Este material es un medio por el cual el sustentante conoce las condiciones previstas para llucin del examen. Su contenido debe ser adecuado a la capacidad de los sustentantes, de motodos comprendan el proceso en que participan. De esta manera se logra la estandarizacin deceso, lo que favorece que los resultados de la evaluacin sean una evidencia de los conocimienbilidades y desempeos de los sustentantes.

Manual tcnico del instrumento

El manual tcnico es un documento en el que se detallan las caractersticas de la evaluacin. Su es informar, de manera clara y precisa, a los especialistas en el rea de evaluacin y al pblico inla metodologa que subyace al diseo, desarrollo, aplicacin y anlisis de los instrumentos deque conforman la evaluacin, y da cuenta de su calidad y pertinencia psicomtrica.

Metodologa Ceneval


28/36

Cuestionario de contexto

El cuestionario de contexto es un instrumento que se aplica durante el registro de los sustentan

funcin es recabar informacin que permita conocer las caractersticas de la poblacin sustecontextualizar las medidas obtenidas en las pruebas y generar modelos de los factores asociadosempeo acadmico.

Materiales adicionales

Bajo este rubro se agrupan un conjunto de materiales que se requieren para la aplicacin del mento, a saber: las hojas de respuesta utilizadas en los exmenes de lpiz y papel para que l-tentantes consignen sus respuestas; los formularios de consulta que se entregan a los sustentantes a finde garantizar que todos cuentan con la informacin tcnica y frmulas disciplinares (cientficasdarizadas; las encuestas de salida para recabar la opinin de los sustentantes y el formato de la confidencialidad que deben firmar, entre otros.

Publicacin en el portal del Ceneval

Con la intencin de proporcionar informacin suficiente y oportuna a los usuarios, institucionessonas, est prevista en la metodologa la elaboracin de materiales con los contenidos necesarique la informacin actualizada y completa sea difundida en el sitio web, independientemente dmedios que se utilicen en esta tarea.

26


29/36

| El Ceneval y la cultura de la evaluacin

Como se puede apreciar en la descripcin de la metodologa, durante el desarrollo de los instrumde evaluacin se genera una gran cantidad de informacin de diversa ndole. Los resultados de luaciones hechas por el Ceneval, adems de cumplir funciones especficas para la admisin, el dtico o la certificacin de conocimientos, habilidades o competencias, permite conocer diversos ade la realidad educativa que pueden contribuir a emprender acciones de mejora.

Dado que en su Estatuto el Ceneval establece como uno de sus objetivos la difusin y promde publicaciones relacionadas con los instrumentos de evaluacin y otras destinadas al desarrla cultura de la evaluacin en nuestro pas, adems de la presente, mltiples obras editadas pueconsultadas en la pgina web institucional: www.ceneval.edu.mx.

En esta lnea de accin, cada dos aos se celebra el Foro de Evaluacin Educativa, un acomiento acadmico que organiza el Centro para conocer y debatir propuestas y resultados de invcin de especialistas nacionales y extranjeros.

El Ceneval procura mantener comunicacin continua y participativa con las instituciones ude los instrumentos de evaluacin, como parte de las acciones que emprende con ese propsitmismo, se efectan reuniones de carcter nacional para los Exmenes para el Egreso de la Licen( EGEL ) y para los Exmenes de Ingreso ( EXANI ). Estas reuniones permiten conocer las necesidadede evaluacin de las instituciones, sus inquietudes en torno a la informacin que el Centro les pciona, en un ejercicio de retroalimentacin en donde el Ceneval recibe sugerencias para mejorlidad de sus servicios.

Las reuniones de usuarios son un foro para dar a conocer a las instituciones las innovacionnicas y tecnolgicas que el Centro implementa para el desarrollo de los exmenes, adems de vos instrumentos a su disposicin.

La razn de ser del Centro es la de participar y contribuir cada vez ms y de mejor maneraavance de la educacin en Mxico, de ah que se ratifique el compromiso primordial de dar uncin esmerada a todos los usuarios. Para ello existen en el Centro diversos canales de comunicservicio.

En funcin de sus necesidades, cada institucin o persona puede dirigirse a las siguientes ins

Direccin de Relaciones Institucionales ( DRI ). Su misin es establecer y fortalecer las relacionedel Ceneval con instituciones del pas y del extranjero. Se encarga de promover las accionesluacin en las instituciones, brindar la informacin sobre los usos y beneficios de la evaluaasesorar a las instituciones, cuando as lo solicitan, sobre los instrumentos adecuados a cad Telfono de contacto: (55) 53.22.92.00 ext. 2012

El Ceneval y la cultura de la evaluacin


30/36

Direccin General Adjunta de Operaciones ( DGAO ). Se encarga de la organizacin y realizacinde todas las aplicaciones de los instrumentos de evaluacin. Es la instancia a la cual deben d

las instituciones interesadas en realizar procesos de carcter institucional para program eventos; para mayor informacin y solicitud de servicios establecer contacto al telfon53.22.92. 00 en las extensiones 8001 y 8045.

Unidad de Informacin y Atencin al Usuario. Es responsable de resolver las dudas, responderlas preguntas y orientar a los usuarios en relacin con todos los aspectos de los exmenes: requisitos, inscripcin o registro, correccin de datos, etc. Para dirigirse a la Unidad de Informy Atencin al Usuario llamar al telfono 30.00.87.00 del Distrito Federal y del interior de lablica Mexicana Lada sin costo: 01800.624.25.10

28


31/36

| Bibliografa

American Educational Research Association, American Psychological Association and NCouncil on Measurement in Education (1999).Standards for Educational and Psychological Testihington , DC: American Educational Research Association.

Centro Nacional de Evaluacin para la Educacin Superior, A.C. (2012).Reglamento de los consejosnicos de los exmenes , Mxico, Ceneval.

Centro Nacional de Evaluacin para la Educacin Superior, A.C. (2013a).Lineamientos para la construccin de reactivos de opcin mltiple , Mxico, Ceneval.

Downing, S.M. y Haladyna T.M. compiladores. (2012). Manual para el desarrollo de pruebas a gran.Mxico, Ceneval.

Fishman, J.A. & Galguera, T. (2003).Introduction to Test Construction in the Social and Behavi A Practical Guide . Oxford, UK: Rowman & Littlefield Publishers.

Joint Committee on Standards for Educational Evaluation (1994).The Program Evaluation Standard. Thousand Oaks, CA: Sage Publications

Rust, J. & Golombok, S. (2000). Modern Psychometrics: The Science of Psychological Assess(3rd Edi-tion). London: Routledge.

Bibliografa


32/36

El Centro Nacional de Evaluacin para la Educacin Superior es una asociacin civil sinfines de lucro constituida formalmente el 28 de abril de 1994, como consta en la escriturapblica nmero 87036 pasada ante la fe del notario 49 del Distrito Federal.

Sus rganos de gobierno son la Asamblea General, el Consejo Directivo y la DireccinGeneral. Su mxima autoridad es la Asamblea General, cuya integracin se presenta acontinuacin, segn el sector al que pertenecen los asociados:

Asociaciones e instituciones educativas: Asociacin Nacional de Universidades e Institucionesde Educacin Superior, A.C.; Federacin de Instituciones Mexicanas Particulares de Edu-cacin Superior, A.C.; Instituto Politcnico Nacional; Instituto Tecnolgico y de EstudiosSuperiores de Monterrey; Universidad Autnoma del Estado de Mxico; Universidad Autnoma de San Luis Potos; Universidad Autnoma de Yucatn; Universidad Nacional Autnoma de Mxico; Universidad Popular Autnoma del Estado de Puebla; Universidad Tecnolgica de Mxico.

Asociaciones y colegios de profesionales: Barra Mexicana Colegio de Abogados, A.C.; ColegioNacional de Actuarios, A.C.; Colegio Nacional de Psiclogos, A.C.; Federacin de Cole-gios y Asociacin de Mdicos Veterinarios y Zootecnistas de Mxico, A.C.; Instituto Mexicano de Contadores Pblicos, A.C.

Organizaciones productivas y sociales: Academia de Ingeniera, A.C.; Academia Mexicana deCiencias, A.C.; Academia Nacional de Medicina, A.C.; Fundacin ICA, A.C.

Autoridades educativas gubernamentales: Secretara de Educacin Pblica.

Ceneval, A.C., EXANI-I, EXANI-II son marcas registradas ante la Secretarade Comercio y Fomento Industrial con el nmero 478968 del 29 de julio de 1994.EGEL, con el nmero 628837 del 1 de julio de 1999, y EXANI-III, con el nmero628839 del 1 de julio de 1999.

Inscrito en el Registro Nacional de Instituciones Cientficas y Tecnolgicas del ConsejoNacional de Ciencia y Tecnologa con el nmero 506 desde el 10 de marzo de 1995.

Miembro de la International Association for Educational Assessment. Miembro de la European Association of Institutional Research. Miembro del Consortium for North American Higher Education Collaboration.

Miembro del Institutional Management for Higher Education de la OCDE.


33/36

La publicacin de esta obra la realiz elCentro Nacional de Evaluacin para la Educacin Superior, A.C.

Se termin de imprimir el 9 de agosto de 2013en los talleres de Winkilis, Bugambilias 131,Col. El Rosario, C.P. 09930, Mxico, D.F.,

con un tiraje de 800 ejemplares


34/36


35/36


36/36

metodologia ceneval

Documents