EVALUACION

BECAS CONICYT 2007

Departamento Formación de Recursos Humanos y Becas de Postgrado CONICYT

Diciembre, 2006.

Índice

• Antecedentes que sustentan sistema de evaluación 2007.

• Descripción del sistema de evaluación.

• Proceso post evaluación.

• Calendario de evaluación y adjudicación.

ESTUDIO CONICYT“EVALUACIÓN POSTULACIONES”

• ¿Cuáles son los factores que explican el éxito de un becario que opta a becas CONICYT?

• Se considera éxito aquellos estudiantes que obtienen el grado de doctor, con fecha 31-08-2006.

Definiciones del estudio

• Los datos utilizados en este análisis corresponden a un conjunto de características válidas de todos los becarios CONICYT que realizaron estudios de doctorado, siendo becados en los concursos de los años 1997, 1998, 1999 y 2000.

Metodología del Estudio

• Este trabajo explora la pregunta planteada bajo dos ópticas:– Univariada: ¿Qué variables tienen mayor

asociación individual con el éxito de un becario?

– Multivariada: ¿Qué conjunto de variables tienen mayor poder explicativo conjunto respecto al éxito de un becario?

Resumen variables continuas más importantes

Variable Obs Media Std. Dev. Min Max

Nro. de titulos 310 1.558 0.655 0 5Edad de Ingreso 312 26.872 2.585 22 38Nota de Pregrado 305 5.355 0.423 4.3 7Nro. Publicaciones ISI 309 0.605 1.072 0 6Tiempo Inactivo 310 2.265 1.663 0 11Experiencia Laboral (%) 307 0.450 0.498 0 1

EVALUACIÓN ACTUAL CONICYT ANTECEDENTES

15

20

25

30

1997-2000 Cs. Básicas No Cs. Básicas

No Exitosos Exitosos

0

.2

.4

.6

.8

1

Cum

ulat

ive

Pro

bab

ility

15 20 25 30eval_tot

c.d.f. of 0 c.d.f. of 1

Distribución 1997-2000. Exitosos v/s no Exitosos

Medias 1997-2000. Exitosos v/s no Exitosos

Test t 1997-2000 Cs. Básicas No Cs. Básicasp-valor 0.79 0.56 0.67Resultado Igualdad Igualdad Igualdad

ÁNALISIS UNIVARIADO

• ¿Qué variables tienen mayor asociación individual con el éxito de un becario?

• Universo del análisis: 1997-2000, becarios CONICYT doctorado (Chile)

NO SI

Nº casos 10 60 70% casos 14.3% 85.7%Nº casos 18 65 83% casos 21.7% 78.3%Nº casos 22 73 95% casos 23.2% 76.8%Nº casos 8 56 64% casos 12.5% 87.5%Nº casos 58 254 312% casos 18.6% 81.4%

Año de concurso

Total

1,997

1,998

1,999

2,000

Obtuvo Doctorado

Total

ÁNALISIS UNIVARIADO: EJEMPLOS

• Asociación significativa:Obtuvo Doctorado según nº

publicaciones total

0%10%20%30%40%50%60%70%80%90%

100%

Hasta 4 Más de 4

Nº publicaciones total

% c

aso

s

Obtuvo Doctorado : NO Obtuvo Doctorado : SI

Obtuvo Doctorado según Premios

0%10%20%30%40%50%60%70%80%90%

100%

NO SI

Obtuvo Premios%

cas

os

Obtuvo Doctorado : NO Obtuvo Doctorado : SI

ÁNALISIS UNIVARIADO: EJEMPLOS

• Asociación no significativa:Obtuvo Doctorado según Sexo

0.0%10.0%20.0%30.0%40.0%50.0%60.0%70.0%80.0%90.0%

100.0%

F M

Sexo

% c

aso

s

Obtuvo Doctorado : NO Obtuvo Doctorado : SI

Obtuvo Doctorado según Participación FONDECYT

0%10%20%30%40%50%60%70%80%90%

100%

NO SI

Ha participado en proyectos FONDECYT%

cas

os

Obtuvo Doctorado : NO Obtuvo Doctorado : SI

ANÁLISIS UNIVARIADO: NOTAS PREGRADO

• Las medias de las notas de pregrado entre aquellos que obtuvieron el doctorado y aquellos que no lo hicieron no difieren significativamente (1997-2000):

Muestra Media éxitoso Media no exit. p-valor Descripción

Total 5.35 5.38 0.680 Acepta igualdad de medias

Pregrado UCH y PUC 5.42 5.36 0.454 Acepta igualdad de mediasPregrado ni UCH ni PUC 5.29 5.41 0.233 Acepta igualdad de medias

Ciencias Básicas 5.26 5.29 0.745 Acepta igualdad de mediasDistinto a Cs. Básicas 5.51 5.51 0.977 Acepta igualdad de medias

Año 1997 5.48 5.36 0.502 Acepta igualdad de mediasAño 1998 5.29 5.40 0.322 Acepta igualdad de mediasAño 1999 5.33 5.41 0.410 Acepta igualdad de mediasAño 2000 5.31 5.25 0.728 Acepta igualdad de medias

Test t de igualdad de medias

Diseño de modelos

• Para implementar cualquiera de los modelos descritos, se deben calcular los valores de las variables explicativas de cada modelo a partir de los antecedentes del postulante, y multiplicar cada variable por su respectivo coeficiente, para luego aplicar la fórmula de regresión logística:

¿Cuál es la probabilidad que un becario de características

(X1,..,Xm) obtenga su doctorado?

En la fórmula anterior, P(éxito) es la probabilidad que un postulante obtenga su doctorado, ‘e’ representa la función

exponencial, β0 es la constante, β1….. βm los coeficientes asociados a las variables explicativas X1….Xm.

mm

mm

xx

xx

e

ex

...

...

110

110

1)(

ESQUEMA GENERAL

POSTULACIÓN

Comité de

ADJUDI-

CACIÓN

EvaluadorExterno

EvaluaciónProgramaPostgrado

ConsolidaciónCONICYT

Análisis de ConsistenciaExpertos/Prog.

Comité Coordinadores“ ”

Puntaje

40%

30%

30%

EVALUACIÓN

EVALUACION POSTULACIONES 2007

PROGRAMAS DE POSTGRADO

• La información que posee un Programa de Postgrado sobre cada postulante a las BECAS CONICYT, es muy valiosa en el proceso de evaluación.

• En este sistema de evaluación CONICYT está buscando recoger el juicio que el Programa se ha hecho de cada postulación, a partir de características específicas de cada persona y la prioridad que le asigna a cada una de ellas para obtener una beca.

¿Qué se evalúa?• Se solicita entregar información para el proceso de

evaluación de las postulaciones en dos aspectos relevantes:

• Establecer un ranking que considere a todos los postulantes del programa (ya sean de primer año o de los años anteriores) a la beca CONICYT y que de cuenta de la prioridad que se le otorga a este postulante para obtener la beca.

• Calificar y valorar las competencias del postulante de acuerdo a ciertos criterios preestablecidos por CONICYT y/o definidos por el programa de postgrado.

Para establecer el ranking de prioridad de BECA

Número de aceptados en el Programa Número total de postulantes a Becas CONICYT (ya sean de primer año o de los anteriores)

Ordene a los postulantes de su Programa a Becas CONICYT, según su prioridad para obtener BECA

Calificaciones del postulante, en función de criterios CONICYT y del Programa

CRITERIOS Sobre- saliente

Muy bueno

Bueno

Satisfac- torio

Regular

Trayectoria y desempeño académico (notas, premios, distinciones)

Innovación, creatividad e iniciativa (fortalezas personales)

Producción académica (investigación, docencia,

publicaciones)

Otras (según el Programa) Otras (según el Programa) Otras (según el Programa) Otras (según el Programa)

Información cualitativa

Se agrega información en relación con el potencial y las características del postulante

que lo harían merecedor de esta beca.

Esta información es relevante para la toma de decisiones en aquellos caso de estudiantes que se encuentran en

los límites de las líneas de corte.

¿Qué evalúa el comité de expertos?

• En este sistema de evaluación CONICYT está buscando recoger el juicio que hace cada evaluador experto en el área de disciplina del postulante, no sólo respecto a los datos objetivos, sino especialmente a la valoración de éstos.

Principales componentes:

• NOTAS Y RANKING: (25%)

• EXPERIENCIA PROFESIONAL Y ACADÉMICA: (20%)

• PRODUCCIÓN: PUBLICACIONES Y CONGRESOS: (25%)

• PREMIOS Y DISTINCIONES: (10%)

• EVALUACIÓN GLOBAL DEL POSTULANTE: (20%)

Pasos siguientes …

• Una vez recibida la información que aportan los programas y los evaluadores en cada área disciplinaria: – CONICYT realiza una síntesis de las evaluaciones recibidas por

cada postulante, en función del modelo descrito.– El 75% de las becas a asignar serán adjudicadas a los primeros

puntajes.– Para el resto de los postulantes se seleccionará el doble de

cupos disponibles a asignar, cualquiera sea el máximo, para ser re-evaluado por el comité técnico en igualdad de condiciones.

– Todas las postulaciones en ese tramo se reevalúan por el Comité de Coordinadores.

Comité de Coordinadores

• Este comité está integrado por los directores de los comités de área, es decir por 18 académicos.

• Se conforman grupos de trabajo, donde cada grupo reevalúa un máximo de 20 postulaciones, con los siguientes criterios:– 40% información nueva

• Carta de intenciones.• Cartas de recomendación

– 60% información del postulante • Se ordenan por puntaje y se seleccionan hasta

completar los cupos faltantes.

Adjudicación:Consejo de Becas de Postgrado

• El Consejo de Becas de Postgrado es el órgano que tiene la función de adjudicar las becas de doctorado y (magíster) del programa nacional de CONICYT.

• Al Consejo se presentan los resultados de la selección para su adjudicación final.

Calendario

Tareas Fechas

Convocatoria 2 nov – 4 dic

Síntesis 5 – 7 dic

Envío a evaluadores

12 – 14 dic

Límite evaluación

5 enero 07

Comité 22 enero

Adjudicación 24 enero

Resultados 31 enero