determinantes de desempeÑo ¿importa la habilidad … · 2021. 2. 24. · una batería de pruebas...

18

DETERMINANTES DE DESEMPEÑO UNIVERSITARIO:

¿IMPORTA LA HABILIDAD RELATIVA?

1. IntroducciónEl sistema de educación universitaria en Chile se puede dividir en dos grandes grupos. Por un lado, se encuentran las universidades privadas y, por otro, aquellas agrupadas en el Consejo de Rectores de las Universidades Chilenas (CRUCH). Estas últimas concentran el porcentaje más alto del universo de estudiantes matriculados en las instituciones de educación superior4. Además de dicha importancia en el país, este grupo de universidades selecciona a los alumnos que ingresan a sus carreras utilizando un sistema común de admisión. Desde 2003 se emplean como factores de selección los resultados de una batería de pruebas de selección universitaria (PSU)5 y el promedio de notas de enseñanza media (NEM) de los postulantes. A su vez, dependiendo de cada carrera y universidad, estos factores se ponderan bajo el supuesto de que permiten predecir el éxito académico de los alumnos durante sus estudios universitarios6. Dado lo anterior, los estudios de validez predictiva se centran en explicar medidas de éxito académico utilizando los resultados obtenidos en los instrumentos de selección.

4 Un 42% al año 2007, de acuerdo con datos publicados por la División de Educación Superior del Ministerio de Educación. Disponible en http://compendio.educasup.cl.

5 Hasta 2003, este sistema utilizaba las pruebas de aptitud académica (PAA) y el promedio de notas de enseñanza media como elementos básicos en el cálculo del puntaje de ingreso de los postulantes a una carrera. A partir de 2004 se comenzaron a aplicar las Pruebas de Selección Universitaria (PSU) en reemplazo de la PAA.

Las PSU son instrumentos de evaluación educacional que miden la capacidad de razonamiento de los postulantes egresados de la enseñanza media, considerando los contenidos del Plan de Formación General de Lenguaje y Comunicación, de Matemática, de Historia y Ciencias Sociales y de Ciencias. Esta última incluye Biología, Física y Química. Los candidatos deben rendir en forma obligatoria Lenguaje y Comunicación y Matemática, y elegir entre Historia y Ciencias Sociales y Ciencias. Sin embargo, si lo estiman, pueden optar por rendir las cuatro pruebas.

6 Ver DEMRE (2008).

CALIDAD EN LA EDUCACIÓN No 30, julio 2009 19

El presente trabajo contribuye a explicar el desempeño académico de los estudiantes de primer año de cuatro universidades del país, mediante los instrumentos de la batería de selección, pero incluyendo como predictor de rendimiento adicional una medida de habilidad relativa. Esta última se obtiene de ordenar a los alumnos según su rendimiento en la enseñanza media, relativo a sus compañeros de egreso del mismo establecimiento escolar. Esta medida de habilidad relativa (o) compara al alumno respecto de sus pares (que se desenvuelven en un mismo contexto y entorno), por lo que podría ser indicativa respecto de las proyecciones académicas del estudiante. Sin embargo, es posible que aunque el ranking efectivamente entregara dicha información, ésta ya haya sido capturada por los elementos de la batería de selección universitaria.

El objetivo principal de este estudio consiste en examinar si, aun después de controlar por las variables de la batería de selección, la medida de habilidad relativa genera información relevante para explicar el rendimiento académico durante el primer año de universidad.

La información con la que se elabora este estudio considera estudiantes que cursan primer año en dos universidades regionales y dos universidades de Santiago de Chile7. Esta muestra representa aproximadamente un cuarto de la matrícula de primer año, del total inscrito en las 25 universidades del CRUCH. Otra característica de esta muestra es que el rango de los puntajes de ingreso a las respectivas universidades es amplio8, lo que permite explicar desempeño académico para carreras y universidades con distintos niveles de exigencia respecto de los instrumentos de selección actualmente en uso.

Los principales resultados de esta investigación indican que, para los alumnos objeto de estudio, haber estado entre los mejores estudiantes de su colegio de egreso se correlaciona con un mejor desempeño

7 Idealmente, este estudio debiera realizarse con la totalidad de los estudiantes universitarios que cursan primer año. Sin embargo, la información necesaria no se encuentra disponible.

8 Los puntajes de ingreso bajo estudio oscilan entre un mínimo de 460 puntos a un máximo de 822 puntos. En tanto, el puntaje PSU mínimo para postular a las universidades del CRUCH es de 450 puntos y el máximo al que se puede aspirar es de 850 puntos.

20 DESEMPEÑO UNIVERSITARIO: ¿IMPORTA LA HABILIDAD RELATIVA? - Dante Contreras, Sebastián Gallegos, Francisco Meneses

universitario, aun controlando por los puntajes de las PSU y NEM para cada carrera. Ello sugiere que nuestra medida de habilidad relativa captura información respecto de otras características de los alumnos, que no entregan las variables de selección actualmente en uso.

Esto puede explicarse porque, pese a que existe una escala nacional común, los criterios para asignar las NEM son específicos para cada establecimiento educacional. Lo anterior implica que, cuando se miden términos absolutos, las NEM reflejan distintas políticas de asignación de notas, niveles de exigencia y eventualmente inflación de notas. Debido a que el ranking es una medida de habilidad relativa en el ámbito del establecimiento, entonces estaría libre de dichos problemas. Complementariamente, pertenecer a los primeros lugares de notas del colegio puede vincularse a habilidades cognitivas y no cognitivas de los estudiantes. Una hipótesis adicional es que incluir los resultados en las PSU9 y NEM implica controlar principalmente por las habilidades cognitivas de los estudiantes. Por tanto, la posición relativa podría estar capturando mayormente información de habilidades no cognitivas que tendrían efectos positivos sobre el desempeño universitario en primer año.

Además de esta introducción, el estudio está organizado de la siguiente manera. La segunda sección presenta una breve revisión de la literatura respecto de estudios de capacidad predictiva y acceso a la universidad. La sección tres presenta la metodología desarrollada en el estudio, que incluye la construcción de la medida de habilidad relativa y la especificación econométrica que se debe estimar. La sección cuatro describe los datos utilizados. La sección cinco presenta los principales resultados. En la sección seis se informa sobre las conclusiones.

2. Literatura A continuación se expone una breve revisión de la literatura relativa a la evaluación del rendimiento de los alumnos en la universidad. Estas investigaciones pueden dividirse en dos áreas. La primera estudia la

9 La PSU está concebida para medir habilidades cognitivas de los alumnos. Ver DEMRE (2007).


relación entre el desempeño de los estudiantes y sus características no académicas, como nivel socioeconómico, etnia o religión, entre otras. Conocer la relación entre variables socioeconómicas o étnicas y rendimiento es informativo y podría permitir revisar los criterios utilizados en el proceso de selección de alumnos10.

La segunda área revisa los resultados de los alumnos en la universidad según sus características académicas previas, como los puntajes en las pruebas de admisión y su desempeño escolar, entre otras. Esta área de investigación tiene por objetivo evaluar el grado en que los instrumentos de la batería de selección predicen el rendimiento universitario. Además, permite el testeo de otras variables académicas como predictores de rendimiento, lo que podría entregar una primera evidencia que permita mejorar la capacidad explicativa del sistema de ingreso.

Algunos estudios internacionales al respecto son los de Kobrin, et al. (2002) y Geiser y Studley (2001), en los cuales se analiza la capacidad predictiva del SAT I11 y del SAT II, sobre el rendimiento académico en primer año para universidades del estado de California. Geiser y Studley encuentran aumentos entre uno y dos puntos porcentuales en el coeficiente de bondad de ajuste (o R-cuadrado), al evaluar la capacidad predictiva del SAT II versus la del SAT I, lo que consideran un argumento válido para el reemplazo de una prueba por la otra. Un segundo argumento que entregan los autores para la utilización del SAT II es que esta prueba no sólo mejora la capacidad explicativa del sistema de selección, sino que además presenta una menor correlación que el SAT I con variables socioeconómicas, lo que indicaría que dicha prueba captura mejor las capacidades académicas limpias de los niveles de ingresos y educación de los padres de los estudiantes.

10 Se han desarrollado diversos trabajos que revisan la Mismatch Hypothesis, según la cual el ingreso de los estudiantes por criterios distintos a los aplicados al universo, como las cuotas (o affirmative action), va en desmedro de la calidad académica de los programas en cuestión (bajas tasas de graduación, peores calificaciones, etc.). Evidencia al respecto puede encontrarse, por ejemplo, en Zeidner (1986), Mohammad y Almahmeed (1988), Horowits y Spector (2004) y Alon y Tienda (2005).

11 La SAT (Scholastic Assessment Test), test de admisión estandarizado que utilizan las universidades en EE.UU., similar a la PSU usada en Chile.


La utilización del ranking de los alumnos en su colegio como variable de selección no es una práctica aislada. En los estados de Texas y California estar en el mejor 10 y 12% del colegio es un requisito mínimo para poder postular a las universidades estatales. A pesar de esto, son escasos los estudios que utilizan el ranking de los alumnos en el colegio como variable explicativa. Estudios realizados por Barron y Norman (1992) en la Universidad de Pensilvania, y por Cohn, et al. (2004) en la Universidad de Carolina del Sur, incluyen el ranking del alumno en el colegio como predictor de rendimiento universitario, adicional a los puntajes del SAT y las notas de secundaria. Los primeros encuentran que la inclusión del ranking aumenta significativamente el poder predictivo sobre rendimiento universitario; los segundos que el ranking es significativo estadísticamente pero pequeño en magnitud para predecir las notas en la universidad. Al mismo tiempo, estiman que el mejor criterio para la entrega de becas es que los alumnos estén en el mejor 70% (o en el 30% de mejor rendimiento) de su colegio y que tengan un puntaje en el SAT mayor a 1.100.

Los estudios publicados en Chile sobre el rendimiento de los estudiantes en la universidad son relativamente escasos. Ello a pesar de la existencia de los datos generados por un sistema de ingreso relativamente homogéneo durante los últimos veinticinco años. Vial y Soto (2002) estudiaron la capacidad predictiva de las pruebas de ingreso y las notas de enseñanza media sobre el rendimiento de estudiantes, en particular para 23.250 de la Pontificia Universidad Católica de Chile (PUC) que ingresaron a esta casa de estudios entre 1995 y 2001. Los autores utilizan el rendimiento por carrera y también una variable que denominan ‘egreso oportuno de los alumnos’ para evaluar su desempeño en la universidad. Aravena, Del Pino y San Martín (2002) realizaron un análisis con la misma base de datos de Vial y Soto (2002), buscando el aumento en la capacidad explicativa con la inclusión de cada una de las pruebas en el sistema de ingreso, ante lo cual sus resultados muestran que las pruebas de ingreso y las NEM son buenos predictores de rendimiento académico.

El estudio de Fischer y Repetto (2003) evalúa la capacidad predictiva de las NEM y la PAA sobre las notas de más 5.400 alumnos de primero a cuarto año de la carrera de Ingeniería Civil, pertenecientes


a la Universidad de Chile, que ingresaron entre 1994 y 2002. Los autores introducen como mediciones de éxito universitario el ‘porcentaje aprobado de la carrera’, ‘porcentaje de créditos reprobados’ y ‘probabilidad de cumplimiento de hitos’, y controlan además por los puntajes de las pruebas SIMCE12 del colegio de origen del alumno. Este estudio es el único que incluye explícitamente una variable académica, lo que podría considerarse potencialmente como un instrumento de selección universitaria.

Durante 2003 y 2004, Manzi, Bravo, Del Pino, Donoso, Martínez, y Pizarro (2006) realizaron un extenso estudio a más de 80.000 alumnos de todas las universidades del CRUCH, comparando la capacidad predictiva de la PAA y la PSU sobre el promedio de notas del primer año de la universidad. Los autores concluyeron que existe una mejora global de la capacidad predictiva del sistema de selección con el cambio de PAA a PSU, resultados que han sido discutidos por Koljatic y Silva (2006), debido a las diferencias de las muestras empleadas, el periodo de tiempo analizado y las conclusiones obtenidas sobre equidad. Destaca también un reciente estudio elaborado por Bravo, Manzi et al. (2008), en el cual extienden su trabajo anterior, utilizando los años 2005 y 2006, adicionales a los años 2003 y 2004 empleados previamente. Utilizando la misma metodología empleada en la investigación inicial, los autores refuerzan sus conclusiones previas.

La mayoría los estudios revisados, tanto nacionales como internacionales, poseen una metodología similar. Comparten el uso de regresiones mínimo cuadráticas para explicar correlaciones entre las variables de la batería de selección y distintas medidas de rendimiento universitario (principalmente notas en primer año). Se asume también que los sistemas de selección más eficientes muestran mejores grados de ajuste (de acuerdo con el coeficiente de bondad de ajuste, o R2). Adicionalmente, los estudios presentan como denominador común el problema del sesgo de selección de los alumnos analizados, conocido

12 El SIMCE es el Sistema Nacional de Medición de Resultados de Aprendizaje del Ministerio de Educación de Chile. La prueba SIMCE es un test estandarizado que se aplica en todo el país, una vez al año, a los estudiantes que cursan un determinado nivel educacional y en diferentes subsectores de aprendizaje. Para más información, http://www.simce.cl


como restricción de rango en la literatura de capacidad predictiva. Esto se relaciona con que sólo pueden ser sujetos de evaluación aquellos estudiantes que logran ingresar al sistema universitario. Como estos estudiantes tendrían (por construcción) características distintas de los que quedan fuera del sistema, entonces las conclusiones no serían generalizables a la población. Por ello, los artículos enfatizan que los resultados deben interpretarse con cautela, considerándolos válidos sólo para los alumnos bajo estudio13.

El presente estudio se realiza condicional a la estructura de análisis de la literatura disponible, pero incluyendo adicionalmente una medida de habilidad relativa. La siguiente sección explica cómo se construye dicho indicador, y cuál es la especificación econométrica utilizada en la presente investigación.

3. Metodología

Medida de habilidad relativa: rankingEsta sección detalla el procedimiento para la construcción de una medida de desempeño relativo escolar (o ranking) por alumno, mediante la utilización de datos provenientes del Registro de Estudiantes de Chile, RECH14, propiedad del Ministerio de Educación.

El ranking se construye para cada uno de los cerca de 180 mil alumnos del país que cursaban 4° medio15 en 2003. Su elaboración considera el conjunto de alumnos de la promoción, independiente de su situación académica final, por cuanto se estima relevante conocer el rendimiento relativo respecto de todos los alumnos que estuvieron

13 Algunos artículos esbozan ciertas correcciones a este problema, similares a la desarrollada por Heckman (1979), típicamente aplicada en análisis para el mercado laboral femenino. La idea es corregir las estimaciones por la probabilidad de pertenecer a la muestra que puede ser evaluada. Sin embargo, dado que en los estudios de capacidad predictiva las variables de exclusión definen a priori los sujetos analizables, no es posible aproximarse a este tipo de problemas con una solución que sea ampliamente aceptada.

14 El RECH es un registro electrónico con la información académica de cada alumno matriculado en algún establecimiento educacional reconocido oficialmente por el Ministerio de Educación. A la fecha, este registro censal contiene información desde 2002 hasta 2007.

15 Éste corresponde al último año de enseñanza secundaria en Chile. En el anexo 1 se muestra el total de alumnos cursando 4° medio, por modalidad educacional y situación académica final, a diciembre de 2003.


presentes en el aula16. Primero, se agrupa a los alumnos por su colegio de egreso de educación media. Luego se ordenan según el promedio de notas de 3° y 4° medio17, donde el estudiante de peor rendimiento ocupa la posición 1 y el con mejores notas ocupa el lugar equivalente al total de alumnos de la promoción del colegio. El ranking para cada estudiante se calcula como el cociente entre la posición del alumno y el total de estudiantes del colegio en el nivel. De este modo, el alumno con mejor rendimiento de su promoción obtiene ranking equivalente a 1 mientras el alumno de peor desempeño obtiene otro cercano a cero18. A partir de lo anterior, se generan variables dicotómicas que identifican si un alumno se encontraba en el mejor 5, 10 ó 20% de su respectivo colegio.

Especificación econométricaEste trabajo considera como indicador de desempeño el promedio de notas para el primer año académico universitario. La ventaja de utilizar este indicador es que reduce los problemas de comparación derivados de la autoselección de los estudiantes entre cursos en la universidad. Ello sucede porque en primer año todos los alumnos de una carrera deben cursar las mismas materias, lo que implica que no

16 Aún así, son sólo los estudiantes aprobados (170 mil aprox.) los que potencialmente pueden rendir la PSU y aspirar a ingresar a la educación superior. En una etapa inicial de este estudio se elaboró el ranking de los alumnos utilizando las bases de datos de aquellos que habían rendido la PSU. De la comparación entre ambos universos de estudiantes (RECH versus rinden PSU) se encontró un sesgo de selección importante, especialmente para alumnos provenientes de colegios técnico-profesionales (ver anexo 2). A pesar de lo anterior, para los alumnos que ingresan a las universidades analizadas el ranking se mantiene con variaciones menores, por lo que las conclusiones del estudio se mantienen.

17 Para la cohorte bajo estudio, la información de notas para otros años (2° medio 2001, 1° medio 2000) no está disponible en la base de datos. Producto de la falta de acervo de los datos históricos, tampoco podemos calcular el ranking para alumnos que hayan egresado en otros años de enseñanza media. Lo anterior implica que nuestra medida de habilidad relativa está disponible para alumnos de la promoción y no para estudiantes rezagados. De la población total que rinde la PSU, cerca de un 70% son alumnos de la promoción, mientras los rezagados representan alrededor de un 30%.

18 Para solucionar eventuales empates en la posición de los alumnos existen tres distintas soluciones; que todos los empatados compartan el peor lugar, que todos compartan el lugar promedio, o que todos compartan el mejor lugar. Hemos decidido utilizar esta última solución, por cuanto es la más conservadora en términos de nuestro análisis. A pesar de ello, finalmente no resulta determinante en los resultados. Un ejemplo de cómo funciona esta solución es el siguiente: si en un colegio de cien estudiantes comparten el primer lugar tres alumnos, todos éstos tienen un ranking igual a 1 (=100/100), mientras el alumno siguiente se encuentra en el cuarto lugar con un ranking igual a 0,97 (=97/100).


pueden elegir cursos y profesores de acuerdo con sus preferencias o con su rendimiento anterior19.

Como variables explicativas de rendimiento universitario se emplean los puntajes de cada alumno en la Prueba de Selección Universitaria (PSU) y las notas de enseñanza media (NEM). Adicionalmente, se incluyen las variables dicotómicas que identifican si el alumno se encontraba en el mejor 5, 10 o 20% de su promoción en su colegio de egreso20. Las regresiones pueden incluir también interacciones entre las distintas carreras y las NEM y PSU, reconociendo que éstas pueden explicar de modo distinto el rendimiento para diferentes carreras. El análisis se realiza por separado para cada universidad para la que se cuenta con información21, utilizando ecuaciones con las siguientes formas funcionales:

Donde: PNU = promedio de notas en primer año, i = alumno, j = carrera, n = número de carreras en cada universidad, X = otras características del alumno, Rf = variable dicotómica para alumnos de la promoción en el mejor 5, 10 o 20% de rendimiento en su colegio de egreso, y k= PSU lenguaje, matemáticas, ciencias o ciencias sociales.

En las especificaciones anteriores, el parámetro de interés es CRf%, que representa la correlación entre el promedio de notas en primer año de universidad y el haber sido alumno en el 5, 10 o 20% de su promoción escolar. La obtención de un coeficiente CRf% positivo y significativo indicaría que, en promedio, los alumnos ubicados en el f %

19 Ver Himmel, E. (2000). Las notas en primer año son ampliamente utilizadas como variable dependiente en la literatura internacional.

20 La utilidad del ranking del alumno fue analizada mediante distintas formas funcionales: lineales, cuadráticas y multiplicativas. Se eligió presentar las variables binarias descritas, puesto que permiten una interpretación más clara de los resultados. Las estimaciones para las otras formas funcionales indicaron resultados similares a los presentados en el documento y están disponibles mediante solicitud a los autores.

21 Los datos para cada universidad se describen en la siguiente sección.


de mejor rendimiento escolar obtienen un mejor promedio de notas en la universidad relativo a alumnos en el (1 − f %) de desempeño escolar. Ello ocurriría tanto cuando se controla por NEM y PSU (ecuación 1) como cuando se permite la interacción de éstas por cada carrera al interior de cada universidad. Es decir, la posición relativa capturaría información no contenida ni en las PSU ni en las NEM, al menos para los alumnos que logran ingresar a la universidad respectiva.

4. DatosEsta sección describe los datos utilizados en la investigación. Se contaba con cerca de nueve mil alumnos de primer año (o novatos) que estudiaron durante 200422 en cuatro universidades del país. Éstas corresponden a la Universidad Católica de Temuco (UCT), la Pontificia Universidad Católica de Valparaíso (PUCV), la Universidad de Santiago (USACH) y la Pontificia Universidad Católica de Santiago (PUC), todas ellas participantes en el CRUCH.

Para cada alumno se dispone de información sobre su rendimiento académico, equivalente al promedio de notas obtenido en cada ramo ponderado por los créditos23 que represente cada uno. Se dispone además de la carrera que cursa cada alumno, su puntaje de ingreso24 y los componentes de dicho puntaje, es decir, las pruebas de selección universitaria (PSU) y las notas de enseñanza media (NEM). Adicionalmente, se cuenta el ranking o indicador de desempeño escolar relativo de cada alumno obtenido como se señala en la metodología.

La tabla 1 presenta el total de alumnos presentes en los datos, aquellos que cuentan con información válida para las distintas variables relevantes y, finalmente, aquellos con información completa.

22 Al momento de realizar la investigación, se tenía información para las cuatro universidades sólo de 2004. En versiones futuras de este trabajo se espera poder contar con más años para el análisis.

23 Para distinguir la importancia de los distintos cursos, las universidades les asignan créditos o unidades docentes. Un curso con 10 créditos tendrá mayor incidencia que un curso de cinco créditos sobre el promedio ponderado de cada alumno.

24 El puntaje de ingreso corresponde básicamente a una combinación de los puntajes obtenidos en la batería de la PSU y las notas de enseñanza media (NEM), de acuerdo a los ponderadores que cada universidad establece para cada carrera, bajo el supuesto de que permiten seleccionar alumnos que obtendrán buen desempeño en sus respectivas casas de estudio.


Como muestra la última fila, se dispone de datos válidos para el 99% del total. Estos últimos son los utilizados en la presente investigación. Cabe notar que con estos 9.625 estudiantes se cubre aproximadamente un cuarto de la matrícula en primer año, de las 25 universidades del CRUCH para el año25 en cuestión.

Tabla 1. Número de alumnos con información disponible, válida y completa

Universidad [1]Todos

[2]PPA

válido

[3]Puntaje

ingreso válido

[4]PROMEDIO PSU válido

[5]PROMEDIO NEM válido

[6]Información

completa

[7]Todos vs. inf.

completaUCT 758 758 758 758 758 758 100,00%PUCV 2.972 2.971 2.970 2.972 2.970 2.969 99,90%USACH 2.560 2.559 2.478 2.555 2.2552 2.475 96,68%PUC 3.064 3.064 3.064 3.064 3.063 3.063 99,97%Total 9.354 9.352 9.270 9.349 9.343 9.265 99,05%

Nomenclatura:UCT: Universidad Católica de Temuco; PUCV: Pontificia Universidad Católica de Valparaíso;USACH: Universidad de Santiago; PUC: Pontificia Universidad Católica de Santiago.PPA: Promedio Ponderado Anual. Promedio PSU: Promedio de las pruebas Lenguaje y Matemáticas.NEM: Notas de enseñanza media.Fuente: elaboración propia, basada en datos oficiales UCT, PUCV, USACH, PUC, año académico 2004 (novatos).

En la tabla 2 se resume la información básica respecto de las universidades bajo estudio. Además del número de alumnos, se presenta también la cantidad de carreras en las que se distribuyen dichos estudiantes. En el anexo 3 se presenta el nombre de cada carrera y la cantidad de alumnos novatos que la cursan, para cada universidad.

Tabla 2. Número de alumnos, carreras y puntajes de ingreso por universidad

Universidad Año académico 2004 Puntaje de ingreso

Nº de alumnos Nº de carreras Promedio Desviación Mínimo Máximo

UCT 758 23 596 47 500 791PUCV 2.969 53 617 45 460 795USACH 2.475 55 651 42 570 798PUC 3.063 31 698 48 600 822Total 9.265 162 651 58 460 822

25 De acuerdo con el Compendio Estadístico 2004 (DEMRE, 2004), la matrícula en universidades del CRUCH fue de 42 mil alumnos aproximadamente para el año académico 2004.


La tabla 2 presenta también datos acerca del puntaje de ingreso para las universidades. A pesar de que la presente investigación considera un estudio de casos (puesto que tenemos datos para cuatro de 25 universidades del CRUCH), es interesante constatar que contamos con un rango de puntaje de ingreso amplio, que permite reflejar distintas realidades estudiantiles en términos de dicha variable. Esto se presenta en los gráficos 1 y 2.

Gráfico 1

Puntaje de ingreso por universidad

Promedio PSU (nacional). Puntaje de ingreso (por universidad) 200 400 600 800

Fuente: elaboración propia, basada en datos UCT, PUCV, USACH, PUC, 2004.

Den

sidad

0

.002

.0

04 .

006

.008

Total Nacional USACHPUC UCTPUCV

Gráfico 2

Puntaje de ingreso por universidad

Puntaje de ingreso 450 500 550 600 650 700 750 800 850

Fuente: elaboración propia, basada en datos UCT, PUCV, USACH, PUC, 2004.

Den

sidad

0

.002

.0

04

.006

.0

08

USACH PUCUCT PUCV


El gráfico 1 presenta la distribución de los puntajes de ingreso de las universidades bajo estudio, en relación con la distribución nacional del promedio PSU (promedio en las pruebas de Lenguaje y Matemáticas). Por construcción, el promedio PSU nacional tiene una media de 500 puntos, un mínimo de 150 y un máximo de 850 puntos. La línea vertical refleja los 45026 puntos necesarios de obtener como promedio PSU para poder postular a las universidades del CRUCH. El gráfico 2 muestra un acercamiento al gráfico 1; presenta los puntajes de ingreso de las universidades bajo estudio cuando los puntajes son mayores a dicho umbral de 450 puntos. Como se desprende de dicho gráfico, las universidades bajo estudio cubren casi todo el rango entre 450 y 850 puntos. En efecto, los puntajes oscilan desde un mínimo de 460 puntos (en la PUCV) a un máximo de 822 puntos (en la PUC).

En la tabla 3 se exhiben estadísticas descriptivas para el promedio PSU, promedio NEM y notas en primer año para cada universidad. Se puede notar que, tanto en promedio PSU como en promedio NEM, se mantiene el orden que muestra el gráfico 1 en términos de puntaje de ingreso. Lo anterior no es directo, por cuanto podrían existir universidades que logren atraer alumnos de mejores notas de enseñanza media y peores promedios PSU o viceversa. Sin embargo, para las universidades bajo estudio se mantiene un orden monotónico creciente: aquellas con promedio PSU más alto también tienen alumnos con mejor promedio NEM. Cuando se observan las notas en primer año, el orden entre universidades se ve alterado, básicamente porque la UCT entrega mejores calificaciones a sus alumnos (un 4,4 promedio). Sin embargo, el orden se mantiene considerando la PUCV (un 4,1), la USACH (un 4,4) y la PUC (un 4,9)27.

26 Es necesario destacar que esta línea es un referente. Para postular de manera tradicional a las universidades del CRUCH se exige tener 450 puntos promedio en las pruebas de Lenguaje y Matemáticas. Es probable que existan alumnos con muy bajos resultados en NEM u otras pruebas de la batería PSU que hayan ingresado a la universidad con menos de 450 puntos. Sin embargo, son escasos y no alteran los resultados expuestos.

27 No obstante, hay que recordar que las notas son particulares a cada casa de estudio (no como el promedio PSU y promedio NEM, que usan una misma escala país). Adicionalmente, el promedio presentado es el promedio simple para los alumnos de cada universidad. Podría haber diferencias de acuerdo con las carreras que imparte cada una. En la siguiente sección se presentan los resultados de estimaciones, que consideran dichas diferencias.


Tabla 3. Estadísticas descriptivas por universidad

Universidad Variable Media Desviación Mínimo Máximo

UCT

Promedio PSU 549 55 377 791Puntaje NEM 601 80 393 805Notas primer año 4,43 0,99 1,00 6,36Dummy mejor 5% 0,08 0,27 - 1,00Dummy mejor 10% 0,14 0,35 - 1,00Dummy mejor 20% 0,26 0,44 - 1,00Observaciones 758

PUCV

Promedio PSU 610 51 409 798Puntaje NEM 633 81 380 805Notas primer año 4,10 1,07 1,00 6,56Dummy mejor 5% 0,10 0,30 - 1,00Dummy mejor 10% 0,17 0,37 - 1,00Dummy mejor 20% 0,28 0,45 - 1,00Observaciones 2.969

USACH


PUC


Nomenclatura:UCT: Universidad Católica de Temuco; PUCV: Pontificia Universidad Católica de Valparaíso;USACH: Universidad de Santiago; PUC: Pontificia Universidad Católica.PPA: Promedio Ponderado Anual. Promedio PSU: Promedio de las pruebas Lenguaje y Matemáticas.NEM: Notas de enseñanza media.Fuente: elaboración propia, basada en datos oficiales UCT, PUCV, USACH, PUC, año académico 2004 (novatos).

La tabla 3 muestra también el porcentaje de alumnos ubicados en el mejor 5, 10 y 20% de su promoción escolar28 que captura cada universidad. En relación con aquellos que ingresaron el mismo año 2004, la USACH es la universidad que capta más alumnos. Le sigue la

28 Y egresados el año anterior (alumnos no rezagados).


PUC, luego la PUCV y finalmente la UCT29. Dos de cada diez alumnos que ingresaron a la USACH y a la PUC ese año pertenecían al mejor 5% de egreso de su promoción. Para la PUCV y la UCT, la cifra está en torno a la mitad (sólo 1 de cada 10).

Por ejemplo, para la tabla 4, relaciona el rendimiento universitario en primer año de los alumnos del mejor 10% versus el resto. De la tabla se desprende que, transversal a las distintas universidades y sus diferentes realidades educativas, haber sido alumno del mejor 10% en el colegio está relacionado con un mejor rendimiento universitario (en comparación con aquellos que no pertenecían al mejor 10% de su promoción). La diferencia es de una magnitud de alrededor de cuatro décimas más sobre el promedio ponderado anual30.

Tabla 4. Notas primer año: mejor 10% vs resto

Universidad Mejor 10% Resto TodosNota

primer añoNº

alumnosNotas

primer añoNº

alumnosNotas

primer añoNº

alumnosUCT 4,8 108 4,4 650 4,4 758PUCV 4,4 499 4,0 2.470 4,1 2.969USACH 4,6 849 4,3 1.626 4,4 2.475PUC 5,2 861 4,8 2.202 4,9 3.063Total 4,8 2.317 4,4 6.948 0,4 9.265

Nomenclatura:UCT: Universidad Católica de Temuco; PUCV: Pontificia Universidad Católica de Valparaíso;USACH: Universidad de Santiago; PUC: Pontificia Universidad Católica.PPA: Promedio Ponderado Anual. Promedio PSU: Promedio de las pruebas Lenguaje y Matemáticas.NEM: Notas de Enseñanza Media.Fuente: elaboración propia, basada en datos oficiales UCT, PUCV, USACH, PUC, año académico 2004 (novatos).

29 Una explicación a este fenómeno tiene que ver con las estrategias de selección de las universidades y la elección de los alumnos. Como la USACH tuvo un sistema de bonificación de puntaje para los alumnos con buen ranking, es probable que capten alumnos de escuelas de baja calidad (lo que implicaría bajos puntajes PSU relativos a los de la PUC, por ejemplo), pero buen ranking. Por otro lado, la PUC estaría captando alumnos provenientes de escuelas de alta calidad (alta PSU) y de buen ranking. Por definición, estos alumnos son pocos con relación al universo. Este equilibrio podría explicar que la USACH atraiga más alumnos de buen ranking que la PUC (que captaría estudiantes con mejores puntajes en la PSU).

30 Esta diferencia es estadísticamente significativa, de acuerdo con un test de medias al 99% de confianza. El ejercicio entrega diferencias de magnitudes similares para el mejor 5% de su promoción y algo menores para el mejor 20% (tres décimas aproximadamente, en vez de cuatro).


Por último, la tabla 5 muestra correlaciones simples entre las variables utilizadas en esta investigación. Se presentan aquí los valores considerando el total de los alumnos bajo análisis, mientras en el anexo se entregan las tablas de correlación para cada universidad en particular. En la tabla se puede observar que tanto las variables presentes en la batería de selección (NEM y PSU) como las que identifican a los mejores alumnos según su desempeño escolar están positivamente correlacionadas con el promedio de notas en primer año de universidad. Al mismo tiempo, las NEM están positivamente correlacionadas con las variables dicotómicas del mejor 5, 10 y 20%. También se puede notar que la correlación entre estas últimas variables y la dependencia de egreso es baja (entre -0.04 y 0.02). Cuando se compara la correlación entre el promedio PSU y el puntaje NEM el resultado es parecido. En particular, están positivamente correlacionadas en el caso de la PUC (0.34), con una magnitud menor para la PUCV (0.14), cercano a cero para la UCT (-0.02) y negativo para la USACH (-0.13).

Tabla 5. Correlaciones de toda la muestra 2004

Variable Mejor 5%

Mejor 10%

Mejor 20%

Ptje. Nem

Notas en primer

año

Promedio PSU

Egresadode colegiop. pagado

Egresadode colegiop. subv.

Mejor 5% 1,00Mejor 10% 0,76 1,00Mejor 20% 0,55 0,72 1,00Ptje. Nem 0,46 0,51 0,55 1,00Notas en primer año 0,16 0,18 0,18 0,30 1,00PROMEDIO PSU 0,13 0,14 0,14 0,30 0,30 1,00Egresado de colegio p. pagado

-0,04 -0,03 0,00 0,19 0,19 0,45 1,00

Egresado de colegio p. subv.

0,03 0,02 0,02 -0,05 -0,11 -0,25 -0,57 1,00

Nota: número de observaciones = 9.265Fuente: elaboración propia, basada en datos oficiales UCT, PUCV, USACH, PUC, año académico 2004 (novatos).

La siguiente sección, revisa la relación entre ranking (alumnos del mejor 5, 10 y 20%) y rendimiento universitario, realizando análisis regresiones mínimo cuadráticas, de modo de controlar por otras variables adicionales y testear si se mantiene una correlación entre rendimiento universitario y ranking, como las descritas por las tablas 4 y 5.


5. ResultadosEsta sección presenta los resultados de las estimaciones a las ecuaciones (1) y (2) para cada una de las universidades consideradas en el análisis. La ecuación (1) considera como variables explicativas las PSU, las NEM y variables binarias que identifican la carrera que cursa el alumno y la dependencia de egreso del alumno31. La ecuación (2) cambia la forma funcional, agregando interacciones entre las PSU, NEM y las variables dicotómicas asociadas a cada carrera.

Para cada una de las ecuaciones se estiman cuatro especificaciones por universidad. Primero, se estima cada ecuación sin incluir la variable que identifica a los mejores alumnos de su promoción escolar (columna [a]). Luego, se estima la ecuación previa y se incluye la variable dicotómica correspondiente a los mejores alumnos del 5, 10 ó 20% de su promoción escolar en cada universidad (columnas [b], [c] y [d], respectivamente). Esta estrategia permite examinar la solidez de los modelos y la estabilidad de los parámetros asociados al desempeño relativo.

Los resultados por universidad32 se presentan en las tablas 5 a 8. Los coeficientes de las PSU y NEM en la ecuación (1) se interpretan como la capacidad explicativa promedio que estas variables tienen para cada universidad. La ecuación (2) estima los coeficientes de las PSU y NEM por separado para cada carrera, reconociendo que pueden explicar de modo distinto el rendimiento universitario en cada una de éstas.

De los resultados para la ecuación (1) se puede notar que, en promedio, los puntajes de la prueba de Ciencias no son estadísticamente significativos para explicar rendimiento universitario

31 Las variables dicotómicas para egresados de colegios particular pagados y particular subvencionados (dejando a los egresados de colegios municipales como base) representan el vector X considerado en las ecuaciones. En el anexo 4 se presentan los resultados donde no se controla por dependencia de egreso. Las magnitudes, dirección y significancia no varían de modo significativo para los parámetros de interés.

32 Por razones de espacio, no se presentan los coeficientes para cada carrera. Para la ecuación (1) son tantos betas como carreras haya en cada universidad; para la ecuación (2) el número equivale a todas las interacciones entre las PSU, NEM y cada carrera (alrededor de 950 coeficientes para la PUC, por ejemplo). Los coeficientes en cuestión están disponibles mediante solicitud a los autores.


en ninguna de las universidades bajo estudio. Lo mismo ocurre con los puntajes de las pruebas de Historia y Ciencias Sociales, con excepción de la PUC. Como los coeficientes representan un promedio para cada universidad, lo anterior no significa que dichas pruebas no predigan rendimiento para algunas carreras en particular. Sin embargo, resulta llamativo que para casi todos los casos estas variables resultan no significativas, considerando que se trata de diferentes universidades, que captan alumnos de distintos puntajes y con distintas carreras33.

Se examina además la correlación entre los rendimientos educacionales y la dependencia de egreso de los estudiantes. Estos resultados deben ser examinados con cautela, pues corresponden a los efectos asociados a la dependencia, condicional para aquellos individuos que fueron aceptados en la universidad y lograron cierto rendimiento mínimo. La evidencia indica que los coeficientes para la dependencia del colegio de egreso de los alumnos no son significativos, salvo para algunos casos en la PUC. En promedio, los alumnos provenientes de colegios particulares subvencionados obtendrían menor rendimiento universitario que sus pares de colegios municipales. Sin embargo, cuando se controla por las interacciones entre PSU, NEM y carrera dicho efecto prácticamente desaparece.

Respecto de las variables de desempeño escolar relativo (ranking) se encuentra que para la amplia mayoría de los casos el coeficiente de interés es significativo y siempre de signo positivo. En particular, el CR5% es significativo al 1% para la USACH y la PUC, con una magnitud que varía entre 1,3 y 2,3 décimas adicionales sobre el rendimiento en primer año universitario. Para la PUCV, el coeficiente es significativo34 y de una magnitud cercana a 1,0 décima adicional. Para la UCT, mientras tanto, este parámetro no es significativo.

Un patrón similar, pero con mayores niveles de significancia para estas dos últimas universidades, es el que describe el coeficiente CR10%. Es positivo para todos los casos y significativo para la PUC y la USACH al 1%; para la PUCV al 1% (ecuación (1)) y al 5% (ecuación

33 De todas formas, hay que recordar que estas pruebas no son obligatorias para todas las carreras: otra razón que podría jugar a favor de su validez predictiva.

34 Al 5% en la ecuación 1 y sólo al 20% en la ecuación 2.


(2)); para la UCT al 20% (ecuación (1)) y al 10% (ecuación (2)). La magnitud, en tanto, oscila entre 1,2 décimas (PUCV) y 2,6 décimas (PUC) adicionales sobre el desempeño en la universidad.

Por último, los coeficientes asociados al haber estado en el 20% de mejor rendimiento en el colegio de egreso son significativos (al 1%) y positivos para las cuatro universidades en cuestión, con magnitudes que oscilan entre 1,4 décimas adicionales (en la USACH) y 3,0 (en la UCT) sobre las notas en primer año universitario.

De lo anterior se desprende que haber sido un alumno con buen rendimiento relativo en la escuela de egreso está correlacionado con un buen rendimiento universitario, aun controlando por la dependencia del colegio de egreso, los puntajes obtenidos en las pruebas de selección universitaria y las NEM.

Este resultado debe ser interpretado considerando la muestra examinada. En efecto, la muestra está compuesta mayoritariamente por ‘buenos’ alumnos. Por ello, la variable que indica el ranking de egreso como estadísticamente significativo y positivo es más relevante aún.

Se puede notar también que el coeficiente de bondad de ajuste (o R-cuadrado ajustado) presenta aumentos moderados producto de la inclusión de las variables de desempeño escolar relativo, los cuales van desde 0,3 a 1,5 puntos porcentuales35. Por otro lado, de las tablas de correlaciones descritas en la sección anterior se encontraba que las variables de ranking presentaban una correlación de cerca de 0.50 con el puntaje NEM. Esto podría haber representado una señal de un eventual problema de colinealidad en las estimaciones36. Sin embargo, es interesante notar que, al menos en promedio por cada universidad, la incorporación del ranking no altera los parámetros de las otras

35 La inclusión del ranking incrementa la capacidad explicativa de la ecuación, estimada en una baja proporción. Este resultado no debe sorprender dada la heterogeneidad de la muestra y al alto número de observaciones.

36 Dicho de otra forma, era probable, a priori que las NEM ya entregaran la información asociada al ranking. Típicamente, el problema de colinealidad en ciencias sociales es de grado y no de existencia. Altos grados de colinealidad aumentan la varianza de los estimadores reduciendo la significancia estadística. Sin embargo, esta no es la situación de los parámetros estimados.


variables de selección37. Ello sugiere que la posición relativa entrega información adicional que no capturan dichas variables.

Lo anterior es especialmente interesante para el caso de las NEM, puesto que ellas conforman la fuente de información para la construcción de la medida de habilidad relativa. Sin embargo, a pesar de tener igual promedio de notas en la enseñanza media, los alumnos pueden tener rankings disímiles38. De acuerdo con los resultados descritos, dicha diferencia es indicativa de un tipo de habilidad del individuo (no observable dadas las variables de selección vigentes) que importa en términos de rendimiento universitario.

37 Con excepción del cambio marginal en el parámetro asociado a las NEM en la UCT y en la PUC, al incluir la variable binaria que identifica al mejor 20% de rendimiento escolar. Aun así, la variable asociada a ranking sigue siendo estadísticamente significativa.

38 Por ejemplo, de la muestra de alumnos bajo estudio, existen 467 estudiantes con un promedio de NEM equivalente a 6,0. Todos ellos obtienen el mismo puntaje NEM, que tiene una ponderación mínima de 20% para ingresar a las universidades del CRUCH. De acuerdo con el ranking, estos alumnos se encuentran, en promedio, en el 32% de mejor rendimiento de sus colegios. Sin embargo, la variable exhibe una dispersión amplia: el alumno puede ser el mejor alumno de su colegio y estar ubicado en el 22% de peor desempeño escolar (o 78% de mejor rendimiento).


Tabla 6. Estimaciones para UCT 2004

Variable dependiente Estimaciones Ecuación 1 Estimaciones Ecuación 2Notas primer año (a) (b) (c) (d) (a) (b) (c) (d)Mejor 5% 0,042 0,050

[0,30] [0,30]Mejor 10% 0,144

[1,48]º [1,64]ºº

Mejor 20% 0,303 0,270[4,09]** [3,21]**

Ptje. Lenguaje y Comunicación 0,002 0,002 0,002 0,002[4,12]** [4,13]** [4,12]** [3,93]**

Ptje. Matemáticas 0,004 0,004 0,004 0,004[4,44]** [4,39]** [4,40]** [4,74]**

Ptje. Historia y Ciencias Sociales -0,000 -0,000 -0,000 -0,000[0,06] [0,06] [0,13] [0,19]

Ptje. Ciencias 0,000 0,000 0,000 0,000[0,37] [0,36] [0,40] [0,64]

Ptje. Nem 0,004 0,004 0,004 0,003[8,22]** [7,57]** [7,12]** [5,85]**

Egresado de colegio p. pagado 0,206 0,208 0,226 0,250[1,22] [1,22] [1,32] [1,45] [0,75] [0,76] [0,90] [0,97]

Egresado de colegio p. subv. 0,100 0,101 0,109 0,12 0,084 0,086 0,098 0,102[1,60] [1,62] [1,75] [1,96] [1,19] [1,21] [1,38] [1,47]

Constante -0,269 -0,233 -0,106 0,095 -0,324 -0,214 0,663 10.311[0,35] [0,29] [0,13] [0,12] [0,13] [0,08] [0,24] [0,43]

Observaciones 758 758 758 758 758 758 758 7580,319 0,318 0,320 0,331 0,322 0,321 0,324 0,332

R- cuadrado ajustadoTest-t robustos, en paréntesis cuadrado.° significativo al 20%; °° significativo al 10%; * significativo al 5%; ** significativo al 1%.Fuente: elaboración propia, basada en datos oficiales UCT, año académico 2004 (novatos).


Tabla 7. Estimaciones para PUCV 2004


[2,05]* [1,42]ºº

Mejor 10% 0,134 0,119[2,69]** [2,29]*

Mejor 20% 0,140 0,141[3,31]** [3,15]**

Ptje. Lenguaje y Comunicación 0,001 0,001 0,001 0,001[2,66]** [2,55]* [2,25]* [2,48]**

Ptje. Matemáticas 0,006 0,006 0,006 0,006[13,82]**[13,75]**[13,77]**[13,93]**


Ptje. Ciencias -0,000 -0,000 -0,000 -0,000[0,73] [0,73] [0,80] [0,80]

Ptje. Nem 0,003 0,003 0,003 0,003[14,92]**[13,13]**[12,10]**[11,51]**

Egresado de colegio p. pagado 0,074 0,088 0,092 0,093 0,047 0,057 0,063 0,066[1,50] [1,77] [1,85] [1,86] [0,95] [1,13] [1,26] [1,31]

Egresado de colegio p. subv. 0,040 0,047 0,049 0,045 0,033 0,039 0,042 0,039[1,00] [1,19] [1,23] [1,12] [0,82] [0,96] [1,04] [0,97]

Constante -1.942 -1.817 -1.757 -1.715 -5.747 -5.704 -5.610 -5.963[5,53]** [5,07]** [4,84]** [4,80]** [1,11] [1,11] [1,10] [1,17]

Observaciones 2969 2969 2969 2969 2969 2969 2969 29690,365 0,366 0,367 0,368 0,405 0,406 0,406 0,407

R- cuadrado ajustadoTest-t robustos, en paréntesis cuadrado.° significativo al 20%; °° significativo al 10%; * significativo al 5%; ** significativo al 1%.Fuente: elaboración propia, basada en datos oficiales PUCV, año académico 2004 (novatos).


Tabla 8. Estimaciones para USACH 2004


[3,38]** [3,15]**

Mejor 10% 0,129 0,118[3,39]** [3,03]*

Mejor 20% 0,141 0,161[3,87]** [4,19]**

Ptje. Lenguaje y Comunicación 0,000 0,000 0,000 0,000[0,74] [0,84] [0,88] [1,04]



Ptje. Ciencias -0,000 -0,000 -0,000 -0,000[0,48] [0,46] [0,50] [0,50]

Ptje. Nem 0,002 0,002 0,002 0,002[6,51]** [4,97]** [4,95]** [4,99]**

Egresado de colegio p. pagado -0,060 -0,041 -0,037 -0,037 -0,033 -0,015 -0,011 -0,007[1,23] [0,83] [0,75] [0,76] [0,66] [0,30] [0,21] [0,14]

Egresado de colegio p. subv. -0,037 -0,032 -0,031 -0,037 0,002 0,007 0,009 0,002[1,09] [0,94] [0,90] [1,09] [0,04] [0,21] [0,25] [0,07]

Constante -1.621 -1.469 -1.493 -1.522 75.392 76.419 63.633 58.326[2,59]** [2,31]* [2,34]* [2,39]* [18,49]**[18,75]**[11,26]**[10,31]**

Observaciones 2475 2475 2475 2475 2475 2475 2475 24750,404 0,406 0,406 0,407 0,466 0,468 0,468 0,470

R- cuadrado ajustadoTest-t robustos, en paréntesis cuadrado.° significativo al 20%; °° significativo al 10%; * significativo al 5%; ** significativo al 1%.Fuente: elaboración propia, basada en datos oficiales USACH, año académico 2004 (novatos).


Tabla 9. Estimaciones para PUC 2004


[7,97]** [6,99]**

Mejor 10% 0,255 0,229[9,98]** [8,69]*

Mejor 20% 0,214 0,1881[8,95]** [7,78]**

Ptje. Lenguaje y Comunicación 0,001 0,001 0,001 0,001[5,75]** [5,17]** [5,07]** [5,51]**


Ptje. Historia y Ciencias Sociales -0,000 -0,000 -0,000 -0,000[2,32]* [2,39]* [2,60]** [2,52]*

Ptje. Ciencias -0,000 -0,000 -0,000 -0,000[1,17] [1,36] [1,23] [1,32]

Ptje. Nem 0,003 0,003 0,002 0,002[19,15]**[13,92]**[12,05]**[12,09]**

Egresado de colegio p. pagado 0,015 0,051 0,015 0,015 0,015 0,015 0,015 0,015[1,23] [0,83] [0,75] [0,76] [0,66] [0,30] [0,21] [0,14]

Egresado de colegio p. subv. -0,037 -0,032 -0,031 -0,037 0,002 0,007 0,009 0,002[1,09] [0,94] [0,90] [1,09] [0,04] [0,21] [0,25] [0,07]

Constante -1.621 -1.469 -1.493 -1.522 75.392 76.419 63.633 58.326[2,59]** [2,31]* [2,34]* [2,39]* [18,49]**[18,75]**[11,26]**[10,31]**

Observaciones 2475 2475 2475 2475 2475 2475 2475 24750,404 0,406 0,406 0,407 0,466 0,468 0,468 0,470

R- cuadrado ajustadoTest-t robustos, en paréntesis cuadrado.° significativo al 20%; °° significativo al 10%; * significativo al 5%; ** significativo al 1%.Fuente: elaboración propia, basada en datos oficiales USACH, año académico 2004 (novatos).

Por otra parte, la utilidad del ranking como variable explicativa puede no ser equivalente para alumnos de colegios de distintos tamaños. Por ejemplo, dicho efecto puede ser distinto para el mejor alumno de un colegio de 10 estudiantes que para otro de 500. Para capturar esta potencial diferencia se desagrega la variable dicotómica para los alumnos del mejor 20% en 4 variables, que indican si el alumno estaba al mismo tiempo en el mejor 20%39 de su colegio, y el tamaño de su promoción de egreso tenía menos de 20 alumnos, entre

39 Se realizaron regresiones a interacciones para alumnos del mejor 5% y 10%, identificando distintos tamaños de colegios. Los resultados son similares a los mostrados en la tabla 9.


20 y 60 alumnos, entre 60 y 200 alumnos y más de 200 alumnos. En la tabla 9 se presentan los resultados de las estimaciones a la ecuación (2) incorporando las variables dicotómicas con interacción por tamaño y ranking. Los resultados indican que, a medida que aumenta el tamaño del colegio, la significancia estadística del ranking se hace más fuerte, y su coeficiente más alto. Los resultados evidencian que alumnos de buen ranking y provenientes de colegios con mayor número de egresados de secundaria tienen rendimientos superiores a alumnos de buen ranking provenientes colegios más pequeños.

Tabla 10. Evaluación tamaño colegios para PUCV, UCT, PUC y USACH

Variable Dependiente Estimaciones Ecuación 2Notas primer año PUC UCT PUC USACH

menos de 21 alumnos 0,012 -0,392 0,071 0,061[,066] [-,944 [,810] [,387]

Mejor 20% y entre 21 y 60 alumnos 0,143* 0,234 0,152** 0,126*

[2,220] [1,439] [5,102] [2,015]entre 61 y 200 alumnos 0,128* 0,284** 0,197** 0,164**

[2,153] [2,661] [7,378] [3,829]más de 200 alumnos 0,346** 0,425** 0,242** 0,221**

Ptje. Lenguaje y Comunicación

Ptje. Matemáticas

Ptje. Historia y Ciencias Sociales

Ptje. Ciencias

Ptje. Nem

Egresado de colegio p. pagado 0,094 0,242 ,073* 0,016[1,792] [1,242] [2,179] [,248]

Egresado de colegio p. subv. 0,064 0,117 -,034 0,013[,041] [,071] [,036] [,036]

Constante -4,892 1,695 0,26 3,084[-3,904] [,740] [,239] [-,675]

Observaciones 2969 758 3063 2475R- cuadrado 0,409 0,336 0,521 0,471

Test-t robustos, en paréntesis cuadrado.° significativo al 20%; °° significativo al 10%; * significativo al 5%; ** significativo al 1%.Fuente: elaboración propia, basada en datos PUCV, UCT, PUC y USACH, año académico 2004 (novatos).


6. ConclusionesEl presente trabajo contribuye a explicar el desempeño académico de los estudiantes de primer año de cuatro universidades del país mediante los instrumentos de la batería de selección, incluyendo como un predictor de rendimiento adicional una medida de habilidad relativa. Esta última se obtiene al ordenar a los alumnos según su rendimiento en la enseñanza media, en posición relativa a sus compañeros de egreso escolar. La motivación de este trabajo es examinar si esta medida de habilidad relativa (o ranking) es indicativa de proyecciones académicas del estudiante, dado que, producto de comparar al alumno respecto de sus pares (que se desenvuelven en un mismo contexto y entorno), podría capturar habilidades que no son entregadas por las variables de selección actualmente en uso.

En términos de puntaje de ingreso, la muestra de alumnos bajo análisis abarca prácticamente todo el espectro de estudiantes que pueden ingresar a la universidad, lo que nos permite examinar el desempeño académico para carreras y universidades con distintos niveles de exigencia. Las principales conclusiones derivadas de este estudio son las siguientes.

En primer lugar, los resultados indican que haber sido un alumno buen rendimiento relativo en la escuela de egreso está correlacionado positivamente con el rendimiento universitario, aun controlando por la dependencia del colegio de egreso, los puntajes obtenidos en la PSU y las NEM. Esto es consistente para las cuatro universidades examinadas en este estudio.

En segundo, la importancia y magnitud del efecto varía entre universidades. En particular, el efecto es más importante para aquellas más exigentes en términos de puntajes PSU y NEM. Sin embargo, para la amplia mayoría de los casos el coeficiente que identifica a aquellos estudiantes pertenecientes al mejor 5, 10 y 20% de egreso es significativo, y siempre de signo positivo.

La incorporación de la medida de habilidad relativa no altera los parámetros de las otras variables de selección, al menos en promedio


por cada universidad. Ello sugiere que este indicador entrega información adicional, no capturada por dichas variables.

Una explicación a este resultado es que, pese a que existe una escala nacional común, los criterios para asignar las NEM son específicos de cada establecimiento educacional, reflejando distintas políticas de asignación de notas, niveles de exigencia y, eventualmente, ‘inflación’ de notas. Lo anterior implica que las NEM, no son directamente comparables entre alumnos de distintos colegios. Debido a que el ranking es una medida de habilidad relativa en el ámbito de cada establecimiento, entonces estaría libre de dichos problemas. Complementariamente, pertenecer a los primeros lugares de notas del colegio puede vincularse a habilidades cognitivas y no cognitivas de los estudiantes. Una hipótesis adicional es que incluir los resultados en las PSU y NEM implica controlar principalmente por las habilidades cognitivas de los estudiantes. Por tanto, la posición relativa podría estar capturando mayormente información de habilidades como motivación, técnicas de estudio, disciplina o autocontrol que tendrían efectos positivos sobre el desempeño universitario en primer año.

Los resultados de este trabajo se deben interpretar con cuidado. Por construcción, sólo pueden ser sujeto de análisis los estudiantes que hayan sorteado los umbrales de ingreso a la universidad. Los resultados, por tanto, sólo son válidos para los alumnos bajo estudio.

Por último, reconociendo dichas limitaciones, esta evidencia puede ser útil desde la perspectiva de implicancias de política. En particular, invita a preguntarse si es posible mejorar los actuales criterios de selección universitaria mediante la inclusión de una medida de habilidad relativa. Ello porque, adicional a que el ranking es un buen predictor de rendimiento académico para las universidades analizadas, es un instrumento corrector de las NEM y, además, a diferencia de los puntajes PSU, presenta una baja correlación con la dependencia del colegio de egreso (proxy de nivel socioeconómico), por lo que su uso podría agregar equidad al sistema en el margen.


En términos de investigación futura, este estudio se puede ampliar, por un lado replicando el análisis para distintas cohortes de estudiantes; por otro, se puede extender el análisis para la misma cohorte, pero considerando el desempeño de los alumnos en los siguientes años de carrera (no sólo en primer año) y utilizar distintas medidas de éxito académico, tales como tasa de aprobación de cursos o tiempo de titulación. Estas estrategias permitirían examinar la estabilidad de los resultados obtenidos en la presente investigación.

La investigación fue preparada para el Consejo Superior de Educación (CSE). Los autores han llevado a cabo este estudio de modo independiente, por lo que su respectiva afiliación institucional se entrega sólo como referencia. Agradecemos a quienes permitieron contar con la información necesaria para el desarrollo de este estudio: Lynda Contreras (Pontificia Universidad Católica de Valparaíso), Favia Catrileo (Universidad Católica de Temuco), Nicolino Casaletti (Universidad Finis Terrae) y Jorge Urbina (Universidad de Santiago). Además, al Ministerio de Educación, por el acceso a la información proveniente del Registro de Estudiantes de Chile; a Esteban Geoffrey, contraparte del CSE, y a los comentarios de Raimundo Soto y dos referees anónimos. Todos los resultados del estudio son de responsabilidad de los autores y en nada comprometen a las instituciones y personas mencionadas.

Referencias bibliográficasAlon, S. y Tienda, M. (2005) Assessing the Mismatch Hypothesis: Differentials

in College Graduation Rates by Institutional Selectivity. Sociology of Education, 78, pp. 294-315.

Aravena, A., Del Pino, G. & San Martín, E. (2002) Sobre la capacidad predictiva de la Prueba de Aptitud Académica. Santiago de Chile, Departamento de Matemáticas, Pontificia Universidad Católica de Chile.

Arcidiacono, P. (2005) Affirmative Action in Higher Education: How do Admission and Financial Aid Rules Affect Future Earnings? Econometrica, 73, pp. 1477-1524.

Banco Mundial (1997) Chile: Poverty and Income Distribution in a High Growth Economy: 1987 ñ 1995. Document of the World Bank.

Barron, J. & Norman, M. (1992) SATS, Achievement Tests, and High-school Class Rank as Predictors of College Performance, Educational and Psychological Measurement.


Bertrand, Hanna, Mullainathan (2008) Affirmative Action in Education Evidence from Engineering College Admissions in India. NBER working paper 13.926.

Camara, W., Kobrin, J. & Milewski, G. (2002) The Utility of the SAT I and SAT II for Admissions Decisions in California and the Nation. Research Report N° 2002-6. New York, Entrance Examination Board.

Card, D. y Rothstein, J. (2006) Racial Segregation and the Black-White Test Score Gap. NBER working paper 12.078.

Chan, W.H. y Suen Li, W. (2005) A signaling theory of grade inflation. Mimeo, University of Toronto (2005).

Cohn, E., Cohn, S., Balch, D. y Bradley, J. (2004) Determinants of undergraduate GPAs: SAT scores, high-school GPA and high-school rank. Economics of Education Review.

Contreras, D., Bravo, D. y Sanhueza, C. (2001) PAA: ¿Una Prueba de Inteligencia? Perspectivas, 4(2).

Contreras, D. y Gallegos, S. (2007) Descomponiendo la Desigualdad Salarial en América Latina: ¿Una Década de Cambios? Serie Estudios Estadísticos y Prospectivos CEPAL, 59.

DEMRE (2004) Compendio Estadístico. Proceso de Admisión Año Académico 2004. Santiago de Chile, Universidad de Chile, Vicerrectoría de Asuntos Académicos.

DEMRE (2007) Pruebas Obligatorias: Lenguaje y Comunicación y Matemática. Proceso de Admisión 2008. Documento Oficial, Serie DEMRE, 1.

DEMRE (2008) PSU: Proceso de Admisión 2009. Documento Oficial, Serie DEMRE, 3.

Fischer, R. y Repetto, A. (2003) Método de Selección y Resultados Académicos. Santiago de Chile, Escuela de Ingeniería de la Universidad de Chile, Estudios Públicos.

Fryer, R. G., y Loury, G. C. (2005) Affirmative Action and Its Myths. Journal of Economic Perspectives, 19, pp. 16-28.

Geiser, S. y Studley, R. (2001) UC and the SAT: Predictive Validity and Differential Impact of the SAT I and SAT II at the University of California. University of California, Office of the President.

Hamilton, L., Stecher, B. M. y Klein, S. P. (2002) Making Sense of Test-Based Account-ability in Education. Santa Monica, Calif. RAND, MR-1554-EDU.


Holzer, H. y Neumark, D. (2000) Assessing Affirmative Action. Journal of Economic Literature, 38, pp. 483-568.

Koretz, D. y Berends, M. (2001) Changes in High School Grading Standards in Mathematics, 1982-1992, Rand Corp. Santa Monica, CA.

Koljatic, M. y Silva, M. (2006) Validación de la PSU: Comentarios al Estudio Acerca de la Validez Predictiva de los Factores de Selección a las Universidades del Consejo de Rectores. Estudios públicos, 104, pp. 331-346

Lazear, E. y Rosen, S. (1981) Rank-Order Tournaments as Optimal Labor Contracts, Journal of Political Economy, 89, pp. 841-864.

Long, Mark C. (2004) Race and College Admissions: An Alternative to Affirmative Action? The Review of Economics and Statistics, 86(4), pp. 1020-1033.

Manzi, J., Bravo, D., Del Pino, G., Donoso, G. et al. (2006) Estudio acerca de la validez predictiva de los factores de selección a las universidades del Consejo de Rectores. Santiago de Chile, Comité Técnico Asesor del Consejo de Rectores.

Manzi, J., Bravo, D., Del Pino, G., Donoso, G., et al. (2008) Estudio acerca de la Validez Predictiva de los factores de selección a las Universidades del Consejo de Rectores. Admisiones 2003 a 2006. Comité Técnico Asesor del Consejo de Rectores.

Mincer, J. (1974) Schooling, Experience and Earnings. Columbia Press University.

Ostrovsk, M. y Schwarz, M. (2003) Equilibrium information disclosure: Grade Inflation and Unraveling. Economic Research Working Paper.

Pilcher, J. K. (1994) The value-driven meaning of grades, Educational Assessment, 2, pp. 69-88.

Ruiz-Tagle, J. (2007). Forecasting Wage Inequality. Estudios de Economía, 34(2), pp. 141-162.

Sapelli, C. (2007) A Cohort Analysis of the Income Distribution in Chile. Documento de Trabajo, N° 290, Departamento de Economía, Pontificia Universidad Católica de Chile.

Shepard, L.A. (1993) Evaluating Test Validity. Review of Research in Education, 19, pp. 405-450.

Strauss, L.C. y Volkwein, J.F. (2002) Comparing Student Performance and Growth in 2-and 4- Year Institutions. Research in Higher Education, 43(2).


Vial, B. y Soto, R. (2002) ¿Predice la PAA el rendimiento o éxito en la universidad? Revista Administración y Economía, PUC.

Zeidner, M. (1986) Are Scholastic aptitude tests in Israel biased towards Arab college students candidates? Research in Higher Education, 15(5), pp. 507-522

Recibido: 22 de septiembre de 2008Aceptado: 5 de enero de 2009

determinantes de desempeÑo ¿importa la habilidad … · 2021. 2. 24. · una batería de pruebas...

Documents