estudio acerca de la validez predictiva del ranking de notas · y ii en los resultados académicos...

Estudio acerca de la Validez Predictiva delRanking de Notas

El Consejo de Rectores de las Universidades Chilenas ha manda-tado al Sistema Único de Admisión a realizar estudios que eva-lúen los factores de selección utilizados en su sistema de admi-sión. En particular, con respecto al Ranking de Notas, el presente estudio busca medir la calidad de este factor según su predic-tibilidad en el rendimiento académico de los estudiantes. Para ello, se considera el desempeño de estudiantes de primer año de las universidades participantes en el Sistema Único de Admi-sión durante el año 2015.

Sistema Único de AdmisiónConsejo de Rectores de

las Universidades Chilenas

Área de EstudiosSistema Único de Admisió[email protected]

Estudio acerca de la Validez Predictiva delRanking de Notas

Consejo de Rectores de las Universidades Chilenas, 2017Alameda 1371, piso cuatro, Santiago de Chilewww.consejoderectores.cl

Comité Editorial: Comisión Ranking de Notas (Sistema Único de Admisión, CRUCH), integrada por:

Guillermo Marshall (Pontificia Universidad Católica de Chile); Jaime San Martín (Universidad de Chile); Francisco Gil (Universidad de Santiago de Chile); Sebastián Donoso (Universidad de Talca); Roberto Felipe Schurch (Ministerio de Educación); Nicolás Grau (Universidad de Chile).

Coordinación y Edición General: Tatiana Diener Cabezas, PeriodistaDiseño: Paulina Fuenzalida VeraFotografías: https://pixabay.com

1a edición, marzo 2017200 ejemplares

ISBN: 978-956-7581-10-8

Impreso en: Editora e Imprenta Maval SPASantiago, Chile

Prohibida la reproducción total o parcial de este libro por cualquier medio impreso, electrónico y/o digital, sin la debida autorización escrita del Comité Editorial.

Página

5

UDA Universidad de Atacama

UTA Universidad de Tarapacá

UNAP Universidad Arturo Prat

UMCE Universidad Metropolitana de Ciencias de LaEducación

UPLA Universidad de Playa Ancha

UTEM Universidad Tecnológica Metropolitana

ULA Universidad de Los Lagos

UCM Universidad Católica del Maule

UCSC Universidad Católica de La Santísima Concepción

UCT Universidad Católica de Temuco

UDP Universidad Diego Portales

UMAYOR Universidad Mayor

UFT Universidad Finis Terrae

UNAB Universidad Andrés Bello

UAI Universidad Adolfo Ibáñez

UANDES Universidad de Los Andes

UDD Universidad del Desarrollo

UAH Universidad Alberto Hurtado

AgradecimientosEl Consejo de Rectores de las Universidades Chilenas (CRUCH) agradece el trabajo de las 33 universidades que participaron de este estudio, autorizando que los datos de sus respectivas institu-ciones fueran utilizados. De forma especial se agradece a los encargados de admisión y a las distintas unidades académicas y administrativas, quienes fueron responsables de la construcción de las bases de datos de rendimiento académico a partir de las cuales se efectuó el presente estudio.

También es importante reconocer la labor desarrollada por los profesionales del Área de Estudios del Sistema Único de Admisión del CRUCH, a cargo de la ingeniera Valeria Signorini; un agrade-cimiento especial para Matías Grau Veloso, quien lideró la reali-zación de este trabajo.

Universidades participantes:

UCH Universidad de Chile

PUC Pontificia Universidad Católica de Chile

UDEC Universidad de Concepción

PUCV Pontificia Universidad Católica de Valparaíso

UTFSM Universidad Técnica Federico Santa María

USACH Universidad de Santiago de Chile

UACH Universidad Austral de Chile

UCN Universidad Católica del Norte

UV Universidad de Valparaíso

UANT Universidad de Antofagasta

ULS Universidad de La Serena

UBB Universidad del Bío-Bío

UFRO Universidad de La Frontera

UMAG Universidad de Magallanes

UTAL Universidad de Talca

Página

7

5. RESULTADOS 37

5.1 Correlaciones 39

5.1.1 Sobre la prueba electiva 44

5.2 Factores de selección en su conjunto: aporte del Ranking

46

5.2.1 Comparación de modelos lineales 46

5.2.2 Comparación gráfica 2012-2013 51

6. CONCLUSIONES 57

BIBLIOGRAFÍA 62

1. INTRODUCCIÓN 9

2. ANTECEDENTES 13

3. DATOS 19

3.1 Caracterización de los participantes en el estudio 20

3.2 Medidas de rendimiento 22

3.3 Factores de selección 23

4. ASPECTOS METODOLÓGICOS 27

4.1 Niveles de agregación 28

4.2 Correlaciones 30

4.3 Modelos lineales 32

Índice

Página

9

Introducción1

Página

11

mentando la literatura nacional e internacional referente a estu-dios de validez predictiva y a otros aspectos del Ranking de No-tas. En el capítulo 3 (Datos) se presenta la estadística descriptiva referente a los datos con los que se realizó el presente estudio. Luego, en el capítulo 4 (Aspectos metodológicos) se describe la metodología utilizada; en el capítulo 5 (Resultados) se muestran y comentan los resultados obtenidos al aplicar las metodologías. Finalmente, en el capítulo de 6 (Conclusiones) se describen las conclusiones de los resultados obtenidos, se discuten las limita-ciones y se proponen futuras investigaciones.

El Consejo de Rectores de las Universidades Chilenas (CRUCH) acordó crear, en junio de 2013, un organismo que contribu-yera al mejoramiento continuo y fortalecimiento del sistema

de admisión universitaria. Así surge el Sistema Único de Admisión (SUA), que tiene entre sus funciones generar estudios que per-mitan dotar de elementos técnicos la discusión sobre admisión a la Educación Superior.

El CRUCH, en su Sesión Extraordinaria Nº1 del año 2012, acor-dó incorporar un nuevo factor de selección a los ya existentes -puntaje Notas de Enseñanza Media, NEM; y los resultados de las Pruebas de Selección Universitaria, PSU-, denominado Ranking de Notas11. Se desarrolló como una herramienta para medir as-pectos que el resto de los factores de selección no observaba, independiente de la procedencia del estudiante, con foco en el desempeño académico relativo a sus pares. El Ranking de Notas busca cumplir con un doble propósito: ayudar a seleccionar a los mejores estudiantes para la educación superior y mejorar la equidad en el acceso al sistema universitario.

Con el objeto de contar con una evaluación sobre el nuevo fac-tor de selección “Ranking de Notas”, el CRUCH ha encargado al SUA realizar un estudio respecto al Ranking de Notas, específica-mente, medir la calidad de este factor según su predictibilidad en el rendimiento académico de los estudiantes. Para ello, se considera el desempeño de estudiantes de primer año de las 33 universidades que participan en el Sistema Único de Admisión.

El objetivo del presente informe es estudiar y determinar la ca-pacidad predictiva del Ranking de Notas en el rendimiento aca-démico de los estudiantes del Sistema Único de Admisión, esto, sin analizar el aporte de este factor en la equidad del sistema de admisión. Para esto se construyeron medidas de rendimiento para las universidades pertenecientes al SUA y se relacionaron estas medidas con el Ranking de Notas y el resto de los factores de selección.

Este informe se estructura de la siguiente manera: en el capítu-lo 2 (Antecedentes) se dan a conocer los aspectos importantes a tener en cuenta en estudios sobre factores de selección, co-

1 Acuerdo Nº 24/2012

Página

13

Antecedentes2

Página

15

También existen críticas a las metodologías habitualmente uti-lizadas en estudios de validez predictiva. Por ejemplo, el paper de Rothstein (2004) comenta los problemas asociados a que, en la validación del SAT como instrumento de predicción, se asuma que exista muestreo aleatorio, ya que parte del poder predictivo proviene de ese supuesto.

Sobre el sistema de admisión chileno destacan dos trabajos que fueron encargados por el CRUCH, los cuales analizaron la validez predictiva y validez diferencial de las Pruebas PSU y el puntaje NEM. El primer estudio, Manzi et al. (2006), tuvo por ob-jetivo analizar la validez predictiva en un contexto de transición entre la PAA y la PSU. El segundo estudio de validez diferencial de Manzi et al. (2010) analizó el sesgo sociodemografico de los factores de selección. Se utilizan resultados de ambos estudios a fin de realizar comparaciones con los resultados obtenidos en el presente trabajo.

Es importante destacar que el Informe Pearson (2013)2 tiene un capítulo de predictibilidad de los factores de selección. En éste se utilizan metodologías similares a las utilizadas en el presente estudio para analizar la predictibilidad de los distintos factores de selección. Además, en este capítulo se simula un Ranking de Notas que, si bien es diferente al que se utiliza en la actualidad, muestra que el Ranking aumenta su predictibilidad a medida que se avanza en la carrera y con una mayor significancia en la titulación.

Otro trabajo en que se analiza el Ranking, y se le compara con el SAT y su poder predictivo en el rendimiento, es el de Cohn et al. (2004), donde se encuentran resultados significativos para el Ranking aunque de magnitud menor.

En Chile, la discusión en el ámbito público sobre el Ranking de Notas tiene como idea central que los estudiantes con un buen rendimiento en sus contextos educativos rendirán en la educa-ción superior aún mejor de lo que podrían predecir el resto de

2 En junio de 2011, el Consejo de Rectores y el Ministerio de Educación solicitaron una evaluación internacional la batería de PSU, la cual fue adjudicada vía licita-ción pública a la consultora internacional Pearson. El informe final fue entregado el 22 de enero del 2013.

Tomando en cuenta que el principal propósito de los factores de selección es ordenar a los postulantes que aspiran a in-gresar a las diversas carreras ofrecidas por las universidades

que participan en el Sistema Único de Admisión, es que se hace necesario estudiar si los puntajes con los que se construye este ordenamiento entregan información relevante para las universi-dades y, por tanto, seleccionar cuáles estudiantes deben ingre-sar y cuáles no. En consecuencia, la información que entregan los factores debiera tener relación con el posterior desempeño del o la estudiante en la universidad.

Para determinar si los factores de selección permiten predecir el éxito de los estudiantes en la educación universitaria, es que, tanto nacional como internacionalmente, se realizan estudios de validez predictiva que permitan relacionar el éxito académi-co de los estudiantes con los factores de selección.

Existe una vasta literatura internacional sobre la predictibilidad de las pruebas estandarizadas y puntajes asociados al rendi-miento escolar con el rendimiento académico universitario. Por ejemplo, Camara and Echternacht (2000) revisaron diver-sos estudios que analizan la predictibilidad del SAT1 en el éxito académico en distintas instituciones de educación superior de Estados Unidos (college), mostrando que las notas del colegio, en conjunto con el SAT, son sustancialmente buenos predictores. Los resultados encontrados son robustos, independiente de las medidas de rendimiento utilizadas, aunque cuando se mide la constancia de los estudiantes, la significancia de estos factores desciende, dado que la relación con la constancia dependería, también, de factores no académicos.

Las relaciones lineales, metodología utilizada recurrentemente, permiten cuantificar el aporte de cada uno de los factores de selección en la predictibilidad. Por ejemplo, el trabajo de Geiser and Studley (2002) analiza la predictibilidad de las pruebas SAT I y II en los resultados académicos de los estudiantes de la Univer-sidad de California, tomando como medida de comparación el ajuste de los modelos y, a su vez, cuánto están correlacionadas estas pruebas con medidas socioeconómicas.

1 El SAT (Scholastic Assessment Test) es un examen estandarizado que se usa en admisiones a universidades en los Estados Unidos.

Página

17

sus factores de selección. El trabajo realizado por Contreras et al. (2009) observa el rendimiento de los estudiantes en su primer año y utiliza como variables explicativas las PSU, el puntaje NEM y una variable dicotómica relacionada con el Ranking. El principal resultado que se obtiene es que esta variable de habilidad relati-va capturaría aspectos que el resto de los factores no evidencia. La medida de rendimiento que utilizan son las notas del primer año y la forma en que capturan el efecto Ranking es con una variable dicotómica que expresa si el estudiante es o no del 5% superior de rendimiento de su establecimiento de egreso.

En el mismo sentido, el documento técnico del Comité Técnico Asesor (CTA) del CRUCH, Bravo et al. (2010), afi rma que la posi-ción relativa de egreso importa, pero sin ocupar la variable Ran-king como se calcula hoy.

El Ranking de Notas, como se construye actualmente, se introdu-jo al Sistema Único de Admisión de manera reciente, por lo cual existe un debate en desarrollo sobre sus ventajas y desventajas. La discusión se sitúa en dos aspectos: primero sobre su impacto en la equidad del sistema y, segundo, sobre su calidad como predictor del rendimiento. Naturalmente, este trabajo pretende ayudar a dar respuesta al segundo aspecto del debate, sin so-meter a análisis temas relacionados con la equidad.

Página

19

Datos3

Página

21

Tabla 3.1: Distribución de carreras y estudiantes por universidad

Admisión 2012 Admisión 2013

Universidad Carreras Estudiantes Carreras EstudiantesUCH 49 4.729 48 4.447PUC 39 4.247 43 4.121UDEC 84 4.794 86 4.696PUCV 50 2.848 48 2.763UTFSM 36 3.409 38 2.982USACH 63 3.507 63 3.052UACH 46 2.309 49 2.513UCN 34 1.676 33 1.693UV 51 2.934 51 2.559UANT 27 1.055 25 1.039ULS 33 1.422 34 1.429UBB 37 2.049 40 2.052UFRO 39 1.792 36 1.667UMAG 11 325 11 283UTAL 25 1.759 28 2.073UDA 14 500 13 580UTA 33 1.197 35 1.126UNAP 20 590 16 426UMCE 19 929 22 970UPLA 38 1.351 36 1.226UTEM 27 1.490 28 1.440ULA 16 435 18 523UCM 23 1.096 24 1.122UCSC 26 1.530 23 1.241UCT 34 1.331 41 1.577UDP 26 2.307 28 2.397UMAYOR 52 3.041 50 2.927UFT 15 696 17 767UNAB 102 6.829 115 7.637UAI 10 1.693 11 1.556UANDES 15 1.015 20 1.268UDD 36 2.579 36 2.289UAH 21 986 22 1.045Total 1.151 68.450 1.188 67.486

Los datos necesarios para la realización de este estudio pro-vienen de dos fuentes: por un lado están las variable relacio-nadas con el rendimiento de los estudiantes y, por otro, las

variables con las que se intentará explicar este rendimiento.

La base de datos se construyó con información de los estudian-tes pertenecientes a las 33 universidades que participan en el Sistema Único de Admisión (SUA) que ingresaron a primer año en las generaciones 2012 y 2013. Para ello, cada universidad re-portó medidas de rendimiento de sus estudiantes, agregándose, luego, variables referentes a los factores de selección.

3.1 Caracterización de los participantes en el estudioCabe puntualizar que la generación de estudiantes que ingresó a las universidades adcritas al SUA en el año 2013, es la primera en la cual se consideró el Ranking de Notas como factor de se-lección.

Por tanto, para este trabajo se consideraron a los y las estudian-tes que ingresaron por vía regular a alguna de las carreras de la oferta académica de los Procesos de Admisión 2012 y 2013. La vía regular es el tipo de ingreso que realizan aquellos(as) estu-diantes que participan del proceso de postulación y selección que lleva a cabo el Departamento de Evaluación, Medición y Registro Educacional (DEMRE)1 y que son seleccionados tanto en cupos regulares como en cupos supernumerarios BEA2.

En la Tabla 3.1 se presenta el número de carreras y de estudiantes por universidad considerado para el presente estudio. Estos son los casos que al menos cumplen los criterios necesarios para rea-lizar los análisis de correlaciones, es decir, que la carrera cuente con al menos 10 datos válidos.

1 Organismo encargado de administrar el Proceso de Admisión por mandato del CRUCH2 Los cupos supernumerarios constituyen un sistema especial de ingreso el cual crea cupos adicionales para quienes se adjudiquen la Beca de Excelencia Aca-démica (BEA).

Página

23

cador utilizado en trabajos anteriores respecto a predictibilidad de los factores de selección, por ejemplo, en Manzi et al. (2006) y Manzi et al. (2010).

3.3 Factores de selecciónLos factores de selección fueron las variables con las que se in-tentó explicar el rendimiento, utilizándose correlaciones y mode-los lineales. Los factores de selección son tres: las PSU (Lenguaje; Matemática; Ciencias; e Historia, Geografía y Ciencias Sociales), Notas de Enseñanza Media (NEM)3 y Ranking de Notas.

La estadística descriptiva de los factores de selección se muestra en la Tabla 3.2 para los Procesos de Admisión 2012 y 2013.

3 El promedio de notas de Enseñanza Media es transformado a un puntaje es-tándar mediante tablas de conversión, constituyendo así el puntaje NEM.

Tabla 3.2: Estadística descriptiva de los factores de selección

Admisión 2013

Obs Media Desv. Min. Max.Ranking 67.486 627,4 114,9 249 850NEM 67.486 602,5 93,2 249 826PSUL 67.486 594,8 78,7 244 850PSUM 67.486 600,0 77,4 246 850PSUH 38.818 593,0 86,7 150 850PSUC 49.032 578,1 87,3 217 850

Admisión 2012

Obs Media Desv. Min. Max.NEM 68.450 604,9 93,1 249 826PSUL 68.450 598,5 78,2 218 850PSUM 68.450 604,6 77,8 195 850PSUH 40.049 598,1 89,3 196 850PSUC 50.141 582,2 85,0 183 850

3.2 Medidas de rendimientoPara cumplir los objetivos del presente estudio fue necesario cuantificar el rendimiento de los estudiantes considerados. Para ello, se solicitó a las universidades que reportaran diversos indi-cadores, a fin de describir de diferentes maneras el desempeño de los y las estudiantes. Estos indicadores fueron los siguientes: los relativos a los promedios de notas, al avance curricular en la carrera y a la situación académica. Los datos se solicitaron para el nivel anual y semestral.

Los indicadores relacionados con el promedio de notas obte-nidos por los estudiantes se diferenciaron en dos aspectos: si consideraban o no los ramos reprobados. Es decir, se solicitó un promedio de notas ponderado que incluyera la nota obtenida en ramos reprobados y un promedio que solo incluyera los ramos aprobados. En ambos casos, al ser promedios ponderados, se consideró que cada asignatura tenía una importancia en fun-ción de sus créditos o unidades docentes.

La variable relacionada con el avance curricular consideró el número de créditos que el o la estudiante aprobó y se dividió por los que debió aprobar, según la malla curricular de la carrera. Dado que este indicador fue reportado por 30 de las 33 univer-sidades, en esta ocasión no fue posible utilizarlo para el análisis.

También se solicitaron indicadores referentes a la situación aca-démica de los estudiantes al finalizar el año, por ejemplo, si el o la estudiante se encontraba en una situación académica regu-lar o no. Esto, con el objetivo de elaborar indicadores de deser-ción. No obstante, cabe tener presente que los datos utilizados en este estudio responden al desempeño obtenido durante el primer año y no permiten observar la deserción en función de la información relativa al segundo año. De todas maneras es importante la construcción de este indicador, para contar con esta información cuando se encuentren disponibles los datos.

Finalmente, los análisis que se presentan en el capítulo 5 (Resul-tados), tendrán relación solo con un indicador referente a pro-medios. En particular, con el promedio para ramos aprobados y reprobados para el primer año. Este indicador es el que cuenta con un número mayor de datos válidos, además de ser el indi-

Página

25

Utilizando los factores de selección se construyó otra variable: el Puntaje de Selección. Este es el puntaje con el que el o la estu-diante quedó seleccionado en la respectiva carrera. Este valor se calculó ponderando los puntajes de cada factor de selec-ción según los porcentajes asignados para cada carrera. Estos puntajes se incorporaron la recuperación de puntajes4.

En la Tabla 3.3 se presentan las correlaciones entre los factores de selección para los participantes del presente estudio en el Proceso de Admisión 2013. Existen dos aspectos a destacar, el más importante es la fuerte correlación entre el puntaje NEM y el puntaje Ranking, lo que permite adelantar que estos factores entregan información similar y, el otro aspecto, es que el punta-je Ranking presenta una menor correlación que el puntaje NEM con las pruebas de Lenguaje y Matemática.

4 Los puntajes obtenidos en la PSU son válidos por dos Procesos de Admisión. El sistema asigna automáticamente la batería PSU que más le convenga a cada estudiante para cada postulación

Tabla 3.3: Correlación de factores de selección Proceso Admi-sión 2013

NEM RANKING PSUL PSUMNEM 1.00RANKING 0.97 1.00PSUL 0.41 0.36 1.00PSUM 0.46 0.41 0.57 1.00

Página

27

Aspectos metodológicos4

Página

29

Para la agrupación según universidad se consideraron todas las carreras presentes en una universidad, lo que permite observar los resultados para cada una de las 33 universidades que parti-cipan en el SUA.

El segundo criterio de agregación es el de la pertenencia de las carreras a las áreas Cineunesco. Esta clasificación permite ob-servar los resultados para las distintas áreas del conocimiento y así evaluar cómo se comportan los factores de selección según el área del conocimiento. La distribución de carreras y estudian-tes según esta agregación se presenta en la Tabla 4.1.

Tabla 4.1: Distribución de carreras y estudiantes por área Cineu-nesco


ÁreaCineunesco Carreras Estudiantes Carreras Estudiantes

Administración y Comercio

96 7.604 102 7.530

Agropecuaria 32 2.189 32 2.028Arte y Arquitec-tura

74 3.645 78 3.598

Ciencias Básicas 63 3.246 66 3.307Ciencias Sociales 132 6.963 132 6.517Derecho 35 3.749 35 3.762Educación 200 7.822 190 7.065Humanidades 26 917 25 894Salud 191 13.218 207 13.362Tecnología 302 19.097 321 19.423Total general 1.151 68.450 1.188 67.486

El tercer criterio permite hacerse cargo de la heterogeneidad de las carreras según el puntaje de sus estudiantes. Para ello se clasificaron las carreras según la media del Puntaje de Selección de sus estudiantes y se decidió agrupar a los estudiantes en de-ciles, quedando diez niveles con distintos tramos de Puntaje de Selección. La distribución de carreras y estudiantes por deciles se presenta en la Tabla 4.2. Esta agregación apunta a juntar carre-

Afin de relacionar el rendimiento académico de los estu-diantes de las universidades adscritas al Sistema Único de Admisión (SUA) con los factores de selección, se utiliza-

ron distintas metodologías, desde las más básicas hasta algunas de mayor complejidad. En cada una de las metodologías están presente todos los factores de selección, pero siempre con el foco en el aporte del Ranking de Notas.

Dado el objetivo del presente estudio, es necesario entender que las medidas de rendimiento son construidas en condicio-nes educativas muy heterogéneas, tanto en exigencia como en énfasis de las áreas del conocimiento. Incluso, dentro de una misma universidad, ocurre que en una misma carrera, pero en distintas sedes, los estudiantes no son sometidos a los mismos ni-veles de exigencia. Para hacerse cargo de esta situación es que la unidad más básica que se toma en cuenta en las metodo-logías es la carrera, según el código con el cual se postula a la admisión universitaria (código DEMRE).

Las metodologías del estudio se aplicaron para el Proceso de Admisión 2013, dado que este fue el primer año que se utilizó el puntaje Ranking como factor de selección. Para enriquecer el análisis, también se estudió cómo se comportaban los facto-res de selección un periodo antes (Proceso de Admisión 2012), cuando aún el Ranking no era parte del proceso, a fin de obser-var el aporte del Ranking al conjunto. Por ejemplo, se compara-ron las correlaciones de los puntajes ponderados en el Proceso de Admisión 2013 con los del Proceso de Admisión 2012.

4.1 Niveles de agregaciónComo se mencionó anteriormente, la unidad básica que se con-sideró en el presente trabajo fueron las carreras. Sin embargo, no es posible presentar los resultados a nivel de éstas, puesto que, dependiendo de la restricción de matrícula mínima, son más de mil carreras. Por esto, para los distintos análisis se agruparon las carreras según tres criterios: por universidad (ver Tabla 3.1), por área Cineunesco y por media de Puntaje de Selección.

Página

31

cada carrera. Para presentar los resultados se agruparon las carreras según los criterios antes descritos, es decir, por univer-sidad, área Cineunesco y media de Puntaje de Selección. Para promediar las correlaciones obtenidas se aplicó la metodología utilizada por Manzi et al. (2006) y Manzi et al. (2010) que con-siste en lo siguiente: realizar la transformación Z de Fischer a las correlaciones, luego obtener promedios ponderado según nivel de agregación y, fi nalmente, realizar la transformación inversa. La transformación de Fischer se muestra en la ecuación 4.1 y la transformación inversa en la ecuación 4.2.

También es posible utilizar correcciones estadísticas a las corre-laciones obtenidas para hacerse cargo de los problemas de res-tricción de rango asociados. Esto surge al trabajar solo con la muestra de estudiantes presentes en las carreras y no con toda la muestra. Para esto, Manzi et al. (2010) utilizaron la metodo-logía propuesta por Gulliksen and Wilks (1950), para la cual se requieren las correlaciones con las muestras restringidas, a las que se les aplica una corrección que toma en cuenta las des-viaciones estándar de los factores de selección en la muestra completa. La corrección por restricción de rango se presenta en la ecuación 4.3.

(4.1)

(4.2)

(4.3)

Donde:

¶ 𝑟𝑐𝑜𝑟𝑟 = Correlación corregida por restricción de rango¶ 𝑟𝑥𝑦 = Correlación original¶ 𝑆𝑋 = Desviación estándar en población no restringida (mues-

tra completa de los estudiantes que rinden la PSU)¶ 𝑠𝑥 = Desviación estándar de puntajes en población restringi-

da (al interior de cada una de las carreras)

Tabla 4.2: Distribución de carreras y estudiantes por deciles


10 cuantiles de puntaje ponderado Carreras Estudiantes Carreras Estudiantes

Decil 1 [456-539] 164 6.002 193 6.363Decil 2 [539-553] 128 6.189 149 6.643Decil 3 [553-565] 117 6.455 129 6.757Decil 4 [565-579] 128 6.829 135 6.812Decil 5 [579-594] 117 6.487 130 6.798Decil 6 [594-613] 103 6.887 112 6.919Decil 7 [613-635] 101 7.041 106 6.963Decil 8 [635-660] 96 7.611 100 6.891Decil 9 [660-688] 62 6.747 69 6.621Decil 10 [689-796] 63 6.680 65 6.719Total general 1.079 66.928 1.188 67.486

4.2 CorrelacionesLas correlaciones son una forma frecuente con que se comien-zan los análisis para relacionar variables. Para el presente estudio se utilizó el coefi ciente de correlación de Pearson, el cual relacio-na la medida de rendimiento -promedio ponderado de ramos aprobados y reprobados-, con los distintos factores de selección. Las correlaciones se hicieron a nivel de carrera, pero solo para carreras con más de diez estudiantes con datos válidos.

El coefi ciente de correlación de Pearson asocia un valor de rango entre -1 y +1 a la relación lineal entre dos variables cuantitativas. Mientras más cercano sea el valor a los extremos (+1 o -1), repre-senta una asociación lineal mayor y el signo de la correlación in-dica si la relación es negativa o positiva. En caso de tomar valores cercanos a 0, la correlación indica ausencia de relación lineal.

En consecuencia, se obtuvo una correlación para cada factor de selección con el desempeño académico, lo que se hizo para

ras según la selectividad de éstas, entendiéndose que a mayor Puntaje de Selección las carreras son más selectivas.

Página

33

puntaje Ranking (4.5), en el tercero están presentes la PSU y el puntaje NEM (4.6) y en el último modelo están presentes todos los factores de selección (4.7). En este último modelo se incor-poran los factores NEM y Ranking, pese a su alta correlación, ya que es el modelo que se utiliza para la selección real.

(4.4)

(4.5)

(4.6)

(4.7)

Donde:

¶ 𝑃𝐴𝐴𝑖 = promedio de notas acumulado de primer año del alumno 𝑖

¶ 𝑁𝐸𝑀𝑖 = puntajes del alumno 𝑖 en los respectivos factores de selección

¶ 𝑃𝐴𝐴𝑖 = puntajes del alumno 𝑖 en la prueba k, con k: Len-guaje, Matemáticas, Ciencia o Historia, Geografía y Ciencias Sociales

¶ ∈𝑖 = error estándar del modelo

Para cada carrera se obtuvieron cuatro grupos de coefi cientes para los factores de selección y los 𝑅2 ajustados para cada mo-delo. Se presentan los resultados de igual manera que las co-rrelaciones, es decir, los promedios ponderados (por número de estudiantes) de los 𝑅2 ajustados, según universidad, área Cineu-nesco o según media de Puntaje de Selección.

Se presenta el 𝑅2 ajustado de los modelos, dado que este esta-dístico indica cómo las variables independientes en su conjunto explican la varianza de la variable dependiente. En este sentido se puede observar cómo a mayor 𝑅2 ajustado, las variables inde-pendientes presentes en los modelos, es decir, los factores de se-lección, explican de mejor manera la variación de los promedios.

Con las correlaciones corregidas se aplicaron los mismos proce-dimientos para agrupar los resultados desde el nivel de carre-ra, hasta los tres criterios ya descritos. Los resultados se muestran entre paréntesis, junto a los obtenidos en las correlaciones no corregidas.

Entre los requisitos de selección para la admisión universitaria es-tán las pruebas electivas. Cada carrera decide libremente si en sus requisitos solicita la prueba de Ciencias, prueba de Historia, Geografía y Ciencias Sociales o el mejor resultado que obtengan los estudiantes entre estas dos. Para observar de mejor manera la diferencia entre carreras con distintos requisitos en cuanto a la prueba electiva, es que cuando se agrupan los resultados de las correlaciones de éstas, se agrupan con los criterios anteriores y se distinguen según el requisito.

El último análisis realizado con correlaciones es con los Puntajes de Selección. Es decir, a nivel de carrera, se relacionan los Pun-tajes de Selección de los estudiantes con su rendimiento. Para ese análisis se incluyó el Proceso de Admisión 2012. Así, se ob-tienen dos correlaciones para cada carrera, una para el 2012 y otra para el 2013. Con estos resultados se puede comparar el cambio en las correlaciones, recordando que para el Proceso de Admisión 2012 el puntaje Ranking no fue parte de los factores de selección.

4.3 Modelos linealesPara los modelos lineales, la medida de rendimiento fue el pro-medio de notas, dado que, si bien se solicitó el grado de avance de primer año a las universidades, un grupo importante de éstas no presentó este indicador, y las variables explicativas fueron los factores de selección. Para el análisis solo se consideraron carre-ras que tuvieran al menos 30 estudiantes con datos válidos, para así disminuir la imprecisión de los resultados obtenidos.

La metodología de modelos lineales consiste en aplicar relacio-nes lineales simples para cada una de las carreras por separado. Para observar el aporte de los factores de selección se realiza-ron cuatro modelos por carrera: en el primer modelo solo está presente la PSU (4.4), en el segundo están presentes la PSU y el

Página

35

Es importante mencionar que el estadístico 𝑅2 no se hace cargo de la dirección del efecto, sino solo de la magnitud. Por ejemplo, un coeficiente asociado a un determinado factor de selección podría tener un signo negativo, lo que significa que está relacio-nada negativamente con el rendimiento. Sin embargo, al incluir dicho factor en los modelos, podría aumentar el 𝑅2 obtenido. Es por esto que las conclusiones deben realizarse luego de ob-servar los resultados de todas las metodologías, ponderando la información precisa que nos entrega cada una de éstas y en-tendiendo las limitaciones y alcances de sus resultados.

Página

37

Resultados5

Página

39

Tabla 5.1: Correlaciones promedios de la muestra completa

Correlaciones promedios

Año Ncarreras

Nalumnos PSUL PSUM NEM Ranking

2003 766 42.725 0,02 0,13 0,252004 777 40.160 0,08 0,29 0,272005 824 41.334 0,11 0,25 0,262006 851 43.575 0,10 0,24 0,242007 918 46.465 0,10 0,25 0,252012* 874 49.304 0,11 0,24 0,242013* 889 47.600 0,11 0,25 0,22 0,202012** (SUA) 1.151 68.450 0,12 0,24 0,252013** (SUA) 1.188 67.486 0,12 0,25 0,24 0,22

*Último año de aplicación de la Prueba de Aptitud Académica.**Resultados para las 25 universidades del CRUCH, a fin de comparar

con años anteriores.*** Resultados para las 33 universidades pertenecientes al SUA.

5.1 CorrelacionesA continuación se presentan las correlaciones agrupadas según los tres criterios ya mencionados solo para la generación 2013, donde se observa el comportamiento del Ranking de Notas y se le compara con el resto de los factores de selección. Cabe recordar que en dicha generación se incorporó el Ranking de Notas.

Como se mencionó en la sección 4.2 (Correlaciones), al cono-cer el rendimiento solo de los estudiantes que participan de la carrera y no de la totalidad, se podría estar subestimando la va-lidez predictiva de los factores de selección. Por ello, también se presentan las correlaciones corregidas por restricción de rango, siempre entre paréntesis. Esto, en las Tablas 5.2, 5.3 y 5.4.

Si bien los resultados reportados inicialmente son satisfactorios, por ejemplo, mostrando estabilidad en los factores de selección y una adecuada correlación para el Ranking de Notas, esto no necesariamente se cumple al observar los resultados desagre-

Acontinuación se presentan los principales resultados obteni-dos luego de aplicar la metodología expuesta en el capítulo anterior. Primero, se analizan los resultados de las correlaciones, agrupados según universidades, área Cineunesco y deciles de Puntaje de Selección. Luego, se analizan los modelos lineales y, por último, se comparan las correlaciones entre los Procesos de Admisión 2012 y 2013.

Por otro lado, se comparan los resultados con estudios anterio-res. Las correlaciones de los procesos 2003-2007 se obtienen de Manzi et al. (2010) y las de 2012 y 2013 son del presente estudio. Los resultados para 2012 y 2013 se muestran de dos maneras: solo para las universidades del CRUCH y para toda la muestra, es decir, para las universidades pertenecientes al SUA. En la Tabla 5.1 se presentan las correlaciones promedio para toda las ca-rreras, entre los factores de selección y el promedio ponderado, para los períodos mencionados.

Si bien se presentan los resultados del Proceso de Admisión 2003, se debe mencionar que en este proceso se aplicó por última vez la Prueba de Aptitud Académica (PAA), por ende, como se trata de distintas pruebas, los resultados noson comparables. Aun así, permite observar cómo se comporta-ban anteriores factores de selección.

Al comparar los distintos resultados (Tabla 5.1), se puede obser-var que las correlaciones obtenidas son similares, lo que muestra estabilidad en la relación entre los factores de selección y el ren-dimiento de primer año. La PSU de Lenguaje tiene correlaciones promedio en torno al 0,1 y, la PSU de Matemática y el puntaje NEM, tienen correlaciones cercanas a 0,25.

Página

41

Tabla 5.2: Correlaciones agrupadas según universidad

Correlaciones (Corregidas)

Universidad NEM Ranking PSUL PSUMUCH 0,22 (0,36) 0,19 (0,29) 0,11 (0,21) 0,22 (0,48)PUC 0,27 (0,51) 0,26 (0,46) 0,15 (0,27) 0,18 (0,37)UDEC 0,28 (0,39) 0,25 (0,34) 0,11 (0,20) 0,30 (0,59)PUCV 0,34 (0,43) 0,31 (0,38) 0,07 (0,15) 0,29 (0,60)UTFSM 0,17 (0,25) 0,14 (0,17) 0,10 (0,19) 0,31 (0,59)USACH 0,05 (0,08) 0,01 (0,01) 0,12 (0,20) 0,23 (0,46)UACH 0,18 (0,24) 0,17 (0,21) 0,07 (0,11) 0,21 (0,41)UCN 0,21 (0,28) 0,20 (0,24) 0,15 (0,28) 0,34 (0,62)UV 0,19 (0,27) 0,16 (0,22) 0,00 (-0,01) 0,21 (0,46)UANT 0,17 (0,19) 0,15 (0,16) 0,13 (0,24) 0,24 (0,42)ULS 0,17 (0,24) 0,15 (0,19) 0,03 (0,06) 0,24 (0,50)UBB 0,22 (0,30) 0,20 (0,26) 0,06 (0,13) 0,33 (0,65)UFRO 0,23 (0,31) 0,22 (0,27) 0,09 (0,16) 0,17 (0,35)UMAG 0,21 (0,25) 0,22 (0,25) 0,21 (0,38) 0,25 (0,45)UTAL 0,21 (0,32) 0,15 (0,20) 0,14 (0,25) 0,29 (0,56)UDA 0,24 (0,29) 0,23 (0,25) 0,21 (0,37) 0,31 (0,59)UTA 0,37 (0,42) 0,38 (0,44) 0,21 (0,36) 0,32 (0,59)UNAP 0,39 (0,51) 0,31 (0,37) 0,17 (0,33) 0,31 (0,54)UMCE 0,11 (0,16) 0,09 (0,11) 0,05 (0,10) 0,11 (0,25)UPLA 0,19 (0,25) 0,17 (0,22) 0,05 (0,09) 0,17 (0,32)UTEM 0,23 (0,30) 0,20 (0,25) 0,10 (0,18) 0,29 (0,57)ULA 0,31 (0,38) 0,29 (0,32) 0,11 (0,24) 0,29 (0,54)UCM 0,32 (0,44) 0,27 (0,36) 0,21 (0,36) 0,24 (0,47)UCSC 0,17 (0,24) 0,16 (0,22) 0,12 (0,22) 0,20 (0,46)UCT 0,25 (0,33) 0,23 (0,28) 0,18 (0,32) 0,20 (0,40)UDP 0,28 (0,40) 0,27 (0,38) 0,05 (0,12) 0,16 (0,41)UMAYOR 0,20 (0,28) 0,16 (0,21) 0,12 (0,22) 0,22 (0,44)UFT 0,24 (0,34) 0,24 (0,33) 0,16 (0,28) 0,23 (0,44)UNAB 0,30 (0,39) 0,26 (0,34) 0,20 (0,34) 0,31 (0,58)UAI 0,41 (0,55) 0,41 (0,54) 0,19 (0,35) 0,32 (0,67)UANDES 0,31 (0,48) 0,27 (0,41) 0,03 (0,06) 0,19 (0,48)UDD 0,30 (0,42) 0,28 (0,41) 0,14 (0,26) 0,23 (0,49)UAH 0,18 (0,26) 0,18 (0,25) 0,02 (0,01) 0,11 (0,25)

Entre paréntesis la correlación corregida por restricción de rango

gados según la universidada la cual pertenecen las carreras. En consecuencia, en la Tabla 5.2 se presentan las correlaciones ob-tenidas según la pertenencia de las carreras.

De manera general, destaca para la mayoría de las universida-des una alta correlación del puntaje NEM y una correlación de un valor similar, pero un poco menor, para el Ranking. También destaca que en todas las universidades la PSU de Matemática presenta una mayor correlación que la PSU de Lenguaje.

Al mirar los resultados de manera más detallada, se observa que ocho universidades presentan una correlación alta en estudios de predictibilidad, mayor a 0,3, del puntaje NEM (PUCV, UTA, UNAP, ULA, UCM, UNAB, UANDES y UDD). En el caso opuesto, solo la Universidad de Santiago (USACH) presenta una correlación menor a 0,1. Para el caso del puntaje Ranking, son cuatro las universidades que presentan una alta correlación, mayor a 0,3 (PUCV, UTA, UNAP y UAI), y dos universidades presentan una co-rrelación menor a 0,1 (USACH y UMCE).

En el caso de la PSU de Lenguaje, ninguna universidad supera la correlación de 0,3 y solo cinco superan la correlación 0,2 (UMAG, UDA, UTA, UCM y UNAB). En el otro extremo, se observan once universidades con correlación menor a 0,1 (PUCV, UACH, UV, ULS, UBB, UFRO, UMCE, UPLA, UDP, UANDES y UAH). En contraposición, la PSU de Matemática presenta una correlación bastante más alta, con nueve universidades que tienen correlaciones mayores a 0,3 (UDEC, UTFSM, UCN, UBB, UDA, UTA, UNAP, UNAB y UAI). Qui-zás lo más destacable es que ninguna universidad presenta una correlación menor a 0,1.

Página

43

De manera general destacan aspectos similares a lo ya expues-tos, es decir, NEM y Ranking con una correlación alta, si bien el Ranking un poco por debajo. También se observa una alta co-rrelación de la PSU de Matemática y bastante más baja la corre-lación de la prueba de Lenguaje.

Aunque no se observan patrones muy destacables, sí existen pe-queñas diferencias en los tramos de puntajes. En los tramos de menores Puntaje de Selección, el NEM y el Ranking tienen una mayor correlación que en las carreras de un mayor puntaje. Esto es similar a lo que ocurre con la prueba de Lenguaje y distinto a lo que sucede con la prueba de Matemática, donde se observa una estabilidad en todos los tramos del Puntaje de Selección.

Tabla 5.4: Correlaciones agrupadas según deciles de Puntaje de Selección


10 cuantilesde ptj pond NEM Ranking PSUL PSUM

Decil 1 [456-539] 0,28 (0,36) 0,26 (0,33) 0,14 (0,25) 0,24 (0,46)Decil 2 [539-553] 0,31 (0,39) 0,30 (0,37) 0,16 (0,30) 0,27 (0,54)Decil 3 [553-565] 0,25 (0,33) 0,23 (0,29) 0,16 (0,29) 0,26 (0,52)Decil 4 [565-579] 0,28 (0,36) 0,26 (0,32) 0,14 (0,26) 0,27 (0,51)Decil 5 [579-594] 0,24 (0,32) 0,21 (0,27) 0,10 (0,18) 0,26 (0,50)Decil 6 [594-613] 0,23 (0,32) 0,20 (0,27) 0,10 (0,19) 0,27 (0,57)Decil 7 [613-635] 0,19 (0,29) 0,16 (0,22) 0,09 (0,17) 0,22 (0,47)Decil 8 [635-660] 0,20 (0,29) 0,17 (0,23) 0,08 (0,16) 0,27 (0,54)Decil 9 [660-688] 0,21 (0,34) 0,19 (0,29) 0,09 (0,17) 0,18 (0,41)Decil 10 [689-796] 0,21 (0,42) 0,19 (0,35) 0,10 (0,17) 0,24 (0,50)


En general, en las tres tablas anteriores se observa que las correla-ciones sin corrección están subestimando la predictibilidad de los factores de selección. A su vez, es transversal que la PSU de Mate-mática presenta la mayor diferencia al corregir por restricción de rango, llegando en varias ocasiones a superar el valor 0,5.

El siguiente nivel de agregación en que se presentan las correla-ciones es de acuerdo al área Cineunesco de clasificación de las carreras. Las correlaciones se presentan en la Tabla 5.3.

Se observa que los puntajes NEM y Ranking solo presentan corre-laciones menores a 0,2 en el área de la salud y, en general, pre-sentan una alta correlación con el rendimiento, aunque siempre ligeramente menor la correlación del puntaje Ranking que la del puntaje NEM. Para la PSU de Lenguaje se observan bajas co-rrelaciones. En particular, en áreas que se podrían llamar afines (Ciencias Sociales, Derecho o Humanidades) no se presentan correlaciones altas.

Tabla 5.3: Correlaciones agrupadas según Área Cineunesco


ÁreaCineunesco NEM Ranking PSUL PSUM

Administracióny Comercio

0,30 (0,41) 0,28 (0,37) 0,13 (0,24) 0,24 (0,51)

Agropecuaria 0,30 (0,40) 0,26 (0,33) 0,17 (0,29) 0,30 (0,59)Arte yArquitectura

0,23 (0,33) 0,20 (0,29) 0,06 (0,09) 0,17 (0,33)

Ciencias Básicas 0,30 (0,42) 0,26 (0,34) 0,22 (0,35) 0,33 (0,57)Ciencias Sociales 0,26 (0,39) 0,25 (0,36) 0,10 (0,20) 0,15 (0,32)Derecho 0,27 (0,39) 0,25 (0,34) 0,15 (0,29) 0,18 (0,37)Educación 0,26 (0,35) 0,24 (0,30) 0,12 (0,22) 0,19 (0,39)Humanidades 0,26 (0,34) 0,22 (0,29) 0,16 (0,30) 0,23 (0,47)Salud 0,17 (0,28) 0,14 (0,22) 0,10 (0,19) 0,23 (0,50)Tecnologia 0,23 (0,32) 0,20 (0,27) 0,11 (0,20) 0,33 (0,63)


La última agregación de correlaciones que se presenta tiene como objetivo observar si existen diferencias en las correlacio-nes en función del tramo del Puntaje de Selección en que se en-cuentra la carrera. Los detalles de cómo se construye esta agru-pación se encuentran en la sección 4.1 (Niveles de agregación).

Página

45

Tabla 5.5: Correlaciones por tipo de prueba electiva

Correlaciones por Prueba Electiva

Universidad Ciencias Historia OpcionalUCH 0,34 0,09 0,08

PUC 0,30 0,06 0,10

UDEC 0,31 0,11 -0,00PUCV 0,16UTFSM 0,23USACH 0,19 0,15 0,20UACH 0,24 0,09 0,07UCN 0,32 0,09 0,12UV 0,21 -0,08 0,11UANT 0,32 0,07 0,11ULS 0,22 0,15 0,15UBB 0,21 0,21 0,18UFRO 0,20 0,19 0,04UMAG 0,27 -0,05 0,18UTAL 0,37 0,12 0,14UDA -0,14 0,22UTA 0,31 0,21UNAP 0,36 0,23 -0,03UMCE 0,19 0,10 0,12UPLA 0,29 0,09UTEM 0,15 0,15ULA 0,26 0,08 0,18UCM 0,29 0,26 0,14UCSC 0,02 0,19UCT 0,20 0,27 0,15UDP 0,35 0,14UMAYOR 0,21UFT 0,29 0,28 0,26UNAB 0,37 0,26UAH -0,06 0,11UAI 0,38 0,11 0,18UANDES 0,29 0,08 0,18UDD 0,20 0,21

5.1.1 Sobre la prueba electivaPor ahora se han presentado resultados referentes a las pruebas de Matemática y Lenguaje, al puntaje NEM y Ranking, pero para calcular el Puntaje de Selección en cada carrera, también se requiere el puntaje de una de las dos pruebas electivas: la PSU de Historia, Geografía y Ciencias Sociales o la PSU de Ciencias. Algunas carreras tienen como requisito una prueba en particular y otras le permiten al estudiante utilizar el puntaje mayor entre ambas pruebas.

En la Tabla 5.5 se presentan las correlaciones para la prueba electiva. Son tres columnas agrupadas por universidad. En la pri-mera, se promedian las correlaciones de las carreras que tienen entre sus requisitos la prueba de Ciencias como obligatoria; en la segunda columna, las carreras que tienen la prueba de Historia, Geografía y Ciencias Sociales (Historia) como obligatoria; y en la tercera, las carreras que consideran el mejor puntaje entre ambas pruebas (Opcional). En algunos casos no se presentan correlaciones, lo que se explica porque existen universidades que no tienen carreras con ese requisito. Por ejemplo, la Univer-sidad Andrés Bello (UNAB) no tiene como requisito obligatorio la prueba de Historia, Geografía y Ciencias Sociales para ninguna de sus carreras.

Página

47

el número de estudiantes de la carrera, de los 𝑅2 para los cuatro modelos, de todas las carreras que pertenecen a cada univer-sidad.

Se observa que, en general, el modelo que cuenta solo con las PSU tiende a ajustar con un valor menor de 𝑅2 y, que al intro-ducir alguno de los dos factores de selección anclados en el rendimiento escolar, NEM o Ranking, mejora notoriamente este ajuste. Al explicar el rendimiento utilizando solo las PSU, no existe ninguna universidad que supere el valor 0,2; en cambio, 19 uni-versidades no superan el valor 0,1 de 𝑅2 ajustado.

En la tabla anterior destaca que la PSU de Ciencias es la que tiene una mayor correlación. También se observa que, en algu-nos casos, las correlaciones tienen un valor más bajo cuando la prueba electiva es opcional y, en otros, cuando la PSU de Historia, Geografía y Ciencias Sociales es obligatoria. Solo la PSU de Ciencias toma valores de correlación mayores a 0,3, lo que ocurre en diez universidades (UCH, UDEC, UCN, UANT, UTAL, UTA, UNAP, UDP, UNAB y UAI).

5.2 Factores de selección en su conjunto: aporte del RankingEsta sección tiene por objetivo analizar el aporte del Ranking a los factores de selección en su conjunto, sin compararlos por se-parado, es decir, cuál es el aporte del Ranking a la predictibili-dad si se suma al resto de los factores de selección. Para esto se utilizaron dos metodologías: comparación de modelos lineales y comparación de correlaciones en Puntaje de Selección.

De este modo, primero se presentan resultados de modelos que relacionan linealmente el promedio de notas con los factores de selección, analizando el ajuste de estos modelos al contar o no con la presencia del Ranking. La segunda metodología corre-laciona el Puntaje de Selección obtenido por el o la estudiante con el rendimiento, comparando el resultado de estas correla-ciones para cada carrera entre 2013 (incluyendo el Ranking en el Puntaje de Selección) con el 2012 (sin incluir el Ranking en el Puntaje de Selección).

5.2.1 Comparación de modelos linealesA continuación se presentan los resultados obtenidos a partir de los modelos lineales. La metodología utilizada se encuentra de-tallada en la sección 4.3 (Modelos lineales). Cada una de las tablas muestra cuatro columnas de resultados, donde se pre-sentan los valores promedio de los 𝑅2 ajustados obtenidos para cada carrera según las tres agregaciones ya descritas. Por ejem-plo, en la Tabla 5.6 se presentan los promedios, ponderados por

Página

49

Al introducir alguno de los factores anclados en el rendimiento escolar, ya sea NEM o Ranking, se produce el principal impacto en el ajuste de los modelos lineales. En la mayoría de los casos, es el NEM el que aumenta más el valor del ajuste, pero existen ocho universidades en que los modelos con Ranking ajustan de mejor manera que los con NEM1 (PUC, UACH, UANT, UDA, UTA, UDP, UAI y UAH).

Por otro lado, cuando están presentes todos los factores de se-lección, en general no existe una diferencia significativa en el ajuste, en comparación con cuando están presentes el NEM o el Ranking por separado, llegando en algunos casos a disminuir el 𝑅2 ajustado2.

En la Tabla 5.7 se presentan los resultados de las medidas de ajuste según el área Cineunesco en la cual la carrera esté cla-sificada. Al intentar explicar el rendimiento solo con las PSU, el área que presenta un menor ajuste es Arte y Arquitectura; en contraposición, esta el área de Ciencias Básicas con el mayor 𝑅2 ajustado. Al igual que en la tabla anterior, se observa que el ajuste mejora bastante al introducir el puntaje NEM o el puntaje Ranking y, al completar con todos los factores de selección, au-menta el ajuste, pero en menor medida.

1 Estas diferencias no son necesariamente significativas.2 Recordar que esta medida de ajuste penaliza por el número de variables pre-sentes en el modelo.

Tabla 5.6: Medidas de ajuste agrupadas según universidad

𝑅2 ajustado

Universidad Solo PSU Ranking NEM NEM y RankingUCH 0,105 0,161 0,164 0,166

PUC 0,084 0,154 0,149 0,158

UDEC 0,123 0,186 0,194 0,196PUCV 0,087 0,197 0,206 0,210UTFSM 0,114 0,170 0,172 0,180USACH 0,070 0,108 0,111 0,114UACH 0,081 0,116 0,115 0,112UCN 0,133 0,200 0,201 0,202UV 0,049 0,084 0,092 0,097UANT 0,086 0,113 0,108 0,120ULS 0,106 0,147 0,152 0,152UBB 0,131 0,192 0,195 0,202UFRO 0,045 0,097 0,103 0,107UMAG 0,108 0,091 0,105 0,139UTAL 0,112 0,170 0,177 0,180UDA 0,085 0,123 0,120 0,134UTA 0,127 0,214 0,213 0,217UNAP 0,156 0,222 0,258 0,258UMCE 0,021 0,038 0,042 0,039UPLA 0,048 0,063 0,070 0,087UTEM 0,074 0,145 0,150 0,152ULA 0,089 0,180 0,182 0,173UCM 0,116 0,193 0,210 0,209UCSC 0,059 0,099 0,099 0,099UCT 0,066 0,109 0,116 0,111UDP 0,061 0,163 0,161 0,163UMAYOR 0,072 0,107 0,115 0,117UFT 0,066 0,134 0,134 0,133UNAB 0,130 0,193 0,202 0,203UAI 0,149 0,283 0,282 0,292UANDES 0,084 0,196 0,203 0,218UDD 0,083 0,135 0,142 0,148UAH 0,045 0,069 0,067 0,067

Página

51

Tabla 5.8: Medidas de ajuste agrupadas según deciles de Pun-taje de Selección

𝑅2 ajustado

10 cuantiles de puntaje ponderado Solo PSU Ranking NEM NEM y

RankingDecil 1 [456-539] 0,089 0,143 0,150 0,159Decil 2 [539-553] 0,104 0,180 0,184 0,181Decil 3 [553-565] 0,088 0,138 0,143 0,147Decil 4 [565-579] 0,095 0,153 0,157 0,157Decil 5 [579-594] 0,093 0,153 0,158 0,164Decil 6 [594-613] 0,104 0,168 0,174 0,177Decil 7 [613-635] 0,081 0,138 0,146 0,148Decil 8 [635-660] 0,094 0,160 0,163 0,169Decil 9 [660-688] 0,073 0,142 0,140 0,143Decil 10 [689-796] 0,124 0,179 0,182 0,187

5.2.2 Comparación gráfica 2012-2013En esta sección se presenta gráficamente una comparación entre la correlación de puntajes ponderados para los procesos 2012 y 2013. Para ambos procesos se realizó una correlación por carrera entre el Puntaje de Selección que obtuvo el o la estu-diante, con el rendimiento en primer año.

En consecuencia, para cada carrera se obtuvieron dos corre-laciones, una para el año 2012 y otra para el año 2013. Cabe recordar que en el Puntaje de Selección para el Proceso de Ad-misión 2012 no estaba presente el puntaje Ranking, a diferencia del Proceso de Admisión 2013, en el que tuvo una ponderación fija para todas las carreras de 10 %. En la Ilustración 5.1 se presen-ta un histograma de la resta para cada carrera, entre la correla-ción 2013 menos la correlación 2012, por lo cual, si el resultado es negativo, la correlación es mayor para el Proceso de Admisión 2012; en cambio, si el resultado es positivo, la correlación será mayor para el Proceso de Admisión 2013.

La diferencia de correlaciones que se grafica en el histograma tiene media 0,004, lo que supone que en promedio no hay dife-

Para analizar si los modelos ajustan diferente según el tramo de Puntaje de Selección de la carrera, se presenta la Tabla 5.8. Se observa, al igual que en las tablas anteriores, que las PSU por sí solas logran un menor ajuste que al introducir NEM o Ranking y, que cuando están presentes todos los factores de selección, el 𝑅2 ajustado no aumenta de manera significativa, al compararlo con los modelos con NEM o Ranking por separado.

Si bien en la Tabla 5.8 se aprecia un alto ajuste para el decil de carreras más selectivas, en general no existen aspectos que se puedan destacar según el tramo de Puntaje de Selección, más allá de los ya expuestos.

Tabla 5.7: Medidas de ajuste agrupadas según área Cineunesco

𝑅2 ajustado

ÁreaCineunesco Solo PSU Ranking NEM NEM y

RankingAdministración y Comercio

0,075 0,179 0,182 0,186

Agropecuaria 0,115 0,199 0,208 0,212Arte yArquitectura

0,037 0,077 0,084 0,089

Ciencias Básicas 0,145 0,197 0,201 0,204Ciencias Sociales 0,046 0,113 0,114 0,115Derecho 0,064 0,128 0,133 0,134Educación 0,077 0,132 0,141 0,145Humanidades 0,066 0,124 0,128 0,136Salud 0,101 0,142 0,148 0,154Tecnología 0,128 0,189 0,191 0,193

Página

53

lo descrito. Cabe mencionar que no se observa una tendencia, existiendo carreras con una correlación más alta para el 2012 y otras con una correlación mayor para 2013. En la práctica, la recta identidad corta de manera bastante simétrica la disper-sión de puntos, es decir, no hay un mejoramiento o empeora-miento que sea general.

Ilustración 5.2: Correlaciones 2012 y 2013 por carrera

Para analizar cómo se comporta el Puntaje de Selección con mayor detalle, a continuación se presentan los resultados según área Cineunesco y según decil de tramo de Puntaje de Selec-ción. En la Ilustración 5.3 se presentan diez gráfi cos, uno para cada área Cineunesco. Se busca analizar si en las distintas áreas se aprecian diferencias de correlaciones, encontrándose que en ninguna de las áreas éstas mejoran o empeoran.

En la Ilustración 5.4 se presentan diez gráfi cos, uno para cada tramo de decil de Puntaje de Selección. Nuevamente, se bus-ca analizar si en los distintos tramos de selectividad (medida por decil de Puntaje de Selección) las correlaciones se comportan

Ilustración 5.1: Histograma de resta de correlaciones 2013-2012

Utilizando la misma información que en la ilustración anterior, es decir, para cada carrera la correlación para el Proceso de Ad-misión 2012 y para el Proceso de Admisión 2013, se construyeron tres ilustraciones (5.2, 5.3 y 5.4). Estas muestran gráfi cos de disper-sión con las siguientes características: el eje y (vertical) corres-ponde a la correlación 2013; el eje x (horizontal) corresponde a la correlación 2012; cada punto es una carrera y se gráfi ca en la recta identidad en rojo (𝑓(𝑥) = 𝑥).

La recta identidad permite analizar para cuál proceso la corre-lación es mayor: si el punto esta sobre la recta, la correlación será mayor en el Proceso de Admisión 2013 y si se encuentra por debajo, la correlación será mayor en 2012. En la Ilustración 5.2 se presenta el gráfi co de dispersión para toda la muestra según

rencia, pero sí se aprecia que existe un grupo de carreras que mejora la correlación y otro grupo que la empeora. Estos resulta-dos no son atribuibles a la introducción del puntaje Ranking en el Puntaje de Selección.

Página

55

de diferentes maneras. Al igual que antes, no se observan dife-rencias importantes según decil. De todas maneras sí se puede destacar que existen tramos más estables entre 2012 y 2013, lo que se aprecia cuando los puntos se encuentran más cercanos a la recta identidad.

Ilustración 5.3: Correlaciones 2012-2013 por carrera: Cineunesco

Ilustración 5.3: Correlaciones 2012-2013 por carrera: tramo Pun-taje de Selección

Página

57

Conclusiones6

Página

59

de Matemática. Esta corrección permite enfrentar el problema asociado a contar solo con la muestra de estudiantes que ingre-san a las universidades y no tener la información de rendimiento de los estudiantes que quedan fuera.

El principal resultado con respecto a los modelos lineales es que, al agregar alguno de los dos factores de selección anclados en las notas (puntaje NEM o puntaje Ranking), la medida de ajus-te aumenta de manera importante, esto, al comparar con un modelo en que solo estén presentes las PSU. En este sentido, el puntaje Ranking y el puntaje NEM aportan de manera similar al ajuste de los modelos. Finalmente, los modelos que mejor ajus-tan, aunque sin un aumento muy relevante, son aquellos en los que están presentes todos los factores: puntaje NEM, puntaje Ranking y los puntajes de las PSU.

Si bien el foco del presente estudio fue la validez predictiva del Ranking de Notas, también se aprecian otros resultados que son importantes de destacar. Se observa cierta estabilidad en la pre-dictibilidad asociada a los factores de selección, en particular, con la PSU de Lenguaje con magnitudes bastante menores a la PSU de Matemática. El puntaje NEM también muestra un impor-tante estabilidad, con una magnitud similar a las correlaciones de la PSU de Matemática.

Sobre las Pruebas Electivas, destaca la necesidad de un estudio más detallado que se enfoque en estas pruebas que, por ejem-plo, permita responder a la interrogante de si tiene sentido que se pueda elegir, para algunas carreras, el mejor puntaje entre es-tas pruebas. Los resultados obtenidos en el presente trabajo dan algunas luces, pero son insuficientes para un adecuado análisis referente a estas pruebas.

Cabe recordar que el Ranking de Notas también mide aspectos relacionados a habilidades no cognitivas, pero éstas se obser-van de mejor manera a lo largo del tiempo. Este estudio solo considera datos de rendimiento de primer año de los y las estu-diantes. En consecuencia, para futuras investigaciones es reco-mendable observar la trayectoria de estos estudiantes para un mejor entendimiento de la predictibilidad de este factor; pro-bablemente se esté subestimando la capacidad predictiva del Ranking de Notas. En este sentido, es necesario contar con ba-

El objetivo del presente estudio fue analizar y determinar la ca-pacidad predictiva del Ranking de Notas en el rendimiento aca-démico de los estudiantes pertenecientes a las universidades del Sistema Único de Admisión.

Con ese propósito se construyó un base de datos que cuenta con información del rendimiento de los estudiantes en primer año y con los puntajes de los factores de selección con los que éstos ingresaron a la educación superior. Para relacionar las va-riables de rendimiento con los factores de selección, se utilizaron dos grupos de metodologías: un primer grupo de metodologías para analizar el aporte de cada factor por separado y un se-gundo grupo que permitió observar el aporte de los factores de selección en su conjunto.

Luego de observar los resultados de las distintas metodologías aplicadas, se puede concluir que el factor de selección Ranking de Notas presenta una capacidad predictiva similar a las NEM. Su aporte al conjunto es positivo pero mesurado y la introduc-ción de este factor con una ponderación de un 10% en el Punta-je de Selección, no modificó la correlación de este puntaje con el rendimiento al compararlo con el Proceso de Admisión 2012.

Es fundamental tomar en consideración la alta correlación entre el puntaje del Ranking de Notas y el puntaje NEM. Esta situación dificulta bastante el análisis de los resultados, dado que en la práctica revelan información muy similar sobre el o la estudiante y, a su vez, cuando dos variables presentan una alta correlación, los modelos lineales pueden presentar problemas referentes a colinealidad.

Al analizar las correlaciones se encuentran diferencias relevan-tes en la magnitud de éstas cuando se agrupan por universida-des, en cambio, no se observan diferencias relevantes en las otras dos formas de agrupación (área Cineunesco y tramo de decil de Puntaje de Selección), es decir, el comportamiento del Ranking de Notas es bastante estable dentro de estas dos agre-gaciones.

Las correcciones por restricción de rango aumentan de manera importante las magnitudes al compararlas con las correlaciones sin corregir, alcanzando los valores más elevados en la prueba

Página

61

ses de datos del rendimiento académico para los años 2014 y 2015. Esta información de largo plazo es relevante respecto a la toma de futuras decisiones.

Este trabajo aporta información relevante, pero es necesario complementarlo con otros estudios, por ejemplo de deserción, de casos específicos para observar con más detenimiento qué pasa más avanzado en las carreras, de validez diferencial, entre otros. Este tipo de estudios se encuentran dentro de la agenda de investigación que realizará el Sistema Único de Admisión del Consejo de Rectores de las Universidades Chilenas.

Página

63

. Bravo, D., Manzi, J., del Pino, G., Donoso, G., Martínez, M., and Pizarro, R. (2010). Becas de Excelencia Académica y Rendi-miento Relativo de los Beneficiados en el Primer año en las Universidades del Consejo de Rectores. Cosejo de Rectores Universidades Chilena, Documentos Técnicos.

. Camara, W. J. and Echternacht, G. (2000). The SAT I and high school grades: Utility in predicting success in college. Research Notes.

. Cohn, E., Cohn, S., Balch, D. C., and Bradley Jr, J. (2004). De-terminants of undergraduate gpas: Sat scores, high-school gpa and high-school rank. Economics of Education Review, 23(6):577–586.

. Contreras, D., Gallegos, S., and Meneses, F. (2009). Determi-nantes de desempeño universitario:¿ importa la habilidad re-lativa? Revista Calidad en la Educación, 30:17–48.

. Geiser, S. and Studley, w. R. (2002). UC and the SAT: Predictive validity and differential impact of the sat i and sat ii at the uni-versity of california. Educational Assessment, 8(1):1–26.

. Gulliksen, H. and Wilks, S. S. (1950). Regression tests for several samples. Psychometrika, 15(2):91–114.

. Manzi, J., Bosch, A., Bravo, D., Pino, G. d., Donoso, G., and Piza-rro, R. (2010). Validez diferencial y sesgo en la predictividad de las pruebas de admisión en la universidades chilenas (PSU). RIEE. Revista Iberoamericana de Evaluación Educativa.

. Manzi, J., Bravo, D., Del Pino, G., Donoso, G., Martínez, M., and Pizarro, R. (2006). Estudio acerca de la validez predictiva de los factores de selección a las universidades del consejo de rectores. Santiago de chile: consejo de Rectores de las Univer-sidades chilenas (CRUCH), CTA-PSU, documentos técnicos.

. Pearson (2013). PSU predictive validity. In Evaluation of the Chi-le PSU-Final Report, chapter Objetive 2.4, pages 438–465.

. Rothstein, J. M. (2004). College performance predictions and the SAT. Journal of Econometrics, 121(1):297–317.

Bibliografía

estudio acerca de la validez predictiva del ranking de notas · y ii en los resultados académicos...

Documents