UNIVERSIDAD DEL TURABO Informe de Hallazgos Psicométricos del Cuestionario de Calidad y Efectividad

Institucional

Preparado por: José R. Pérez Colón

Febrero de 2011

2

Resumen

El Cuestionario de Indicadores de Calidad Institucional se desarrolló con el propósito de identificar los indicadores de calidad más importantes para la comunidad universitaria de la Universidad del Turabo. El instrumento en su versión original constaba de 64 ítemes y utilizaba una escala likert de cinco puntos; en la cual (5) representaba muy importante y (1) representaba nada importante, el mismo fue una versión adaptada de Cleary (2005). El instrumento se administró a estudiantes, personal docente y administrativo de la Universidad del Turabo durante los meses de marzo y abril de 2007. El mismo fue sometido a varios análisis estadísticos tales como: estadísticas descriptivas, análisis de factores, análisis de confiabilidad y correlación. Estos procesos estadísticos se realizaron utilizando los programas de computadora Microsoft Excel, y Statistical Packed for the Social Science (SPSS) versión 14.

La muestra de este estudio consistió de 1209 sujetos 333 personas del personal administrativo y docente, y 876 estudiantes, la tasa de participación del estudio fue de 55.08 por ciento. Los ítems se sometieron inicialmente a un análisis de factores de componentes de ejes principales con rotación ortogonal usando la técnica Varimax. Luego se analizó mediante la comunalidad de los ítems y por medio de correlación mediante la formula de predicción Spearman- Brown. De igual forma se utilizaron medidas de adecuación de las variables para realizar el análisis factorial mediante el método de Kaiser-Meyer-Olkin Measure of Sampling Adequacy y mediante el Bartlett's Test of Sphericity, finalmente se calculó la confiabilidad de consistencia interna a través de la técnica Alfa de Cronbach.

Hallazgos Principales del Instrumento

El Cuestionario de Indicadores de Calidad Institucional se desarrolló con el objetivo de medir de manera unidimensional el constructo de calidad institucional. Plantea, Burga (2005) que la unidimensionalidad de un instrumento implica que solo un rasgo latente o constructo se encuentra en la base de un conjunto de ítems. En otras palabras, un instrumento será unidimensional si las respuestas dadas al mismo son producidas a base de un único atributo, en este caso el concepto de calidad.

El promedio por ítem fluctuó de 3.69, valor más bajo otorgado y 4.49 fue el valor más alto por indicador de calidad contenido en el cuestionario utilizado. Las desviaciones estándar la más baja fue de .84 centésimas y la más alta fue de 2.04 puntos. La varianza agregada del instrumento con los valores iniciales de Eigenvalues fue de 55.231 para el primer componente del análisis de factores, en otras palabras el primer ítem explica el 55 por ciento de la varianza total del Cuestionario de Indicadores de Calidad. A tales fines plantea, Field (2005) que

3

una varianza que excede el 30 por ciento de la varianza explicada demuestra parcialmente la propiedad unidimensional de un cuestionario.

En la tabla 1, se puede observar que el índice de adecuación muestral de las variables al análisis factorial es de .988, índice relativamente alto. Señala Field (2005) que valores que excedan el .70 son relativamente altos a la hora de medir lo adecuado de una muestra. En el caso de la prueba de esfericidad de Barlett señala que el valor de Chi-cuadrado aproximado es de 79647.852; que para 2016 grados de libertad y un nivel de significado de .000 nos permite rechazar la hipótesis nula al 99 por ciento, afirmando que la matriz de correlaciones puede ser factorizada (Field, 2005).

Tabla 1 KMO and Bartlett’s Test

Kaiser-Meyer-Olkin Measure of Sampling Adequacy. .988

Approx. Chi-Square 79647.852 df 2016

Bartlett’s Test of Sphericity

Sig. .000

En la tabla 2 observamos los autovalores extraídos para cada uno de los factores de la varianza. Se puede apreciar que 5 de ellos exceden el valor de 1 y que en conjunto explican 69.156 por ciento de la varianza acumulada. Plantea Field (2005) y Burga (2005) que valores de Eigenvalues que excedan 1 son ítems que es apropiado incluirlos en un cuestionario. De igual forma plantea Burga (2005) que en el caso de explicar la varianza total, un instrumento debe tener al menos el 30 por ciento de la totalidad de la varianza en el primer factor extraído, en este caso representa el 35.348 por ciento. En el caso de la suma de las rotaciones o Rotation Sums of Squared Loadings las mismas exceden el valor de 1 en los 5 ítems. Razón por la cual se incluyen los primeros cinco factores (ítems) en el Cuestionario de Indicadores de Calidad.

Tabla 2 Total Variance Explained

Extraction Method: Principal Component Analysis.

Component Initial Eigenvalues Extraction Sums of Squared Loadings Rotation Sums of Squared Loadings

Total % of Variance Cumulative % Total % of Variance Cumulative % Total % of Variance Cumulative % 1 35.348 55.231 55.231 35.348 55.231 55.231 29.495 46.087 46.087

2 4.439 6.937 62.168 4.439 6.937 62.168 6.906 10.790 56.877

3 2.207 3.448 65.616 2.207 3.448 65.616 4.936 7.712 64.589 4 1.217 1.901 67.517 1.217 1.901 67.517 1.720 2.688 67.276

5 1.049 1.639 69.156 1.049 1.639 69.156 1.203 1.880 69.156

4

Análisis de confiabilidad

Con el objetivo de determinar cuán bien el instrumento medía el constructo bajo estudio se halló la confiabilidad de consistencia interna. Para ello, se utilizó la técnica Alpha de Cronbach. Los datos indican que el inventario tiene una confiabilidad de consistencia interna de .99 centésimas. Nunally y Berstein (1994) Anastasi y Urbina (1997) y Develllis (1991) señalan que un instrumento confiable es aquel que tiene índices de confiabilidad de .70 centésimas o más. Por tal motivo, el Cuestionario de Indicadores de Calidad Institucional es un instrumento confiable.

Tabla 3 Reliability Statistics

Validez de constructo mediante la técnica de matrices múltiples de correlación

Como evidencia adicional sobre la validez de constructo de la dimensión que constituye el instrumento se llevó a cabo un análisis de correlación. Este análisis permite identificar si hay redundancia entre los ítems. Andújar (1997) plantea que los índices de correlación entre las dimensiones deben ser de -.50 a +.50 para indicar que no existe traslapo entre las dimisiones que mide el constructo bajo estudio.

Los datos indican que los índices de correlación de las dimensiones que constituyen el Instrumento varían entre sí de .13 a .93 centésimas. Este hallazgo sostiene que las dimensiones del instrumento poseen correlaciones débiles o moderadas entre sí. Por tal motivo, hay traslapo entre los ítems del cuestionario, debido a que los mismos miden el mismo constructo de manera repetitiva. De este análisis se recomienda seguir el principio de Andújar (1997) y eliminar aquellos ítems que no caigan en el intervalo de clase de -.50 a +.50, por lo que el instrumento final estará compuesto de 14 ítems, de los 64 propuestos inicialmente, vea anejos 1 y 2. Plantea, Althouse, 1998 que en la construcción de un cuestionario se estima que deben redactarse por lo menos tres ítems por cada uno que sea necesario, estrategia compatible con la composición del Cuestionario de Indicadores de Calidad.

Cronbach's Alpha

Cronbach's Alpha Based

on Standardized

Items N of Items .986 .985 64

5

A continuación se presentan los indicadores de calidad más y menos importantes para la muestra inicial de 1209 sujetos en el estudio realizado en el 2007. Indicadores de Calidad más importantes para la Comunidad Universitaria de UT

1. Por ciento de estudiantes que alcanzan sus metas académicas.

6. Satisfacción del estudiante con la experiencia educativa en la universidad.

2. Nivel de satisfacción de los estudiantes con la enseñanza que reciben de sus profesores.

7. Cantidad de iniciativas dirigidas al mejoramiento de los procesos de enseñanza.

3. Cantidad de iniciativas dirigidas al mejoramiento del aprendizaje de los estudiantes. 8. Costos de la matrícula.

4. Mejoras de las destrezas en el uso de la tecnología e informática del estudiante, como resultado de la educación recibida en la universidad.

9. Cantidad de libros disponibles en la biblioteca.

5. Mejoras en las destrezas de pensamiento crítico y analítico del estudiante, como resultado de la educación recibida en la universidad.

10. Por ciento de graduados que consiguen empleos en su área de especialización.

4.49 4.44 4.44 4.444.4 4.38 4.38 4.37 4.37 4.37

3

3.2

3.4

3.6

3.8

4

4.2

4.4

4.6

4.8

5

1 2 3 4 5 6 7 8 9 10

6

Indicadores de Calidad menos importantes para la Comunidad Universitaria de UT

1. Cantidad de reconocimientos y premios recibidos por los profesores.

6. Cantidad de investigaciones anuales realizadas por los profesores.

2. Participación en actividades comunitarias de los estudiantes de la universidad.

7. Cantidad de investigaciones anuales realizadas por los administradores de la universidad.

3. Puntuación en el College Board, SAT o ACT de los estudiantes nuevos.

8. Cantidad de investigaciones anuales realizadas por los estudiantes.

4. Por ciento de empleados familiarizados con la misión institucional.

9. Por ciento de empleados familiarizados con el plan estratégico de la universidad.

5. Por ciento del tiempo que los profesores le dedican a la investigación.

10. Por ciento de estudiantes admitidos a la universidad con promedios de excelencia, 3.50 o más.

3.69 3.743.77

3.86 3.88 3.893.91 3.91 3.92

3.93

3

3.2

3.4

3.6

3.8

4

4.2

4.4

4.6

4.8

5

1 2 3 4 5 6 7 8 9 10

7

Anejo 1

8

Universidad del Turabo Oficina de Avalúo Institucional

Cuestionario de indicadores de Calidad Institucional Los siguientes son indicadores de desempeño de universidades en distintos lugares

del mundo. Por favor evalúe la importancia de cada criterio tiene como un indicador de calidad institucional en la Universidad del Turabo. Marque la contestación que mejor refleje

su percepción; como indicador de calidad institucional en cada premisa. (1) Nada importante, (2) Poco importante, (3)Algo importante, (4) Importante, (5) Muy importante 1 2 3 4 5 1. Por ciento de cursos que enseñan los profesores que trabajan a tiempo completo. 2. Nivel de satisfacción de los estudiantes con la enseñanza que reciben de sus profesores. 3. Por ciento de estudiantes egresados que obtienen empleo seis meses después de graduarse. 4. Por ciento de aprobación de reválidas o exámenes de certificación de los estudiantes. 5. Tiempo que toma completar un bachillerato en la institución. 6. Mejoras en las destrezas de lectura de los estudiantes, como resultado de la educación recibida en la

universidad. 7. Por ciento de programas que ofrecen prácticas, internados o cursos de laboratorio. 8. Por ciento de empleados familiarizados con el plan estratégico de la universidad. 9. Por ciento de programas acreditados por agencias especializadas. 10. Participación en actividades comunitarias de los estudiantes de la universidad. 11. Por ciento de estudiantes que aprueban exámenes de ingreso a programas graduados. 12. Por ciento de estudiantes que alcanzan sus metas académicas. 13. Por ciento de graduados que consiguen empleos en su área de especialización. 14. Nivel de satisfacción de los patronos con los egresados de la universidad.

Por favor complete la siguiente información:

15. Estudio en la Universidad del Turabo en la actualidad y me desempeño como:

1. Estudiante de primer año con 30 créditos aprobados o menos 2. Estudiante de segundo año con entre 31 y 60 créditos aprobados 3. Estudiante de tercer año con entre 61 y 90 créditos aprobados 4. Estudiante de cuarto año con sobre 90 créditos aprobados 5. Estudiante de maestría, doctorado, de la Escuela de Estudios Técnicos Profesionales o del Programa AHORA

9

Anejo 2

10

Universidad del Turabo Oficina de Avalúo Institucional

Cuestionario de indicadores de Calidad Institucional Los siguientes son indicadores de desempeño de universidades en distintos lugares

del mundo. Por favor evalúe la importancia de cada criterio tiene como un indicador de calidad institucional en la Universidad del Turabo. Marque la contestación que mejor refleje su percepción; como indicador de calidad institucional en cada premisa. (1) Nada importante, (2) Poco importante, (3)Algo importante, (4) Importante, (5) Muy importante 1 2 3 4 5 1. Por ciento de cursos que enseñan los profesores que trabajan a tiempo completo. 2. Nivel de satisfacción de los estudiantes con la enseñanza que reciben de sus profesores. 3. Por ciento de estudiantes egresados que obtienen empleo seis meses después de graduarse. 4. Por ciento de aprobación de reválidas o exámenes de certificación de los estudiantes. 5. Tiempo que toma completar un bachillerato en la institución. 6. Mejoras en las destrezas de lectura de los estudiantes, como resultado de la educación recibida en la

universidad. 7. Por ciento de programas que ofrecen prácticas, internados o cursos de laboratorio. 8. Por ciento de empleados familiarizados con el plan estratégico de la universidad. 9. Por ciento de programas acreditados por agencias especializadas. 10. Participación en actividades comunitarias de los estudiantes de la universidad. 11. Por ciento de estudiantes que aprueban exámenes de ingreso a programas graduados. 12. Por ciento de estudiantes que alcanzan sus metas académicas. 13. Por ciento de graduados que consiguen empleos en su área de especialización. 14. Nivel de satisfacción de los patronos con los egresados de la universidad. 15. Me desempeño en la Universidad del Turabo en la actualidad como: 1. Vicerrector, Vicerrector Asociado, Vicerrector Auxiliar 2. Decano, Decano Asociado, Director de Departamento 3. Puesto administrativo no relacionado a la docencia 4. Director de Centro Universitario, Coordinador Académico 5. Profesor o Profesora

11

A base de los análisis realizados se llega a las siguientes conclusiones:

1. Los ítemes seleccionados del instrumento miden un solo constructo; o sea la dimensión construida es unidimensional.

2. Los ítemes seleccionados tienen validez de constructo, confiabilidad e índices de discriminación que cumplen con los estándares de construcción de prueba.

3. El constructo bajo estudio calidad se puede medir con precisión con 14 ítems.

4. No existe traslapo entre los ítems del instrumento.

Recomendaciones

1. Administrar el instrumento de 14 ítems.

2. Evaluar los resultados de la administración del instrumento cada tres años.

3. Revisar profundamente el instrumento cada tres años.

12

Referencias Althouse L. A. (1998). Test development: Ten steps to a valid and reliable

certification exam. A paper presented to the National Medical Examiners convention.

Anastasi, A. y Urbina, S. (1997). Psychological Testing (7ª ed.). Englewood Cliffs, NJ: Prentice-Hall.

Andújar, R. (1997). Informe preliminar de los hallazgos psicométricos realizados al Cuestionario de Satisfacción Estudiantil de la Universidad Interamericana de Puerto Rico. Vicepresidencia de Asuntos Académicos. San Juan, PR: Universidad Interamericana de Puerto Rico.

Burga A. (2005). La unidimensionalidad de un instrumento de medición: Perspectiva factorial. Recuperado de http://www2.minedu.gob.pe/umc/admin/images/publicaciones/artiumc/2.pdf el 9 de noviembre de 2010.

Cleary, T. (2005). Indicators of quality in planning for higher education. A SCUP Portfolio. Ann Arbor, MI.

DeVellis, R.F. (1991). Scale Development: theory and applications (Applied Social Research Methods Series, Vol. 26). Newbury Park: Sage.

Ebel, R. L. (1965). Measuring educational achievement. Englewood Cliffs, NJ: Prentice-Hall

Field, A. (2005). Discovering statistics using SPSS (2nd ed.) Thousand Oaks, CA: Sage.

Hair, J. F. Jr., Black, W. C., Babin, B. J., Anderson, R. E., & Tatham, R. L. (2006). Multivariate data analysis (6th ed.). Upper Saddle River, NJ: Pearson/Prentice Hall.

Kline, P. (2000). Handbook of psychological testing (2nd Ed.). NY: Routhledge.

Nunnally, J. C., & Bernstein, I.H. (1994). Psychometric theory (3rd ed.) New York: McGraw Hill.

Pedhazur, E.J. and Pedhazur Schmelkin, L. (1991). Measurement, Design, and Analysis: An Integrated Approach. Hillsdale, NJ: Lawrence Erlbaurm Associates Publishers.