De todos es sabido que el desarrollo de lasociedad actual depende cada vez más decomponentes intelectuales como la forma-ción, la especialización o el conocimiento.Es por este motivo por el que la educaciónde postgrado, la cual representa el nivelmás alto y reciente de la educación supe-rior actual, se está constituyendo poco a

poco en un factor esencial del desarrollointegral del ser humano y la sociedad.

En los últimos años, han proliferado entodo el mundo los estudios de postgrado,siendo cada vez más las universidades einstituciones privadas que incorporan estaetapa educativa superior. De igual modo,las áreas o campos de estudio en que éstos

315

(*) Universidad de Sevilla

LA EVALUACIÓN DE LOS ESTUDIOS DE POSTGRADODE LA UNIVERSIDAD DE SEVILLA

Mª ÁNGELES LÓPEZ ROMERO (*)

RESUMEN. Este artículo resume un estudio centrado en la evaluación de los títulos pro-pios de la Universidad de Sevilla, cuya finalidad principal es identificar los aspectosque influyen en su calidad. En la primera parte, se realiza un amplio recorrido por lossistemas de postgrado y los procedimientos utilizados para evaluarlos en diferenteslugares del mundo. La siguiente sección describe el proyecto evaluativo y los puntosfuertes y débiles encontrados. Se seleccionaron seis títulos pertenecientes a diferen-tes áreas de conocimiento para evaluarlos en profundidad, según el modelo evaluati-vo de Stake. La recogida de datos incluye la revisión de los diseños de los programasy la aplicación de cinco instrumentos de diferente naturaleza. En la última parte, sepresentan algunas recomendaciones para la mejora de estos cursos, entre las que seincluye la propuesta de un modelo de evaluación para las futuras ediciones.

ABSTRACT. This article summarises a study focused on the evaluation of postgradua-te programs offered at the University of Seville, the main aim of which is to identifythose aspects that have an influence on the quality of the same. The first sectionexamines the main characteristics of the postgraduate systems in a number of diffe-rent countries and the methodologies used to evaluate them. The next section des-cribes the evaluation research project carried out, and the strengths and weaknessesfound. Six programs belonging to different fields were selected to be assessed indepth, according to the Stake Evaluation Model. Data gathering activities includedreviews of course offerings and degree requirements, and the administration of fivedifferent instruments. Finally, some recommendations for further development areprovided, including an evaluation design for future editions.

Revista de Educación, núm. 334 (2004), pp. 315-345

Fecha de entrada: 13-05-2002 Fecha de aceptación: 10-02-2003

se desarrollan van también en progresivoaumento, surgiendo así cada año nuevastitulaciones que generalmente responden alas necesidades de formación y especializa-ción existentes en el mercado laboral.

Son los países más industrializados losque cuentan con mayor tradición en estetipo de enseñanzas, si bien otros menosdesarrollados van incorporando progresi-vamente en sus sistemas educativos estetipo de formación avanzada, aunque, enun principio, lo hagan tomando comomodelo los sistemas de postgrado de lospaíses avanzados, siendo conscientes entodo momento de que han de adaptar laeducación que en ellos ofertan a las carac-terísticas de su propio contexto social, polí-tico y económico.

Es por todo lo anteriormente dicho porlo que se hace necesario conocer lasrepercusiones que este desarrollo masivode la educación de postgrado está tenien-do en el mundo entero. Si bien en deter-minados países cuentan ya con una cultu-ra bastante asentada de evaluación de susprogramas educativos superiores, en otrosaún no han emprendido procesos riguro-sos y sistemáticos que tengan como finali-dad la valoración de las acciones formati-vas que llevan a cabo y la consecuentemejora de las mismas, a pesar de ser total-mente conscientes de ello. Son los paísesmás desarrollados, como EE.UU. o algunospaíses europeos, los pioneros en el des-arrollo de procesos evaluativos de sus sis-temas de educación, encontrándose otros,como es el caso del continente latinoame-ricano, en el punto inicial de partida, sintener todavía muy claro qué camino seguiry reproduciendo los modelos evaluativosseguidos en otros ámbitos que cuentancon mayor tradición.

Siendo tan importante la repercusiónque este nivel formativo está teniendo tan-to en el aspecto económico, cultural ysocial, creemos en la conveniencia de quela educación que en éste se oferta sea demáxima calidad, para lo cual es imprescin-

dible emprender procesos encaminados ala valoración de todos los componentesque forman parte de las enseñanzas depostgrado, procesos que, por un lado, sedirijan a rendir cuentas del tiempo, esfuer-zo y dinero que en este nivel educativo seinvierte y, por otro, conduzcan a la mejoray al aumento de la calidad de la formaciónque desarrollan.

LA EDUCACIÓN DE POSTGRADOEN EL MUNDO

Los primeros cursos de postgrado apare-cieron en EE.UU. a comienzos del siglo XXbajo la denominación de Máster y busca-ban completar los estudios de su breveciclo universitario de tan sólo cuatro años.En los años 60, el modelo americano escopiado en alguno países de Europa y,posteriormente, la educación de postgradose ha extendido progresivamente a todo elmundo, rebasando las fronteras universita-rias. Ante la revolución tecnológica, estaactividad académica se va convirtiendocada vez más en el instrumento clave parael desarrollo científico, técnico y social(Morles, 1997).

En los últimos años del siglo XX, laactividad mundial de postgrado se ha lle-vado a cabo en unas 5.000 instituciones enlas cuales realizan estudios avanzados másde 4.200.000 de profesionales. De esta can-tidad, un 80% corresponde a los diez paísesmás industrializados y apenas un 20%, a los190 restantes, lo que quiere decir que, eneste sector, como en tantos otros, existeuna gran desigualdad entre los países(Morles, 1997).

EE.UU. es uno de los países con mayorvar iedad de estudios de postgrado(http://www.dices.com/int_paises.html).De entre ellos destacamos los masters, loscuales pueden ser de dos tipos: Programasde investigación (Research Master) y Pro-gramas profesionales o basados en la prác-tica (Professional Master), cuyo objetivo es

316

la aplicación profesional de los conoci-mientos adquiridos. De otra parte, tambiéncuentan con el Doctorado, que es el tercery más alto nivel dentro de la educaciónsuperior estadounidense, y los programaspostdoctorales, para aquéllos que han supe-rado los estudios de doctorado y deseancompletar su formación. Otros títulos depostgrado son: Fisrt Professional Studies yIntermediate Graduates Awards.

En Europa, la diversidad de los siste-mas educativos hace difícil ofrecer una úni-ca definición de estudios de postgrado. Uncurso denominado «de postgrado» en unpaís puede no ser aceptado como tal enotro. De este modo, la tipología de estoscursos varía en función del sistema educa-tivo y la tradición de cada país (Fedora,2000). Sin embargo, existen tres modelosque son predominantes, considerándose elresto una reproducción de los mismos.Pasemos a describirlos brevemente:

En el Reino Unido, los estudios de pos-tgrado se estructuran en tres niveles (Círcu-lo de Progreso, 2000):

� Certificados y Diplomas, especializa-dos en áreas muy específicas.

� Máster: este título es impartido porlas univeridades. Dentro de los mis-mos, podemos distinguir entre: 1.Taught courses. Son programasorientados hacia la especialización yla teoría. 2. Research courses. Se tra-ta de programas orientados hacia lainvestigación.

� Doctorado: Es el título más alto.

En Francia, se pueden cursar diferentestipos de estudios de postgrado, algunos deel los or ientados a la invest igación(DEA/DRT, Doctorado, Grado post-docto-ral). También existen los Estudios de Espe-cialización, dirigidos al desarrollo de unadeterminada profesión (Círculo de Progre-so, 2000).

En Alemania, existen dos niveles den-tro del sistema de postgrado (http://www.dices.om/int_paises.html):

� Promotion (Doctorado). Es la vía tra-dicional de los estudios de postgra-do, a la que tienen acceso, en princi-pio, los poseedores de cualquiertítulo de segundo ciclo.

� Postgraduale Studiengänge (Estu-dios de perfeccionamiento). Algu-nos centros de enseñanza ofrecenestos nuevos programas de postgra-do, de fuerte contenido internacio-nal. No existe en este país una tradi-ción de estudios de postgrado dife-rentes al doctorado, pero, poco apoco, se empiezan a ofrecer progra-mas al estilo americano, que persi-guen la especialización del candida-to a través de la investigación.

En la mayoría de los Países latinoame-ricanos, los estudios de postgrado seestructuran en tres niveles (Círculo de Pro-greso, 2000):

� Cursos de Especialización, que pro-fundizan en un campo muy determi-nado.

� Doctorado. Supone el nivel más altoy prepara para la investigación y laactividad científica.

� Magister o Maestría. Son estudios dedos años de duración con orienta-ción a la práctica profesional. Lamodalidad de maestría es la queregistra el porcentaje más elevado(alrededor del 65%) del total dealumnos de postgrado.

En América Latina, la formación depostgrado cuenta con apenas 50 años deexistencia y los orígenes de la misma sesitúan más en la copia y reproducción deotros modelos que en la necesidad de res-ponder a demandas sociales. Por ello, laformación de postgrado adolece de ciertasdeficiencias, entre las que destacan queconstituye una actividad marginal, con unimpacto social muy reducido; es económi-camente costosa, para el Estado, las institu-ciones de educación superior y los estu-diantes; su rendimiento es bajo en términos

317

de graduados; su demanda es sumamenteescasa; su presencia está mal distribuida,desde el punto de vista geográfico, profe-sional y de niveles de estudio, etc. (Morles,1997).

A pesar de todas estas trabas, la educa-ción de postgrado en Latinoamérica estáexperimentando actualmente una rápidaexpansión y crecimiento.

En España, cada año, el número decursos de postgrado va en aumento, sur-giendo así nuevas titulaciones dentro detodas las áreas de conocimiento. Dentro dela universidad española existen dos gran-des grupos de estudios de postgrado:

� Doctorado. Está orientado a la inves-tigación y su objetivo suele ser acce-der a la docencia.

� Títulos Propios. Tienen una orienta-ción más práctica que los anteriores.Son estudios que no tienen carácteroficial, ya que en España no existeuna legislación oficial que los regule,a excepción de un convenio interu-niversitario al que se acogen lamayor parte de las universidades.Por este motivo, existe una grandiversidad en los requisitos y estruc-tura de los programas, variando enfunción de la institución que losoferta. Los tipos de títulos que regu-la este convenio son (http://www.educaweb.com/esp/secciones/mas-ters/tipo.asp): Máster universitario,Especialista universitario, Diplomade postgrado y Experto universitario.

LA EVALUACIÓN DE LOS ESTUDIOSDE POSTGRADO

La evaluación de los programas de postgra-do universitarios es un campo de investiga-ción reciente en su alcance mundial, si bienexisten notables diferencias en función delcontexto económico y político en queestos procesos tienen lugar. Mientras enpaíses como EE.UU. existe una consolidada

cultura evaluativa de sus títulos máster ylos procesos de evaluación se han conver-tido en una actividad consustancial a susacciones formativas, en España o AméricaLatina las circunstancias son diferentes,encontrando así una gran ausencia de estu-dios dirigidos a evaluar la calidad de estenivel educativo, a la vez que importantesdeficiencias.

En este apartado presentamos cómo selleva a cabo en la práctica la evaluación deprogramas de postgrado en diferentes con-textos sociales, políticos, económicos yacadémicos.

En EE.UU., existen actualmente dife-rentes estrategias encaminadas a evaluar lacalidad de la educación superior, basadasla mayoría en medidas de reputación. Noobstante, se piensa que estas medidas noson adecuadas por no realizar ningúnesfuerzo por evaluar el valor añadido, esdecir, el aprendizaje real de los estudiantes(Douglas, 2001).

A partir de los años 90 empieza a aco-meterse la evaluación de los programasmáster, centrándose el interés en los pro-gramas profesionales, dadas sus peculiari-dades y diferencias con los masters tradi-cionales y los cursos de doctorado. Ade-más, actualmente existen en EE.UU. seisagencias regionales de evaluación de laeducación superior y de postgrado, ynumerosas agencias profesionales y disci-plinares (Glazer, 1988).

Las nuevas tendencias evaluativas eneste país están encaminadas a la evalua-ción de experiencias académicas novedo-sas, como la educación a distancia, quehacen uso de métodos de enseñanza inno-vadores (Borchert, 1994).

En los párrafos siguientes presentare-mos brevemente un análisis de las princi-pales características encontradas en dife-rentes estudios centrados en la evaluaciónde programas máster. La revisión de unconjunto de investigaciones destinadas amedir la calidad de este nivel educativonos ha permitido identificar una serie de

318

aspectos comunes a todas ellas, así comootros que varían en función de la naturale-za de cada estudio.

� Objetivos de las evaluaciones

¿Qué hay de común en las finalidadesperseguidas por estos estudios evaluativos?En todos ellos se persigue la consecuciónde tales metas:

� Valorar la efectividad de los progra-mas: evaluación sumativa.

� Proporcionar feedback a los distintoscolectivos implicados en los progra-mas.

� Identificación de los puntos fuertes ydébiles.

� Identificación de las necesidades delos usuarios.

� Introducir cambios y mejoras allídonde se necesitan.

� Fuentes de información

De entre todos los colectivos de losque se solicita información para llevar acabo la evaluación de los distintos aspectosde los programas, el más citado en la litera-tura es, sin duda alguna, el de los alumnosegresados. Se trata de pedir a alumnos gra-duados en promociones anteriores quevaloren distintos aspectos de los programasy que respondan a una serie de cuestiones.Este tipo de encuestas proporciona la basenecesaria para determinar hasta qué puntolos conocimientos y habilidades adquiridosdurante el desarrollo del programa secorresponden con los requeridos en ellugar de trabajo (Delaney, 1995).

Una segunda fuente de información laconstituyen los estudiantes matriculadosen los programas en el momento de reali-zar la evaluación. A éstos se les puedepedir que valoren sus propias habilidadesy conocimientos (autoevaluación), o bienque muestren el grado de satisfacción conlos diferentes aspectos del programa. Enmenor medida, también se requiere el pun-to de vista de los profesores que impartenclases en estos cursos, solicitándoles que

evalúen a sus estudiantes en las distintascompetencias que se trata que adquieran.

En los programas máster profesionalesen los que es un requisito obligatorio quelos alumnos realicen prácticas durante unperiodo de tiempo determinado, se suelerequerir también la opinión de los profeso-res mentores o supervisores de prácticas.Así, se pide a éstos que valoren la capaci-dad de los alumnos para aplicar en la prác-tica los conocimientos adquiridos en el cur-so (Cambone et al., 1996). Finalmente, hayinvestigaciones que incluyen entre susprincipales fuentes de información a losempleadores reales y potenciales de losalumnos de un determinado programamáster.

� Procedimientos de recogida dedatos y aspectos frecuentementeevaluados

La técnica de recogida de datos a la quemás se recurre es la encuesta, que en lamayoría de las ocasiones está constituidapor una serie de ítems cerrados y un con-junto de preguntas abiertas. Una revisión dediversas encuestas nos ha permitido identi-ficar los aspectos de los programas más fre-cuentemente sometidos a evaluación:

� Formato: calendario de las sesionesy horarios.

� Contenidos: relevancia de los distin-tos temas incluidos en el curriculum,equilibrio teoría-práctica.

� Métodos de aprendizaje.� Métodos de evaluación.� Infraestructura y recursos.� Profesorado y calidad de la instruc-

ción (tareas y proyectos asignados).� Servicios de apoyo y orientación al

alumno.� Ambiente de aprendizaje, ambiente

intelectual.� Prácticas profesionales.� Resultados.

Del mismo modo, las secciones desti-nadas a la descripción y valoración de las

319

experiencias profesionales de los alumnosgraduados en ediciones anteriores tienencomo objetivo evaluar en qué medida elprograma máster prepara a los estudiantespara la práctica profesional.

Cuando el colectivo interrogado sonlos empleadores de los alumnos que yaacabaron sus estudios de postgrado, lasencuestas suelen centrarse en la evaluaciónde la capacidad de éstos para aplicar en lapráctica los conocimientos adquiridos en elcurso.

Otras técnicas de recogida de datosmucho menos usuales son las listas de con-trol, las evaluaciones narrativas, el portfo-lio (para la autoevaluación del aprendizajede los alumnos) y las entrevistas en pro-fundidad. En el caso de los masters virtua-les, se lleva a cabo una evaluación de lossitios web empleados y de las formas decomunicación entre profesores y estudian-tes.

En Europa, las evaluaciones de las ins-tituciones de educación superior empiezana ser frecuentes a mediados de los años 80.Actualmente, de forma paralela a los pro-cedimientos evaluativos nacionales, encua-drados dentro del Proyecto Europeo parala Evaluación de la Calidad de la EducaciónSuperior, las instituciones han iniciado eva-luaciones externas, llevadas a cabo pororganizaciones profesionales.

En algunos países europeos, sólo lasuniversidades propiamente dichas son obje-to de evaluación; éste es el caso de Francia,Portugal o España. En otros países, tanto lastitulaciones universitarias como otros nive-les educativos superiores (formación depostgrado, entre otros) forman parte delfoco central de evaluación, como es el casodel Reino Unido y de Dinamarca. Finalmen-te, hay países que han establecido mecanis-mos de evaluación diferenciados para lastitulaciones universitarias y para otros nive-les superiores (Centre for Quality Assuranceand Evaluation of Higher Education, 1998).

La metodología utilizada en la evalua-ción de la calidad de la educación superior

descansa en los siguientes elementos: auto-evaluación, visita de expertos especialistas,informe de evaluación y seguimiento.

En la actualidad, la evaluación de lacalidad de la educación superior en Europase está convirtiendo en un proceso interna-cional, dejando de ser concebida como unasunto interno de un país y considerándo-se como una rendición de cuentas mutua.

En los Países latinoamericanos, el tipode evaluación predominante en la educa-ción de postgrado es la acreditación, siste-ma de evaluación institucional que permiteejercer un control de calidad académica.Aún reconociendo la importancia atribuidaa la evaluación institucional durante lasúltimas décadas, tal preocupación ha esta-do centrada en los programas de pregrado.De este modo, la evaluación de los estu-dios de postgrado no ha recibido el mismonivel de atención, presentando así incon-venientes como: ausencia de una defini-ción precisa del proceso de evaluación;ambigüedad y falta de claridad de los obje-tivos; carencia de instrumentos rigurosa-mente elaborados; utilización incompleta oinadecuada de la información obtenida,etc. (Salcedo, 1997).

Ante tales problemas, se impone, en elconjunto de los países latinoamericanos, lanecesidad de generar marcos de referenciateórico-conceptuales, así como métodos einstrumentos que permitan abordar losprocesos implicados en una evaluacióninstitucional con probabilidades de éxito(Salcedo, 1997).

En España, en diciembre de 1995 seaprueba el Plan Nacional de Evaluación dela Calidad de la Educación Superior, en elque participan de forma voluntaria tantouniversidades públicas como privadas. Sinembargo, esta concienciación generalizadade la necesidad de evaluar la calidad no seha extendido aún a la formación de pos-tgrado. En este sentido, en la convocatoriadel I Plan Nacional no se incluye nada enrelación con la evaluación de los títulospropios universitarios; no obstante, uno de

320

los objetivos del II Plan de abril de 2001hace referencia al establecimiento de unsistema de acreditación que abarque la for-mación de postgrado.

Aún así, todavía queda mucho caminopor recorrer; la atención prestada al nivelde Tercer Ciclo en España (doctorados ytítulos propios) ha sido y sigue siendo muyescasa. Tanto por parte de la Administra-ción como de los investigadores del siste-ma universitario, este nivel educativo hasido prácticamente ignorado.

A continuación, presentamos dosinvestigaciones llevadas a cabo en nuestropaís para evaluar títulos máster. Los mode-los de evaluación seguidos en éstas pue-den servir como prototipos para llevar acabo procesos evaluativos en otros contex-tos y con otro tipo de cursos de postgrado,realizando siempre las adaptaciones ymodificaciones oportunas.

� Modelo de evaluación de másters ypostgrados de la División de Cien-cias de la Educación de la Universi-dad de Barcelona

La división de Ciencias de la Educaciónde la Universidad de Barcelona plantea ylleva a la práctica un modelo de evaluaciónque trata de responder a las necesidadespropias de sus programas de formaciónpostuniversitaria (másters y postgrados). Elconcepto de «evaluación de calidad» delque parten los autores del modelo se basaen la determinación de las necesidades delos demandantes, en el diseño de curricu-lums apropiados, en la optimización de losrecursos existentes, en el conocimiento delgrado de satisfacción de los usuarios, en lavaloración de la repercusión laboral deestos cursos, para, finalmente, establecerunos estándares aceptables y presentarpropuestas de máxima calidad para laaprobación o continuidad de un cursodeterminado (Cabrera, 1998).

Partiendo de esta base, establecen unmodelo de evaluación que se estructura entorno a tres niveles:

� Nivel institucional (departamento,división y universidad). Se trata deresponder a las necesidades deinformación de los departamentos yde la división, para poder controlarla calidad de los programas que pro-mueven.

� Dirección y gestión del programa. Setrata de detectar posibles deficien-cias del programa y recoger pro-puestas de mejora.

� Acreditación externa. Se trata degarantizar la calidad del programa ysu adecuación a las necesidades dela sociedad, sobre todo en el entor-no profesional y laboral en el que seinserta.

Las áreas y contenidos de evaluaciónestablecidos se dividen en dos grandesbloques: áreas cualitativas y áreas cuantita-tivas. Por lo que respecta a las primeras,son dimensiones de la evaluación: objeti-vos y contenidos, alumnado, metodologíade enseñanza, docencia, sistema de eva-luación, recursos físicos y materiales y pro-yección al exterior. En cuanto a las áreascuantitativas, el objeto de evaluación secentra en: flujo de alumnos e índice de efi-ciencia, actividad docente y recursos utili-zados.

En este modelo de evaluación se consi-deran básicas para la recogida de informa-ción las siguientes fuentes:

� El programa, como un documentoque recoge la conceptualización yplanificación del máster o postgradoen cuestión.

� El director del programa, como res-ponsable fundamental de la configu-ración y gestión del mismo.

� El profesorado con responsabilidaden la coordinación de los módulos,en la docencia de clases teóricas oen la orientación de los proyectos.

� El propio alumnado que cursa elmáster o postgrado.

� Los ex-alumnos.

321

Del mismo modo, diversos son los ins-trumentos de recogida de datos que se uti-lizan:

� Evaluación de propuestas de mástersy postgrados.

� Cuestionario de evaluación de asig-naturas/módulos.

� Cuestionario de evaluación globaldel programa.

� Sesión de evaluación con el alumna-do, mediante la que se obtiene unainformación más descriptiva y cuali-tativa.

� Autoinforme de evaluación del pro-fesorado.

� Cuestionario de evaluación postpro-grama, que tiene la finalidad deconocer el valor del máster o pos-tgrado en el mundo profesional.

� Sesión de revisión del programa. Setrata de una reunión de trabajo conlos representantes de las personasdirecta e indirectamente implicadasen el programa.

� Informe de la dirección.

� Modelo de evaluación de los postgra-dos de la Universidad de Valencia

En el año 1991, en la Universidad deValencia, se aprueba una Normativa dePostgrado en la que se establece que lostítulos de postgrado serán evaluados perió-dicamente por dicha Universidad, señalán-dose que sus resultados serán utilizadospara decidir acerca de su continuidad. Estoconduce a que se ponga en marcha un sis-tema de evaluación que desarrolle el cum-plimiento de esta normativa (Pérez Carbo-nell, 1998).

En el sistema propuesto, el objeto deevaluación lo constituyen los programasde postgrado que imparte la Universidadde Valencia. Específicamente, se trata devalorar diferentes aspectos de los mismos:adecuación administrativa, calidad acadé-mica, organización, profesorado, materia-les, logro de objetivos, utilidad del progra-ma.

La evaluación de dichos programas depostgrado tiene una doble finalidad:

� Por un lado, la rendición de cuentasde los programas individuales.

� En segundo lugar, la mejora de cadaprograma.

La recogida de información se lleva acabo transcurrido el 80% de la duración delos cursos y se basa en la administración decuestionarios a los siguientes colectivos:

� Estudiantes, cuyas opiniones se utili-zan como indicadores de satisfac-ción (aspectos de organización ydesarrollo del programa).

� Coordinadores (gestión del progra-ma).

� Personal de Administración y Servi-cios.

La propuesta de evaluación planteadase desarrolló en dos etapas en las que sedepuraron los instrumentos y se identifica-ron los elementos del sistema de evalua-ción que podían ser utilizados para ladetección de problemas y la mejora de losprogramas, tanto individualmente comoconsiderados a nivel global:

Estudio I. Se trata de una fase de carác-ter experimental que incluyó todos los pos-tgrados en los que los coordinadores mani-festaron la voluntad de someter su progra-ma a evaluación.

Estudio II. Entre los objetivos concretosplanteados en esta segunda fase del pro-yecto están:

� Extracción de una primera valora-ción de cada programa.

� Aproximación a la problemática deldesarrollo de los programas.

� Determinación de un sistema deestándares.

� Análisis de la funcionalidad del siste-ma de evaluación, etc.

Ambos modelos de evaluación presen-tados están en consonancia con los plantea-mientos actuales de nuestro país en materia

322

de evaluación de programas, encuadradosdentro de perspectivas que asumen y apo-yan la doble finalidad formativa y sumativade los procesos evaluativos; estas caracte-rísticas les permiten diferenciarse de losmodelos tradicionales, cuyos únicos objeti-vos se dirigían a la determinación de laefectividad de los programas para tomardecisiones a nivel administrativo.

La necesidad de evaluar la calidad delos títulos propios universitarios en Españaqueda argumentada, entre otras, por lassiguientes razones (Contreras, 1996):

� Los títulos propios universitarios sediferencian claramente de las licen-ciaturas y diplomaturas.

� La gran proliferación de este tipo deestudios en los últimos años.

� Las expectativas sociales y profesio-nales de los alumnos no responden,en muchas ocasiones, a la realidadde la oferta.

� El elevado coste que suponen parael alumno.

� En muchos casos, es posible conva-lidar los estudios de postgrado porcréditos de doctorado, lo querequiere unas garantías mínimas decalidad.

Todas estas razones y muchas más jus-tifican la necesidad actual y la convenien-cia de emprender procesos evaluativosdirigidos a valorar y mejorar la calidad deeste nivel educativo, cuya incidencia en elmundo social y laboral es cada vez máscreciente. Estas razones nos condujeron aemprender una evaluación de los títulospropios que se ofertan en la Universidadde Sevilla.

DISEÑO DE EVALUACIÓN

El trabajo de evaluación presentado aquí secentra en los títulos propios ofertados porla Universidad de Sevilla durante el bienio1999-2001, en sus modalidades de Máster

(han de tener un mínimo de 50 créditos ysuelen durar dos cursos académicos) yTítulo de Experto (deben constar de almenos 25 créditos y su duración suele serde un curso académico).

OBJETIVOS

En cuanto a los objetivos de la evaluación,nos planteamos los siguientes:

� Enjuiciar el mérito y el valor de lostítulos propios de la Universidad deSevilla.

� Realizar una valoración del impactode estos estudios en el mundo labo-ral.

� Realizar propuestas para la mejora yel buen funcionamiento de los Más-ters y Títulos de Experto.

� Diseñar un sistema de evaluaciónpara las ediciones futuras de estostítulos propios.

� Facilitar información para ayudar ala futura toma de decisiones sobre laorganización y el funcionamiento deestos estudios.

PROCESO QUE ES PRECISO SEGUIR

Para responder a los objetivos planteados,este proyecto se realiza según un plan quetiene dos fases distintas:

Fase Extensiva: Selección de la Muestrade Títulos Propios

Ante la imposibilidad de llevar a cabo unaevaluación en profundidad de todos lostítulos propios desarrollados en el bienio1999-2001, decidimos seleccionar unamuestra de los mismos que fuese lo másrepresentativa posible del conjunto de titu-laciones. Para ello, se ha recurrido a la uti-lización de técnicas estadísticas descripti-vas y multivariantes, en concreto al Análisis

323

de Correspondencias Múltiples, con elobjetivo de definir tipologías de titulacio-nes que permitan describir de un modoresumido las distintas formas de desarrollarlos estudios de postgrado existentes en laUniversidad de Sevilla. Por tanto, el tipo demuestreo utilizado es un muestro estratifi-cado, basado en la representatividad de lamuestra con respecto a la estructura de lapoblación y, en segundo lugar, es un mues-treo deliberado dentro de cada factor. Vea-mos detenidamente cuál fue el procesoseguido.

En un primer momento, recogimosinformación descriptiva a partir de lasmemorias académicas que han de formali-zarse para la puesta en marcha y acepta-ción de los cursos. Del análisis de los datosobtenidos en esta fase, se obtiene una des-cripción de las características diferencialesde las titulaciones de postgrado, y sobre labase de esas diferencias se seleccionanaquellas titulaciones que formarán parte dela muestra en la fase siguiente.

Fueron examinadas un total de 92 titu-laciones de postgrado: 30 correspondientesa títulos Máster y 62, a títulos de Experto.Para la recogida de datos de esta fase se lle-vó a cabo un estudio pormenorizado de losdiferentes rasgos más relevantes que carac-terizan estos cursos: área de conocimiento,unidad organizadora, prueba de admisión,sistema de evaluación, número de créditos,precio del crédito, mínimo y máximo deplazas, entidades colaboradoras, etc. Dichainformación, como ya hemos dicho, seencuentra recogida en las Memorias Aca-démicas y Económicas que los organizado-res de cada uno de los cursos deben cum-plimentar y remitir al Vicerrectorado deTercer Ciclo para su aprobación.

De forma resumida, los pasos que sesiguen para seleccionar la muestra de titu-laciones a evaluar fueron:

� Identificación y recogida de datosacerca de los rasgos que caracteri-zan a los diferentes estudios de pos-tgrado (fase de recogida de datos).

� Estudio de las relaciones estructura-les que se establecen entre las dis-tintas titulaciones de acuerdo con lascaracterísticas consideradas, a travésdel análisis de correspondenciasmúltiples.

� Clasificación de las titulaciones enfunción de su proximidad en elespacio estructurado por las caracte-rísticas de las mismas.

� Segmentación de la población en unnúmero determinado de clases, detal manera que la homogeneidaddentro de cada clase resultante seaóptima al tiempo que las clases seanlo más diferente posible entre sí.

� Determinación del perfil de titula-ciones incluidas en cada clase. Setrata de identificar qué rasgos estánespecialmente asociados a las titula-ciones incluidas en cada una de lasclases.

� Selección de casos representativosde cada clase. Conociendo el perfilcaracterístico de las titulaciones decada clase, basta con elegir casosque se adecuen al perfil de éstas.

Fase intensiva

La segunda fase, de carácter intensiva, tie-ne como finalidad profundizar en las carac-terísticas de los distintos títulos selecciona-dos en la fase anterior, recogiendo paraello información tanto descriptiva comovalorativa a partir de diversas fuentes: esca-las a alumnos y profesores, cuestionarios aalumnos egresados, entrevistas a los direc-tores, observaciones de clase, programasde los cursos y otros documentos.

Para llevar a cabo esta evaluaciónintensiva, nos hemos ajustado al modelode evaluación respondiente de Stake,encuadrado dentro de los denominadosmodelos subjetivistas. Pensamos que es unmodelo adecuado porque utiliza procedi-mientos de recogida de datos que recopilan

324

información de diferente naturaleza (cuan-titativa y cualitativa) y de distintas fuentes,y hace partícipes en los procesos evaluati-vos a todos los implicados en los progra-mas. Así, de acuerdo con este modelo, seha recopilado información de tres aspectosbásicos: antecedentes, procesos y resulta-dos. Por «antecedentes» se entienden lascondiciones existentes antes de la puestaen marcha de la titulación, dentro de loscuales situamos aspectos relativos al con-texto de los diferentes cursos. Los «proce-sos» aluden a la interacción que se desarro-lla en el seno de un programa. Finalmente,dentro de los «resultados» se incluyen loslogros obtenidos al finalizar la titulación depostgrado. De otro lado, también se reco-gió información tanto de las «intenciones»,es decir, todo aquello que se planifica a la

hora de poner en marcha una titulación, asícomo de las «observaciones», es decir,aquellos antecedentes, procesos y resulta-dos que han sido realmente observados.En la tabla I, podemos ver el tipo de infor-mación que hemos recogido en lo que serefiere a antecedentes, procesos y resulta-dos.

El análisis de toda esta información seha realizado a través del análisis de contin-gencias y el análisis de congruencias,según el modelo de Stake (Stake, 1987). Elprimero de ellos alude al tipo de relacionesexistentes entre las variables del programa,es decir, trata de determinar si los resulta-dos son contingentes a antecedentes con-cretos y procesos instruccionales. El análi-sis de congruencias se utiliza para averiguarsi los propósitos se han cumplido: ¿son con-

325

TABLA ITipo de información a recoger en la matriz de descripción

gruentes los antecedentes observados conlos pronosticados?, ¿se han alcanzado losobjetivos propuestos?; es decir, se trata deanalizar las discrepancias entre los propósi-tos y lo que realmente sucede.

De otro lado, Stake propone en sumodelo evaluativo que también se recojainformación relativa a las normas y los jui-cios. Entendemos por normas aquellos cri-terios explícitos para valorar las excelenciasde una oferta educativa. Los juicios hacenreferencia a las valoraciones que los distin-tos colectivos participantes tienen acerca delos aspectos sometidos a evaluación.

Como términos de comparación,hemos empleado, de acuerdo a dichomodelo de evaluación, dos tipos de refe-rentes:

� Términos de comparación absoluta,entre los que hemos considerado:

� Normativas diversas relativas aestudios de postgrado en España.

� Expectativas o creencias que losdiseñadores/usuarios del progra-ma tienen sobre lo que es/debe-ría ser el programa en cuestión.

� Términos de comparación relativa:tienen que ver con las característicasde estudios alternativos que se creensatisfactorias.

La resolución del diseño de evaluaciónconsta de las siguientes fases:

� Realización de un esquema valorati-vo de los estudios de postgrado.

326

FIGURA IUna representación del proceso para juzgar el mérito de un programa educativo

(Stake, 1973: 121)

327

TABLA IICuadro resumen del diseño de evaluación

Para ello, nos hemos basado en elesquema propuesto por Stake parajuzgar el mérito de un programaeducativo, a partir del cual emitimosuna serie de juicios en base a están-dares extraídos de la revisión deotros programas de postgrado y lasvaloraciones de los grupos de refe-rencia implicados en la evaluación.

En la figura I, podemos ver una repre-sentación del proceso a seguir para valorarlos títulos.

La parte superior izquierda de la repre-sentación muestra la matriz descriptiva dela tabla I. La parte superior derecha repre-senta el conjunto de patrones mediante losque un programa puede juzgarse en unsentido absoluto. Existen múltiples conjun-tos porque existen numerosos grupos dereferencia o puntos de vista. Las matricesde la parte inferior izquierda representanlos programas alternativos con los que elprograma evaluado puede compararse.Cada uno de los estándares o patronesabsolutos, si llegan a formalizarse, indicarí-an niveles aceptables o meritorios para losantecedentes, procesos o resultados.

� En segundo lugar, hemos identifica-do los puntos fuertes y débiles de losestudios de postgrado evaluados.

� Finalmente, hemos realizado unaserie de recomendaciones para laorganización y el buen funciona-miento de estos estudios, entre lasque se incluye la propuesta de unmodelo para la evaluación de lasfuturas ediciones.

Aparte de este diseño general, se reali-zó un diseño específico para cada una delas fases en las que este proyecto se des-arrolla (fase extensiva y fase intensiva). Asímismo, se delimitaron los objetivos, elobjeto de evaluación, los procedimientosde recogida de datos y las técnicas de aná-lisis para cada uno de los grandes aspectossometidos a evaluación, es decir, para losantecedentes, los procesos y los resultados.

En la tabla II, podemos ver un esquemaresumen con estos elementos.

RESULTADOS

FASE EXTENSIVA

La finalidad de la fase extensiva es la deseleccionar la muestra de títulos propiosque entrará a formar parte del estudiointensivo. Para ello, en primer lugar reali-zamos un estudio descriptivo de las carac-terísticas más relevantes de todas las titula-ciones solicitadas en el bienio 1999-2001,como son: área de conocimiento, númerode créditos, subvención externa, númerode plazas, precio del crédito, etc. De las 92titulaciones revisadas, 30 son títulos Mástery 62, títulos de Experto.

En segundo lugar, procedimos a reali-zar una clasificación del conjunto de títulospropios, recurriendo para ello al análisis decorrespondencias múltiples. Como resulta-do, se obtuvieron cuatro grupos diferencia-dos en función de las cuatro grandes áreasde conocimientos de las que proceden. Deeste modo, son las titulaciones del área deCiencias de la Salud aquéllas cuyo coste esmás elevado y que a su vez ofertan menornúmero de plazas. Por otro lado, ésta es elárea que mayor cantidad y variedad de cur-sos ofrece, conduciendo la mayoría deéstos al título de Máster. En segundo lugary de forma contraria al caso anterior, losestudios de postgrado del área de CienciasSociales y Jurídicas son los que cuestanmás baratos. A su vez, del análisis realizadose desprende que, generalmente, la unidadencargada de la organización de estos cur-sos es un centro. El tercero de los grupos esaquél que conforman las titulaciones pro-cedentes del área de Humanidades-Comu-nicación, aquéllas que mayor cantidad deplazas y títulos de Experto ofertan a losalumnos. El último grupo está constituidopor las titulaciones que se encuadran en elárea Científico-Técnica, cuyas característi-

328

cas más relevantes son que no disponen desubvención externa para el desarrollo delos mismos, pero sí cuentan con la partici-pación de colegios profesionales.

Una vez realizada la clasificación de lostítulos propios, procedimos a extraer casosrepresentativos dentro de cada modalidad.De esta manera, seleccionamos un númerode titulaciones que nos permitiera abordarla diversidad existente al mismo tiempoque profundizar en la problemática asocia-da a estos estudios. Así, la muestra quedóconstituida por los títulos que aparecen enla tabla III.

FASE INTENSIVA

Durante la fase intensiva, recogimos infor-mación detallada de los seis títulos selec-cionados mediante el empleo de cinco pro-cedimientos distintos.

Escala a alumnos

El instrumento empleado es una escala tipoLickert que consta de 47 ítems, los cualesse agrupan en 12 dimensiones:

1. Metas y objetivos2. Contenidos

3. Metodología4. Actividades de clase5. Recursos y materiales6. Profesorado7. Evaluación de alumnos8. Estimación de tiempos y horarios9. Ambiente y participación10. Infraestructura11. Gestión12. Valoración final

El alumno ha de responder a cada ítemen función del grado de acuerdo manifes-tado con el mismo, en una escala de 1 a 4,que tiene la siguiente equivalencia:

1: Muy en desacuerdo2: En desacuerdo3: De acuerdo4: Muy de acuerdo

Respondieron a esta escala un total de85 alumnos de postgrado, que se repartenen las 6 titulaciones seleccionadas tal ycomo puede observarse en la figura II. Un66% de estos alumnos trabaja a la vez querealiza estos estudios, y un 7% se dedicaexclusivamente a preparar el título.

Tras realizar un análisis descriptivo decada uno de ellos (media y desviación típi-ca), las puntuaciones más altas correspon-den a los siguientes aspectos: actualización

329

TABLA IIIMuestra de títulos propios

y aplicabilidad de los contenidos, adecua-ción de éstos a la formación previa, domi-nio del contenido por parte del profesora-do y relaciones grupales establecidas. Asímismo, las puntuaciones más bajas corres-ponden a: proporción teoría-práctica, pro-fundización en los temas, coordinaciónentre profesores y puntualidad de losalumnos.

Escala a profesores

Se trata de una escala tipo Lickert con cua-tro alternativas de respuesta entre las quelos docentes deben situarse, al igual que laescala para alumnos. El instrumento secompone de 28 ítems, estructurados en lassiguientes dimensiones:

1. Metas y objetivos2. Recursos y materiales3. Coordinación entre profesores4. Estimación de tiempos y horarios5. Alumnos6. Infraestructura7. Gestión8. Relaciones9. Valoración final

Un total de 60 docentes de postgradocumplimentaron esta escala, distribuidossegún la titulación en la que imparten cla-ses como puede verse en la figura III. Cabedestacar que un 85% de estos docentes sonhombres, mientras que tan sólo un 10% sonmujeres.

Un análisis descriptivo nos permitióidentificar los aspectos que los profesores

330

FIGURA IIPorcentajes de alumnos según la titulación

35%

8%22%

16%

13%6% M. Acupuntura

M. Arquitectura y P.H.

M. Educación Adultos

M. Admón. Pública

E. Gestión Admones. Locales

E. Climatización

FIGURA IIIPorcentajes de profesores según la titulación

29%

5%12%25%

10%12% 7%

M. Acupuntura

M. Arquitectura y P.H.

M. Educación Adultos

M. Admón. Pública

E. Gestión Admones. Locales

E. Climatización

Faltan datos

valoran más y menos favorablemente. Conrespecto a los primeros, destacamos: dispo-nibilidad de recursos y materiales adecua-dos, adecuación de los horarios de clase,adecuación del número de alumnos, nivelde asistencia a clase y gestión administrati-va de Tercer Ciclo. En cuanto a aspectosnegativos, los docentes han indicado: coor-dinación entre profesores, infraestructura ypuntualidad de los alumnos.

Entrevistas a directores

Para recoger información sobre las percep-ciones de los responsables de postgradohemos empleado la entrevista semiestruc-turada. El guión de la misma ha sido idén-tico para los seis directores entrevistados.

La entrevista consta de 30 preguntasabiertas, las cuales se agrupan en torno auna serie de dimensiones:

� Metas y objetivos� Número de plazas de alumnos� Programas� Gestión del profesorado� Coordinación entre profesores� Materiales y recursos didácticos� Infraestructura� Actividades en clase/fuera de clase� Evaluación de los alumnos� Ambiente de clase� Resultados de los alumnos� Evaluación de la titulación

Realizamos entrevistas a los directoresde las seis titulaciones evaluadas, las cualesfueron analizadas mediante un sistema decategorías deductivo-inductivo. Uno de losresultados más interesantes es la identifica-ción de algunos de los factores que, a jui-cio de los entrevistados, están relacionadoscon el éxito y el fracaso de estos estudios.De este modo, encontramos que, para queuna titulación de postgrado tenga éxito, tie-ne que: a) Haber surgido como consecuen-cia de una demanda social, ocasionada porla carencia de formación en un área de

conocimiento determinada; b) establecerlos horarios de clase en días cercanos a losfines de semana; c) contar con subvencio-nes de organismos externos; d) conocer lasdemandas que la especialidad tiene en elmercado laboral; e) establecer un gruporeducido de alumnos; e) muy importantetambién es la actualización de los temariosy el cumplimiento íntegro de los progra-mas; f) en cuanto al profesorado, se consi-dera que la variedad de áreas de conoci-miento y universidades de procedencia esun importante factor. Por otro lado, la cate-goría profesional de los docentes es identi-ficada como una garantía de calidad, asícomo la existencia de un alto número deprofesores que ejercen la especialidad; g)por último, la publicidad y difusión que lapropia universidad realiza de estos estu-dios repercute en su prestigio.

Sesiones de observación

El objetivo básico que nos proponemos alrealizar las observaciones es el de acercar-nos al funcionamiento real de las clasesque se imparten en los títulos de postgra-do, para así poder contrastar y comple-mentar la información observada con losdatos recogidos a través de otras fuentes.

Realizamos un total de 16 sesiones deobservación repartidas en los seis títulospropios evaluados. Para la recogida y elanálisis de la información, hemos emplea-do un sistema cerrado con categorías prefi-jadas, concretamente la lista de control. Através de este instrumento pretendemosdeterminar si ciertas características de lainfraestructura y el desarrollo de las ense-ñanzas están presentes o no en las situa-ciones observadas.

El siguiente guión nos muestra las cate-gorías y subcategorías utilizadas en esteinstrumento.

� Aspectos generales

� Atención al alumnado

331

� Infraestructura� Dotación de espacios� Mantenimiento de edificios y

equipos

� Aspectos específicos

� Condiciones de las aulas� Desarrollo real de las enseñanzas

� Profesor� Alumnos� Material complementario

Por lo que respecta a los aspectosgenerales, cabe destacar que sólo dos delos títulos cuentan con un espacio especí-fico dedicado a tareas administrativas y deatención al alumno. Por otro lado, todoslos cursos requieren un aula de informáti-ca de la que no siempre disponen. Final-mente, son las dos titulaciones ubicadasen centros formativos las que ofrecen asus alumnos la posibilidad de hacer usode una biblioteca y sala de lectura pro-pias.

En lo que se refiere a los aspectosespecíficos de cada sesión observada,podemos decir que las aulas en las que sedesarrollan las clases están acondicionadasadecuadamente y cuentan con los mediosaudiovisuales necesarios.

En cuanto a los métodos de enseñanzaempleados por los profesores, hemosobservado en 13 de las 16 sesiones el usode la lección magistral; el trabajo en gru-pos, el trabajo individual del alumno y lautilización del vídeo han sido métodosregistrados cada uno en una sesión. En cin-co de las 16 sesiones, el profesor recurrió alos debates. Como documentos de apoyopara sus explicaciones, los profesores utili-zan normalmente las transparencias y losapuntes fotocopiados. Sólo en una de lassesiones el docente recurrió al proyectorde diapositivas y en ninguna de ellas se hahecho uso del cañón láser.

En lo que se refiere a los alumnos,hemos observado que, de forma general,se les ofrece pocas oportunidades para laparticipación.

Cuestionario a alumnos egresados

Nuestro propósito con este instrumento esel de conocer, una vez transcurrido ciertotiempo desde la obtención del título, lavaloración que estos alumnos hacen sobrelos cursos que realizaron, así como la situa-ción laboral en la que se encuentran.

Las tres primeras preguntas del cuestio-nario para alumnos egresados nos dan aconocer la situación de éstos en la actuali-dad, así como la utilidad que ha tenidopara ellos la realización de un curso depostgrado. Se trata de tres cuestiones deopción múltiple en las que los encuestadostienen también la alternativa de incluir unarespuesta abierta.

Tras estas tres cuestiones, se presentandos ítems para conocer el nivel de satisfac-ción personal del alumno con el curso rea-lizado y el grado de aplicación prácticapercibido. Se trata de dos preguntas cerra-das tipo Lickert, en las que se pide el alum-no que tome posición en una escala de 1 a5 según las variables mencionadas

Finalmente, se incluyeron tres pregun-tas abiertas dirigidas a conocer la opinióndel alumno egresado sobre el desarrollo delos cursos. En dichas cuestiones, el alumnodebe enumerar los aspectos positivos,negativos y aquéllos que modificaría delcurso realizado.

Respondieron a este cuestionario untotal de 93 sujetos que finalizaron sus estu-dios de postgrado en los años 96 y 97. Enla actualidad, el 68% de estos alumnos seencuentra trabajando, un 23% simultaneael trabajo con algún tipo de estudio, un 5%dedica su tiempo exclusivamente a estu-diar y un 2% se encuentra sin ocupación.

En lo que se refiere a los resultadosrelativos al impacto, es decir, a la repercu-sión de estos estudios en el mercado labo-ral, a un 12,9% de la muestra de sujetos laobtención del título de postgrado les haconducido a la consecución de un puestode trabajo y a un 20,4% les ha llevado alograr mejoras y promociones dentro del

332

puesto que ya ocupaban. Por otro lado,cabe destacar que un 73,1% de los sujetosbasa la utilidad del curso en la ampliaciónde conocimientos. En cuanto al nivel de

aplicación práctica que los alumnos confie-ren al curso realizado, un 46% opina queéste es bajo. Los dos gráficos que aparecena continuación muestran estos datos.

333

FIGURA IVNivel de utilidad otorgado al curso realizado

FIGURA VAplicación práctica conferida al curso realizado

Finalmente, estos alumnos destacancomo uno de los principales aspectos posi-tivos de los cursos realizados el estableci-miento de relaciones sociales y contactosprofesionales. Como aspectos negativosresaltan la escasez o inexistencia de activi-dades prácticas, el predominio de las clasesteóricas y la falta de coordinación entreprofesores.

Desarrollo del esquema comparativo

Una vez extraídos los primeros resultadosmediante el análisis de los cinco instru-mentos de evaluación empleados, lleva-mos a cabo un estudio comparativo paraponer en relación las diferentes informa-ciones recopiladas sobre los antecedentes,procesos y resultados de los títulos propios

evaluados. Para ello, procesamos los datossiguiendo el modelo evaluativo de Stake,aplicando lo que este autor denomina «aná-lisis de contingencias» y «análisis de con-gruencias».

Análisis de la contingencia lógica entreantecedentes, procesos y resultadosesperados

En un primer tipo de análisis, examinamosel grado de concordancia entre los resulta-dos que se esperan conseguir, los procesosplanificados y los antecedentes previstos.Para ello, revisamos detenidamente cadauno de los programas de los seis títulospropios que forman parte de nuestro estu-dio evaluativo, tratando de determinar lacoherencia interna entre los distintosaspectos que se plantean en los mismos(objetivos, metodología a emplear, númerode alumnos, destinatarios, profesorado,etc.).

Un primer análisis comparativo generalmuestra que los antecedentes previstos, losobjetivos de los cursos y el desarrollo espe-rado de los mismos son lógicamente con-tingentes. Así, los procesos previstos paraestos estudios parecen estar dentro de lamisma lógica didáctica y organizativa quelas condiciones planificadas previas a suimplantación y las finalidades que persi-guen aquéllos que los han diseñado.

Como conclusión general, hemosadvertido que en todos los programas seplantea que el alumno consiga una sólidaformación teórica y práctica, proponiendoasí diferentes estrategias encaminadas aconseguirla. Igualmente, el perfil de losdestinatarios, el número de alumnos seña-lado, la procedencia del profesorado o losespacios previstos, aspectos todos relativosal contexto de los cursos, están también enconsonancia con los propósitos iniciales.No obstante, pensamos que, en cuatro delas titulaciones objeto de estudio, las medi-das planificadas son adecuadas pero no

suficientes, al no hallarse entre sus plante-amientos la realización, por parte del alum-nado, de prácticas profesionales que lepermitan alcanzar esa formación prácticatan mencionada entre los objetivos de losprogramas.

Análisis de la contingencia empíricaentre antecedentes, procesos y resultadosobservados

Un segundo tipo de análisis consistió enexaminar la concordancia entre anteceden-tes reales y el desarrollo observado de lasenseñanzas, a partir de las opiniones dealumnos y profesores y de las observacio-nes llevadas a cabo. De forma general,podemos decir que encontramos empírica-mente contingente el desarrollo real de loscursos y los antecedentes reales de los mis-mos, si bien hay que destacar que el gradode concordancia difiere en función de latitulación analizada y del colectivo interro-gado.

Con respecto a la relación entre el pro-ceso observado de las titulaciones y losresultados reales de las mismas, el análisisde las opiniones de los alumnos que obtu-vieron el título varios años atrás (alumnosegresados) nos lleva a concluir que algu-nos de los resultados obtenidos por éstospueden entenderse como una consecuen-cia de la metodología empleada en los cur-sos. En efecto, algunos de los resultadosobtenidos en los diferentes títulos puedenentenderse como una consecuencia de sudesarrollo. A un proceso aceptable, condeficiencias importantes, se correspondenunos resultados a los que habría que des-cribir en los mismos términos.

De esta forma, el carácter teórico yexpositivo de las sesiones de clase y laescasez de actividades aplicadas, lleva aestos alumnos a opinar que la principal uti-lidad de estos estudios es la adquisición deconocimientos a nivel teórico. De otra par-te, es elevado el porcentaje de alumnos

334

que no ha encontrado trabajo en su espe-cialidad tras la obtención del título, resulta-do que podemos relacionar con la falta deprácticas profesionales o la no existenciade una bolsa de trabajo en la mayoría delos cursos.

Podemos confirmar estos resultados sitenemos en cuenta que un 46% de losalumnos egresados encuestados confiereun grado de aplicación práctica bajo al cur-so realizado. Tan sólo un 34% consideraelevado dicho grado, porcentaje quenuméricamente coincide con la cifra dealumnos que manifiesta haber encontradoun puesto de trabajo o haber mejorado susituación laboral como consecuencia de laobtención del título.

Análisis de la congruencia entre losantecedentes previstos y los observados

En tercer lugar, tratamos de averiguar has-ta qué punto coincide la previsión reali-zada de los antecedentes y lo que real-mente acontece con respecto a los mismosantes de la puesta en marcha de los dife-rentes cursos. Por antecedentes entende-mos todas aquellas condiciones existentespreviamente a la puesta en marcha de lastitulaciones; hemos incluido en esta cate-goría las finalidades de las que se parten,el contexto en el que se va a desarrollarcada programa de postgrado, el tipo dealumnado al que va dirigido cada uno, laprevisión de espacios e instalaciones y lapublicidad que se realizó del título antesdel comienzo del mismo para su correctadifusión.

Tras realizar los análisis pertinentesdestacamos que: a) hay bastante corres-pondencia entre la previsión de financia-ción y las subvenciones reales, contandolos cursos que lo especifican en los diseñoscon el apoyo económico esperado, losrequisitos exigidos para cursar los títulos yel perfil académico y profesional de losalumnos que se matriculan, y los espacios

previstos y los lugares en los que en lapráctica se imparten las clases; b) en rela-ción con el número de becas, a pesar deque no se da congruencia entre lo previstoy lo observado en tres de las titulacionesanalizadas, la mayoría de los cambios estánencaminados hacia la mejora, dado que endos de los cursos el número de ayudas quese concede se ve incrementado con res-pecto a las previsiones iniciales; c) lamenor congruencia se da entre el númerode plazas ofertadas y el número real dealumnos que se matriculan, no llegando acubrirse en la mayoría de los casos el míni-mo establecido.

Análisis de la congruencia entre elproceso esperado y el proceso observado

Las opiniones ofrecidas por los distintoscolectivos implicados en la evaluación(alumnos, profesores, directores, alumnosegresados) sobre el desarrollo efectivo delos cursos y nuestras propias observacio-nes de algunas sesiones de clase nos pro-porcionan una importante informaciónacerca del desarrollo previsto para los cur-sos. En efecto, no siempre las acciones aco-metidas por directores y profesores, laorganización del curso, la metodologíaempleada, sus contenidos o los materialesutilizados en el mismo se correspondencon el diseño inicial.

De esta forma, hemos examinado tam-bién el grado de congruencia entre ambasformas de desarrollo, la planificada y laobservada. En relación con el tema de loscontenidos, los seis directores entrevista-dos manifiestan que los módulos que seimparten en sus titulaciones obedecencompletamente a los presentados a princi-pios de curso, declaración no compartidapor un importante grupo de alumnos egre-sados, que opinan que el programa inicialdel que se les hace entrega no es respeta-do, haciendo de este modo una valoraciónnegativa de este aspecto.

335

Quizás sea en el tema de la metodolo-gía de enseñanza donde exista la mayor dis-paridad entre las intenciones y los procesosque realmente observamos en el aula. Deeste modo, hemos observado que en todoslos programas se hace especial hincapié enel carácter práctico y aplicado que caracte-rizará el desarrollo de las enseñanzas; sinembargo, el tipo de metodología al que sesuele recurrir es la expositiva, habiendosido registrada ésta en 13 de las 16 observa-ciones realizadas. Es en este aspecto en elque se da la mayor falta de corresponden-cia entre lo que ofertan los programas delos cursos y que esperan encontrar losalumnos y los procesos reales que tienenlugar en el aula y fuera de ella, creando asífalsas expectativas en aquellas personasque se matriculan en estos estudios, las cua-les buscan el tipo de formación práctica yde carácter aplicado que no han recibido alo largo de su paso por la universidad. Así,es en el tema de las prácticas donde encon-tramos una de las mayores debilidades delos estudios de postgrado, según nos mues-tran los resultados obtenidos en el análisisde las diferentes informaciones.

En relación con el profesorado, a pesarde que en casi todos los programas existela intención de combinar profesores uni-versitarios y doctores con profesionalesexpertos en la especialidad tratada, unimportante grupo de alumnos se queja dela escasez de docentes procedentes delejercicio de la profesión.

Con respecto a la evaluación de losalumnos, la congruencia entre lo planifica-do y lo observado es total, siendo el traba-jo final y la prueba escrita los dos procedi-mientos más empleados.

En cuanto al tema de los horarios declase, en todos los programas se incluye elcalendario de las diferentes sesiones lecti-vas o de prácticas; existe una total corres-pondencia entre éstos y los horarios obser-vados, valorándose muy positivamente porel profesorado y existiendo opiniones con-trovertidas por parte de los alumnos.

Análisis de la congruencia entre losresultados previstos y los observados

Finalmente, también analizamos la corres-pondencia entre los resultados previstos ydeseados por los promotores y responsa-bles de las titulaciones, definidos en el lis-tado de objetivos presentados en los pro-gramas iniciales, y los resultados que real-mente se alcanzan. En este caso, las con-clusiones presentadas no están relaciona-das con ninguno de los seis títulos selec-cionados; dichos resultados provienen delas opiniones de una gran variedad dealumnos que finalizaron los cursos añosatrás, ya que pensamos que los resultadosconseguidos han de medirse una vez trans-currido un periodo de tiempo considera-ble.

Para ello, hemos llevado a cabo unarevisión de los objetivos específicos pre-sentados en diversos programas de cursosde postgrado, ya que en éstos aparecenreflejados los deseos e intenciones, encuanto a metas a conseguir por el alumna-do, de aquéllos que ponen en marcha unatitulación.

En términos generales, podemos con-cluir que se da bastante congruencia entrelos resultados que se esperan y los quealumnos egresados dicen haber consegui-do, siendo equivalente la proporción de lasfrecuencias con las que los programas delos cursos y estos estudiantes se refieren alos distintos tipos de objetivos (conceptua-les, procedimentales o actitudinales). Lamayoría de los objetivos definidos en losprogramas están encaminados a la adquisi-ción de conocimientos teóricos, es decir,que las metas que se trata que consigan losalumnos van encaminadas, principalmente,a la adquisición de conceptos, hechos yprincipios; si contrastamos esta informacióncon las declaraciones y opiniones de losalumnos egresados, vemos que un porcen-taje muy elevado de los mismos (73,1%)basa la utilidad de los estudios realizadosen la ampliación de conocimientos de este

336

tipo. De otra parte, es también este aspectoel que más alusiones recibe cuando pedi-mos a estos sujetos que enumeren las ven-tajas de los cursos realizados. Así, la mayo-ría de ellos declara haber ampliado y mejo-rado sus conocimientos en una materiadada. Sin embargo, entre los términos queemplean para referirse a este tema, noencontramos ninguno que haga referenciaa la especialización o profundización en unárea de conocimiento, tal y como lo plan-tean los promotores de los cursos en losprogramas, lo que parece indicar que losalumnos opinan haber conseguido unnivel de profundización algo inferior alespecificado en los planteamientos inicia-les.

Un segundo tipo de objetivos es el rela-tivo al aprendizaje de nuevas técnicas yprocedimientos aplicables a situacionesprácticas, los cuales se mencionan en losprogramas con menor frecuencia que losprimeros. Si nos centramos en las declara-ciones de los alumnos egresados, el núme-ro de alusiones a adquisiciones de estanaturaleza es también inferior al realizadoacerca de la ampliación de contenidos teó-ricos.

Es el último tipo de objetivos analiza-dos, objetivos actitudinales, aquél que ape-nas es mencionado por los directores de lastitulaciones y que tampoco se refleja en losprogramas revisados. Esta escasez de refe-rencias a metas que traten de conseguir uncambio de mentalidad y actitud en losalumnos que cursan estudios de postgradose corresponde con las manifestacionesrealizadas por aquéllos que ya finalizaronel título en ediciones anteriores, los cualesno han comentado en ningún momentohaber adquirido aprendizajes de este tipo.

Puntos fuertes y débiles de los títulospropios evaluados

Con la realización de estos análisis descrip-tivos y comparativos, hemos obtenido unas

primeras conclusiones basadas en lo quelas personas directamente implicadas enestos programas creen que es o debería serdeseable para el buen funcionamiento deun curso de postgrado. Se trata de un aná-lisis en el aspecto descriptivo en el quehemos hecho uso de referentes internos.Sin embargo, para poder decidir sobre elmérito de estos cursos y emitir juicios devalor, debemos dar un paso más y llevar acabo un análisis valorativo, comparandolos resultados obtenidos en esta primeraetapa con normas y estándares extraídosde otras fuentes; es decir, con referentesexternos, según el modelo evaluativo de R.Stake.

De este modo, hemos contrastado losresultados obtenidos con un conjunto decriterios de calidad extraídos de la revisiónde la literatura especializada en cursos depostgrado de diferentes ámbitos sociales yacadémicos del mundo, identificando asílos principales puntos fuertes y débiles delos antecedentes, procesos y resultados delos títulos estudiados, tanto para las inten-ciones como para las observaciones.

Intenciones

En cuanto a las intenciones o planificaciónde los cursos, hemos tratado de determinarhasta qué punto los diseños de los progra-mas objeto de evaluación incluyen los ele-mentos que se consideran deseables enuna buena planificación educativa.

En relación con los antecedentes, losseis programas revisados especifican congran claridad los requisitos académicos yprofesionales que ha de poseer el alumnoque quiera cursar el programa, el númerode plazas que se ofertan, los lugares en losque se desarrollarán los procesos formati-vos y las entidades que colaboran con losmismos. Con respecto a las becas, se suelemencionar el número que se oferta y sucobertura (total o parcial), pero no el tipode institución que las otorga.

337

Con respecto a los procesos o interac-ciones reales, los programas especificanclaramente la relación de contenidos aimpartir y el número de créditos que supo-nen; en algunos casos, éste es el único ele-mento que aparece en los mismos. Lo quesí varía de un curso a otro es el grado deconcreción de los temas y contenidos quese pretenden desarrollar; de este modo, enalgunos sólo se mencionan los títulos delos módulos o grandes temas a tratar, mien-tras que en otros se detallan todos los pun-tos incluidos en un tema, así como su tem-poralización.

En los programas de las seis titulacio-nes objeto de evaluación se hacen escasasalusiones a la metodología que se tieneintención de emplear, destacándose única-mente en todos ellos el enfoque prácticoque caracterizará los procesos formativos.De este modo, en ningún caso se detalla eltipo de actividades y tareas que se llevarána cabo en clase, encontrando a lo sumoque se realizarán visitas y excursiones.

Los procedimientos y criterios de eva-luación aparecen en todos los diseños revi-sados, si bien en ninguno de ellos se hacereferencia a las fechas aproximadas de rea-lización de exámenes o entrega de traba-jos.

El calendario de las sesiones y los hora-rios de clase también quedan bien delimita-dos, a pesar de que no se detallan los hora-rios de tutorías. Los profesores que imparti-rán clases aparecen reflejados en la mitadde los diseños revisados. En ellos podemosver la plantilla docente y la dedicación pro-fesional y académica de cada uno.

En relación con los resultados espera-dos, aquéllos que se pretende que losalumnos alcancen tras la obtención del títu-lo, los diseños de los seis programas revi-sados mencionan las finalidades y resulta-dos generales que se pretenden con el cur-so, pero no los objetivos específicos decada módulo. Por otro lado, la mayoría delos objetivos presentados hacen referenciaa la adquisición de conocimientos teóricos.

Observaciones

Teniendo en cuenta los datos descriptivosresultantes del análisis de las manifestacio-nes y opiniones de los diferentes colectivosparticipantes en la evaluación y de lasobservaciones de clase llevadas a cabo,procederemos a emitir juicios de valoracerca del desarrollo real de los procesosde enseñanza-aprendizaje que han tenidolugar en los seis programas de postgradoevaluados, las condiciones reales existen-tes antes del comienzo de los cursos (ante-cedentes) y los resultados obtenidos comoconsecuencia de estos procesos formati-vos.

En lo que a antecedentes o condicionesprevias se refiere, como aspectos positivos,se destacan las características de los alum-nos matriculados en los cursos, las cualesse corresponden con el perfil académico yprofesional requerido; así, vemos que entodos los cursos existe una combinación deestudiantes recién titulados o en su últimoaño de carrera, con alumnos que compagi-nan estos estudios con un trabajo relacio-nado con el área de conocimiento tratada.Algunos son incluso profesionales exper-tos que se han matriculado en el programapara actualizar sus conocimientos.

En segundo lugar, existe un buen nivelde colaboración con entidades externas.Cuatro de los seis títulos seleccionadosmantienen convenios con institucionespúblicas o privadas, que les ayudan afinanciar sus programas y les proporcionanen muchos casos infraestructura y recursosmateriales y humanos.

También los directores de las seis titu-laciones manifiestan el deseo de dar unarespuesta a determinadas demandas deformación y especialización, a pesar deno realizarse estudios formales que ten-gan como finalidad detectar estas necesi-dades.

En el lado opuesto, como aspectosnegativos, encontramos que el número deestudiantes no suele alcanzar el mínimo

338

previsto y que los cursos no están vincula-dos a ningún proceso de acreditación.

En relación con los procesos observa-dos y en lo que a contenidos se refiere,podemos decir que los alumnos conside-ran que están actualizados, que se adaptana su formación previa y que son aplicablesa situaciones prácticas; no obstante, opinanque no se ha alcanzado el grado de pro-fundización deseado. En el lado opuesto,cabe destacar la no existencia de unaestructura flexible de contenidos (conteni-dos comunes y contenidos adicionales uoptativos) que dé respuesta a la diversidadde intereses de los alumnos.

El principal punto débil identificado enlos títulos de postgrado evaluados loencontramos en la metodología de ense-ñanza. Aún existiendo diferencias en lasvaloraciones que los alumnos hacen de lasmetodologías empleadas en función de latitulación cursada, podemos decir, en tér-minos generales, que el método de ense-ñanza predominante en las clases de estoscursos es el expositivo.

A la metodología se le critica su excesi-vo carácter teórico y expositivo, la escasavariabilidad de actividades, la falta de con-gruencia con los objetivos planteados y,fundamentalmente, la escasez o inexisten-cia de prácticas profesionales. Entre losprincipales aspectos que un alumno ha detener en cuenta a la hora de decidirse porcursar un estudio de postgrado, se encuen-tra, sin duda alguna, el que el programaoferte la realización de prácticas profesio-nales en alguna institución pública o priva-da. Tan sólo dos de los seis títulos evalua-dos proponen este tipo de actividad; es asíéste uno de los temas que más se repitenentre los puntos débiles encontrados porestudiantes y alumnos egresados.

En cuanto al profesorado, se destaca,como aspecto positivo, la combinación dedocentes universitarios y de profesionalesque ejercen la especialidad, aunque losalumnos se quejan del predominio de losprimeros. Se considera que los profesores

dominan considerablemente los conteni-dos que imparten, aunque la coordinaciónde los mismos ha sido destacada como unode los principales puntos débiles de estosestudios; estudiantes y alumnos egresados,e incluso los mismos profesores, coincidenen afirmar que es muy bajo el grado decoordinación entre los docentes de los cur-sos, en lo que se refiere a contenidos,metodologías y sistemas y criterios de eva-luación.

En lo que a infraestructura se refiere, sevalora muy positivamente la adecuación yel estado de las aulas del pabellón de Ter-cer Ciclo, así como los recursos con los quecuentan, aunque se echa de menos elpoder disponer de un aula de informática yde aulas para la realización de actividadesde grupo; de este modo, cuando el profe-sorado requiere este tipo de espacios, lobusca en las aulas, seminarios o salas dereuniones de la escuela o facultad universi-taria a la que pertenece. Un aspecto negati-vo encontrado es que la mayoría de loscursos no cuenta con un espacio y horarioespecífico para las funciones de secretaría.

Aún siendo bastante positiva la valora-ción general que profesores y alumnos rea-lizan de las instalaciones en las que se de-sarrollan las clases, existen ciertas diferen-cias según la titulación de la que se trate;así, son los títulos a los que les han sidocedidas las instalaciones de una institucióncolaboradora los que cuentan con unamayor diversidad de espacios, disponiendoéstos de infraestructura adecuada para lasfunciones de secretaría y administración,aulas variadas y, en muchas ocasiones, deuna biblioteca propia, específica en lamateria de estudio.

El ambiente de aprendizaje es valoradofavorablemente. Globalmente hablando,los alumnos y profesores consideran queen sus clases existe un ambiente de coope-ración, libertad de intervención y resolu-ción favorable de los conflictos generados;no obstante, la participación e implicaciónde los alumnos es escasa.

339

En cuanto a servicios de apoyo, noexiste en ningún curso un servicio deorientación al alumno, así como tampocodisponen de bolsa de trabajo. Muchasguías de cursos de postgrado aconsejantener en cuenta este aspecto a la hora dedecantarse por un determinado curso, con-siderándose así éste un criterio básico decalidad educativa.

Finalmente, con respecto a la gestiónde Tercer Ciclo, se valora positivamente lagestión académica, y se desaprueba la ges-tión económica. Así mismo, los directoresde las titulaciones encuentran que unaspecto negativo de esta gestión es la esca-sa publicidad y difusión que se hace de lostítulos propios de esta universidad.

En relación con los resultados que sederivan de la realización de estos cursos,hemos hallado como aspectos positivos: lamejora de la situación laboral de aquellosalumnos que ya tenían un trabajo (en un20,5% de los casos), el establecimiento decontactos profesionales y de relaciones concompañeros de la misma especialidad, y elaumento de la seguridad, autoestima ymadurez personal y profesional, según laopinión de los propios alumnos. En el ladoopuesto, hallamos que la realización delcurso ha servido para encontrar un puestode trabajo a un bajo porcentaje de alumnos(un 13%), que la mayor utilidad encontradaes la adquisición de conocimientos teóri-cos, en lugar de la aplicación práctica delos mismos, y que a los cursos se les con-fiere, mayoritariamente, un bajo grado deaplicación práctica.

Propuestas de mejora

De cara a la mejora de la calidad de los títu-los propios de la Universidad de Sevilla,exponemos una serie de recomendaciones,cuya finalidad es la de ofrecer una solucióna los principales puntos débiles hallados.

Con respecto al diseño de los progra-mas, recomendamos que se incluyan en

éstos un mayor número de datos acerca delos objetivos del curso y sus características.Así, debería aparecer, además de la ya pre-sente, información relativa a:

� El tipo de metodología que articula-rá el desarrollo de los diferentesmódulos, especificando las activida-des y tareas que se llevarán a cabo.

� El sistema de evaluación que seempleará, detallando los criteriosque se seguirán, además de la inclu-sión de las fechas aproximadas derealización de pruebas, exámenes yentrega de trabajos.

� Los horarios de tutorías y atención alalumno.

� Las fechas de realización de prácti-cas profesionales, el número de cré-ditos totales que suponen y las insti-tuciones u organismos en los que serealizan.

� La relación de profesores, especifi-cando su perfil académico y profe-sional.

� Los objetivos específicos que se pre-tenden conseguir en cada módulo,diferenciados a nivel teórico y prác-tico.

� Un número mayor de objetivos diri-gidos a la adquisición de habilidadesy a la aplicación práctica de losconocimientos adquiridos, así comode objetivos relativos a la adquisi-ción y/o modificación de actitudes yvalores.

� Datos objetivos sobre el número dealumnos que obtienen el título y losporcentajes de inserción laboral ypromoción profesional.

En relación con las observaciones opuesta en marcha de lo planificado, pensa-mos que, en cuanto a antecedentes, deberí-an realizarse estudios consistentes en elanálisis de las necesidades profesionales delmercado laboral relativo a la especialidad.Así mismo, creemos conveniente la vincula-ción de los títulos propios con entidades de

340

acreditación. Finalmente, pensamos queunas mayores difusión y publicidad, porparte de la Universidad de Sevilla, de lostítulos propios que oferta, ayudará aaumentar el número de alumnos matricula-dos.

Con respecto a los procesos y en loque a contenidos se refiere, proponemosreducir el número de módulos de los queconstan los programas y dedicar un mayorporcentaje de horas a cada tema, así comoestablecer una estructura flexible, com-puesta de módulos obligatorios y módulosoptativos, ofreciendo una respuesta másadecuada a la variedad de intereses yexpectativas de los alumnos. En cuanto amétodos de enseñanza, sería convenienteuna mayor variabilidad en los mismos y unadecuado equilibrio entre la metodologíaexpositiva y otros métodos más prácticos yaplicados, que a su vez promuevan la par-ticipación de todo el alumnado. Una de lasmedidas que creemos más urgentes es lainclusión de un determinado número decréditos obligatorios, consistentes en larealización de prácticas profesionales enempresas u otros organismos. En relacióncon el profesorado, se hace necesario unmayor rigor en los procesos de selección,estableciendo criterios comunes suscepti-bles de ser aplicados en todos los títulospropios de la Universidad de Sevilla. Así, elnúmero de docentes universitarios y el deprofesores que ejercen la especialidad enla práctica debería equilibrarse, incremen-tando para ello y, a petición de los propiosalumnos, el de estos últimos. Muy impor-tante también es la articulación de diferen-tes sistemas de coordinación entre el pro-fesorado. A este respecto, parece recomen-dable reducir el número de profesores queimparten clases en un mismo módulo. Enlo que se refiere a los servicios de apoyo,tres son las recomendaciones que habríaque seguir: disposición, en todos los cur-sos, de personal específico a tiempo parcialpara realizar las funciones de secretaría;creación de una bolsa de trabajo en cada

título, y creación de un servicio de orienta-ción al alumno en cada titulación, o almenos en el conjunto de los títulos pro-pios. Sobre el tema de las instalaciones, sepropone la creación de un aula de infor-mática para el conjunto de las titulaciones,así como de un aula que favorezca el tra-bajo en grupo. Finalmente, y en cuanto amateriales y recursos para el alumno, lospropios estudiantes demandan un mayoruso de las nuevas tecnologías en el des-arrollo de las clases y el poder disponer deun material escrito para cada módulo osesión de prácticas.

Formando parte de las propuestas demejora realizadas, recomendamos tambiénestablecer un sistema de evaluación periódi-co de todos los títulos propios. Para ello,como paso previo, se hace necesario adqui-rir el compromiso de los promotores de losdiferentes programas. Dicho modelo deevaluación ha de responder a dos finalida-des esenciales: a) mejorar la calidad de losprocesos formativos; y b) favorecer la tomade decisiones fundamentada acerca de lacontinuidad/discontinuidad de cada títuloofertado. Los aspectos básicos a evaluardentro de cada uno de estos títulos serán:las necesidades de los principales y poten-ciales usuarios de los programas de postgra-do; el diseño de los programas; la aplicaciónde los mismos; los resultados inmediatosobtenidos; el impacto o resultados diferidos,y la gestión administrativa y económica.

Diversas son las fuentes de las quepensamos que habría de proceder la infor-mación a recoger: jueces expertos, el pro-pio diseño de cada curso, los directores delos títulos, los alumnos matriculados, losprofesores, los alumnos egresados, losempresarios de los alumnos de edicionesanteriores, el personal de administración yservicios y las autoridades responsables delTercer Ciclo.

Un número de 10 títulos (5 Másters y 5Expertos) por año sería una cifra adecuadapara abordar la gran variedad de caracterís-ticas de los títulos propios que cada curso

341

académico se imparten en la Universidadde Sevilla, repartidas en las 4 áreas deconocimiento, y teniendo en cuenta crite-rios como: número de años que llevaimpartiéndose la titulación, los conveniosmantenidos, el precio del crédito, etc. Parala recogida de los datos, pensamos quedebería recurrirse a métodos que facilitenla participación de las audiencias.

BIBLIOGRAFÍA

ALVIRA MARTÍN, F: Metodología de la evalua-ción de programas. Madrid, Centro deInvestigaciones Sociológicas, 1996.

BENNETT, D. C.: «Assessing quality in highereducation», en Liberal Education, 87(2)(2001), pp. 40-45.

BISQUERRA ALZINA, R.: Introducción concep-tual al análisis multivariable. Barcelo-na, PPU, 1989.

BORCHERT, M. A.: Master�s education: a gui-de for faculty and administrators. Apolicy statement. New York, CollegeRetirements Equities, 1994.

CABRERA, F. A.: Guia d�avaluació de màstersi postgraus. Divisió de Ciències de l�e-ducació. Barcelona, Publicacions de laUniversitat de Barcelona, 1998.

CAMBONE, J. Y OTROS: «Are they learning aswe expected them to learn?. An evalua-tion of the preparation of special edu-cation teachers using a professionaldevelopment school model » , enAnnual Meeting of the American Edu-cation Research Association. (NuevaYork, 8-12 abril, 1996). ED 394 251.

CAMPBELL, C.; VAN DER WENDE, M.: Interna-tional Inititatives and Trends in Qua-lity Assurance for European HigherEducation. Helsinki, The EuropeanNetwork for Quality Assurance in Hig-her Education, 2000.

CENTRE FOR QUALITY ASSURANCE AND EVALUA-TION OF HIGHER EDUCATION: Evaluationof European Higher Education: a Sta-tus Report. Dinamarca, The European

Network for Quality Assurance in Hig-her Education, 1998.

CÍRCULO DE PROGRESO: Dices 1999. Centrosde formación en España. Tomo II: For-mación de Postgrado. Madrid, Círculode Progreso, 1999.

�: Dices 2000. International Directory ofPostgraduate Programmes. Madrid,Círculo de Progreso, 2000.

�: Dices 2000. International Directory ofPostgraduate Programmes (07-2000).http://www.dices.com/int_paises.html

CONSEJO DE UNIVERSIDADES: Plan Nacional deEvaluación de la Calidad de las Univer-sidades. Guía de Evaluación. España,Secretaría General, 1996.

CONTRERAS, E.: La evaluación de los cursosde postgrado: una necesidad apre-miante. Documento policopiado,1996.

CONVENIO INTERUNIVERSITARIO SOBRE ESTUDIOS

DE POSTGRADO CONDUCENTE A TÍTULOS

PROPIOS DE LAS UNIVERSIDADES (08-2001).http://www.ti.usc.es/lexis/doc/pos-tgrad2.htm.

DE LUXÁN MENÉNDEZ, J. M.: «La evaluaciónde la universidad en España», en Revis-ta de Educación, 315 (1998).

DEL RINCÓN IGEA, D.: Técnicas de investiga-ción en Ciencias Sociales. Madrid,Dykinson, 1995.

DELANEY, A. M.: «Quality assessment of pro-fessional master�s degree program», enAnnual Forum of the Association forInstitutional Research (35 th, Boston,28-31 mayo, 1995). ED 387 008.

DOUGLAS, B.: «Assessing quality in HigherEducation», en Liberal Education, 87(2001), No. 2, pp. 40-45.

DRAKE, L.; RUDNER, L. (20-12-99). Assessment& Evaluation on the Internet. http://eri-cae.net/intbod.stm.

EASTMOND, N. Y OTROS: «Formative evalua-tion of the HETI ED-Net Master�s pro-gram in instructional technology: ano-ther piece of the puzzle», 1997. ED 405848.

EDUCAWEB: Posgrados y Masters, 12-07-00.

342

ENQA WORKSHOP REPORTS: Brief introduc-tion on Quality Assurance and Accre-ditation in German Higher Educa-tion(20-10-01) . http://www.hrk.de/eng/vbsmodule/texte/std_text.

ETXEBERRÍA, J.; GARCÍA JIMÉNEZ, E.; GIL FLORES,J.; RODRÍGUEZ GÓMEZ, G.: Análisis dedatos y textos. Madrid, Ra-Ma, 1995.

EUROPEAN NETWORK FOR QUALITY ASSURANCE

IN HIGHER EDUCATION (2001) enqa.http://www.enqa.net.

FEDORA: Postgraduate Study in Europe. Bél-gica, Hobsons International, 2000.

GARCÍA JIMÉNEZ, E. y otros: Evaluación de laformación inicial del profesorado deenseñanza secundaria. El curso parala obtención del CAP en el ICE de laUniversidad de Sevilla. Sevilla, Kronos,1997.

GARCÍA-MORENO, C.; CORROCHANO, R.: «Asig-natura para nota», en ABC. Nuevo Tra-bajo (1999), pp. 56-64.

GIL FLORES, J.; GARCÍA JIMÉNEZ, E.; RODRÍGUEZ

GÓMEZ, G.: «Análisis de respuestaslibres en los cuestionarios. El métodode las especificidades», en RevistaInvestigación Educativa, 14(1) (1996),pp. 129-147.

GLAZER, J.: The Master�s Degree, 1988. ED301 140.

HÄMÄLÄINEN, K. Y OTROS: Institutional Eva-luations in Europe. Helsinki, The Euro-pean Network for Quality Assurance inHigher Education, 2001.

�: Quality Assurance in the Nordic Hig-her Education. Helsinki, The EuropeanNetwork for Quality Assurance in Hig-her Education, 2001.

HAYDEN, M.; THOMPSON, J.: «An investigationof the effectiveness of an evaluationinstrument designed for use withmodular masters courses in a range ofinternational contexts», en Assessmentand Evaluation in Higher Education,21(1) (1996), pp. 55-69.

Hesketh, A. J.; y Knight, P. T.: «Postgradua-tes� choice of programme: helping uni-versities to market and postgraduates

to choose», en Studies in Higher Educa-tion, 24(2) (1999), pp. 151-164.

KEZAR, A. J.: Higher Education Trends(1997-1999). Program evaluation (29-03-01) . h t tp : //www.er iche .org/trends/program.html.

KIRKPATRICK, D. L.: Evaluación de accionesformativas. Barcelona, Gestión 2000,2000.

LIPSCHULTZ, JEREMY J.; HILT, MICHAEL L.: «Gra-duate program assessment of studentssatisfaction: a method for Merging Uni-versity and Department Outcomes», enJournal of the Association for commu-nication administration (JACA), v28(1999), n2.

LUFT, J.A. y otros: «Science Teachers and theMaster�s Programs They Select: A Preli-minary Study», en Electronic Journal ofScience Education. Vol.2 (1998), No.3.

MCCARTHY-TUCKER, S. SWANSON, P.; LUND, D.:«Invloving students in action research:a team report on assessing needs forprogram improvement», en AnnualMeeting of the American EducationalResearch Association. San Diego, CA,13-17 abril, 1998. ED 418 996.

MINISTERIO DE EDUCACIÓN. COMISIÓN NACIO-NAL DE ACREDITACIÓN DE POSTGRADOS

(CONAP): Normas y procedimientospara la acreditación de programas depostgrado (26-07-01).. .

MORA RUIZ, J.: «La evaluación de las institu-ciones universitarias», en Revista DeInvestigación Educativa, 9(17) (1991),pp. 27-48.

MORLES, V.: «La producción intelectualcomo finalidad esencial del posgradoen América Latina», en Revista Cubanade Educación Superior, 2 (1997), pp.27-38.

MURPHY, P.; GERST, J.: «Assessment of stu-dent learning in graduate programs»,en Annual Forum of the Association ofInstitutional Research. Albuquerque,NM, 8 mayo, 1996. ED 409 765.

NATIONAL ASSOCIATION OF PUBLIC AFFAIRS AND

ADMINISTRATION: Standars for Professio-

343

nal Masters Degree Programs in PublicAffairs, Policy and Administration (22-03-01) http://www.naspaa.org/copra/standars.htm.

PAEZ, H. G.: «Evaluación de los efectos delprograma de maestría en educación dela Universidad de Carabobo: opiniónde los egresados», en Revista Cienciasde la Educación, Año 13 (1997)(No.14).

PERAITA, L.: «Elegir con buen criterio», enABC. Nuevo Trabajo (2001), pp. 54-56.

PERAITA, L.: «Parrilla de postgrado», en ABC.Nuevo Trabajo (2000), 290, pp. 72-73.

PÉREZ, A.; JORNET, J. M. Y OTROS: «Proyectode investigación evaluativa: propuestade un sistema de evaluación de pro-gramas de postgrado en la Universi-dad de Valencia», en AIDIPE. Nuevasrealidades educativas, nuevas necesi-dades metodológicas. Málaga, CED-MA, 1999.

PÉREZ CARBONELL, A.: Metodología de la eva-luación de programas: evaluación deprogramas de postgrado en la Universi-dad de Valencia. Tesis doctoral nopublicada, Universitat de Valencia,1998.

PÉREZ CARBONELL, A.; JORNET, J. M. Y OTROS:«Un estudio sobre indicadores estructu-rales y calidad percibida en cursos depostgrado», en Revista InvestigaciónEducativa, 23 (1994), pp. 283-291.

PIZARRO, R.: «Una elección muy estudiada»,en ABC. Nuevo Trabajo, 353 (2001),pp. 64-66.

RAMOS SERPA, G.; DÍAZ, J. R.; VEGA, J. F.:«Concepciones y experiencias en laevaluación de las instituciones de edu-cación superiores: Los casos de Cuba yChile», en Revista Cubana de Educa-ción Superior, 3 (1999), pp. 49-64.

REAL DECRETO 185/1985, de 23 de enero,por el que se regula el tercer ciclo deestudios universitarios, la obtención yexpedición del título de Doctor y otrosestudios postgraduados (artículo 17).B.O.E. n. 41, de 16 de febrero.

REAL DECRETO 1496/1987, de 6 de noviem-bre, sobre obtención, expedición yhomologación de títulos universitarios(artículos 6 y 55). B.O.E. n. 298, de 14de diciembre.

REAL DECRETO 1947/1995, de 1 de diciem-bre, por el que se establece el PlanNacional de Evaluación de la Calidadde las Universidades. B.O.E., de 9 dediciembre de 1995, pp. 35.473-35.474.

REAL DECRETO 408/2001, de 20 de abril, porel que se establece el II Plan Nacionalde la Calidad de las Universidades.B.O.E. n. 96, de 21 de abril de 2001.

RODRÍGUEZ GÓMEZ, G.; GIL FLORES, J.: GARCÍA

JIMÉNEZ, E.: Metodología de la investiga-ción cualitativa. Málaga, Aljibe, 1996.

RUIZ NÁPOLES, P.: «El papel de la universidadpública en relación con el posgrado yel desarrollo económico», en RevistaCubana de Educación Superior, 2(1997), pp. 39-52.

SALCEDO GALVIS, H.: «Aspectos conceptuales,metodológicos e instrumentales de laevaluación de los estudios de postgra-do», en Paradigma, XVIII(1) (1997),pp. 7-37.

SÁNCHEZ CARRIÓN, J. J.: Introducción a lastécnicas de análisis multivariable apli-cadas a las ciencias sociales. Madrid,Centro de Investigaciones Sociológi-cas, 1984.

STAKE, R. E.: «The case study method insocial inquiry», en Educational Resear-cher, 7 (1978), pp. 5-8.

�: «The countenance of educational eva-luation», en WORTHEN, B. R.; SANDERS, J.R. (eds.), Educational evaluation: The-ory and practice (pp. 106-128). Bel-mont, California, Wadsworth, 1973.

�: «El método evaluativo centrado en elcliente», en STUFFLEBEAM, D. L.; SHINK-FIELD, A. J. (eds), Evaluación sistemáti-ca. Guía teórica y práctica (pp. 235-291). Barcelona, Paidós, 1973.

STAKE, R. E.: «Program evaluation, particu-lary responsive evaluation», en Occa-sional Paper, 5 (1975).

344

345

TEJEDOR, F. J.: «Perspectiva metodológicadel diagnóstico y evaluación de necesi-dades en el ámbito educativo», enRevista de Investigación Educativa,8(16) (1990), pp. 15-37.

TEJEDOR, F. J.; GARCÍA-ÁLVAREZ, A.; RODRÍ-GUEZ, M. J.: «Perspectivas metodológi-cas actuales de la evaluación de pro-gramas en el ámbito educativo», enRevista de Investigación Educativa, 23(1994).

VAN ZANDT, L.: «Assessing the effects ofreform in teacher education: an evalua-tion of the MAT program at Trinity Uni-versity», en Annual Meeting of the Ame-rican Educational Research Associa-tion, 1996. ED 394 954.

VICERRECTORADO DE TERCER CICLO Y ENSEÑAN-ZAS PROPIAS: Estudios de postgrado. Añoacadémico 99-00. Sevilla, Universidadde Sevilla, 1999.

VILLAR, E.; LLADÓ, M.: «La demanda de losestudiantes, primer paso en la evalua-ción de la calidad del Tercer Ciclo uni-versitario. Análisis de las expectativas ymotivaciones de los estudiantes dedoctorado, máster y postgrado de laUniversidad de Girona» (inédito).

VILLARROEL, C.: Del postgrado y su acredita-ción (31-07-01).. http://www.sadpro.ucv.ve/agenda/online/vol4n2/a1.html.

VISAUTA VINACUA, B.: Análisis estadístico conSPSS para windows. Estadística multi-variante. Madrid, McGraw-Hill Inter-americana, 1998.

�: Técnicas de investigación social (I:Recogida de datos). Barcelona, PPU,1998.

WADE, P. A.: Cómo medir el impacto de laformación. Madrid, Centro de EstudioRamón Areces, S.A., 1998.