eLA EVALUACIÓN INSTITUCIONAL DE LA INVESTIGACIÓN Y

DEL TERCER CICLO

MIGUEL VALC_.ÁRCEL CASES ()

INTRODUCCIÓN

La investigación básica y aplicadaconstituye uno de los quehaceres básicosen la mayoría de las Instituciones de Edu-cación Superior. Una parte de la labor de lamayoría del profesorado se dedica a la in-vestigación o al menos se justifica con ella.De hecho, en España la aportación a la in-vestigación de las universidades es, concreces, la más significativa respecto a otrasOPIs y empresas privadas. Pese a que estaproporción debe cambiar en el futuro, hayque reconocer la importancia actual y futurade la investigación en el ámbito universitario.Así pues, una evaluación institucional de lasuniversidades debe contemplar inexcusable-mente la actividad investigadora.

La mayor tradición cíe evaluación en elámbito de la enseñanza en todos los nive-les ha propiciado iniciativas propias prácti-camente exclusivas en este ámbito, queestán funcionando en varias universidadesdesde hace años. También se han genera-lizado las encuestas al profesorado que serealizan sistemáticamente desde haceaños. De hecho, el Proyecto Piloto Euro-peo de Evaluación de la Enseñanza Supe-rior y el documento europeo sobreGarantía cle Calidad en las Instituciones deEnseñanza Superior sobre la materia no

contienen explícitamente la evaluación dela investigación.

Por otra parte, la evalliación de la in-vestigación en España ha alcanzado cotascompetitivas a escala mundial gracias a laslabores mayoritariamente aceptadas y re-conocidas de la ANEP (Agencia Nacionalde Evaluación y Prospectiva) y cle la Comi-sión Nacional de Evaluación de la Activi-dad Investigadora. Pero se trata sólo cleevaluar a grupos que presentan proyectoso a investigadores, sin ofrecer una pers-pectiva institucional. La ANEP abordó porencargo hace unos años la evaluación dela investigación de la Universidad Autóno-ma de Barcelona, desarrollando un mode-lo (muy centrado en publicaciones) queposteriormente no ha sido aprovechado.

Las dos iniciativas de evaluación delConsejo de Universidades, los denomina-dos Plan Experimental (1992-94) y PlanNacional (1996-2000) han contempladoacertadamente la investigación como acti-vidad sujeta a examen y a mejora desdeuna perspectiva institucional, junto con laenseñanza y la gestión. En el Plan Experi-mental se evaluó la investigación de algu-nos departamentos mediante una guía; losresultados sirvieron de base para confec-cionar el protocolo cle investigación de laguía de evaluación del Plan Nacional, en el

(I) Universidad de Córdoba. Miembro del Comité Técnico del Plan Nacional de Evaluación de la Calidadde Universidades.

Revista de Educación, núm. 315 (1998), pp. 125-139

125

ORGANIZACIÓNCONTkETO •

TODOS LOS

CUALITArVOS Y +I ¿QUÉ?ASPECTOS

CUANTITATIVOS

PRODUCTOS

LA EVALUACIÓNINSTITUCIONAL

DE LAINVESTIGACIÓN

¿QUIÉN7K

lINTEGRAL

'EXTERNA.'

¿POR QUÉ? ¿PARA QUÉ?

RECURSOS \111

¿DÓNDE?

UNII DEANÁLISIS

¿CÓMO?

INDICADORES I CUALITATIVOSDE CALIDAD CUAKMATIVOII

DIFERENCIAS CON LAEVALUACIÓN TRADICIONAL

grupoe, proyectes, etc.)

que actualmente estamos inmersos. El PlanExperimental también abordó un estudio ins-titucional de la productividad científica pormacroáreas, que finalizaba con clasificacionesentre las universicktcles y permitía obtener unperfil investigador de cada una de ellas.

En este artículo se pretende profundi-zar en lo que es y significa la perspectivainstitucional de la evaluación de la investi-gación, comparándola con las evaluacionestradicionales ampliamente desarrolladas.Se comentará a continuación la evaluaciónde la investigación en la primera convoca-toria del Plan Nacional. Como quiera queel Tercer Ciclo es un elemento esencial enla investigación universitaria, se expondrábrevemente la experiencia del plan propio

de evaluación institucional del Doctoradodesarrollado recientemente en Córdoba.

PRINCIPIOS DE LA EVALUACIÓNINSTITUCIONAL DE LA INVESTIGACIÓN

ASPECTOS GENERALES

El planteamiento relativamente nuevo, almenos en España, de evaluar la investigacióndesde una perspectiva institucional, suscitauna serie de cuestiones básicas, cuyas res-puestas permitirán ofrecer una visión generalen el contexto del modelo de autorregula-ción. En el esquema de la Figura I se mues-tran los elementos esenciales de laevaluación institucional de la investigación.

FIGURA ICaracterísticas esenciales de la evaluación institucional de la investigación

NECESIDAD DE UNAINFORMACIÓN INTEGRALY GLOBAL DE CALIDAD

MEJORAINSTITUCIONAL

APOYO DISTRIBUCIÓNDE RECURSOS

• ccetttecctONESTIULO

TOMAS DEDECISIONES

5,11—.4 1 Ah- INSTITUCIONALESALA DE CALIDAD

NIPERDEISOCRACIA.

126

¿QuÉ SE EVALÚA? ¿CÓMO DEBE HACERSE LA EVALUACIÓNINSTITUCIONAL?

La evaluación institucional debe tenerun carácter integral y abarcar no sólo los•productos. de la investigación (ej. publica-ciones, patentes, contratos, formación dedoctores y/o investigadores, etc.), sinotambién otras facetas relevantes, como laorganización, los contextos (interno y ex-terno) y los recursos disponibles.

¿POR QUÉ SE EVALÚA INSTITUCIONALMENTE?

Las instituciones universitarias y, enconcreto, los Vicerrectorados de Investiga-ción necesitan una información diferente,que sea global e integral (cualitativa ycuantitativa) que tenga presente todos losaspectos susceptibles de una valoración ymejora. Es urgente sustituir los baremostradicionales por otros más modernos, ra-cionales y contrastados en otros países.

¿PARA QUÉ SIRVE LA EVALUACIÓNINSTITUCIONAL?

Es necesario garantizar la calidad delos procesos de toma de decisión en el sis-tema universitario español. La evaluacióninstitucional cle la investigación puede pro-porcionar una información nueva, rica yfiable para que las tomas de decisión eneste ámbito estén bien fundamentadas ysean eficaces. El objetivo no es sólo un re-parto racional de recursos, sino también elapoyo institucional a la investigación y laadopción de medidas de corrección y, so-bre todo, de estímulo. Estas medidas se to-marán en una atmósfera de racionalidad ycredibilidad, en claro contraste con las quehabitualmente se adoptan en un sistemahiperdemocrático. Ello no significa que laevaluación no sea participativa y transpa-rente, sino todo lo contrario.

La respuesta simple a esta cuestión esque deberá hacerse con planteamientosalejados de los tradicionales. Las diferen-cias entre los mismos son objeto de un tra-tamiento específico en otro apartado deeste artículo. Deben utilizarse indicadoresque sean más relativos que absolutos, quecontemplen no sólo datos, sino tambiénopiniones, que tengan en cuenta la evo-lución, el rendimiento, la optimización derecursos, la satisfacción del «cliente. univer-sitario y la coherencia con los objetivos dela unidad evaluada. No obstante, el proce-dimiento de implantar la calidad exige quela universidad y los departamentos tenganformulados por escrito sus objetivos a cor-to, medio y largo plazo. Calidad implicasiempre comparación. Si estos objetivos noaparecen explícitos, la evaluación tendráque ponerlo de manifiesto y una de las ac-ciones prioritarias de mejora será la gene-ración y aprobación de un documento eneste sentido.

¿QUIÉN REALIZA LA EVALUACIÓNINSTITUCIONAL?

Existen tres posibilidades. La evalua-ción puede llevarse a cabo por agentespertenecientes a la institución, por exper-tos ajenos a la misma, o bien puede hacer-se de la forma integral implícita en elmodelo de autorregulación. La falta decontraste del primer modelo puede llevar aconclusiones deformadas por la endoga-mia. La evaluación externa de forma exclu-siva no es tan eficaz como la terceraalternativa, que implica dos etapas: autoe-valuación y contraste por pares.

¿DÓNDE SE REALIZA LA EVALUACIÓNINSTITUCIONAL?

Un aspecto esencial en este contextoes la definición de la unidad objeto de eva-

127

luación. La LRU es clara al respecto. La in-vestigación es responsabilidad de los de-partamentos universitarios, que son lasunidades por excelencia en este contexto.Pero no hay que olvidar la coexistenciadentro de un mismo departamento deáreas de conocimiento muy dispares (so-bre todo en universidades pequeñas), porlo que la consideración de éstas como sub-unidades es también aceptable. Dentro deestas unidades se encuentran los gruposde investigación, así como personal dedi-

cado a esta tarea. Pero hay aspectos degestión de la investigación que obligan tam-bién a considerar a la universidad como uni-dad que ha de ser evaluada (ej. tomas dedecisión de la Comisión de Investigación,evolución de los índices de calidad globales,apoyos institucionales a la investigación,etc.). La carencia de juicios de valor en lamayoría de las Memorias de Investigaciónque publican las universidades es un ejem-plo patente de la necesidad de la evaluaciónintegral y global de la investigación.

FIGURA IIQué es (+) y no es (—) la evaluación institucional de la investigación

eNO PUEDE BASARSE EN LASIMPLE ADICIÓN DE EVA-LUACIONES INDIVIDUALESO POR GRUPOS

NO ES INCOMPATIBLE CONLAS EVALUACINES INDIVI-DUALES Y POR GRUPOS(ej. proyectos)

NO PUEDE SER EXCLUSIVA-MENTE UNA RECOGIDA YTRATAMIENTO DE DATOSCUANTITATIVOS

LAS EVALUACIONES TRADICIO-NALES SON SÓLO UNA PARTEA TENER EN CUENTA EN LAPERSPECTIVA INSTITUCIONAL

DEBE IMPLICAR EL EMPLEO DE DA-TOS CUALITATIVOS Y CUANTITATI-VOS, ADEMÁS DE SU INTEGRACIÓNY ESTUDIO: JUICIOS DE VALOR YPROPUESTAS DE ACCIÓN

NO PUEDE HACERSE CONINDEPENDENCIA DE OTRASTAREAS UNIVERSITARIAS(enseñanza, asistencia ygestión)

TOMAS DE DECISIONESBASADAS EN "NÚMEROSFÁCILES" FRECUENTE-MENTE NO COMPARABLESCON TENDENCIA A UNAMÍNIMA DISCRIMINACIÓN

LAS INTERFASES ENTRE LA INVES-

--> TIGACIÓN Y LAS OTRAS TAREASCONSTITUYEN "PUNTOS CRÍTICOS"DE LA CALIDAD

TOMAS DE DECISIÓN BASADASEN INDICADORES DE CALIDAD-n MEJOR FUNDAMENTADOS PARALA IMPRESCINDIBLE DISCRIMI-NACIÓN

COMPARACIÓN NOBIEN FUNDAMENTADA

ÁREAS CONOCIMIENTODEPARTAMENTOS

UNIVERSIDAD

COMPARACIÓNRACIONAL Y

FUNDAMENTADA

128

En la Figura II se contrasta lo que es yno es la evaluación institucional de la in-vestigación. En primer lugar, ésta no puedeconsiderarse una simple agregación de lasevaluaciones parciales (ej. individuales,por grupos y por áreas de conocimiento,por departamentos); el todo no es la sumade las partes. No obstante, estas evaluacio-nes parciales pueden ser útiles para la eva-luación global e integral, que implicamucho más. La evaluación tradicional de lainvestigación se basa casi de forma exclu-siva en datos cuantitativos (ej. número deinvestigadores y becarios, número de pu-blicaciones con indicación cuantitativa desu calidad, número y cuantía de proyectosy contratos, premios recibidos, etc.). Laevaluación institucional debe basarse enéstos, pero también recoger opiniones in-ternas y externas y, sobre todo, consideraruna perspectiva global, emitiendo juiciosde valor (definición de puntos fuertes y dé-biles) y proponiendo acciones estratégicasde mejora. El enfoque institucional con-templa la investigación en la realidad uni-versitaria, considerando como puntoscríticos sus relaciones con otras tareas uni-versitarias. Como consecuencia de todoello, una buena evaluación institucional dela investigación deberá desembocar enmedidas bien fundamentadas y contrasta-das que necesariamente implicarán discri-minación y permitirá la comparaciónracional entre áreas de conocimiento y de-partamentos.

EVALUACIÓN INSTITUCIONAL VERSUS

TRADICIONAL

La actividad investigadora ha sido unade las tareas más evaluadas en el contextouniversitario en las ultimas décadas, siendolas unidades de análisis más comunes losindividuos (ej. concursos para Titularida-des y Cátedras, concesión de los «tramos

de investigación ., para un mínimo incenti-vo económico mensual, etc.) y los gruposa través de la evaluación de proyectos. Lalabor realizada por la Comisión Interminis-terial de Ciencia y Tecnología, la AgenciaNacional de Evaluación y Prospectiva y laComisión Nacional de Evaluación de la Ac-tividad Investigadora del Profesorado se haido consolidando y ganando credibilidaden un país con poca tradición en evalua-ciones objetivas y transparentes. Incluso elmayor énfasis en la investigación sobre lasdemás tareas universitarias a la hora deevaluar individuos (ej. la regulación de losconcursos a puestos docentes universita-rios indica que los méritos investigadoresdeberán valorarse al menos el doble quelos docentes; los «tramos de investigación»pueden no concederse en su totalidad,mientras que los tramos docentes se otor-gan casi siempre de forma automática) halogrado convertir a la docencia en la -ceni-cienta» de la universidad. La evaluación in-terna realizada por las Comisiones deInvestigación para una mejor distribuciónde recursos económicos y humanos en losprogramas propios de cada universidad seha hecho, en general, con baremos pococontrastados. Todo esto es más el fruto depactos» que de la objetividad y en los queprevalecen los •números fáciles» absolutossobre los indicadores de calidad.

En la Figura III se muestran de maneraesquemática las diferencias más sustancia-les que implica la evaluación institucionalde la investigación en relación con la for-ma tradicional. Se centran en aspectos talescomo información implicada, indicadoresutilizados, objetivo primordial, unidadesde análisis, contexto, organización y rela-ción con otras tareas universitarias. To-dos ellos permiten establecer un perfilpropio a la evaluación institucional. Dehecho, los contrastes resumidos en la Figu-ra III han sido ya comentados al contestara las preguntas básicas formuladas en elapartado anterior.

129

Foszi4sc-4~~,é-sna,~_

PRINCIPALESDIFERENCIAS INSTITUCIONAL TRADICIONAL

INFORMACIÓNEMPLEADA

CUANTITATIVA

CUALITATIVACUANTITATIVA

INDICADORESINDICADORES DE

CALIDAD, CREATIVOSINTEGRALES, MÁS

RICOS Y COHERENTES

NÚMEROS"FÁCILES"

ABSOLUTOS

OBJETIVOPRIMORDIAL

MEJORA DELA CALIDAD

DE LAINVESTIGACIÓN

DISTRIBUCIÓNDE

RECURSOS

UNIDAD(ES)DE

ANÁLISIS

UNIVERSIDAD ENSU CONJUNTO

4'DEIIARTrEiTOS

ÁREAS CONOCIMIENTO

INDIVIDUAL

GRUPOS(PROYECTOS)

CONTEXTO

ORGANIZACIÓN

ASPECTOSSUSTANCIALES

ESCASAIMPORTANCIA

RELACIÓNCON OTRAS

TAREASUNIVERSITARIAS

CLAVE CONSIDERACIÓNNULA

FIGURA IIIElementos diferenciales entre la evaluación tradicional e institucional

de la investigación en la universidad

Eírros nurroixmAGicos

El enfoque institucional en la evalua-ción de la investigación de la universidadtiene que basarse en una metodología co-herente con su finalidad. Los once hitosbásicos que deben sustentarla se comentanbrevemente a continuación.

1. La metodología más eficaz es la deautorregulación, que implica una evalua-ción interna llevada a cabo por agentes del

propio departamento y un examen externorealizado por expertos (pares) ajenos a launiversidad después de la autoevaluación.

2. El factor humano es fundamental.La selección adecuada de los agentes inter-nos y externos es, sin duda, un aspectoesencial para garantizar el éxito del proce-so. Deben buscarse personas con prestigioinvestigador, con talante abierto, con de-seo de contribuir a una mejora de la inves-tigación y con ganas de trabajar, pues elproceso requiere mucha dedicación. No es

130

tarea fácil, pero hay que ser consciente deque es un «cuello de botella» que condicio-na no sólo al proceso en sí, sino a la credi-bilidad de los resultados y, por ende, a laimplantación de acciones estratégicas demejora.

3. La evaluación no debe comenzarsin hacerse realizado una buena campañainformativa dirigida no sólo a la comuni-dad universitaria que investiga, sino tam-bién a los entes con los que mantienerelación. La extensión de la cultura de lacalidad es un requisito previo a tener muyen cuenta para lograr avanzar en la se-cuencia:

informar > interesar > implicar > involucrar

4. El proceso debe basarse en la má-xima independencia posible de los miem-bros y presidente del Comité o Comisiónde calidad (o evaluación) respecto a losórganos unipersonales y colegiados degobierno. Hay que tener en cuenta queéstos también deben ser evaluados ensus tomas de decisión. Un error típicoque se debe evitar es el que la Comisiónde Investigación o el Consejo de Depar-tamento actúen como comisiones de eva-luación. Fórmulas intermedias pueden seradecuadas cuando existe poca tradiciónevaluaclora; es preciso tener autoridad/po-der para «tirar del carro«.

5. La evaluación debe basarse en laelaboración de indicadores de calidad ale-jados de los «números fáciles» tradicionales,que consideren no sólo la producción,sino la eficacia, el rendimiento, la evolu-ción, la capacidad para resolver proble-mas, etc., lo que exige un tratamientointegral de datos cuantitativos y de las opi-niones dentro y fuera de la universidad através de encuestas, entrevistas, etc. Elcontraste entre estas informaciones prima-rias puede arrojar una gran luz para detec-tar puntos críticos.

6. Debe ponerse más énfasis en la re-flexión para emitir de forma coherente yfundamentada los juicios de valor (puntos

fuertes y débiles) que en la búsqueda ex-haustiva de datos y opiniones.

7. La evaluación no debe ser un pro-ceso «democrático» fruto de votaciones, talcomo se concibe este término en la univer-sidad española actual. El proceso debe serparticipativo y transparente. La búsquedade asenso entre los agentes implicados esun elemento metodológico esencial. Lasdiscrepancias deberán también ser recogi-das en los pertinentes documentos.

8. La evaluación de la investigaciónno puede plantearse de forma aislada,sino que es importante poner énfasis enlas interfases (relaciones) entre la mismay las otras tareas universitarias: enseñan-za, asistencia y gestión. Estas relacionesse plasman gráficamente en el tetraedrode la figura IV; en cada vértice del mismose sitúan las cuatro tareas y las aristasrepresentan las relaciones contradictoriasy complementarias que se establecenentre las mismas. Una de las metoclolo-gías para implantar la calidad se basa enla identificación y mejora de los denomi-nados «puntos críticos». En este contexto,estas interfases pueden ser consideradascomo tales. El tetraedro puede deformar-se según la realidad o los objetivos de lapropia institución hacia una tarea (vértice)o hacia dos (arista) o tres (triángulo) ta-reas; estas orientaciones deben estar clara-mente reflejadas en los objetivos de losdepartamentos y de la universidad. Algu-no de los aspectos complementarios ycontradictorios de la investigación conlas demás tareas universitarias se expo-nen en la tabla I.

9. Una buena evaluación institucionalde la investigación debe tener sistemáti-camente en cuenta las relaciones exter-nas e internas que se establecen entre lasunidades más elementales donde se ori-gina la investigación y otros órganos einstituciones. Los ocho tipos más rele-vantes de relaciones se muestran en la fi-gura V: 1) Entre grupos; 2) Entre áreas deconocimiento en un mismo departamento;

131

1 DOCENCIA I

FIGURA IVArticulación de la investigación de las demás actividades universitarias

IINVESTIGACIÓN I

IASISTENCIAI

TABLA IRelaciones contradictorias de la investigación con la docencia,

asistencia y gestión en el contexto universitario

RELACIONES DE LA INVESTIGACIÓN CON LASDEMÁS TAREAS UNIVERSITARIAS

Complementarias Contradictorias

DOCENCIA Actualización, mejora, materialdocente

División del tiempo delprofesor

ASISTENCIA

Mejora investigación poraportar realidad Resta tiempo para investigación

básica cuando se trata deservicios rutinariosLos -problemas• provocan

innovación

GESTIÓN Apoyo imprescindible parauna investigación competitivay de la calidad

Pérdida de tiempo de losinvestigadores al tener quehacer labores que no le sonpropias

132

FIGURA VPrincipales relaciones internas y externas a considerar sistemáticamente

en la evaluación institucional de la investigación

3) Entre departamentos; 4) Entre departa-mentos y Vicerrectorado de Investiga-ción/Gerencia; 5) Entre organismosestatales y autónomos que convocan yconceden recursos económicos y huma-nos; 6) Entre grupos y departamentos dediferentes universidades; 7) Con empre-sas privadas; y 8) Con otros organismospúblicos de investigación. Estas relacio-nes son cruciales para evaluar la investi-gación de forma global e integral.

9. Una buena evaluación institucionalde la investigación debe tener sistemáti-camente en cuenta las relaciones exter-nas e internas que se establecen entre lasunidades más elementales donde se ori-gina la investigación y otros órganos einstituciones. Los ocho tipos más rele-vantes de relaciones se muestran en la Fi-gura V: 1) Entre grupos; 2) Entre áreas deconocimiento en un mismo departamento;3) Entre departamentos; 4) Entre departa-mentos y Vicerrectorado de Investiga-

ción/Gerencia; 5) Entre organismos estata-les y autónomos que convocan y conce-den. recursos económicos y humanos; 6)Entre grupos y departamentos de dife-rentes universidades; 7) Con empresasprivadas; y 8) Con otros organismos pú-blicos de investigación. Estas relacionesson cruciales para evaluar la investiga-ción de forma global e integral.

10. La consideración sistemática delOUTIll de la investigación es un elementoesencial en su evaluación. Los productos» dela misma pueden resumirse en tres: 1) For-mación de investigadores; 2) Contribu-ción al conocimiento básico y a la cultura;y 3) Resolución de problemáticas plantea-das por la sociedad, la industria, la cienciay la tecnología. La evaluación tradicionalse basa casi de forma exclusiva en publica-ciones; la institucional debe contemplar,además de los indicadores relativos, derendimiento, de evolución, el examen sis-temático del impacto de sus .productos. a

133

través de las opiniones (encuestas, entre-vistas) del -cliente, de la universidad.

11. La evaluación institucional de lainvestigación de los departamentos y de launiversidad debe concluir inexcusable-mente con un detallado plan de acciónque contemple cambios plasmados en pro-puestas de mejora que deberán estar: 1) Ní-tidamente formuladas; 2) Perfectamentedirigidas a quien o quienes deban implan-tarlas; 3) Priorizadas; y 4) Temporalizadas;de tal forma que los órganos de gobiernouniversitario dispongan de un documentoclaro y contundente. Las ambigüedades yla falta de claridad deben ser evitadas,pues serían tomadas como excusas perfec-tas por los refractarios al cambio. Tambiénes imprescindible diseñar un plan de segui-miento para evaluar la implantación de lasmedidas adoptadas como consecuencia dela evaluación.

PRINCIPALES DIFICULTADES

No cabe duda que identificar deforma-ciones, errores de planteamiento y caminosequivocados al evaluar institucionalmente lainvestigación es un aspecto clave para em-prenderla correctamente. De los apartadosanteriores, pueden deducirse fácilmentelas principales dificultades que se puedenplantear. Se comentan brevemente aquíaquellas que no están específicamentecontempladas anteriormente.

En primer lugar, la ausencia de lide-razgo de los órganos unipersonales y co-legiados de gobierno puede propiciarque la evaluación sólo se quede en uninforme final sin consecuencias. Empren-der la evaluación sólo para apuntarse untanto y utilizarlo como fachada no tienesentido.

En segundo lugar, hay que tener pre-sente que la calidad debe establecerse porla vía. del convencimiento, más que a tra-vés de la imposición. Ya se ha indicado la

trascendencia del factor humano y de lacultura de la calidad.

En tercer lugar, la Comisión o Comité deCalidad debe tener una vocación de servicioy nunca convertirse en un poder fáctico. Nohay que olvidar que -la información es poder-.Su misión es suministrar información de ca-lidad para que los pertinentes órganos degobierno tomen las decisiones. Un códigoético de actuación es altamente recomenda-ble que se plasme por escrito.

En cuarto lugar, debe admitirse que laevaluación y mejora no pueden desarro-llarse con brusquedad. Son procesos len-tos incluso en empresas privadas sin losconclicionantes que tiene el sistema uni-versitario. Acelerar el proceso implicaperder algunos de los hitos metodológicosmencionados y propiciar los errores, quepueden ser utilizados como arma arroja-diza por los reacios a cualquier cambio.

En quinto lugar, las acciones de evalua-ción deben evitar conflictos entre comisio-nes de la universidad (ej. la de Investigación,la de Doctorado, la de Asuntos Económi-cos) que pueden ver en la Comisión de Ca-lidad como algo nuevo que les usurpa susfunciones. Si el planteamiento es correcto,lo que ésta debe realizar es un servicio alas demás comisiones.

Por último, la evaluación nunca debealterar la esencia de las instituciones uni-versitarias que las ha mantenido durantesiglos. La aplicación de sistemas de calidadcon un enfoque exclusivamente empresa-rial puede ocasionar deformaciones de Ob-jetivos muy peligrosos.

LA EVALUACIÓN DE LA INVESTIGACIÓNEN EL PLAN NACIONAL

Las características y detalles técnicosdel Plan Nacional de Evaluación de la Ca-lidad de las Universidades se exponen enotros artículos del presente número de laRevista de Educación. Se tratarán aquí losaspectos específicos de la evaluación de lainvestigación, así como se comentarán bre-

134

vemente los resultados de la primera con-vocatoria del Plan en este contexto.

LA UNIDAD DE ANÁLISIS

Los departamentos y las áreas de co-nocimiento (si son varias) son las unidadesbásicas que se han de evaluar, aunque launiversidad en su conjunto también podráser objeto de examen al integrar la evalua-ción de la investigación de todos sus de-partamentos. La convivencia entre dosunidades a ser evaluadas en el mismo pro-yecto (titulación para la enseñanza y de-partamentos más implicados para lainvestigación), así como la indefinición dela unidad para evaluar la gestión, ha propi-ciado problemas que se han resuelto deforma muy dispar. La evaluación, segúnprotocolo de la evaluación de los departa-mentos, se ha resuelto favorablementecuando el Comité de Evaluación ha delega-do esta labor en un subcomité del departa-mento.

RECOGIDA Y TRATAMIENTO DE DATOSCUANI1TATIVOS

El protocolo de investigación de laGuía de Evaluación contempla veinticuatrotablas que recogen los datos de cinco añosrelativos a recursos humanos (profesorado,becarios, técnicos, etc.), recursos materia-les (proyectos, contratos, infraestructura,etc.) y resultados (publicaciones, patentes,etc.). En ellas se considera el tratamientode los números absolutos para convertirlosen cinco tipos de tasas de actividad, éxito,productividad, evolución y concentraciónde actividades.

INFORMACIÓN CUALITATIVA

El protocolo contiene, bien estructu-rados, una serie de tópicos para que seancomentados en la autoevaluación relacio-nados con el contexto, formulación de ob-jetivos, las relaciones de la investigación

con otras tareas universitarias (figura IV ytabla I), las relaciones internas y externas(figura V), entre otras. Pueden proporcio-nar una información muy valiosa que espoco habitual. No se contemplan encues-tas y entrevistas a los agentes internos yexternos que podrían aportar una informa-ción complementaria muy valiosa.

EVALUACIÓN DE LA CALIDAD DE LAPRODUCCIÓN CIEN-11EICA

No cabe duda de que se trata de unelemento esencial de la evaluación de lainvestigación. No obstante, este aspecto noha sido resuelto satisfactoriamente en laprimera convocatoria del Plan. La disponibi-lidad de indicadores cuantitativos (índices deimpacto) en las áreas experimentales quefaciliten esta labor, contrasta con su ausen-cia en áreas humanísticas y sociales. Pese alesfuerzo realizado por el Comité Técnico delPlan Nacional no ha sido posible ordenar laspublicaciones en varias categorías en estasáreas según su calidad. No cabe duda que esuna asignatura pendiente. El artículo deMaltrás, Vidal y Quintanilla en este mismonúmero de la revista aborda sistemática-mente este difícil aspecto.

JUICIOS DE VALOR

La formulación puntos fuertes y débi-les de la investigación en la unidad evalua-da constituye un aspecto crucial delproceso. La información cualitativa y cuan-titativa recogida y elaborada en la etapasanteriores debe ser objeto de una profun-da reflexión y análisis. Un autoinforme sineste aspecto bien desarrollado es un au-toinforme de baja calidad y casi inútil. Noson pocos los autoinformes de la primeraconvocatoria en los que la reflexión es es-casa. El protocolo de investigación de laguía ofrece una serie de puntos de refle-xión para su consideración sistemática, loque indudablemente facilita la tarea. El Co-mité de Evaluación deberá sacar conclusio-

135

nes genéricas de los diferentes autoinfor-mes de investigación formulados por losdepartamentos.

PROPUESTAS DE MFJORA. PIAN DESEGUIMIENTO

El refuerzo de las cualidades y la su-presión o disminución de las debilidadesdetectadas debe plasmarse en un plan demejora que esté dirigido, priorizaclo y tem-poralizado. Es indudable que si no se ter-mina con un plan cle acción y que éste sedesarrolle, todo el esfuerzo evaluador ha-brá sido inútil.

EVALUACIÓN EXTERNA

La autoevaluación de la investigación secompleta con una revisión por pares exter-nos que se entrevisten con los responsablescíe la investigación y visiten los departamen-tos. La escasa duración de la denominada .vi-sita» hace que ésta se concentre de formacasi monográfica en la enseñanza, ya que latitulación es la unickid fundamental de análi-sis. Así lo indica la experiencia en la primeraconvocatoria del Plan.

CRÍTICA A LOS PROCESOS DE EVALUACIÓNINTERNA Y EXTERNA

Los puntos fuertes y débiles en la eva-luación de la investigación deberán tam-bién reflejarse en el Informe Final, quetambién contendrá propuestas específicasde mejora de los procesos. Es indudableque el Plan es mejorable y la experienciapráctica es una buena guía para conse-guirlo. Los Informes Finales contemplan,en general, escasamente este aspecto.

EVALUACIÓN DE LOS RESULTADOS DE JAPRIMERA CONVOCATORIA

El análisis de los Informes Finales, reali-zado por Vidal y Quintanilla, así como la

experiencia del autor de este artículo, per-miten realizar una exposición, que necesaria-mente será breve, de los resultados obtenidosal evaluar la investigación de un gran númerode departamentos muy diversos involucradosen treinta y siete titulaciones.

Como balance general cabe indicarque, pese a la gran diversidad de situacio-nes, existe un consenso sobre el aumentosde la cantidad y calidad de la investigaciónen la universidad española; no existen ob-jetivos ni planificación y que el proceso deevaluación es globalmente aceptable, aun-que existen divergencias sobre la metodo-logía e instrumentos utilizados.

Entre las fortalezas más comúnmentedetectadas se encuentran el incrementotanto de recursos como de producción enla última década, así como una mejora enla gestión y un aumento significativo(aunque todavía escaso) de las relacio-nes con empresas. Los puntos débilesmás generales encontrados son: ausenciade objetivos y planificación; práctica ine-xistencia de financiación interna; el de-partamento no se concibe como unidadintegradora, sino meramente administra-tiva; es mínima la optimización de recur-sos; exceso de carga docente y de tareasburocráticas que dificultan las tareas inves-tigadoras; falta de criterio y fuentes de in-formación para evaluar la investigación,situación que es particularmente grave enáreas humanísticas y sociales.

Existe una tendencia generalizada dedirigir las propuestas de mejora fuera delentorno de la unidad evaluada, lo que encierta medida es un indicador del fracasodel modelo de autoevaluación. Además delas propuestas esperables (ej. aumento derecursos humanos y económicos) se pue-den encontrar interesantes propuestas in-ternas del departamento (ej. favorecer lacompetitividad mediante la integración deinvestigadores en proyectos comunes de lamayor entidad posible, fomentar la optimi-zación de recursos, incentivar la definiciónexplícita de objetivos y de programación

136

plurianual, etc.). También se han detecta-do propuestas de acción dirigidas a launiversidad, tales como: mayor dedica-ción de recursos internos a la actividad in-vestigadora; mejorar los criterios deasignación de recursos usando indicadoresmás fiables y elaborados; promover las re-laciones internas y externas; incentivar lassolicitudes de proyectos y contratos; apoyarla gestión administrativa y económica de losmismos (especialmente de carácter euro-peo); facilitar la transferencia de conoci-mientos derivados de la investigación a laactividad docente, entre otras.

Como conclusión, han quedado demanifiesto una serie de necesidades, talescomo: A) mejorar y simplificar el protocolode investigación de la Guía de Evaluacióndel Plan, sobre todo en lo referente a la ar-ticulación de la investigación con otras tareasuniversitarias; B) adoptar una perspectivainstitucional integradora al evaluar la in-vestigación; C) fomentar medidas que es-timulen a las universidades a formularplanes estratégicos de investigación ensus departamentos; y D) resolver la ca-rencia de criterios objetivos de evalua-ción de la calidad de las publicacionescientíficas, especialmente en los camposde humanidades y ciencias sociales.

EVALUACIÓN INSTITUCIONAL DE LOSESTUDIOS DE TERCER CICLO

La ausencia de referencias específicassobre los estudios de Doctorado en el PlanNacional, así como la necesidad vigente deun cambio importante han sido los moto-res que han impulsado a la Universidad deCórdoba a llevar a cabo un proceso de eva-luación y mejora en este contexto. Se trata deuna experiencia inédita, cuyas principalescaracterísticas se exponen en este artículo,ya que el Tercer Ciclo es un aspecto pococonsiderado en la clináinica universitaria ac-tual pese a su importancia estratégica: el pro-

yecto de modificación del decreto regulador,elaborado por el Consejo de Universidades,está aparcado incomprensiblemente en laSecretaría de Estado de Universidades e In-vestigación del MEC.

CARACTERISTICAS DE LA EVALUACIÓN

Se ha aplicado la misma metodologíade evaluación de una titulación del Plannacional con las lógicas adaptaciones, te-niendo en cuenta las características pecu-liares del Doctorado. Se ha seguido, pues,el modelo de autorregulación (autoevalua-ción y evaluación externa). El Comité deEvaluación no ha coincidido con la Comi-sión de Doctorado (salvo su presidente) yestá formado por profesores (López Ontive-ros, Rodán Cañas y Solana Lara) de recono-cido prestigio en las diversas macroáreas,así como una alumna de Tercer Ciclo (L.Humanes) y un representante del personaladministrativo adscrito a la Comisión deDoctorado (Prof. Arnau). El Comité de Ex-pertos Externos ha estado formado por dosprofesores que han sido los impulsores delPlan Nacional (Prof. Quintanilla y Prof. Mi-chavila), así como por el Prof. García Gue-rrero, Vicepresidente del CSIC.

La autoevaluación se ha basado enuna mezcla ponderada y racional de indi-cadores cuantitativos y de las opinionesde los agentes implicados (profesores,alumnos activos, doctores egresados, di-rectores de departamentos, etc.), que hansido consultados a través de encuestas.Los períodos examinados han sido cincocursos académicos (1991-1996) para los in-dicadores globales y el curso académico1996-97 para los indicadores puntuales.

Las unidades de análisis han sido losdepartamentos que, según el marco legalvigente, son los responsables de los estu-dios de Tercer Ciclo y la Comisión de Doc-torado como responsable de la gestión. Lastareas examinadas han sido: la enseñanzaplasmada en los Programas de Doctorado,

137

[INFORME DEEVALUACIÓN

EXTERNA INFORMEFINAL

la investigación centrada en las tesis docto-rales y su producción científica derivada yla gestión (incluyendo procesos de tomade decisión) del área administrativa deldoctorado y de los departamentos, asícomo la Comisión de Doctorado.

EL PROCESO DE EVALUACIÓN

Un diagrama esquemático de las eta-pas del proceso de evaluación del Docto-rado en la Universidad de Córdoba llevadoa cabo durante el año 1997 se muestra enla Figura VI. Una descripción detallada delmismo cae fuera del contexto de este artí-

culo. Los lectores interesados pueden diri-girse al autor para conocer detalles especí-ficos (Dpto. de Química Analítica, Facultadde Ciencias, 14004 Córdoba; tel.: 957-218616; e-mail: qalmeobj@uco.es). Se hangenerado diez documentos: 1) Documentomarco justificativo de la evaluación y quecontiene las líneas maestras de acción; 2)Guía de Autoevaluación; 3) Resultados delas encuestas de opinión realizadas en loscuatro colectivos indicados en la figura VI;4) Recopilación y tratamiento (a través deindicadores de calidad) de los datos cuan-titativos; 5) Opinión estructurada de la Co-misión de Doctorado, que definió puntos

FIGURA VIDiagrama esquemático de/proceso de evaluación Institucional de los estudios

de Tercer Ciclo en la Universidad de Córdoba

PROORANA PROPIO DM LA UNIVERSIDAD pe cOnootm

I

EVALUACIÓN INSTITUCIONAL DELOS ESTUDIOS DE TERCER CICLO

PROCESO 1

FASE PRELIMINAR- Conetituc.ión Comité de Evaluación y sub-unidad técnica- Realización Gulas de AutoevaluacIón y Evaluación Externa

ENCUESTAS A:- Alumnos activos RECOPILACIÓN OPINIÓN- Egresados Y PROCESADO EXTRUCTUFtADA- Profesen». DE DATOS DE LA COMISIÓN• DIroctoroo Dpto. CUANTITATIVOS DE DOCTORADO

EVALUACIÓN DELA PRODUCCIÓN

CIENTIFICA DE LASTESIS DOCTORALES

138

fuertes y débiles y propuestas de mejoraen los aspectos específicos que librementedecidió; 6) Estudio de la calidad de la pro-ducción científica de las tesis doctorales delperíodo estudiado (450 aproximadamente)mediante un proceso simple y descentrali-zado que ha tenido en cuenta la dificultadde ausencia de criterios objetivos en lasáreas de humanidades y ciencias sociales;7) Informe de Autoevaluación, con una es-tructuración muy semejante al propuestoen la Guía del Plan Nacional; 8) Guía deEvaluación Externa; 9) Informe de Evalua-ción Externa; y 10) Informe Final, realiza-do por el Comité de Evaluación.

LOS RESULTADOS

Esta evaluación ha puesto de manifies-to los defectos y deficiencias de la situa-ción actual de los estudios de Tercer Cicloen España: falta de reconocimiento de es-tos estudios, que se plasma en un recono-cimiento mínimo de créditos impartidos enlos Programas; necesidad de cambiar elprocedimiento de concesión de la «suficien-cia investigadora.; necesidad de un controlde la calidad de los Programas; dificultadesen la gestión, que es sumamente compleja;necesidad de reducir Programas; necesi-

dad de cambios del mecanismo de evalua-ción de las tesis doctorales para garantizarsu calidad, etc. Es interesante indicar quelas conclusiones no son sorprendentes,pues coinciden con las opiniones de mu-chos responsables de las comisiones dedoctorado de las universidades españolas.La única diferencia es que estas opinionesestán soportadas por un estudio sistemáti-co y riguroso avalado por la evaluación ex-terna, lo que garantiza, a priori, que loscambios propuestos puedan ver la luz.Todo ello se ha concretado en un plan es-tratégico de mejora temporalizado, prio-rizado y dirigido, que implicará una seriede medidas de acción inmediata, asícomo cambios sustanciales en la norma-tiva interna reguladora de estos estudios.Desde un punto de vista global, posible-mente el cambio más significativo pro-puesto por el Comité de ExpertosExternos consiste en la convivencia dedos niveles de calidad; el más alto son ni-veles de exigencia superiores, que serábien apoyado con recursos humanos yeconómicos. Este modelo ofrece variasventajas: fomentar la calidad y no reba-jar los niveles de exigencia para quemayoritariamente puedan cumplirlos losProgramas actuales.

139