Débora Domingo Calabuig Dpto. de Proyectos Arquitectónicos. Universitat Politècnica de València Vicente Mas Llorens Dpto. de Proyectos Arquitectónicos. Universitat Politècnica de València Marilda Azulay Tapiero Dpto. de Proyectos Arquitectónicos. Universitat Politècnica de València

Procesos de evaluación de la actividad investigadora en arquitectura: Un estudio comparado RESUMEN. La actividad investigadora no es una opción para el profesorado de las Escuelas de Arquitectura, sencillamente porque será evaluada con asiduidad. La hoja de ruta del profesorado universitario es clara: sucesivas acreditaciones para las figuras contractuales y para el acceso al funcionariado. A ello deben añadirse evaluaciones periódicas y esporádicas, relativas a la totalidad del currículo o a algunos méritos con carácter de excelencia, cuyas competencias recaen en instituciones nacionales o autonómicas. Ante tal diversificación de los criterios de evaluación, el trabajo aquí presentado establece un estudio comparado de los sistemas adoptados por diversas universidades españolas. Las conclusiones apuntan hacia la necesidad de una homogeneización, tal vez menos intrusiva en la trayectoria de la investigación en arquitectura. PALABRAS CLAVE: evaluación de la investigación, investigación arquitectónica, acreditación del profesorado, promoción del profesorado ABSTRACT. The research activity is not an option for teachers of the Schools of Architecture, simply because it will be evaluated regularly. The roadmap of university teachers is clear: several academic accreditations are needed to access to civil service. Furthermore, periodic and sporadic assessments should be added, related to the entire academia progress, or simply on some merits as a matter of excellence, whose powers are vested in national or regional institutions. Given this diversification of the evaluation criteria, the work presented here provides a comparative study of the systems adopted by various Spanish universities. The findings point to the need for standardization, perhaps less intrusive in the course of architectural research. KEYWORDS: research evaluation, architectural research, academic accreditation, faculty promotion

Procesos de evaluación de la actividad investigadora en arquitectura: Un estudio comparado

Introducción: La investigación necesaria. Calidad, objetividad y especificidad

La actividad investigadora no es una opción para el profesorado universitario en general, y por lo tanto, tampoco lo es para los docentes de las Escuelas de Arquitectura en particular. Las universidades adquieren el compromiso institucional de generar conocimiento y de transmitirlo, contribución fundamental –no exenta de cierta complejidad- en el desarrollo científico, económico y social de un país, y los profesores se convierten en el instrumento vehicular para esta finalidad. Investigación y docencia van lógicamente unidas, y el primer brazo de la balanza debe alimentar al segundo, aunque esta transferencia no sea siempre evidente. En cualquier caso, e independientemente de los matices de productividad que puedan derivarse de esta argumentación, la investigación es una necesidad, sencillamente porque será evaluada con asiduidad.

La asunción de esta necesidad deriva rápidamente la atención hacia los criterios que miden la calidad de la investigación. La evaluación de la actividad científica tiene como objetivo señalar las aportaciones que cumplan con aquellos sistemas de medición con pretensiones de máxima objetividad: valoraciones estandarizadas y normalizadas, con semejanzas para todas las áreas de conocimiento, que permitan reducir el proceso a una sencilla operación de contabilidad.

No obstante, esta anhelada homogeneidad de criterios es un objetivo difícil de acometer. La investigación es variada, en ello reside su riqueza, y la afirmación que alude al avance del conocimiento -claramente asumible en todos los terrenos- puede verse formalizada de innumerables maneras. ¿Supone un avance para la arquitectura una metodología nueva para el ensayo de un material? ¿Y la catalogación de los dibujos que desvelan un proceso de proyecto de una obra? ¿Y el estudio de modelos de gestión de obras? ¿Y los textos ensayísticos que permiten leer la arquitectura bajo miradas críticas? Numerosos documentos hablan de la especificidad de la arquitectura como disciplina tangente a muchas otras en materia de investigación (de Prada, 2004; Monedero, 2004; Díaz, 2006); de hecho ésta

es una de las causas por las que resulta oportuna la existencia de foros como el presente.

Si los evaluados subrayan constantemente las particularidades de su investigación, los órganos evaluadores responden con criterios específicos para dicha gestión. Dos ejemplos ilustran esta cuestión en el ámbito concreto de la arquitectura. En primer lugar, la Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI) es un organismo nacido en 1989 que convoca desde 2000 resoluciones anuales para la solicitud del reconocimiento de tramos de investigación.1 Durante los primeros años (1990-1994) no se habla de ámbitos específicos del conocimiento, y es en 1995 cuando nuestra disciplina queda englobada en un campo de conocimiento denominado “6. Ingenierías y Arquitectura” donde se hacen explícitos ciertas peculiaridades.2 Esta clasificación de las áreas científicas todavía necesitará de una subdivisión más, cuando en 2006 la resolución contempla hasta 3 subcampos del apartado dedicado a las ingenierías y la arquitectura: el subcampo 6.3 se destinará a la arquitectura, la construcción, la ingeniería civil y el urbanismo. 3 Cabe decir que esta progresiva fragmentación de las áreas de conocimiento que permite ajustar los criterios de evaluación a las diferentes particularidades se da también en otros organismos evaluadores.

El segundo ejemplo es relevante porque es ajeno a nuestro ámbito territorial. Thomson Reuters es sobradamente conocida en materia de evaluación de la investigación, entre sus productos se encuentran varios gestores bibliográficos muy extendidos en su uso, o el famoso Journal Citation Reports, además del Arts & Humanities Citation Index. La empresa ofrece un informe a sus posibles clientes –los editores de las revistas de investigación- en el que especifica cuáles son los criterios de calidad que deberían cumplir los aspirantes a sus índices. En este documento, titulado “Proceso de selección de revistas especializadas de Thomson Reuters”, Testa (2009, p.1-3), director de desarrollo editorial afirma:

“Se aplica una consideración especial en la evaluación de revistas especializadas sobre ciencias sociales y artes y humanidades, especialmente acerca del análisis de citas. (�)

Las normas de publicación, incluida la puntualidad, son importantes en la evaluación de las revistas sobre artes y humanidades. Sin embargo, los patrones de citas en artes y humanidades no siguen necesariamente el mismo patrón predecible que las citas en artículos de ciencias sociales y ciencias naturales. Además los artículos de las revistas sobre artes y humanidades generalmente hacen referencia a fuentes que no son revistas (�). El texto en inglés no es requisito en algunas áreas de los estudios de arte y humanidades donde el enfoque nacional del estudio excluye la necesidad de ello (�).”

Materiales: Agentes y componentes de la evaluación de la investigación en arquitectura

Las numerosas evaluaciones a las que se ve sometido el profesorado universitario –en este caso de arquitectura- en relación a la investigación, pueden ser analizadas en función de sus diferentes características.

Objetivo de la evaluación

Existen evaluaciones de carácter ineludible en la progresión de la trayectoria académica, frente a otras voluntarias y ajenas a temas contractuales.

Entre las primeras se encuentran las acreditaciones de acceso a las figuras de profesor universitario contratado, que son dos si el inicio de la carrera académica se realiza bajo la figura de “profesor ayudante”. Según la Ley Orgánica 4/2007, de 12 de abril, por la que se modifica la Ley Orgánica 6/2001, de 21 de diciembre, de Universidades, al cabo de 5 años de vigencia de este contrato, se deberá acceder a la siguiente figura contractual, “profesor ayudante doctor”. El plazo máximo para permanecer contratado en la suma de estas dos figuras es de 8 años, posteriormente se debe aspirar a “profesor contratado doctor”. Todo este proceso supone un total de dos evaluaciones.

El acceso al cuerpo de funcionariado también requiere de evaluaciones. Para el concurso a una plaza de profesor titular es necesario tener la correspondiente acreditación, lo mismo ocurre cuando se aspira a una cátedra.

En el lado opuesto, las evaluaciones de la investigación pueden entenderse como optativas, cuando éstas no suponen más que un complemento retributivo o el reconocimiento de un estatus, que dará acceso preferente a estructuras de investigación y gestión.

En este sentido, pueden nombrarse tanto las evaluaciones anuales que las universidades realizan a su profesorado con la finalidad de medir los objetivos que justificarán complementos salariales, o aquellas evaluaciones que permiten reconocer tramos de investigación de mayor recorrido temporal.4

Periodicidad de la evaluación

Tal y como se deduce del apartado anterior, los periodos a los que se ve sometida la investigación son variables y dependen del objetivo en el que se enmarquen. Algunas evaluaciones se dan una única vez en la trayectoria

investigadora del profesor, otras se suceden con una pauta temporal amplia, las hay que no han acabado de gestionarse cuando ya están repitiéndose.

Competencia evaluadora

Los criterios de la evaluación vienen determinados por la institución que la realiza. De nuevo, el arco abarca todas las escalas, en este caso geográficas.

Existen evaluaciones que podrían denominarse internas: son aquellas que lleva a cabo la propia universidad a su personal contratado. La finalidad es incentivar la investigación mediante el establecimiento de una escala de puntuación que permita conceder retribuciones adicionales, ayudas varias o acceso a estructuras de investigación. A tal efecto se crean oficinas y servicios específicos en estas instituciones, dedicadas a la elaboración de los criterios, la evaluación y la gestión del proceso. Dos ejemplos con dilatada experiencia son el Gabinet de Planificació, Avaluació i Qualitat, de la Universitat Politécnica de Catalunya y el Vicerrectorado de Investigación de la Universitat Politècnica de València. En ambos casos se otorga una puntuación al investigador, Punts per Activitats de Recerca (PAR) y Valoración de la Actividad Investigadora Personalizada (VAIP), respectivamente, mediante sistemas que bareman con periodicidad –aproximadamente anual- los diferentes méritos.

Además, al amparo de la Ley Orgánica de Universidades, se crea la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA), y se deja abierto el camino para que las autonomías constituyan sus propios organismos evaluadores (Fig.1). Cabe señalar que, mientras la ANECA realiza tantos las acreditaciones para acceso a las figuras contractuales, como las acreditaciones nacionales de acceso al funcionariado, las agencias autonómicas mayoritariamente llevan a cabo las primeras, que pueden recibir además diferentes designaciones. Sin embargo, la calificación obtenida por cualquier agencia, sea nacional o autonómica, tiene validez en todo el territorio nacional. No son pocas las voces que se alzan críticas frente a estas duplicidades de recursos.

Figura 1: Órganos evaluadores que realizan los procesos de acreditación del profesorado universitario en España

A este variado panorama de agencias debe añadirse la comisión que realiza la evaluación de la actividad investigadora, popularmente conocida como “sexenios”: la Comisión Nacional para la Evaluación de la Actividad Investigadora (CNEAI) es un nuevo órgano, con diferentes criterios, miembros en sus subcomisiones, sistema de solicitud� que anualmente recorre todo un proceso de evaluación.

Objeto de la evaluación y elementos evaluados

De entre todas las evaluaciones mencionadas, encontramos algunas donde el objeto de la valoración es una selección de méritos (de excelencia y escogidos por el evaluado) frente a otras donde se incluyen todos los ítems en materia de investigación, que deben adicionarse a otras partes curriculares en materia de docencia o gestión.

Hasta aquí, los factores analizados son genéricos y comunes a la evaluación curricular del profesorado universitario en general. Sin embargo, la especificidad de la investigación en arquitectura se hace evidente cuando se listan los diferentes elementos evaluados, y se subrayan algunas diferencias respecto a las características generales de la aportación (Fig.2).

Cabe señalar que la propia especificidad nombrada anteriormente, puede ser concretada de diversas maneras. En este sentido, el estudio aquí

realizado se centra en las evaluaciones del campo relativo al proyecto arquitectónico, aunque no por ello ciertos argumentos y algunas tesis aquí defendidas podrían ser igualmente válidas para profesores que solicitan su evaluación por las áreas de las ciencias sociales, o también de las ingenierías. Todos ellos confluyen en las escuelas de arquitectura en la actualidad, aunque impartan docencia en diferentes departamentos.

Figura 2: Elementos evaluados en la trayectoria investigadora en arquitectura5

Resultados: La cuantificación de la investigación. Estudio comparativo

La diversidad de procesos de evaluación de la actividad investigadora en arquitectura puede ser analizada mediante un estudio comparado. Para ello se elabora una tabla que contempla el baremo de los criterios específicos de organismos evaluadores locales, autonómicos y nacionales, para evaluaciones tanto periódicas como esporádicas, atendiendo a elementos evaluados coincidentes.

Los organismos analizados y los procesos de evaluación cuyos criterios se han estudiado son:

Figura 3: Evaluaciones seleccionadas para el estudio comparativo Además, se han seleccionado los elementos evaluados más significativos en el área de la investigación en arquitectura con el fin de acotar el ámbito de estudio. Estos son: a) los artículos en revistas de investigación, b) los libros y capítulos de libros de investigación, d) la publicación en actas de congresos de investigación, e) las creaciones artísticas y profesionales: proyectos arquitectónicos, urbanísticos y de ingeniería , f) los premios de investigación y de creación artística: obra arquitectónica, urbanística y de ingeniería, y g) las revisiones de trabajos científicos.

Se listan a continuación las diferentes tablas resultantes del análisis realizado:

Figura 4.1. Estudio comparativo de evaluación de artículos en revistas de investigación

Figura 4.2. Estudio comparativo de evaluación de libros de investigación completos y de capítulos

Figura 4.3. Estudio comparativo de evaluación de publicación en actas de congresos de investigación

Figura 4.4. Estudio comparativo de evaluación de creaciones artísticas y profesionales: proyectos arquitectónicos, urbanísticos y de ingeniería

Figura 4.5. Estudio comparativo de evaluación de premios de investigación y de creación artística: obra arquitectónica, urbanística y de ingeniería

Figura 4.6. Estudio comparativo de evaluación de revisiones de trabajos científicos

Conclusiones: diversidad de méritos y homogeneización de criterios

El estudio comparado llevado a cabo pone en evidencia algo que cualquier profesor de una escuela de arquitectura intuye ya a estas alturas. Simplemente se trata aquí de hacer visible, datos mediante, las desigualdades, diferencias y discrepancias que el amplio panorama de la evaluación de la investigación nos ofrece.

Llaman en primer lugar la atención la propia clasificación de los elementos evaluados según las agencias que realicen la valoración. Se toman como ejemplo los criterios utilizados en la Comunidad de Madrid y en la Comunitat Valenciana. En la ACAP los méritos quedan divididos en 4 grandes bloques:

experiencia docente, investigadora y profesional; producción académica y científica; formación; y otros méritos. De la misma manera la AVAP especifica también 4 apartados: formación académica y profesional; experiencia investigadora; experiencia docente; y otros méritos. No existe una correspondencia biunívoca entre ambas clasificaciones, y así, aportaciones que puntúan en un apartado en AVAP, lo hacen en un capítulo diferente en ACAP. Tal es el caso, entre otros posibles ejemplos, de las estancias postdoctorales en centros de investigación, que pueden ser formativas en la Comunitat Valenciana y tener un peso significante, o estar relegadas al terreno de “otros méritos”, con una puntuación relativa muy baja en la Comunidad de Madrid.

Además, una relectura de la tabla 2 permite subrayar la ausencia de ciertos méritos según algunos criterios de evaluación. Pese a parecer lógico que, en casos concretos, una aportación relevante para una figura contractual no lo sea para otro tipo de evaluación, resulta cuanto menos significativo que la discrepancia entre méritos se dé entre evaluaciones con objetivos similares. ¿Una exposición artística (presentación pública de obras de arquitectura, urbanismo o ingeniería) o científica (divulgación del conocimiento científico o de avances tecnológicos) es un mérito de producción científica en la Comunidad de Madrid, pero no en Andalucía, en la Comunidad Valenciana o en el País Vasco?

Con razonamientos como éste se hacen latentes las discordancias geográficas: figuras contractuales equivalentes (con igual o diferente designación) requieren de méritos diferentes. Así, uno no puede llegar a profesor “pleno” –la figura que sigue a profesor “agregado”, ambas dentro de la categoría de contratados permanentes- en el País Vasco sin haber dirigido dos tesis doctorales o haber dirigido dos proyectos de investigación, condición que no es necesaria en otras partes del territorio nacional. También en Catalunya la denominación es profesor “agregado”, y aquí se exigen un mínimo de 3 años de experiencia investigadora prioritariamente post-doctoral, condición que sin embargo se ha suprimido en la Comunitat Valenciana.

La falta de homogeneidad en los criterios de evaluación provocan unas consecuencias que se asientan poco a poco en la propia trayectoria de los investigadores. Son muchos los jóvenes profesores que en las escuelas de arquitectura tratan de abrirse camino en la carrera académica, y ponen su atención en las múltiples evaluaciones que deben superar. Es una costumbre extendida tener presente los méritos conseguidos y los que quedan por acometer, sopesar mentalmente el currículo en función del siguiente obstáculo a salvar. Grupos de investigadores formados por figuras jóvenes y sénior estudian con minuciosidad los frutos de sus colaboraciones para que éstos sean convenientes para todas las trayectorias, incluso algunos compañeros se acercan a la interdisciplinaridad en sus

investigación a la búsqueda de revistas de mayor ranking en los índices más prestigiosos, algo escasas en nuestro ámbito de conocimiento. Esta situación resulta bien paradójica, ya que el artículo publicado tendrá entonces escasa repercusión entre la comunidad científica que le corresponde.

Evaluadores y evaluados son parte de la mismo sistema, de hecho son el mismo sistema, y tal vez el tiempo de experiencia transcurrido en las evaluaciones de la investigación sea suficiente para empezar a corregir parámetros, modificar recursos y evitar factores intrusivos. ��������������������������������������������������������1 La Comisión Nacional Evaluadora de la Actividad Investigadora se constituye el 28 de diciembre de 1989 (BOE núm. 313 de 30 de diciembre de 1989) y la primera resolución, de la Secretaría de Estado de Universidades e Investigación, por la que se establece el procedimiento para la evaluación de la actividad investigadora a efectos del reconocimiento del componente excepcional del complemento de productividad, data del 6 de febrero de 1990 (BOE núm. 34, de 8 de febrero de 1990). 2 Resolución de 26 de octubre de 1995, de la Dirección General de Investigación Científica y Técnica-Presidencia de la Comisión Nacional Evaluadora de la Actividad Investigadora. BOE núm. 274, de 16 de noviembre de 1995. 3 Resolución de 17 de noviembre de 2006, de la Presidencia de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se establecen los criterios específicos en cada uno de los campos de evaluación. BOE núm. 280, de 23 de noviembre de 2006. 4 Para el presente estudio se ha considerado siempre el proceso de contratación del profesorado en el marco de las universidades públicas españolas. 5 Para la elaboración de la presente tabla no se han considerado los 11 órganos evaluadores contemplados en la tabla 1, sino solamente CNEAI, ANECA, ACAP, AVAP, AQU, UNIBASQ y AGAE. Bibliografía · Díaz, C., 2006. Investigación versus práctica proyectual de la profesión de arquitecto, [en línea]. Disponible en: <http://hdl.handle.net/2099/2226> [fecha de consulta 20/05/2013]. · Carrera, E., 2009. Evaluación de la investigación. Estado del arte y análisis crítico. TFM: Universitat Politècnica de Catalunya. Disponible en: <http://upcommons.upc.edu/handle/2099.1/8191> [fecha de consulta 04/05/2013]. · Carreras, J., 2010. Evaluación de la calidad docente y promoción del profesorado (VII). Legislación universitaria española (e): modificación de la Ley Orgánica de Universidades. Profesorado contratado permanente (2004-2008), FEM. Revista de la Fundación Educación Médica, 13(4), pp. 205-221. · Delgado, E. , 2009. Claroscuros en la evaluación científica en España, [en línea]. Jornada Medes 2009. Disponible en: <http://ec3.ugr.es/publicaciones/BoletinMEDES10.pdf> [fecha de consulta 23/05/2013].

����������������������������������������������������������������������������������������������������������������������������������· Fayos, F., 2005: Valoración de la actividad investigadora de los profesores del ámbito de la Arquitectura y el Urbanismo, [en línea]. Primeras jornadas sobre investigación en arquitectura y urbanismo, Sevilla. Disponible en: <http://congreso.us.es/iau04/DATOS/ValoracionActividadInvestigacionArqyUrb.pdf> [fecha de consulta:10/04/2013]. · Font-Comas, J., 2006. Indicadores de la calidad, [en línea]. Segundas jornadas sobre investigación en Arquitectura y Urbanismo, San Cugat del Vallés. Disponible en: <http://upcommons.upc.edu/revistes/bitstream/2099/2211/1/IAU-00027-10.pdf> [fecha de consulta: 13/04/2013]. · González, José L. 2004. Dos problemas clave de la investigación en arquitectura: de los casos a los principios. En: Instituto Universitario Ciencias de la Construcción, ed. 2004. Primeras Jornadas sobre Investigación en Arquitectura y Urbanismo, Sevilla: Universidad de Sevilla · Monedero-Gil, J., 2004. La investigación en arquitectura. Datos para un debate. En: Instituto Universitario Ciencias de la Construcción, ed. 2004. Primeras Jornadas sobre Investigación en Arquitectura y Urbanismo, Sevilla: Universidad de Sevilla · Pinón, H., 2007. Ingeniería civil y arquitectura: investigar para construir, [en línea]. Universia. Disponible en: <http://contenidos.universia.es/especiales/entrevistas/civil-arquitectura/helio-pinyon.pdf> [fecha de consulta 15/04/2013]. · Prada, J. M., 2004. Investigación versus experimentación, o del uso inadecuado de algunos términos. En: Instituto Universitario Ciencias de la Construcción, ed. 2004. Primeras Jornadas sobre Investigación en Arquitectura y Urbanismo, Sevilla: Universidad de Sevilla · Seguí, J., 2010. La miserable condición de la investigación arquitectónica. En: mairea Libros, ed., 2010. III Jornadas sobre Investigación en Arquitectura y Urbanismo, Madrid: E.T.S. de Arquitectura. Disponible en: <http://oa.upm.es/8152/> [fecha de consulta 05/05/2013]. · Solís, F., Milanés, Y. y Navarrete, J., 2010. Evaluación de la investigación científica. El caso de Andalucía, Revista de la Facultad de Ciencias de la Educación, vol. 10, pp. 83-100. · Testa, J., 2009. Proceso de selección de revistas especializadas de Thomson Reuters, [en línea]. Disponible en: <http://wokinfo.com/media/essay/journal_selection_essay-es.pdf> [fecha de consulta 23/05/2013]. · Viñas, A., y Minobis, E., 2007. La evaluación de las revistas en la investigación en arquitectura y urbanismo, [en línea]. XVIII Jornadas ABBA. Disponible en: <http://bibliotecnica.upc.es/abba/jornadas/leon/Comunicaciones/Eduad_Minobis_Evaluacion_Revistas_ABBA_2007.pdf> [fecha de consulta 19/04/2013].