Proyecto financiado por el Instituto de Salud Carlos III Ministerio de Sanidad y Consumo(Proyectos PI06/0983 y PI10/00462)

Seguimiento y evaluación del Programa de Contratos de Investigadores en el

Sistema Nacional de Salud ‘Miguel Servet’

Jesús Rey Rocha

Consejo Superior de Investigaciones Científicas (CSIC) Centro de Ciencias Humanas y Sociales (CCHS)

Grupo de Estudios de la Actividad Científicahttp://geac.csic.cesga.es

Contexto

Esfuerzo por potenciar la faceta investigadora de los hospitales del SNS, como centros con una triple función: asistencial, docente e investigadora

PNIDI. Potenciación de los recursos humanos en I+D. Incorporación de investigadores en los centros públicos de investigación (incluidos los del SNS)

Programa FIS / Miguel Servet

Objetivos

Incorporar al SNS a investigadores con excelente formación para potenciar la capacidad investigadora del SNS

Dotar del necesario componente multidisciplinario a las unidades y grupos de investigación de los centros sanitarios

Fomentar la creación [y consolidación] de grupos estables de investigación en el SNS

Inicio: 1998

Investigadores postdoctorales

Contratos 3 + 3 años

Hospitales y centros de investigación del SNS

Importancia de la evaluación y seguimiento

Conocimiento de la utilidad y eficacia de las acciones evaluadas

Valoración económica

Gestión proactiva

Planificación estratégica

Reposicionamiento y reorientación

Evaluación del Programa

Cumplimiento de objetivos

Debilidades, fortalezas

Potencial

Elementos determinantes de su eventual éxito

Contribución al cumplimiento de otros objetivos de la política de CyT Investigación traslacional Innovación Movilidad

Metodología

Aproximación mixta, cuantitativa y cualitativa

Encuesta a los investigadores contratados

Entrevistas en profundidad con los responsables de los grupos y unidades administrativas de los hospitales y centros de investigación

Análisis de contenido de las solicitudes e informes de seguimiento

Resultados de las evaluaciones de las solicitudes presentadas a las convocatorias de proyectos de investigación del PNIDI y del FIS

Evaluación integral

Objetivo 2: Dotar del necesario componente multidisciplinarioa las unidades y grupos de investigación:MultidisciplinaridadRelación básicos-clínicos

Objetivo 1: Incorporar investigadores con excelente formación … Formación y experiencia investigadoraIncorporación desde el extranjeroTasa de incorporación estableCarrera investigadora en el SNSMotivos de baja

Objetivo 1: … para potenciar la capacidad investigadora del SNS:Producción científica y tecnológicaFormación de nuevos investigadoresProyectos financiadosActividad desarrolladaNuevas técnicasAcceso a grandes instalaciones

Objetivo 3: Fomentar la creación de grupos estables de investigación en el SNS:Creación de gruposPermanencia y consolidaciónIndependencia y autonomía

Otros objetivos:Investigación traslacionalInnovaciónMovilidad

Contexto:Condiciones de trabajoClima organizativoDisponibilidad de recursosRelaciones entre los componentes del sistemaEstabilidad, promoción, carrera

Evaluación:SelecciónEvaluación y seguimiento

Punto de partida

¿En qué medida cree que el programa ha contribuido a…? 1-5 Bastante-Mucho

Incorporar investigadores con excelente formación para potenciar la capacidad investigadora del SNS 4,0 75,7%

Dotar a las unidades y grupos de investigación del SNS del necesario componente multidisciplinario 3,7 61,1%

Facilitar la creación de grupos de investigación estables y competitivos en el SNS 3,1 40,3%

Facilitar la consolidación de grupos de investigación estables y competitivos en el SNS 3,6 55,5%

¿Qué opinan los responsables de grupos y unidades?

Fomentar la interrelación entre la investigación clínica y básica 3,5 54,2%

Fomentar la relación entre el profesional sanitario y la investigación 3,2 43,1%

Potenciar y facilitar la movilidad de los investigadores contratados 3,1 40,3%

Potenciar la innovación en el SNS 3,1 33,3%

Punto de partida

Efectos 24,3%

Incremento de la capacidad investigadora de los grupos y centros receptores 19,4%Aporte de nuevas tecnologías y técnicas 19,4%Desarrollo y consolidación de grupos y unidades de investigación 18,8%Incremento de la masa crítica de investigadores 18,1%

Incorporación de investigadores cualificados y con experiencia investigadora

¿Qué opinan los responsables de grupos y unidades?

Fortalezas19,4%

Incremento de la masa crítica de investigadores 14,6%Multidisciplinaridad. Formación complementaria a la del resto del grupo 11,8%Contribución a la estabilización y a la carrera investigadora 11,8%

Incorporación de investigadores cualificados y con experiencia investigadora

DebilidadesEscasa contribución a la estabilización y a la carrera investigadora 45,8%Sistema de seguimiento y evaluación expost 17,4%

O1: Incorporar investigadores …

Incorporación 48 / año (0,86% de los 6000 investigadores sanitarios)

Procedentes de un hospital/centro distinto 60,4% Incorporados a un grupo en el que no habían trabajado anteriormente 44,8% Procedentes del extranjero 27,2%Permanencia Continuaron dedicados a la investigación tras finalizar o abandonar el programa 84,5% Bajas 47,4%

• Programa Ramón y Cajal 25,5%• Contrato I+D 35,7%

Integración•Integración enmarcada en un contexto de:

• Inexistencia de carrera investigadora en el SNS• Ausencia de reconocimiento explícito de la figura del investigador hospitalario• Falta de vinculación contractual directa con el SNS

• Me considero un investigador más 71,3%• Mi jefe de grupo me ve como un investigador más 54,4%• El resto de investigadores del grupo me ven como un investigador más 64%

45,8%Escasa contribución a la estabilización y a la carrera investigadoraDebilidades

45,8%Escasa contribución a la estabilización y a la carrera investigadoraDebilidades

45,8%Escasa contribución a la estabilización y a la carrera investigadoraDebilidades

45,8%Escasa contribución a la estabilización y a la carrera investigadoraDebilidades

O1: … con excelente formación …

Formación y experiencia

Experiencia posdoctoral (años tras la tesis doctoral): 5,9

Solicitantes con estancias pre o postdoc en el extranjero 82,2%

Meses en el extranjero (promedio) 37

Solicitantes procedentes del extranjero 27,2%

Pero, ¿se está seleccionando a los mejores?

Cambios experimentados por el programa, según los entrevistados: 1º. Descenso del nivel de los candidatos 7,6%

¿Escasa competitividad salarial?

¿Pocos medios?Valore en qué medida el Centro en el que se ha desarrollado

su contrato FIS, le ha facilitado el acceso a los recursos necesarios para desarrollar su actividad investigadora

16,9%

24,3%

29,7%

10,3% 8,8%

NadaPocoRegularBastanteMucho

0 1 2 3 4 5

RRHH: Personal técnico y apoyo

RRHH: Personal administrativo

RRHH: Investigadores en formación

Pequeño equipamiento inventariable

Acceso a grandes equipos o instalaciones

Material fungible

Instalaciones: animalario, microscopía, etc.

Material de experimentación: animales, tejidos, etc.

Infraestructuras: laboratorios y similar

Infraestructuras: despachos, salas reuniones, etc.

Estructuras de apoyo y servicio (informática, biblioteca, estadística,etc.)

Recursos económicos

1=Muy insatisfecho; 2= Bastante Insatisfecho; 3=Intermedio; 4=Bastante Satisfecho; 5=Muy Satisfecho

63,2 62,557,1

42,4

51,5

66,757,1

63,2

0

25

50

75

100

1998 1999 2000 2001

% e

ncue

stad

os

Poder adquisitivo

Salario

Programa FIS

Programa RyC

36.000

37.000

38.000

39.000

40.000

41.000

42.000

43.000

44.000

45.000

1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009Convocatoria

Cua

ntía

anu

al d

e lo

s co

ntra

tos

en s

u pr

imer

a an

ualil

dad

(eur

os, b

ruto

)

Programa FIS

Programa RyC

36.000

37.000

38.000

39.000

40.000

41.000

42.000

43.000

44.000

45.000

1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009

Convocatoria

Cua

ntía

anu

al d

e lo

s co

ntra

tos

en s

u pr

imer

a an

ualil

dad

(eur

os, b

ruto

)Tabla salarial del Programa FIS, en comparación con el Programa Ramón y Cajal

En qué medida considera que han variado sus condiciones de trabajo, durante su contrato del Programa FIS, con respecto a su situación laboral en activo inmediatamente anterior

63,2 62,557,1

42,4

51,5

66,7

57,163,2

0

25

50

75

100

1998 1999 2000 2001

% e

ncue

stad

os

Poder adquisitivo

Salario

Encuestados que consideran que su salario y poder adquisitivo han mejorado

16,9%

24,3%

29,7%

10,3% 8,8%

NadaPocoRegularBastanteMucho

Valore en qué medida el Centro en el que se ha desarrollado su contrato FIS, le ha facilitado el acceso a los recursos necesarios para desarrollar su actividad investigadora

Valore a su nivel de satisfacción con los recursos de que ha dispuesto para desarrollar su actividad investigadora

1 2 3 4 5

RRHH: Personal técnico y apoyo

RRHH: Personal administrativo

RRHH: Investigadores en formación

Pequeño equipamiento inventariable

Acceso a grandes equipos o instalaciones

Material fungible

Instalaciones: animalario, microscopía, etc.

Material de experimentación: animales, tejidos, etc.

Infraestructuras: laboratorios y similar

Infraestructuras: despachos, salas reuniones, etc.

Estructuras de apoyo y servicio (informática, biblioteca, estadística,etc.)

Recursos económicos

1=Muy Insatisfecho; 2= Bastante Insatisfecho; 3=Intermedio; 4=Bastante Satisfecho; 5=Muy Satisfecho

O1: … para potenciar la capacidad investigadora

Proyectos de investigación 2001: proyecto asociado al contrato incrementa la capacidad investigadora IP en al menos un proyecto de investigación financiado 96,9%

Proyectos nacionales e internacionales como IP 3,9Tasa de éxito en la concesión de proyectos (concedidos/solicitados) 0,73Tasa de éxito en la concesión de proyectos superior a 0,9 44,3%Investigadores solicitantes / tasa de éxito como IP. Proyectos PNID 41% / 0,22Investigadores solicitantes / tasa de éxito como IP. Proyectos FIS 99% / 0,7ProductividadArtículos SCI (promedio por investigador) 14,3

FI medio de las publicaciones 4,2Patentes solicitadas / concedidas 0,3 / 0,1Tesis doctorales defendidas 2,2

6000

4768

96 237

1,60%

4,97%

0

1000

2000

3000

4000

5000

6000

7000

Número Artículos ISI0%

1%

2%

3%

4%

5%

6%

7%

Investigadores sanitarios Investigadores FIS activos % FIS/Total

(*) Fuente: Sela y Guinea, 2004 (**) Fuente: Méndez-Vásquez et al, 2008

(*)

(**)

0

2

4

6

8

10

12

14

16

18

Participaciones enproyectos

Artículos publicados Patentes concedidas Tesis dirigidas

Prom

edio

por

inve

stig

ador

Investigadores FIS Investigadores CSIC (1998-2002)

Producción científica

Producción científica (2003)

6000

4768

96 237

1,60%

4,97%

0

1000

2000

3000

4000

5000

6000

7000

Número Artículos ISI0%

1%

2%

3%

4%

5%

6%

7%

Investigadores sanitarios Investigadores FIS activos % FIS/Total

(*) Fuente: Sela y Guinea, 2004 (**) Fuente: Méndez-Vásquez et al, 2008

(*)

(**)

Actividad y productividad científica

0

2

4

6

8

10

12

14

16

18

Participaciones enproyectos

Artículos publicados Patentes concedidas Tesis dirigidas

Pro

med

io p

or in

vest

igad

or

Investigadores FIS Investigadores CSIC (1998-2002)

Indicadores de actividad y productividad científicaInvestigadores FIS vs investigadores del CSIC en el área de Biomedicina

Investigadores FIS (1998-2008) 4,2

Investigadores IDIBAPS (1999)(Rozman y Rodés, 2001)

3,25

Factor de ImpactoInvestigadores FIS vs IDIBAPS

O2: Multidisciplinaridad

Titulación académica (doctorado) Biología 50,7%Medicina 26.5%

Investigadores que han realizado investigación básica (B / B + CL) 50,7% / 41.2%

Contribución a la interrelación entre investigación clínica y básica elevada o muy elevada

54%.

Mi incorporación contribuyó a incrementar la relación básicos-clínicos 64,7%

Mi contribución a la interrelación básicos-clínicos ha sido elevada o muy elevada

58,1%

Investigadores en un contexto de interrelación investigación básica y clínica

85%

Nuevas interrelaciones entre básicos y clínicos 28,1%

O3: Creación y consolidación de grupos

Encuestados

Mi incorporación propició la creación de un nuevo grupo… 69,8%

… consolidado 24%

… en proceso de desarrollo y consolidación 70%

Bajas dejando un grupo creado 64%

Opiniones entrevistados Efecto Fortaleza

Desarrollo y consolidación de grupos y unidades de investigación

18,8% 9%

Creación de grupos de investigación 2,8% 1,4%

¿En qué medida cree que el programa ha contribuido a…?

1-5 Bastante-Mucho

Facilitar la creación de grupos de investigación estables y competitivos en el SNS 3,1 40,3%

Facilitar la consolidación de grupos de investigación estables y competitivos en el SNS 3,6 55,5%

44%56%

Actividad desarrollada en grupos existentesn= 32 Centros

Creación de nuevos grupos

n= 25 Centros

Nivel de satisfacción con el Programa

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Investigadores FIS Gerentes Responsables deinvestigación

Jefes de servicio Jefes de grupo

Muy insatisfechoBastante insatisfechoIntermedioBastante satisfechoMuy satisfecho

El proyecto, hoy

Convocatorias 2002-2005

Algunos aspectos en los que queremos profundizar: Efectos de la independencia científica Desarrollo de la investigación traslacional Análisis económico

Y más adelante… Líneas de investigación desarrolladas por los investigadores MS Análisis comparativo (benchmarking) Seguimiento y evaluación del Programa I3SNS. ¿Qué ocurre tras la estabilización?

Para finalmente … Análisis de outcomes:

- Citas - Visibilidad en otras fuentes- Cambios en la práctica clínica - Beneficio para el paciente

Retos

Análisis retrospectivo Visión prospectiva

Evaluación como elemento necesario e irrenunciable para la planificación estratégica de la I+D+i

Inmediatez de las actuaciones de seguimiento y evaluación

Evaluación comparativa (benchmarking)

El Programa MS en el marco de la nueva Ley de Ciencia, Tecnología e Innovación

Estrategia global de seguimiento y evaluación de la I+D+i biomédica

Más información

http://geac.csic.cesga.es/FIS

Grupo de Estudios de la Actividad Científica

Centro de Ciencias Humanas y Sociales (CCHS)Consejo Superior de Investigaciones Científicas (CSIC)