javier sebastián

ANEP: Cómo preparar las propuestas de proyectos para tener más éxito en las

convocatorias del Plan Nacional de I+D

Javier Sebastián

Coordinador del Área de Ingeniería Eléctrica, Electrónica y Automática

(IEL) en la Agencia Nacional de Evaluación y Prospectiva (ANEP)

Motivación de esta presentación

InvestigadoresEvaluadores

Dar transparencia al proceso de evaluación

Ejemplo de especial importancia: El Plan Nacional de I+D+i

Dirección General de Investigación

convocatoria

Proyecto

Investigadores

Expertos del MEC(Ministerio de Educación

y Ciencia)

ANEP(Agencia Nacional de

Evaluación y Prospectiva)

Decisión sobre financiación

Comisión de selección

(mixta)

Áreas y Programas del Ministerio versus Áreas de ANEP

Áreas y Programas del Ministerio

Áre

as d

e A

NE

P

Estructura matricial ¡¡Ojo, esto está cambiando!!

TQ

INF

ICI

IEL

IME

COM

TM

Áre

as

de

AN

EP

Programas del Ministerio

ENE DPI TEC TSITI TRAMAT

Estructura matricial Pogramas MEC versus Áreas ANEP en ingeniería

¡¡Ojo, esto está cambiando!!

¿Dónde se elige el “Programa del MEC” y dónde se elige el “Área ANEP”?

Programa del MEC

Área ANEP

¡¡Ojo, esto ha cambiado ya!!

Descripción detallada del proceso de evaluación en el Plan Nacional de I+D+i (1 / 8)

Parte a describir




Investigadores


y Ciencia)


Proyecto

convocatoria


(mixta)




Investigadores


y Ciencia)


Proyecto

convocatoria


(mixta)

Progr. ENE

Progr. DPI

Progr. TEC

ANEP-IEL ANEP-COM

Proyecto 1Progr.: ENE

A. ANEP: IEL

Proyecto 2Progr.: DPI

A. ANEP: IEL

Proyecto 3Progr.: TEC

A. ANEP: COM


A. ANEP: IEL

Descripción detallada del proceso de evaluación en el Plan Nacional de I+D+i (2 / 8)Programa del MEC

Área ANEP

Programa del MECPrograma del MEC

Área ANEPÁrea ANEP


A. ANEP: COM


A. ANEP: IEL

Gestor del Programa

TEC


Evolución de la evaluación “en el programa” del Plan Nacional Cada experto evalúa 15-20 proyectos Cada proyecto es evaluado por 2 expertos

Experto B del Programa TEC

Experto A del Programa TEC

Proyecto mProgr.: TEC

Proyecto nProgr.: TEC


Evolución de la evaluación “en el programa” del Plan Nacional

Eval. A TEC Proyec. 3

Eval. B TEC Proyec. m



Eval. B TEC Proyec. n

Eval. B TEC Proyec. 3




Evolución de la evaluación en el Área ANEP

Cada proyecto es evaluado por 2 expertos

Coordinador de IEL

Adjunto 1 de IEL

Adjunto 3 de IEL

Adjunto 2 de IEL


A. ANEP: IEL

Proyecto 2Progr.: DPI

A. ANEP: IEL

Experto V de IEL

Experto W de IEL

Experto X de IEL

Experto Y de IEL

Proyecto sÁrea.: IEL


Coordinador de IEL

Adjunto 1 de IEL

Adjunto 2 de IEL

Adjunto 3 de IEL

Eval. V IEL Proyec. 4

Eval. W IEL Proyec. 4


Eval. X IEL Proyec. 2

Eval. Y IEL Proyec. s

Eval. IEL Proyec. 2

Eval. IEL Proyec. 4

Eval. IEL Proyec. s

Evolución de la evaluación en el Área ANEP

Experto V de IEL

Experto X de IEL

Experto Y de IEL

Experto W de IEL


Coordinador de IEL

Eval. IEL Proyec. 4




Calificación final del

Proyec. 4

Coordinador de COM

Eval. COM Proyec. 3



Comisión de evaluación del programa TEC


Proyec. 3


Una consideración importante sobre la evaluación de los proyectos del Plan Nacional de I+D+i

Un proyecto es evaluado por, al menos, 4 personas.


Proyec. 4

En caso de discrepancias entre evaluadores ANEP, el adjunto o el coordinador revisa el proyecto o pide una tercera evaluación.

Eval. V IEL Proyec. 4


Eval. IEL Proyec. 4

Experto V de IEL

Experto W de IEL

Eval. B TEC Proyec. 4Experto B del

Programa TEC



Volumen de los objetivos

Valoración del proyecto

Algunas consideraciones sobre la redacción de las memorias de los proyectos (1 / 2)

1- Aclarar los objetivos: El evaluador es una persona ocupada, que no necesita leer argumentos obvios y que quiere comprender rápidamente qué se pretende hacer.

2- Ser realista en los objetivos

Algunas consideraciones sobre la redacción de las memorias de los proyectos (2 / 2)

3- Ser realista en los objetivos de mejora del CV.

4- Ser realista en el presupuesto: No usar argumentos tales como “pido el doble para que me den la mitad, que es lo que necesito”.

5- Ser realista en la petición de personal de apoyo: No pretender que el proyecto “lo hagan” los becarios y que los investigadores sólo redacten y apoyen la memoria.

CV en “n” años

CV en “n+3” años

CV en “n” años

CV en “n+3” años

Muy

improbablePosible

Ejemplos reales de situaciones comentadas negativamente por los evaluadores (1 / 2)

Se pide un técnico de laboratorio y no se justifica qué va a hacer en el proyecto. Todo el mundo necesita personal de apoyo, pero se está evaluando un proyecto, no las necesidades generales del grupo investigador.

Un aparato-equipo-instalación X se ha presupuestado en la memoria al doble de su coste real y el evaluador lo detecta. El evaluador tenderá a pensar que también está “inflado” el resto del presupuesto.

Un grupo consolidado necesita 18 meses de estudio previo en un tema del que tiene experiencia.

El proyecto es muy aplicado, pero no se ha conseguido que haya empresas interesadas.

El proyecto es muy aplicado, hay empresas muy interesadas, pero no hacen nada en el proyecto (no aportan material, ni financiación, ni personal, ni seguimiento de las tareas, etc.).

Proyecto con interés social pero sin interés científico-técnico. Habrá que elegir correctamente dónde encaja un proyecto así, que no será en la convocatoria estándar de I+D+i.

Grupo investigador numeroso, integrado por personas maduras y con escaso CV, que piden 5 becarios. Seguramente se trata de un proyecto desenfocado y que se pretende que sea realizado, casi exclusivamente, por los becarios.

Grupo investigador sin publicaciones relevantes ni en congresos ni en revistas “indexadas”, que presenta un plan de difusión de resultados con numerosas publicaciones relevantes. Se juzgará como poco probable. Es mejor ser realista.

Grupo investigador con experiencia industrial, buenas realizaciones prácticas pero casi sin currículum científico-técnico. Su evaluación será incierta (dependerá mucho del evaluador). Deben mejorar su currículum científico-técnico.

Ejemplos reales de situaciones comentadas negativamente por los evaluadores (2 / 2)

Ejemplos de otros tipos de evaluación: los contratos del Programa Ramón y Cajal (y Juan de la Cierva) (1 / 3)

Evaluaciones “en Comisión”

Experto A de IEL

Experto B de IEL

Experto C de IEL

Candidato 1A. ANEP: IEL




Eval. ACandidato 1

Eval. A Candidato 2

Eval. A Candidato 3

Eval. BCandidato 1

Eval. BCandidato 3

Eval. B Candidato 4

Eval. CCandidato 2

Eval. CCandidato 4



Eval.Candidato 2 Eval.

Candidato 4

Experto A de IEL

Experto B de IEL

Experto C de IEL

Comisión ANEP-IEL

Eval.Candidato 1 Eval.

Candidato 3

Eval. A Candidato 3

Eval. A Candidato 2

Eval. ACandidato 1

Eval. B Candidato 4

Eval. BCandidato 3

Eval. BCandidato 1

Eval. CCandidato 4

Eval. CCandidato 2

nº Candidato Puntuación

..... ........ ........

4º Candidato 2 88 puntos




..... ........ ........

Se conceden un determinado número de contratos por área ANEP La lista final prioriza

Contratos Concedidos

Contratos no Concedidos



El futuro de la ANEP

CNEAI (Comisión Nacional Evaluadora de

la Actividad Investigadora)

ANEP (Agencia Nacional de


ANECA (Agencia Nacional de Evaluación

de la Calidad y Acreditación)

AECYT (Agencia Estatal de

Ciencia y Tecnología)

Agencias de evaluación

DGI(Dirección General de Investigación del MEC)

Competencias de evaluación y de financiación

Énfasis en evaluación “ex-post”, no sólo “ex-ante”

Mayor dedicación

Acorte del ciclo de evaluación

Traslado de sede

Conclusiones

1. Es importante conocer cómo es el proceso de evaluación de

los proyectos de I+D+i

2. Es muy formativo participar en él

3. Pese a que el resultado de las evaluaciones no es infalible, es

el resultado de la opinión de al menos 4 personas (en el Plan

Nacional)

4. El realismo a la hora de realizar una propuesta aumenta la

posibilidad de éxito, porque aumenta su credibilidad

5. Se avecinan cambios sustanciales en la estructura del Plan

Nacional de I+D+i y en la articulación de todo el sistema de

evaluación, con especial énfasis en evaluación “ex-post”, no

sólo “ex-ante”

Borrador del Plan Nacional 2008-2011 (1 / 4)(VI Plan Nacional de Investigación Científica, Desarrollo e Innovación Tecnológica)

AREA 1: Generación de conocimientos y de capacidades

científicas y tecnológicas

- Orientada a generar conocimiento

- Libertad temática. La prioridad la marca la excelencia

AREA 2: Fomento de la cooperación en I+D

- Fomenta específicamente la cooperación entre agentes y con el

marco internacional y regional

- También, cooperación público-privada, no orientados sectorial ni

temáticamente

Establece cuatro Áreas:


AREA 3: Desarrollo e innovación tecnológica sectorial

- Orientada a la competitividad empresarial y a resolver los problemas

de sectores específicos:

1. Alimentación, agricultura y pesca

2. Medio Ambiente y Ecoinnovación

3. Energía

4. Seguridad y Defensa

5. Construcción, ordenación del territorio y patrimonio cultural

6. Turismo

7. Aeroespacial

8. Transporte e Infraestructuras

9. Materiales y tecnologías de la producción

10. Sectores industriales

11. Sector Farmacéutico


AREA 4: Acciones estratégicas

- Prioriza cinco acciones estratégicas, que constituyen una

apuesta por temas de especial repercusión social:

1. Salud

2. Biotecnología

3. Cambio climático y energía

4. Telecomunicaciones y Sociedad de la Información

5. Nanociencia y nanotecnología


1. Formación de recursos humanos

2. Movilidad de recursos humanos

3. Contratación e incorporación de recursos humanos

4. Proyectos de investigación fundamental no orientada

5. Proyectos de investigación aplicada

6. Proyectos de desarrollo experimental

7. Proyectos de innovación

8. Fortalecimiento institucional

9. Infraestructuras científicas y tecnológicas

10. Transferencia de tecnología, valorización y promoción de empresas de base tecnológica

11. Redes

12. Cooperación público-privada

13. Internacionalización de la I+D

RRHH

Proyectos

Utilización del conocimiento

Establece 13 Programas en 6 Líneas Instrumentales de Actuación:

javier sebastián

Documents