marzo '14: evaluación de la investigación. master en gestión de i+d (escuela nacional de...
DESCRIPTION
Evaluación de la investigación. Escuela Nacional de Sanidad. Marzo 2014.TRANSCRIPT
![Page 1: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/1.jpg)
Evaluación de la investigación
Dr. Antonio García Romero IE University
Master Internuversitario en Dirección y Gestión de la I+D+i en
Ciencias de la Salud
Escuela Nacional de Sanidad Universidad de Alcalá de Henares
UNED Madrid, 28 de marzo de 2014
![Page 2: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/2.jpg)
Estructura de la presentación
1. ¿Por qué es necesario evaluar la I+D? 2. Algunos retos de las políticas de investigación
e implicaciones sobre su evaluación 3. ¿Qué es la evaluación de la I+D? 4. Métodos y herramientas para evaluar la I+D 5. Epílogo
![Page 3: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/3.jpg)
¿Por qué es necesario
evaluar la I+D?
![Page 4: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/4.jpg)
Asia’s Ascent — Global Trends in Biomedical R&D Expenditures Justin Chakma, Gordon H. Sun, Jeffrey D. Steinberg, Stephen M. Sammut, and Reshma Jagsi. N Engl J Med 370;1 January 2, 2014
![Page 5: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/5.jpg)
354.626 M€ 488.781 M$
![Page 6: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/6.jpg)
![Page 7: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/7.jpg)
![Page 8: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/8.jpg)
![Page 9: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/9.jpg)
![Page 10: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/10.jpg)
Número de publicaciones en todas las áreas y tasa de variación Total mundial
![Page 11: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/11.jpg)
![Page 12: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/12.jpg)
73/hora
Número de publicaciones en Ciencias de la Salud y tasa de variación Total mundial
![Page 13: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/13.jpg)
![Page 14: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/14.jpg)
![Page 15: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/15.jpg)
Algunos retos de las políticas de
investigación e implicaciones sobre su
evaluación
![Page 16: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/16.jpg)
Una reciente serie de artículos en la revista The Lancet señaló que, en 2010, alrededor de 200.000 mill. $ (un sorprendente 85% del gasto mundial en investigación médica) se desperdiciaron en estudios que tuvieron fallos en su diseño, fueron redundantes, nunca fueron publicados o se publicaron con errores.
“Why most published research findings are false”
![Page 17: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/17.jpg)
Mayor competencia por los (escasos) recursos
The Scientist ©
“Este es el mejor modo que conozco para decidir quien consigue la plaza de investigador”
![Page 18: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/18.jpg)
Gallup, ORI 2008
Mala conducta científica
D. Parkins Nature ©
![Page 19: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/19.jpg)
Mala conducta científica (cont.) Déjà Vu: a Database of Highly Similar Citations
Errami & Garner, Nature (2008)
![Page 20: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/20.jpg)
Mayor grado de especialización
© The Economist 2010
Grupos más grandes, multidisciplinares y complejos Dificultad para evaluarlos mediante peer review
![Page 21: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/21.jpg)
Richard Smith Editorial de BMJ (2001):323-528
Creciente interés en conocer los retornos socioeconómicos de la investigación biomédica
![Page 22: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/22.jpg)
Creciente interés por conocer los retornos socioeconómicos de la investigación biomédica
![Page 23: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/23.jpg)
Qué es la evaluación de la investigación
(Incluye una muy breve historia)
![Page 24: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/24.jpg)
• “La investigación es una actividad incierta dado que sobre un
espectro de posibles resultados se desconoce, a priori, la probabilidad que se tiene de alcanzar cualquiera de ellos”
(Nelson, 1959) • El carácter incierto e impredecible de la investigación la
convierte en una actividad difícil de gestionar. En particular, es necesario disponer de la mayor información posible para tomar decisiones.
• Se puede definir la evaluación de la investigación como el
conjunto de procedimientos que permiten obtener información útil para la toma de decisiones en Política de Investigación.
(García-Romero, 2003) • La evaluación no es lo mismo que la monitorización. No basta con
describir lo que ha pasado sino responder cuestiones como por qué ha pasado? o ¿qué hubiera ocurrido si las condiciones hubieran sido otras?
Analogía con otras decisiones públicas o privadas
![Page 25: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/25.jpg)
La evaluación de la investigación es crucial
para asignar los recursos (escasos) de
modo eficiente
![Page 26: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/26.jpg)
1665: 1-2
Se establece el Peer Review para poder publicar en Philosophical Transactions Se generan incentivos a publicar al atribuir la propiedad de los descubrimientos Mejora sensiblemente la calidad de los avances científicos
Sir Isaac Newton
![Page 27: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/27.jpg)
1958 Bibliometría, ISI (SCI, SSCI, A&HCI) Factor de Impacto
Eugene Garfield
El Efecto Mateo en la Ciencia “Porque a quien tiene se le dará y le sobrará; pero a quien no tiene, aún lo que tiene se le quitará” (Mateo 13:12)
Robert K. Merton
1968
Vannevar Bush
1945 Proyecto Manhattan National Science Foundation
Años 70 en adelante: tres hechos importantes
32ª Conferencia de la OPEC. 1973. Viena.
Derek de Solla Price. Ley de crecimiento exponencial de la Ciencia.
Coste de los equipos para investigación se dispara
![Page 28: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/28.jpg)
Hoy … >1.750 … 10-15 …. 40%... 80%
Derek de Solla Price
9.740 revistas 1.593.000 artículos
23.406 artículos 1.350 $ / artículo 30 M$
![Page 29: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/29.jpg)
Las políticas de I+D y evaluación deben evolucionar para
adaptarse a los cambios experimentados en la
Ciencia
![Page 30: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/30.jpg)
Métodos y herramientas
para evaluar la Investigación
![Page 31: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/31.jpg)
¿Cómo NO debemos evaluar? Paradoja de Procrusto
![Page 32: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/32.jpg)
¿Cómo?
© The Scientist
![Page 33: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/33.jpg)
INPUTS
Stock conocimiento Recursos humanos Recursos materiales e infraestructuras Recursos financieros Graduados “Problemas” Naturaleza
PROCESO
Trabajo investigadores (organización) Difusión investigación Apoyo técnico Apoyo administrativo y gestión Formación nuevos investigadores Interacción con la tarea asistencial y docente
OUPUTS Publicaciones Patentes Investigadores formados
IMPACTOS
Científico (FI, citas) Económico (empleo, innovación, LYL) Social (calidad de vida, calidad asistencial) Político (toma de decisiones)
Marco conceptual para la evaluación de la I+D
![Page 34: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/34.jpg)
Indicadores y Métricas
• Inputs: Recursos materiales, humanos, financieros (Manual de Frascati, Snowball metrics)
• Proceso: sistemas de información, encuestas,
indicadores sobre la organización, interacciones, difusión de conocimiento.
• Output: Publicaciones científicas, patentes. • Impacto: Resultados en Salud, ahorro de costes,
mejora de la eficiencia, calidad.
• Altmetrics
![Page 35: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/35.jpg)
Herramientas • Indicadores bibliométricos:
Los más extendidos son número de artículos, número de citas, factor de impacto, citas/documento e índice h.
Fuentes: Web of Knowledge / Thomson Reuters Scopus / Elsevier, Google Scholar Citatios / Google (usando por ejemplo Publish or Perish) • Recomendaciones:
Usar indicadores apropiados para cada ítem: Por ejemplo, el FI es un indicador para revistas. No puede usarse para un hospital. Usar indicadores validados por especialistas (Scientometrics, ENID, Snowball metrics). Los indicadores de output tienen muchos sesgos y deben usarse teniendo en cuenta todas sus limitaciones.
![Page 36: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/36.jpg)
Herramientas • Indicadores bibliométricos: Sistemas de información de valor añadido SciVal (Scopus) o Incites (Web of Science) Scimago country, journal and instituton rankings.
![Page 37: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/37.jpg)
Herramientas • Indicadores de input:
Sistemas de información científica (comerciales) ICONO (Fecyt) datos agregados PAID: Acceso a través de Fecyt a datos desagregados
![Page 38: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/38.jpg)
Altmetrics: • Nueva corriente en materia de indicadores de I+D
Considera el impacto en un sentido amplio incluyendo referencias en redes sociales tanto científicas (Mendeley o Zotero) como generalistas (Twitter, Facebook, enlaces blog, etc.). También incluye indicadores de uso como descargas y de usuario (opiniones).
• Tienen la ventaja de la inmediatez respecto de otros indicadores como las citas.
• Article level metrics de PLOS One.
![Page 39: Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)](https://reader033.vdocuments.mx/reader033/viewer/2022060117/55864cb3d8b42a2b158b4693/html5/thumbnails/39.jpg)
Métricas para cada artículo Uso del artículo Vistas HTML Descargas PDF Descargas XML Citas recibidas PubMed Crossref Scopus Otros indicadores de impacto Valoración de lectores Rankings Comentarios recibidos Cobertura en blogs