sistemas de evaluacion anna maría prat conicyt-chile
TRANSCRIPT
SISTEMAS DE EVALUACION
Anna María Prat
CONICYT-CHILE
Evaluación en muchos niveles
Evaluación de los trabajos a publicar
Evaluación de la revista para ser incorporada a índices y bases de datos
Evaluación de la revista para ser incorporada a la “corriente principal”
Evaluación del autor del trabajo, según el impacto de la revista en la que publicó y el impacto real de su artículo.
Evaluación del artículo a publicar
El objetivo de toda revista es comunicar conocimiento nuevo, de calidad, bien estructurado, confiable y repetible bajo las mismas circunstancias.
Toda revista de calidad científica debe tener un sistema de evaluación de los artículos que publica.
El sistema de evaluación debe ser explícito y conocido por los autores
El objetivo de la evaluación
Conocer el juicio de pares acerca de: Validez de la investigación (¿los resultados son
creíbles y el diseño y metodología apropiados?) Juzgar el significado (¿es un hallazgo importante?) Originalidad. ¿Los resultados son nuevos?. El
artículo se refierer apropiadamente al trabajo hecho por otros?)
Dar opiniones acerca de si el trabajo debe ser publicado, mejorado o rechazado (muchas veces para ser publicado en alguna otra parte)
Mejorar el artículo antes de su publicación
Comité editorial y/o científico
El comité científico de la revista es el que asegura la seriedad y calidad de los artículos a ser publicados.
Sus miembros deben representar una amplia gama de especialidades del tema de la revista
Ayuda al editor a detectar posibles evaluadores para los diferentes artículos.
Realizan una primera revisión
Evaluación por pares
Además de la revisión interna por parte del Comité editorial, debe hacerse una revisión externa.
Estos pares deben pertenecer a buenas instituciones, diferentes a la del autor, no tener relación directa con él, tener trayectoria en su campo, entrenamiento en cuestiones metodológicas
El editor debe conocer o tener antecedentes acerca del evaluador (y por lo tanto ser confiable)
Algunos problemas del proceso
Significa cosas diferentes para diferentes revistas. Las políticas editoriales y de evaluación varían de una disciplina a otraEs lentoEs costosoSubjetivoSesgadoAbierto al abusoPobre al momento de detectar erroresCasi inútil al momento de detectar fraudes
¿Es confiable el sistema?
Se han hecho numerosos estudios que muestran que es todavía el mejor sistema
Se encontró hasta un 73% de acuerdo sobre un mismo artículo entre los evaluadores
Hay más acuerdo cuando se trata de rechazar que de aprobar
En un estudio reciente se dice que se requerirían al menos 6 evaluadores para lograr una aceptación o rechazo estadísticamente significativos
Principales sesgos
Se han encontrado los siguientes sesgos:
Relacionados con el autor: Prestigio (del autor o de la institución a la que
pertenece el autor Género Donde vive (y trabaja)
Relacionados con el trabajo: Resultados positivos Idioma del trabajo
Confidencialidad
Se ha dicho que sólo existen dos sistemas éticamente justificables de revisión por pares: Los totalmente confidenciales o cerrados en los
cuales sólo el editor o su ayudante conocen la identidad del autor y del revisor,
O un sistema completamente abierto. Ultimamente se han implementado en portales Web de muchas revistas, espacios para la discusión y evaluación abierta de los artículos a ser publicados, en ellos puede intervenir abiertamente el autor. Se conoce la identidad del revisor.
Recomendaciones generales para un evaluador
Ser cortés y constructivo.
Recordar que, en general, que el evaluador sugiere, los editores deciden.
El objetivo principal de la evaluación es mejorar la publicación.
Mantener la confidencialidad.
Declarar conflictos de interés.
Responder a tiempo. Si no puede, rechace la invitación.
Principios éticos. No usar en beneficio propio el conocimiento del trabajo revisado
Diversas pautas para revisores
Importancia de la hipótesis o pregunta de la investigación
Originalidad
Validez de la investigación
Aspectos éticos
Presentación del artículo
Otros aspectos
Importancia de la hipótesis o pregunta de la investigación
¿La investigación se centró en una pregunta nueva o que necesitaba respuesta o es simplemente una repetición de algo ya conocido? La pregunta vale más que la respuesta. Si la pregunta era importante y la respuesta válida, entonces no importa que la respuesta sea negativa. ¿Se trata de algo que la comunidad científica, los responsables de la polìtica, o el público necesitan saber?En el caso de la salud, ¿se trata de evidencia orientada al paciente?
Originalidad de la investigación
Idealmente, el evaluador hará una búsqueda en la literatura
¿Ha sido el estudio o el experimento hecho anteriormente?
Si la pregunta había sido ya tratada con anterioridad, ¿este trabajo agrega algo importante? (por ejemplo, un estudio más amplio o con un mejor diseño?)
Originalidad de la investigación II
Recuerde que algunas cosas “bien conocidas” no están basadas en ninguna evidencia.
Si opina que la investigación no es original, por favor envíe referencias de los trabajos previos. No basta con decir “no es original”
Si conoce la existencia de otros estudios de importancia no mencionados por el autor, dé las referencias.
Validez de la investigación
Identifique las fortalezas y las debilidades de la investigación¿El diseño es el correcto para responder la hipótesis o la pregunta planteada?¿Los datos fueron recogidos en forma adecuada, la toma de muestras fue la correcta?¿Se describen adecuadamente los métodos utilizados?¿Los análisis son los correctos, deben repetirse?Recuerde que debe ser constructivo
Validez de la investigación
Si se presentan datos estadísticos y Ud. no es experto en la materia, dígalo
Revise las tablas, si encuentra errores en más de una, es posible que haya más errores
¿Las conclusiones están avaladas por los datos?
¿Los autores llegan a conclusiones más allá de la evidencia presentada?
Aspectos éticos
¿Tiene alguna preocupación ética respecto al trabajo?
Muchos trabajos no plantean abiertamente posibles problemas éticos, aún el las áreas en que este tipo de declaración es necesaria.
Revise los aspectos éticos, aún si se menciona que el trabajo ha sido visado por un comité de ética.
Presentación del artículo
Aunque no es su trabajo, corrija las faltas de ortografía, especialmente en el caso de nombres propios. En los resultados, el balance entre el texto, las tablas y las figuras, es el correcto? (El texto cuenta la historia, las tablas proporcionan los datos, las figuras ilustran la historia). En caso de tener la revista una versión en papel y otra electrónica, tiene alguna sugerencia respecto a qué información debe ir en una u otra versión
Presentación del artículo
El resumen ¿dice relación con lo que se dice en el artículo, especialmente en lo que se refiere a la novedad del estudio? ¿Basta para comprender los principales hitos del estudio ?¿El número y calidad de las referencias es el correcto?En el caso de ciertas revistas, ¿las figuras e ilustraciones son suficientemente claras?¿Deben rehacerse algunas partes del estudio, mejorar el análisis o entregar mayor evidencia y datos?
Para finalizar
Tiene alguna duda acerca de la posibilidad de fraude o conducta científica poco ética?
Si así fuera informe privadamente.
¿Qué puede mejorar la calidad de las revisiones?
¿Pago, reconocimiento, crédito?
Selección cuidadosa (fuentes de información acerca de calidad de evaluadores)
Entrenamiento
¿Mayor visibilidad del trabajo realizado? Como revisión abierta en la Web
¿Interacción entre autor y revisor? (Revisión abierta en tiempo real)
Algunas conclusiones
Solo un adecuado sistema de evaluación por pares asegura buena ciencia y la integridad del conocimiento
El sistema de evaluación por pares es costoso y lento, pero debe ser parte del trabajo y costos editoriales
Solo las publicaciones con sistemas de evaluación rigurosos forman parte de la “literatura de corriente principal”
Algunas conclusiones
Debemos implementar sistemas de información de posibles evaluadores en la región y cooperar en éste ámbito
En muchas áreas se están creando asociaciones o agrupaciones de editores con el fin de discutir estos temas y compartir información y experiencias. Deberían fomentarse estas actividades.
Se sugiere la creación de asociaciones nacionaes para estos fines
!Muchas gracias!