papeles del psicólogo

Upload: luis-bustos

Post on 31-Oct-2015

86 views

Category:

Documents


1 download

TRANSCRIPT

  • 7/16/2019 Papeles del Psiclogo

    1/142

    REVISTA DEL CONSEJO GENERAL DE COLEGIOS OFICIALES DE PSICLOGOS

    ISSN 0214 - 78231VOL. 31 - 2010

    ENERO - ABRIL

    PAPELES DEL

    PSICLOGO

    ANLISIS DE DATOS - METODOLOGAS CUALITATIVAS

    TEORAS, PROPIEDADES Y NUEVOS TIPOS DE TESTS

    METODOLOGA AL SERVICIO DEL PSICLOGO

  • 7/16/2019 Papeles del Psiclogo

    2/142

    2

    Papeles del Psiclogo, 2009. Vol. 31(1), pp. 2-6

    http://www.cop.es/papeles

    M ETO DO LO G A A L SERV ICIO DEL PSIC LO G O

    Vicente Ponsoda

    Departamento de Psicologa Social y Metodologa. Facultad de Psicologa

    Universidad Autnoma de Madrid

    a publicacin de las ltimas secciones monogrficas de Papeles delPsiclogo coincidi con las discusiones en mi universidad sobre larelevancia de la metodologa para la formacin del futuro psiclogo(en las reuniones preparatorias del nuevo plan de estudios) y con laconcesin a nuestro grupo de investigacin Modelos y AplicacionesPsicomtricos de una ctedra de patrocinio por parte del Instituto deIngeniera del Conocimiento. Los tres acontecimientos estn detrsde la propuesta inicial de la presente seccin monogrfica.

    Cada vez somos ms los convencidos de las ventajas recprocas quese derivan del acercamiento entre la metodologa y la profesin. La

    universidad genera conocimiento que no es fcilmente accesible al profesional. El objeti-

    vo principal de los nuevos msteres que las universidades ofrecen es precisamente acercarambos mundos. Por otra parte, los profesionales se enfrentan a problemas, en ocasiones deno fcil solucin, que pueden resultar muy fructferos para los investigadores. Pondr dosejemplos de mi campo de investigacin.

    Al poco de empezar a aplicarse los tests adaptativos informatizados, y cuando tanto losinvestigadores como los profesionales estaban maravillados con su eficacia (consiguen re-ducir a la mitad el nmero de tems o el tiempo necesario para la aplicacin del test), losprofesionales se dieron cuenta de algunos de sus puntos dbiles. Uno de ellos es que unaparte importante del banco de tems, en ocasiones hasta un 80% de los tems disponibles(Hornke, 2000), no se administraba nunca. S, han ledo bien, un 80%. Para hacer un buentest, se elabora un banco de por ejemplo 500 tems, muy cuidado, se estudian todos ellosminuciosamente, se eliminan los tem defectuosos... y, despus, el nuevo test es tan eficaz(al presentar solo los tems buensimos) que 400 de los 500 tems del banco no se admi-

    nistran nunca! Result evidente la necesidad de incorporar al test procedimientos de con-trol de la exposicin que hicieran posible la administracin de muchos ms tems delbanco y que redujeran la tasa de exposicin de los que se administraban en todos o en casitodos los tests. Este objetivo se deba conseguir sin que el test perdiese precisin (Revuel-ta y Ponsoda, 1998). En la ltima dcada se ha investigado mucho sobre los mtodos decontrol de la exposicin (revisados en Georgiadou, Triantafillou y Economides, 2007). Unproblema advertido por los profesionales ha dado lugar a una considerable investigacinque ha generado nuevas soluciones.

    Un segundo ejemplo. Es bien conocido que las medidas de personalidad mejoran mode-radamente la prediccin del desempeo laboral (Salgado y Moscoso, 2008) y que, en losprocesos de seleccin de personal, los candidatos pueden falsear sus respuestas al cuestio-nario de personalidad y responder como creen que lo hara el candidato ideal (Salgado,2005). El falseamiento de las respuestas puede ser incluso ms importante en los procesos

    selectivos a ciertos puestos de la Administracin, en los que en algn caso ms de un 90%de los que aprueban la oposicin han pasado por academias en las que son entrenados (porcierto, por psiclogos) a dar las respuestas que les faciliten la consecucin de la plaza (Ga-rrido, Ponsoda, Olea y Abad, 2009). La Academia de Polica Local de la Comunidad deMadrid requiri nuestra colaboracin para que buscsemos soluciones que permitiesenseguir aplicando medidas de personalidad en los procesos selectivos, pero ganando en se-guridad de que tales medidas informaban realmente de las caractersticas del candidato. Elproblema de la deteccin del falseamiento en los tests de personalidad aplicados en los

    L

    Presentacin

    Correspondencia: Vicente Ponsoda. Departamento de Psicologa Social y Metodologa.Facultad de Psicologa. Universidad Autnoma de Madrid. c/ Ivn Pavlov, 6. 28049

    Madrid. Espaa. E-mail: [email protected]

  • 7/16/2019 Papeles del Psiclogo

    3/142

    P r e s e n t a c i n

    3

    VICENTE PONSODA

    procesos de seleccin de personal tiene un considerable inters yla investigacin lo est abordando desde vas muy distintas (va-se Salgado, 2005). Una va reciente consiste en intentar obtener elnivel de los candidatos en los rasgos de personalidad tras eliminarla contaminacin que la Deseabilidad Social pudiese haber intro-ducido, mediante modelos factoriales (Ferrando y Anguiano-Ca-rrasco, 2009) o modelos de Teora de la Respuesta al tem de lasmedidas ipsativas1 (Leenen, Ponsoda y Romero, 2009). De nue-vo, un problema que han detectado y preocupa a los profesiona-les (el falseamiento de respuestas a los tests de personalidad) hapromovido y sigue promoviendo investigacin.

    En los dos ejemplos anteriores se ve natural y hasta inevitablela colaboracin entre el metodlogo y el psiclogo; sin embargo,pese a que siempre ha habido preocupacin en el campo meto-dolgico por llegar al mundo psicolgico, la sensacin, a veces,es de cierto desaliento. Borsboom (2006) pretende encontrar unaexplicacin de por qu los avances en metodologa, incluso los

    muy interesantes, no llegan ms fcilmente a los psiclogos in-vestigadores no metodlogos. En un interesante y provocadorartculo, cuyo ttulo es El ataque de los psicmetras, proponediversas explicaciones: a) de ndole terica (como el desconoci-miento de otras teoras de los tests que no sean la Teora Clsi-ca), b) pragmtica (como la escasa preparacin cuantitativa delos estudiantes de psicologa) y c) sustantiva (como la escasez deteoras psicolgicas lo suficientemente precisas como para poderser expresadas mediante modelos formales). En cuanto a las es-trategias a seguir para resolver la falta de comunicacin, propo-ne escribir buenos libros de metodologa, desarrollar programasinformticos que faciliten la aplicacin de los ltimos desarro-llos metodolgicos, y participar activamente con los psiclogos

    en el estudio sustantivo, en vez de ser exclusivamente los res-ponsables del diseo y anlisis de los resultados. La presenteseccin monogrfica pretende colaborar en la tarea de establecerun puente entre la metodologa y la psicologa, facilitando al psi-clogo el contacto con contenidos metodolgicos que puedenserle de utilidad.

    El repaso de otras secciones monogrficas de la revista Papelesdel Psiclogo me sugiri la conveniencia de hacer algo similar enmetodologa. El psiclogo clnico, de las organizaciones cuan-do lee lo que se publica hoy sobre el tratamiento de la depresino sobre los mejores predictores del rendimiento laboral se en-cuentra tcnicas, conceptos y metodologas que van a ser tratadosen los artculos de este monogrfico. Los metodlogos hemos he-

    cho monogrficos sobre los avances en nuestros campos de in-vestigacin, dirigidos preferentemente a los dems metodlogosy publicados en nuestras revistas, comoMethodology, Metodo-loga de las ciencias del comportamiento, Psicologica , Psicothe-ma pero no, que yo sepa, en revistas no metodolgicas. Enconcreto, ninguno de los monogrficos de la revista Papeles delPsiclogo ha sido metodolgico; aunque s ha publicado trabajossobre metodologa, mayormente sobre los tests. Por cierto, la ma-

    yor parte lo han sido por autores de la presente seccin monogr-fica. La revista Papeles del Psiclogo es adems el vehculo idealpara tal objetivo por su calidad, su enorme difusin, la doble ver-sin ingls y espaol, y por ser de libre acceso.

    Una segunda razn que impuls el monogrfico fue la discusinque tenamos en 2008 en muchos centros universitarios sobre elpapel de la metodologa en la formacin de los psiclogos, comoocurre siempre que se est cambiando el plan de estudios. Losmismos argumentos que exponamos a nuestros colegas sobre laconveniencia de que los futuros psiclogos conozcan lo bsico delas herramientas metodolgicas modernas, nos debieran impulsarhacer eso mismo con los psiclogos en activo que muy probable-mente no estudiaron esos desarrollos en su da. Una tercera raznes la ctedra de patrocinio IIC-UAM2. Uno de sus objetivos esprecisamente acercar al profesional de la psicologa los desarro-llos metodolgicos que puedan resultarles de inters, medianteseminarios y otras actividades. Una de ellas pensamos que podra

    ser el presente monogrfico.Convencido de que tena sentido intentarlo, el primer paso fueplantear la propuesta al Director de Papeles del Psiclogo (elprofesor Serafn Lemos). Su respuesta al proyecto fue muy posi-tiva. Quiero agradecer pblicamente no solo su respuesta, sino sucolaboracin y apoyo durante todo el proceso. El siguiente pasofue ver si mis colegas estaban de acuerdo en participar.

    En cuanto a la eleccin de contenidos, pens en un conjunto detemas que fuesen novedosos, poco conocidos por los profesiona-les y que pudieran resultarles tiles. Los temas finalmente pro-puestos fueron el escalamiento multidimensional, el sesgo de lostests, los tests adaptivos informatizados, el anlisis factorial con-firmatorio, los modelos estructurales, el meta-anlisis, la idea ac-

    tual sobre la validacin de las puntuaciones de los tests, lasnuevas teoras de los tests, los tests de desempeo, la metodolo-ga observacional y las metodologas cualitativas. Por falta de es-pacio, quedaron fuera algunos, tambin interesantes, como elanlisis multinivel, la adaptacin de tests, diseos y metodologasconcretas para la investigacin aplicada, la evaluacin de progra-mas, etc. En cuanto al estilo, los artculos van dirigidos a los psi-clogos profesionales por lo que deberan evitar formalismosinnecesarios que pudiesen dificultar su comprensin. Me constael esfuerzo que han hecho los autores para exponer rigurosamen-te tcnicas y conceptos complicados en un lenguaje asequible.

    Elegidos los temas, me dirig a los expertos. Todos lo son sobra-damente sobre la temtica de su artculo. La psicologa espaola

    ha progresado mucho en las ltimas dcadas. Algo similar ha ocu-rrido en metodologa. Cuando empezamos la mayora de los fir-mantes a publicar, apenas haba contribuciones de metodlogosespaoles en las revistas internacionales. Hoy, afortunadamente,no es as. Como vern en las referencias, todos tienen investiga-cin reconocida en el campo sobre el que han escrito el artculo.Estoy profundamente agradecido a todos ellos por haber aceptadoparticipar y por el entusiasmo e inters que han puesto en la tarea.

    1 Uno de los objetivos del proyecto del Ministerio de Ciencia y Tecnologa Psi2008-01685/Psic Estudio psicomtrico de las medidas ipsativases la consecucin de tales modelos. Varios artculos del monogrfico tratan los modelos factoriales y TRI citados y las medidas ipsativas.2 http://www.iic.uam.es/CatedraMYAP/

  • 7/16/2019 Papeles del Psiclogo

    4/142

    4

    P r e s e n t a c i n

    CONTENIDOS

    Originalmente la seccin monogrfica contena once artculos.Cinco tienen que ver con lo que venimos llamando teoras de lostests, cuatro sobre anlisis de datos y dos sobre metodologas es-pecficas. Mientras estbamos preparando los artculos se ultimel anlisis de las respuestas a una encuesta sobre el uso de lostests. Este ltimo artculo no es uno de los temas previamente se-leccionados, ni sigue el formato de los dems, pero pareci ade-cuado incluirlo por su contenido e inters. Son doce, por tanto, elnmero total.

    El artculo de Snchez-Meca y Botella es un buen ejemplo delsentido del monogrfico. Los profesionales de la psicologa en suquehacer diario han de realizar diagnsticos, aplicar tratamientos,decidir qu variables evaluar en un candidato En estas situa-ciones no resulta fcil saber cul es la mejor prueba a aplicar, eltratamiento ms adecuado, las variables ms apropiadas Comorespuesta a esta necesidad ha surgido la Psicologa Basada en la

    Evidencia, que pretende fomentar que el profesional tome las an-teriores decisiones basndose en lo que la investigacin ha en-contrado sobre el asunto que le interesa. Resulta imprescindible,entonces, aplicar procedimientos que resuman adecuadamente losresultados de las investigaciones. El trabajo de Snchez-Meca yBotella muestra las bases de uno de esos acercamientos: el meta-anlisis o conjunto de tcnicas que permiten resumir, por ejem-plo, la evidencia acumulada en las distintas investigaciones sobrela eficacia de un tratamiento concreto. El artculo detalla los pa-sos de un meta-anlisis y los muestra en un ejemplo.

    El anlisis factorial es una tcnica multivariante de reduccin dedimensionalidad. Se ha aplicado a muchos campos y en algunos,como el de la personalidad y las aptitudes, su colaboracin ha ex-

    cedido la de un mero instrumento de anlisis, hasta el punto deque se habla de teoras factoriales de la personalidad y de la inte-ligencia. La tcnica acepta las respuestas de un conjunto de per-sonas en un conjunto amplio de variables iniciales (tems, tareas,pruebas) y devuelve un nmero reducido y el significado delos factores, dimensiones o variables latentes que dan cuenta delas relaciones observadas entre las variables iniciales. Se distin-gue entre el anlisis factorial exploratorio y el confirmatorio. Elartculo de Ferrando y Anguiano-Carrasco presenta una minucio-sa descripcin de ambos, que no solo va a resultar informativa alos que apenas conozcan las tcnicas. Dan sus recomendacionessobre asuntos controvertidos y comentan las muchas posibilida-des del programa de ordenador FACTOR, de libre distribucin,

    desarrollado por ellos (Lorenzo-Seva y Ferrando, 2005).Los modelos de ecuaciones estructurales se aplican cada vezms, en muy distintos campos, y no son demasiado conocidospor muchos profesionales. El anlisis factorial confirmatorio esun caso particular de estos modelos. Con frecuencia se utilizanpara determinar la relacin que existe entre dos o ms variableslatentes, medidas cada una con sus correspondientes variablesempricas (tems, tests). El artculo de Ruiz, Pardo y San Mar-tn expone lo fundamental de estos modelos, cmo se construyensus diagramas, su estructura y los pasos a dar en su elaboracin,reparando en la evaluacin del ajuste y en los tipos de relacionesque pueden establecerse entre las variables latentes. La exposi-

    cin se complementa con un ejemplo muy ilustrativo en el que sedetermina la relacin existente entre las variables latentes Estrs,Cansancio Emocional y Sntomas Psicosomticos. La tcnicaayuda a determinar qu variable afecta (y cmo) a las dems.

    El escalamiento multidimensional, objeto del artculo de Arce, deFrancisco y Arce, es una tcnica multivariante que est a caballoentre el anlisis de datos y la psicometra. La psicometra se ocupatanto de los procedimientos para la evaluacin de las personas (teo-ras de los tests), como de las caractersticas psicolgicas de los ob-jetos (escalamiento psicolgico). Hay procedimientos deescalamiento unidimensional y multidimensional. El escalamientomultidimensional descubre la dimensin o dimensiones que estndetrs de la similaridad que percibimos entre los objetos. Los pro-cedimientos aceptan de entrada la informacin sobre las similarida-des entre los objetos y proporcionan, principalmente, el nmero dedimensiones necesarias para dar cuenta de ellas y la posicin de ca-da objeto en cada dimensin. Algunos procedimientos informan

    tambin de la importancia que cada evaluador asigna a cada di-mensin. El artculo describe los principales procedimientos de es-calamiento multidimensional, indica los pasos que requieren y losaplica a varios ejemplos (al escalamiento de prcticas deportivas yde marcas de coches, entre otros).

    El primer artculo del bloque sobre los tests expone las ideascentrales de las dos principales teoras: la Teora Clsica (TC) yla Teora de Respuesta a los tems (TRI). Cuando hablamos detests, nos referimos a los que uno encuentra en los catlogos ytambin a las escalas, cuestionarios, exmenes, etc. Nos vamos areferir de hecho en el monogrfico a tipos de tests muy diferen-tes. De la importancia de la TC se pueden decir muchas cosas,aunque quizs basta con una: es una teora que ha cumplido los

    100 aos y sigue aplicndose para la elaboracin de tests, en todoel mundo, pese a sus deficiencias. La TRI resuelve una importan-te: con la TC las medidas que se obtienen dependen del test parti-cular administrado y no resulta fcil la comparacin entre lasproporcionadas por tests distintos de la misma variable psicolgi-ca. La TRI, por el contrario, puede producir medidas que soncomparables, pese a haberse obtenido con distintos tests. Otraventaja importante de la TRI es que permite ubicar a los evalua-dos y a los tems (sus dificultades) en la misma escala, lo que tie-ne interesantes aplicaciones: permite, por ejemplo, ubicar a losestudiantes y las tareas en el continuo que indica el dominio deuna materia, lo que mostrara qu tareas probablemente sabra yno sabra hacer bien cada estudiante; o ubicar al paciente y los es-

    tmulos fbicos en la misma escala indicadora del deterioro, loque facilitara la decisin sobre el orden de presentacin de est-mulos ms apropiado. El artculo de Muiz sobre las teoras delos tests resume muy bien las principales caractersticas de ambasteoras y responde a la pregunta que nos hacen los estudiantescuando les explicamos estos contenidos por primera vez: cons-truyo el test, lo aplico, obtengo las puntuacin de cada evaluado yya est. Para qu necesito las teoras de los tests?

    Dos propiedades psicomtricas cruciales de los tests o, mejor,de las puntuaciones de los tests, son la fiabilidad y la validez. Lasdos resultan imprescindibles para determinar la calidad de losinstrumentos de medida. En ambos conceptos ha habido cambios

    METODOLOGA AL SERVICIO DEL PSICLOGO

  • 7/16/2019 Papeles del Psiclogo

    5/142

    P r e s e n t a c i n

    5

    VICENTE PONSODA

    con los aos, pero ciertamente el cambio ha sido mucho mayoren el concepto de validez. Al construir un instrumento de evalua-cin hemos de hacer las cosas de modo que asigne puntuacionessimilares en sucesivas ocasiones, si no hay cambio en el nivel delevaluado en la variable que el test mide. Si es as, decimos que lafiabilidad o consistencia de las puntuaciones del test es adecuada.Los estudios de fiabilidad no informan de los usos razonables ojustificables que podemos hacer con las puntuaciones. Hace dos otres dcadas, cuando muchos de nosotros estudiamos por primeravez estos conceptos, la validez era casi solo la capacidad del testpara predecir un criterio externo y vena indicada por el coefi-ciente de validez. El artculo de Prieto y Delgado expone losprincipales indicadores de la fiabilidad, cmo obtenerlos y las re-comendaciones sobre su aplicacin. En cuanto a la validez, se ex-pone el concepto actual, en el que desaparecen los tipos devalidez y se habla ms bien de estrategias de validacin con lasque se acumulan evidencias que justifiquen el uso que hacemos

    de las puntuaciones. Interesantes son tambin los comentarios so-bre los errores ms frecuentes en la interpretacin de ambos con-ceptos, que tambin se dan entre los que han recibido formacinen estos temas (Frisbie, 2005).

    Fiabilidad y validez no son las nicas exigencias psicomtri-cas del test. El test adems ha de carecer de sesgo, ser justo.Queremos hacer un test que evale razonamiento numrico. Siun tem midiera solo razonamiento, la probabilidad de aciertoen el tem de los que tienen un mismo nivel de razonamientodeber ser la misma si el evaluado es nativo o extranjero, sihombre o mujer, si de alto o bajo status socioeconmico. Si asfuera, estaramos ante un tem sin funcionamiento diferencial(DIF). El problema es que incluso los tems mejor hechos a ve-

    ces miden ms de una dimensin, pudiendo ocurrir que las per-sonas de un subgrupo u otro difieran en la dimensin noprincipal. Por ejemplo, si el tem tiene un enunciado con muchotexto, pudiera ocurrir que los extranjeros tuviesen dificultadesen entenderlo y, a pesar de tener el mismo nivel de razonamien-to, lo acertaran menos que los nativos. Sera un tem con DIF.Si el test tiene varios tems con DIF, el test en su conjunto po-dra dar una puntuacin menor a la persona con bajo dominiodel idioma. Es evidente que estamos ante un problema de vali-dez. Sus puntuaciones no debieran usarse para tomar decisionessobre el nivel de razonamiento numrico, pues reflejan ademsel nivel de dominio del idioma. Es prctica comn, por tanto,realizar estudios de funcionamiento diferencial de los tems y

    del test cuando se construye o adapta uno. Las profesoras G-mez, Hidalgo y Guilera han resumido en su artculo su muchaexperiencia en la deteccin del funcionamiento diferencial.Describen los principales procedimientos, dan recomendacionesde uso y delimitan conceptos que no siempre resulta fcil dis-tinguir, como impacto, sesgo y equidad.

    En los ltimos aos est habiendo un considerable desarrollo delos tests de desempeo (performance assessment), que apenasha llegado a nuestro pas. En estos tests las tareas a realizar porlos evaluados son bsicamente las mismas que han o habrn dehacer en su da a da. Por ejemplo, las redacciones y ejerciciosque hace el estudiante; realizar un diagnstico a partir de los sn-

    tomas del enfermo, que har el mdico en el puesto de trabajo alque aspira; organizar el plan de accin de la unidad a partir de lasdemandas recibidas, que tendr que hacer el futuro jefe de policasi consigue el ascenso. Las tareas son ciertamente distintas de lasrequeridas por los tests ordinarios, pero no lo son las exigenciasde calidad psicomtrica que han de cumplir. El artculo de Mart-nez Arias describe qu es y cmo se construye un test de desem-peo y expone sus principales ventajas e inconvenientes. Unaventaja de estos tests es que, por ser las tareas ms ricas y com-plejas, permiten evaluar caractersticas psicolgicas no fcilmen-te medibles con los tests ordinarios. Dos de sus inconvenientesson que resultan ms difciles de puntuar y que suelen tener peo-res propiedades psicomtricas, debido principalmente a su escasonmero de tems.

    Adems de los tests de desempeo, otros tipos de tests han teni-do un enorme desarrollo en los ltimos aos. El artculo de Olea,Abad y Barrada describe cinco nuevos tipos de tests: los informa-

    tizados, los tests basados en modelos, los ipsativos, los conduc-tuales y los situacionales. De los tests administrados porordenador, los adaptativos informatizados son sin duda los quems atencin investigadora y aplicada han captado. Se ha creadoincluso una asociacin internacional (IACAT) para su avance.Los tests basados en modelos requieren tener un modelo de cmola persona responde al tem, lo que permite predecir sus caracte-rsticas psicomtricas y evitar total o parciamente los costososprocesos de calibracin. Los tests ipsativos estn resurgiendo confuerza como una posible va de control de algunos sesgos de res-puesta en los tests de personalidad, como la Deseabilidad Social.Algunas dificultades de los tests ordinarios de personalidad, porejemplo, se deben a que se registra la conducta verbal, son au-

    toinformes. En los tests conductuales se est interesado y se re-gistra lo que el evaluado hace (en vez de lo que dice que hace) entareas muy bien pensadas. Los tests situacionales se aplican pre-ferentemente en seleccin de personal. Miden caractersticas psi-colgicas, como rasgos de personalidad, competencias muyfrecuentemente en un formato de opcin mltiple y no en el for-mato de categoras ordenadas, que es el ordinario para la medidade este tipo de caractersticas psicolgicas. El evaluado ha de ele-gir la accin de las que se le ofrecen que tomara en la situacinque el tem describe. Del cambio de formato comentado se si-guen interesantes propiedades. El artculo describe los cinco tiposde tests y los evala crticamente.

    Cul es la opinin de los psiclogos espaoles sobre los tests?

    Hace exactamente 10 aos se aplic una primera encuesta sobreel uso de los tests en nuestro pas (Muiz y Fernndez-Hermida,2000). El monogrfico incluye un artculo en el que los mismosautores exponen los resultados de una segunda encuesta, con si-milar objetivo, aplicada recientemente, y contestada por ms de3000 psiclogos colegiados, mayoritariamente mujeres (72%) yde especialidad clnica (70%). Hay varios resultados de inters.Sigue habiendo en todas las especialidades psicolgicas interspor los tests, y la valoracin, que era buena hace 10 aos, ha me-jorado un poco durante la ltima dcada. En los tems los testsconstituyen una excelente fuente de informacin si se combinan

    con otros datos psicolgicos y Utilizados correctamente, los

  • 7/16/2019 Papeles del Psiclogo

    6/142

    6

    P r e s e n t a c i n

    tests son de gran ayuda para el psiclogo las medias estn porencima de 4.4, en una escala de 1 (desacuerdo total) a 5 (total-mente de acuerdo), y superan ligeramente las obtenidas hace 10aos. Interesantes tambin las dudas y reticencias manifestadasante la evaluacin informatizada y la tele-evaluacin medianteinternet. Se desprende de la encuesta que los profesionales desea-ran ms formacin sobre los tests. El presente monogrfico con-tribuye a atender esta demanda en lo relativo a la metodologanecesaria para su correcta elaboracin e interpretacin. El artcu-lo comenta el trabajo realizado por la comisin encargada de ela-borar la norma ISO 10667, que pretende regular todo lo relativo ala evaluacin de personas en contextos laborales, en la que parti-cipa el COP y el primer firmante del artculo.

    El grupo de investigacin dirigido por la profesora Anguera lle-va muchos aos en la investigacin y aplicacin de la metodolo-ga de la observacin a muy distintos campos. Su artculoproporciona una visin global de dicha metodologa, que tiene

    varios puntos fuertes. Uno, fundamental, al que la autora prestaatencin en el artculo, es que la observacin permite captar lacotidianeidad, respetando el medio en el que se producen las con-ductas. Otro es que, a veces, no hay otras alternativas. A un adul-to se le puede aplicar un cuestionario para que nos diga cmo sesiente; pero no a un recin nacido, por ejemplo. El artculo des-cribe las cuatro fases de un estudio que aplique esta metodologa(la delimitacin del problema, la recogida de datos, el anlisis delos datos y la interpretacin de los resultados) y repara en sus sin-gularidades. La perspectiva cualitativa sera prioritaria en la fasede recogida de datos; en la fase de registro, los programas infor-mticos tienen hoy un papel decisivo; y en la ltima fase, de an-lisis, sera prioritaria la perspectiva cuantitativa. Resulta evidente,

    entonces, la complementariedad de las perspectivas cualitativa ycuantitativa. El artculo ilustra las posibilidades de aplicacin dela observacin a muy distintos campos y muestra varias situacio-nes en las que sera la metodologa ms apropiada (el estudio dela interaccin entre nios y adultos, las discusiones en una pareja,la comunicacin no verbal, entre otras).

    En los ltimos aos estn ganando importancia las metodolog-as cualitativas. De ellas trata el artculo de Lpez, Blanco, Scan-droglio y Rasskin. Comienza con una contraposicin entre lasprcticas cualitativas y cuantitativas, y repara en los criterios decalidad de unas y otras. El artculo responde a las crticas de sub-jetividad, de falta de sistematicidad y transparencia y de falta degeneralidad de los resultados. La posicin de los autores es que

    hay buenos y malos investigadores en los dos campos y que no escorrecto creer que solo la metodologa cuantitativa tiene controlesde calidad. La parte central del trabajo describe 10 tcnicas de re-cogida de informacin (anlisis de material documental, observa-cin, entrevista, historia de vida, tcnicas grupales) y 7prcticas de anlisis (anlisis de contenido, descripcin etnogrfi-ca, induccin analtica, anlisis del discurso). Se comenta bre-vemente cada una y se ilustra con varios ejemplos deinvestigaciones en que podran ser adecuadas. Se indica, por lti-mo, en qu situaciones esta metodologa es especialmente apro-piada. Por ejemplo, cuando estamos ante una primeraexploracin de fenmenos desconocidos, cuando el inters prin-

    cipal es conocer los significados que dan las personas a sus accio-nes, o en situaciones de dinmicas interactivas de elevada com-plejidad.

    Ningn artculo requiere de otro para su comprensin, por loque el lector puede seguir el orden que desee. A medida quelos vaya leyendo ver que varios hacen referencia a la comple-mentariedad de enfoques. Se dice en uno de ellos, al hablar dela teora clsica frente a la TRI, que lejos de ser contrapuestasson complementarias, como lo son el coche y el avin. Tampo-co parece que sea necesariamente mejor el anlisis factorialconfirmatorio que el exploratorio. Los autores de los dos lti-mos artculos abogan por la complementariedad entre las me-todologas cualitativa y cuantitativa. Dejo al lector frente a unamplio conjunto de opciones metodolgicas con la tranquilidadde que sabr dar a cada una su mrito.

    REFERENCIAS

    Borsboom, D (2006). The attack of the psychometricians. Psy-chometrika, 71, 525-440.Ferrando, P.J. y Anguiano-Carrasco, C. (2009). Assessing the

    impact of faking on binary personality measures: An IRT-based multiple-group factor analytic procedure. MultivariateBehavioral Research, 44, 497-524.

    Frisbie, D. A. (2005). Measurement 101: Some fundamentals re-visited. Educational Measurement: Issues and Practice,24(3), 21-28.

    Garrido, L.E., Ponsoda, V., Olea, J. y F. J. Abad (2009, septiem-bre).Efectos de la deseabilidad social sobre los tests de perso-nalidad en muestras con alto entrenamiento. XI congreso deMetodologa de las Ciencias Sociales y de la Salud. Mlaga.

    Georgiadou, E., Triantafillou, E., y Economides, A. (2007). A re-view of item exposure control strategies for computerizedadaptive testing developed from 1983 to 2005. Journal ofTechnology, Learning, and Assessment, 5(8). Descargado el23-12-2009 de http://www.jtla.org.

    Hornke, L. F. (2000). Item response times in computerized adap-tive testing. Psicologica, 21, 175-189.

    Leenen, I., Romero, S. y Ponsoda. V. (2009, septiembre). Anli-sis bayesiano de datos ipsativos: una evaluacin y compara-cin de modelos competitivos. XI congreso de Metodologade las Ciencias Sociales y de la Salud. Mlaga.

    Lorenzo-Seva, U. y Ferrando, P.J. (2005). Factor.http://psico.fcep.urv.cat/utilitats/factor/

    Muiz, J., y Fernndez-Hermida, J.R. (2000). La utilizacin delos tests en Espaa. Papeles del Psiclogo, 76, 41-49.Revuelta, J. y Ponsoda, V. (1998). A comparison of item expo-

    sure control methods in computerized adaptive testing. Jour-nal of Educational Measurement, 35, 4, 311-327.

    Salgado, J. (2005). Personalidad y deseabilidad social en contex-tos organizacionales: implicaciones para la prctica de la psi-cologa del trabajo y de las organizaciones. Papeles delPsiclogo, 26, 115-128.

    Salgado, J. y Moscoso, S. (2008). Seleccin de personal en laempresa y las administraciones pblicas: de la visin tradicio-nal a la visin estratgica. Papeles del Psiclogo, 29, 16-24.

    METODOLOGA AL SERVICIO DEL PSICLOGO

  • 7/16/2019 Papeles del Psiclogo

    7/142

    o cabe duda de que el ejercicio profesional de la

    psicologa, sea cual sea su mbito, pasa necesa-riamente porque ste se base en las mejores

    pruebas y evidencias cientficas. Sin embargo, existe un

    desfase entre las tcnicas que se aplican en la prctica

    profesional en un determinado momento temporal y los

    avances que la investigacin ha alcanzado en ese mo-

    mento. Este desfase se debe, bsicamente, a dos causas.

    Por una parte, no existe mucha conexin entre el mundo

    de la prctica profesional y el de la investigacin, que se

    hace fundamentalmente en las universidades. Por otra

    parte, hasta hace unas dos dcadas, las ciencias del

    comportamiento se han caracterizado por sufrir una po-bre acumulacin del conocimiento cientfico, de forma

    que los avances cientficos llegan muy lentamente a la

    prctica rutinaria. Estos factores hacen que el profesio-nal de la psicologa vea al mundo de la investigacin co-

    mo algo muy alejado de su prctica habitual y sin una

    utilidad que pueda materializarse en resultados aplica-

    bles de forma rpida y directa en su quehacer cotidiano.

    Si esto es lo que ocurre con los propios psiclogos, pe-

    or an es lo que ocurre con los profesionales de otras

    disciplinas o los polticos y gestores que tienen que

    adoptar decisiones y preguntan la experta opinin de los

    psiclogos. Como ya hemos sealado en otro sitio (Bote-

    lla y Gambara, 2006a), el problema es que los datos

    procedentes de la psicologa con frecuencia son confusosy contradictorios. Recientemente hemos asistido a deba-

    tes sobre temas con fuerte carga ideolgica, como por

    ejemplo la adopcin por parte de parejas homosexuales,

    en los que los polticos que defendan cada posicin

    iban acompaados de psiclogos, supuestamente exper-

    tos, que decan lo contrario que el otro, pero que eran

    presentadas como si fuera la posicin que se despren-

    de de la evidencia recogida por la psicologa.

    Este panorama, un tanto descorazonador, est cam-

    REV ISIO N ES SISTEM TICAS Y M ETA -A N LISIS:H ERRA M IEN TA S PA RA LA PR CTICA PRO FESIO N A L*

    Julio Snchez-Meca1 y J uan Botella2

    1Universidad de Murcia. 2Universidad Autnoma de Madrid

    La prctica profesional y la investigacin psicolgica han estado demasiado separadas. Sin embargo, con la llegada de la Psicolo-

    ga Basada en la Evidencia (PBE) esta herramienta metodolgica se ha convertido en el mejor modo de unir las mejores pruebas con

    la prctica psicolgica. La PBE preconiza que la prctica profesional est basada en las mejores pruebas obtenidas desde la investi-

    gacin psicolgica. Las revisiones sistemticas (RSs) y los meta-anlisis (MAs) se consideran actualmente como las mejores herra-

    mientas para sintetizar las pruebas cientficas respecto a qu tratamientos, intervenciones o programas de prevencin deberan

    aplicarse para un determinado problema psicolgico. As pues, los psiclogos tienen que saber qu son las RSs y los MAs, cmo se

    hacen y, lo que es ms importante, cmo podemos hacer valoraciones crticas de ellos. El propsito de este artculo es presentar las

    RSs y los MAs, as como alguna gua orientativa sobre cmo hacer una lectura crtica de ellos.

    Palabras clave: Psicologa basada en la evidencia, Revisiones sistemticas, Meta-anlisis, Evaluacin de intervenciones.Professional practice and psychological research have traditionally been separated. However, over the last two decades Evidence-Ba-

    sed Psychology (EBP) has become a very useful methodological tool for linking the best evidence to psychological practice. EBP pro-

    poses to base professional practice on the best evidence obtained from psychological research. Systematic reviews (SRs) and

    meta-analyses (MAs) are considered as the best tools to synthesize the scientific evidence as to which treatments, interventions, or

    prevention programs should be applied for a given psychological problem. Thus, psychologists need to know what SRs and MAs

    are, how they are done and, most importantly, how we can carry out critical appraisal of SRs and MAs. The purpose of this article is

    to present SRs and MAs, together with some guidelines to warrant a critical reading of them.

    Key words: Evidence-based psychology, Systematic reviews, Meta-analysis, Intervention evaluation.

    Correspondencia: Julio Snchez-Meca.Dpto Psicologa Bsica yMetodologa. Facultad de Psicologa. Campus de Espinardo.30100-Murcia. Espaa. E-mail: [email protected]/metaanalysis............(*) Este artculo ha sido financiado al primer firmante por elFondo de Investigacin Sanitaria, convocatoria de Evaluacin deTecnologas Sanitarias (Proyecto No: PI07/90384) y al segundofirmante por el Ministerio de Educacin y Ciencia (Proyecto No:SEJ2006-12546/PSIC).

    S e c c i n M o n o g r f i c a

    7

    Papeles del Psiclogo, 2010. Vol. 31(1), pp. 7-17

    http://www.cop.es/papeles

    N

  • 7/16/2019 Papeles del Psiclogo

    8/142

    biando gracias a dos avances metodolgicos que tratan

    de evitar ese desajuste entre prctica profesional e inves-

    tigacin: el enfoque de la Psicologa Basada en la Evi-

    dencia (PBE),1 por una parte, y las revisiones sistemticas

    y el meta-anlisis, por otra.

    El enfoque de la PBE es una herramienta metodolgica

    mediante la cual se pretende modificar el modo de tra-

    bajo del profesional de la psicologa de forma que tome

    en consideracin en sus decisiones cotidianas las mejo-

    res evidencias o pruebas cientficas acerca de un deter-

    minado problema. El problema podra ser qu mejor

    tcnica de tratamiento utilizar para tratar a un paciente

    con un determinado trastorno psicolgico, o qu progra-

    ma de intervencin sera el ms apropiado para preve-

    nir ciertas conductas desadaptadas, o cul es el mejor

    mtodo de diagnstico de un trastorno psicolgico. Una

    vez formulado adecuadamente el problema, el enfoque

    de la PBE consiste en realizar una bsqueda de las evi-

    dencias o pruebas que pongan de manifiesto el mejor

    curso de accin. Para que esa bsqueda de informacin

    resulte operativa, se requiere del uso de las nuevas tec-

    nologas de la informacin y la comunicacin y, en espe-

    cial, de los recursos de internet. Una vez localizadas las

    pruebas cientficas, las cuales estarn publicadas en re-

    vistas especializadas del mbito de la psicologa, el si-

    guiente paso que promueve la PBE es hacer un anlisis

    crtico de dichas pruebas, el cual requiere poner en

    prctica los conocimientos que el profesional de la psico-loga tiene sobre mtodos de investigacin, diseos,

    anlisis de datos e instrumentos de medida. Y como lti-

    ma fase, la PBE implica aplicar los hallazgos encontra-

    dos a la prctica profesional.

    Y cules son los mejores hallazgos o evidencias cient-

    ficas que pueden avalar la aplicacin rutinaria de un

    tratamiento, un programa de prevencin o una tcnica

    de evaluacin o de diagnstico? Es un hecho aceptado

    por la comunidad cientfica en ciencias sociales y de la

    salud considerar que las evidencias cientficas ms con-

    fiables son las que proporcionan los estudios primariosbasados en la realizacin de ensayos clnicos aleatoriza-

    dos (ECAs), que implican asignacin aleatoria de los

    participantes a las condiciones experimentales (Nezu y

    Nezu, 2008).

    Sin embargo, es fcil que cuando intentemos seleccionar

    las evidencias sobre un determinado problema nos encon-

    tremos con numerosos estudios empricos, todos los cuales

    han abordado esa misma pregunta. Esta acumulacin de

    informacin puede bloquear la puesta en prctica del enfo-

    que de la PBE, al hacer inviable la seleccin de los estudios

    relevantes y su lectura crtica en un tiempo lo suficientemen-

    te corto como para que los profesionales puedan afrontar

    esta tarea, teniendo en cuenta su elevada carga de traba-

    jo. Y es aqu donde entran en juego las revisiones sistem-

    ticas (RSs) y el meta-anlisis (MA). Como un modo de

    superar la pobre acumulacin del conocimiento en las

    ciencias sociales, las RSs y los MAs constituyen una meto-

    dologa de investigacin que tiene como objetivo acumular

    de forma sistemtica y objetiva las evidencias obtenidas en

    los estudios empricos sobre un mismo problema. De esta

    forma, la lectura de una RS o de un MA sobre el problema

    en cuestin permite ahorrar tiempo a los profesionales y les

    ofrece una visin conjunta de lo que las evidencias cientfi-cas dicen sobre ese problema. Adems, tal y como se resu-

    me en la Tabla 1, la comunidad cientfica ha aceptado a

    los MAs como la metodologa que permite ofrecer las me-

    jores pruebas o evidencias sobre un problema, cuando los

    estudios empricos acumulados son estudios experimentales

    (o ECAs).

    1 Muy acertadamente, Fras Navarro y Pascual Llobell (2003) aclaran que la traduccin ms correcta del nombre en ingls, Evidence-BasedPsychology, sera Psicologa Basada en Pruebas, ms que Psicologa Basada en la Evidencia. No obstante, dado que PBE es el trmino quems se utiliza, hemos preferido mantenerlo en este artculo.

    TABLA 1N IVELES DE CALIDAD D E LAS EVIDEN CIAS O PRUEBAS CIEN TFICAS

    N i ve l Tip o d e p ru eb a

    1 (a) Meta-anlisis (homogneo)1 de ECAs(b) Un ECA (con I.C. estrecho)

    (c) Todos o ninguno2

    2 (a) Meta-anlisis (homogneo)1 de estudios de cohortes(b) Un estudio de cohorte (incluyendo un ECA de baja calidad)

    (c) Investigacin de resultados3; estudios ecolgicos

    3 (a) Meta-anlisis (homogneo)1 de estudios de casos y controles(b) Un estudio de casos y controles

    4 (a) Series de casos (y estudios de cohortes y de casos y controlescon pobre calidad)

    5 (a) Opinin de expertos sin una valoracin crtica explcita, o

    basada en la fisiologa, en los primeros principios

    4

    , oinvestigacin basada en el criterio de autoridades

    1 Los resultados de los ECAs son homogneos.2 Se cumple cuando todos los pacientes moran antes de que el tratamiento estuviera

    disponible, pero ahora algunos sobreviven a l; o cuando algunos pacientes moran

    antes de que el tratamiento estuviera disponible, pero ahora ninguno muere tras l.3 Estudia una cohorte de pacientes con el mismo diagnstico y relaciona sus resultados

    clnicos con los cuidados que han recibido.4 Se trata de los principios patofisiolgicos utilizados para determinar la prctica clnica.

    REVISIONES SISTEMTICAS Y META-ANLISIS

    8

    S e c c i n M o n o g r f i c a

  • 7/16/2019 Papeles del Psiclogo

    9/142

    Papeles del Psiclogoya se ha hecho eco del enfoque

    de la PBE en los dos excelentes artculos de Fras Nava-

    rro y Pascual Llobell (2003) y de Pascual Llobell, Fras

    Navarro y Monterde (2004). Adems, existen en caste-

    llano excelentes presentaciones del enfoque de la Prcti-ca Basada en la Evidencia (Grupo de Atencin Sanitaria

    Basada en la Evidencia, 2007; Navarro, Giribet y Agui-

    naga, 1999; Vzquez y Nieto, 2003). Es por ello, que

    este artculo se centra en el otro avance metodolgico

    que, en nuestra opinin, se ha convertido en un elemento

    clave para ayudar a conectar la investigacin con la

    prctica profesional: el meta-anlisis. Entendemos que el

    profesional de la psicologa debe conocer esta metodo-

    loga, ya que la lectura crtica de estudios meta-analti-

    cos puede serle de gran utilidad en su toma de

    decisiones cotidiana sobre qu tratamientos o tcnicasde diagnstico aplicar. Al mismo tiempo, la lectura de

    estudios meta-analticos facilita la puesta en accin del

    enfoque de la PBE al ofrecer de forma integrada las me-

    jores evidencias o pruebas cientficas sobre un determi-

    nado problema, con el consiguiente ahorro de tiempo

    para el profesional. Por otra parte, la proliferacin de

    estudios meta-analticos en el mbito de la psicologa

    garantiza que, antes o despus, todo profesional de la

    psicologa tendr que afrontar la tarea de leer crtica-

    mente algn estudio de este tipo y, en consecuencia, co-

    nocer esta metodologa se est convirtiendo, hoy porhoy, en una necesidad.

    En lo que sigue, abordamos qu es un MA y qu son

    las RSs, desarrollamos las etapas en que se lleva a cabo

    un MA, ilustramos esta metodologa con un ejemplo real

    y presentamos una gua para ayudarnos a leer crtica-

    mente estudios meta-analticos. Finalmente, terminamos

    con algunas reflexiones y lecturas sugeridas. Para una

    mayor profundizacin en las RSs y los MAs pueden con-

    sultarse diversas fuentes (Borenstein, Hedges, Higgins y

    Rothstein, 2009; Botella y Gambara, 2002; Cooper,

    2010; Cooper, Hedges y Valentine, 2009; Littell, Corco-

    ran y Pillai, 2008; Marn Martnez, Snchez Meca, Hue-

    do y Fernndez, 2007; Marn Martnez, Snchez Meca

    y Lpez Lpez, 2009; Petticrew y Roberts, 2006; Sn-

    chez Meca, 1999, 2003, 2008; Snchez Meca y Ato,

    1989; Snchez Meca y Marn Martnez, en prensa).

    REV ISION ES SISTEM TICAS Y M ETA- AN LISISUna RS es una revisin de una pregunta formulada con

    claridad, que utiliza mtodos sistemticos y explcitos para

    identificar, seleccionar y valorar crticamente investigacio-

    nes relevantes a dicha pregunta, as como recoger y anali-

    zar datos de los estudios incluidos en la revisin (Martn,

    Tobas y Seoane, 2006). Las RSs surgen como un intento

    de salvar las limitaciones de las revisiones tradicionales,

    caracterizadas por ser cualitativas y carentes de una ade-cuada sistematizacin. Los que defendemos las ventajas

    de las RSs frente a las revisiones tradicionales nos basa-

    mos en la premisa de que al proceso de revisin de la lite-

    ratura cientfica sobre cualquier tema se le deben exigir

    las mismas normas de rigor cientfico que cuando se hace

    una investigacin emprica: objetividad, sistematizacin y

    replicabilidad de sus resultados. Es decir, el proceso de re-

    visin de los estudios empricos sobre un determinado pro-

    blema es una tarea cientfica del mismo modo que lo es la

    realizacin de un estudio emprico.

    Si en una RS somos capaces de cuantificar, mediante al-gn ndice estadstico del tamao del efecto, los resultados

    de cada estudio emprico integrado y de aplicar tcnicas

    de anlisis estadstico para extraer la esencia de dichos

    estudios, entonces una RS se convierte en un meta-anlisis

    (MA). Un MA es, pues, una RS en la que se utilizan mto-

    dos estadsticos para analizar los resultados de los estu-

    dios integrados en ella (Littell et al., 2008). Esto implica

    que todo MA es una RS, pero no toda RS tiene por qu ser

    un MA. Existen RSs cualitativas en las que no se aplican

    mtodos estadsticos para integrar los resultados de los es-

    tudios, sino valoraciones cualitativas de dichos resultados.Debido a su mayor nivel de cuantificacin y rigor, dentro

    de las RSs, son los MAs los tipos de revisin que nos ofre-

    cen las evidencias ms vlidas sobre un problema (Coo-

    per, 2010). Es por ello que este artculo se centra

    especficamente en cmo se hace y cmo se interpreta un

    MA. Adems, de los diversos problemas que es posible

    estudiar mediante un MA, posiblemente los ms tiles pa-

    ra el profesional de la psicologa son aqullos que tienen

    por objeto examinar la eficacia de diferentes tratamientos,

    programas de intervencin o de prevencin de trastornos

    psicolgicos, psicosociales o de conducta. Por tanto, nues-

    tro inters se dirige a los MAs de este tipo.

    Qu puede ofrecernos un MA? Al aplicar tcnicas es-

    tadsticas para integrar los resultados de un conjunto de

    estudios empricos acerca de la eficacia de tratamientos

    o programas de intervencin, un MA permite responder

    a preguntas tales como: (a) cul es la magnitud del

    efecto global de los diferentes tratamientos?; (b) son ho-

    mogneos los resultados de eficacia alcanzados por los

    diferentes tratamientos?; (c) caso de que no sean homo-

    gneos, qu factores son los que pueden explicar esa

    JULIO SNCHEZ-MECA Y JUAN BOTELLA

    9

    S e c c i n M o n o g r f i c a

  • 7/16/2019 Papeles del Psiclogo

    10/142

    heterogeneidad en los resultados? y (d) es posible for-

    mular un modelo explicativo que sea capaz de dar cuen-

    ta de dicha heterogeneidad en los resultados? Para dar

    respuesta a estas preguntas, un MA implica desarrollar

    los pasos tpicos de una RS y aplicar tcnicas estadsticasde integracin.

    Dnde podemos encontrar MAs? Prcticamente en

    cualquier revista de psicologa es posible encontrar al-

    gn estudio meta-analtico sobre algn tema que pueda

    ser de inters para la prctica profesional. En concreto,

    revistas que publican con frecuencia este tipo de investi-

    gaciones son Psychological Bulletin, Clinical Psychology

    Review,Journal of Applied PsychologyoJournal of Con-

    sulting and Clinical Psychology. En castellano se pueden

    encontrar en revistas como Psicothema, International

    Journal of Clinical and Health Psychology, etc. Adems,a travs del buscador Google Acadmico es fcil encon-

    trar estudios meta-analticos. Por ltimo, merecen men-

    cin especial la Colaboracin Cochrane y la

    Colaboracin Campbell, que son dos organizaciones in-

    ternacionales cuyo fin es promover la realizacin de es-

    tudios meta-analticos de alta calidad acerca de la

    eficacia de las intervenciones en distintos mbitos que

    tienen que ver con el desempeo profesional del psiclo-

    go. As, la Colaboracin Cochrane contiene en su sitio

    web numerosas RSs y MAs en el mbito de la psicologa

    clnica, mientras que la Colaboracin Campbell ofreceesto mismo en los campos de la Educacin, los Servicios

    Sociales y la Criminologa (Snchez Meca, Boruch, Pe-

    trosino y Rosa Alczar, 2002).2

    FASES DE UN M ETA-A N LISISLa realizacin de un MA implica seguir las mismas eta-

    pas que en cualquier estudio emprico, si bien algunas

    de ellas tienen ciertas peculiaridades que es preciso cla-

    rificar. Bsicamente, podemos plantear la realizacin de

    un MA en cinco etapas:

    (1) Formulacin del problema

    (2) Seleccin de los estudios

    (3) Codificacin de los estudios

    (4) Anlisis estadstico e interpretacin

    (5) Publicacin

    (1) Formulacin del problema. El primer paso consiste

    en formular de forma clara y objetiva la pregunta a la

    que se pretende responder. Esto implica definir de forma

    terica y operativa los constructos psicolgicos objeto de

    estudio. Por ejemplo, en un meta-anlisis sobre la efica-

    cia de los tratamientos psicolgicos del trastorno de p-

    nico con o sin agorafobia (Snchez Meca, Rosa Alczar,Marn Martnez y Gmez Conesa, en prensa), se definie-

    ron conceptos clave tales como cules eran los trata-

    mientos psicolgicos objeto de estudio, qu es el

    trastorno de pnico con o sin agorafobia y qu medidas

    del resultado de la eficacia se iban a admitir en el MA.

    (2) Bsqueda de los estudios. El siguiente paso consiste

    en definir los criterios de seleccin de los estudios. Debe

    tenerse en cuenta que la realizacin de un MA implica

    seleccionar estudios empricos que tengan ciertas carac-

    tersticas similares en cuanto al diseo de la investiga-

    cin (e.g., todos los estudios deben incluir al menos ungrupo tratado y un grupo de control, ambos con medi-

    das pretest y postest), para que sea posible aplicar a to-

    dos ellos un mismo ndice del tamao del efecto que

    permita su comparabilidad mtrica. Por tanto, aunque

    los criterios de seleccin dependern del MA en cues-

    tin, no pueden faltar especificaciones relativas al tipo

    de diseos admisibles en los estudios, al modo en que se

    han medido las variables de resultado, a las caractersti-

    cas de los participantes y a las caractersticas de los tra-

    tamientos. Por ejemplo, en el MA antes citado, para ser

    incluidos en el mismo los estudios empricos tenan queincluir, al menos, un grupo tratado y un grupo de control

    formado por personas adultas diagnosticadas con el

    trastorno de pnico con o sin agorafobia, ambos grupos

    con medidas pretest y postest y el tratamiento aplicado

    tena que ser slo psicolgico, quedando excluidos los

    psicofrmacos. Adems, los estudios tenan que estar re-

    alizados entre 1980 y 2006.

    Una vez fijados los criterios de seleccin de los estudios, se

    lleva a cabo el proceso de bsqueda de los mismos, para lo

    cual se precisa utilizar bases electrnicas (e.g., PsycInfo,

    MedLine, ERIC), consultar revistas especializadas y contactar

    con autores reconocidos en el tema para solicitarles estudios

    de difcil localizacin. La combinacin de fuentes formales e

    informales en el proceso de bsqueda debe garantizar la

    mxima comprehensividad en dicho proceso, as como la

    localizacin de estudios publicados y no publicados, con

    objeto de poder examinar el sesgo de publicacin. En el

    2 Pueden consultarse los sitios web respectivos de la Colaboracin Cochrane (www.cochrane.org) y de la Colaboracin Campbell(www.campbellcollaboration.org). Puede tambin consultarse el sitio web del Centro Cochrane Iberoamericano que la Colaboracin Cochra-ne tiene en Barcelona (www.cochrane.es).

    REVISIONES SISTEMTICAS Y META-ANLISIS

    10

    S e c c i n M o n o g r f i c a

  • 7/16/2019 Papeles del Psiclogo

    11/142

    MA sobre el trastorno de pnico se consultaron las bases

    electrnicas PsycInfo, Medline, Psicodoc y la Cochrane Li-

    brary. Adems, se consultaron MAs previos, artculos, li-

    bros, captulos de libro de revisin, as como revistas

    especializadas en psicologa clnica, y tambin se contactcon autores reconocidos en dicho mbito, todo ello con el

    objeto de localizar el mayor nmero posible de estudios

    empricos que cumplieran con los criterios de seleccin.

    (3) Codificacin de los estudios. Una vez localizados y

    recuperados todos los estudios empricos seleccionados,

    la siguiente etapa consiste en registrar las caractersticas

    de dichos estudios. Con este propsito, se elabora un

    Manual de Codificacin de las caractersticas de los es-

    tudios que podran actuar como moderadores de los re-

    sultados de eficacia de los tratamientos analizados. A

    partir del Manual de Codificacin se elabora un Protoco-lo de Registro de las variables moderadoras. Aunque las

    caractersticas de los estudios que se deben codificar de-

    pendern del propsito de cada MA, podemos clasifi-

    carlas en varios clusters o categoras. As, se habla de

    variables de tratamiento, variables de los participantes,

    del contexto, metodolgicas y extrnsecas.

    Variables de tratamientoson aqullas que tienen que ver

    con el tratamiento aplicado en la investigacin. Son, pues,

    variables de tratamiento el tipo de tratamiento aplicado

    (e.g., terapia cognitiva, exposicin in vivo, relajacin pro-

    funda, etc.), la duracin del tratamiento, su intensidad, elmodo de aplicacin (individual versus grupal), etc.

    Lasvariables de los participantestienen que ver con las

    caractersticas de stos. As, se consideran variables de

    los participantes la edad media de la muestra analizada,

    su composicin por sexos, su extraccin social, la grave-

    dad del trastorno, etc.

    Las variables de contextohacen referencia al lugar en

    el que se ha realizado la intervencin. Por ejemplo, el lu-

    gar puede ser un hospital, una clnica particular, un ga-

    binete psicolgico, en la escuela, en el propio hogar,

    etc. Tambin puede catalogarse como variable contex-

    tual el hecho de que los pacientes reciban el tratamiento

    estando internados o bien en rgimen ambulatorio.

    Las variables metodolgicasson aqullas que tienen que

    ver con el diseo y la instrumentacin del estudio empri-

    co. As, son variables metodolgicas muy relevantes en un

    MA el tipo de diseo (experimental versus cuasi-experi-

    mental), el tamao de las muestras, la mortalidad experi-

    mental, la inclusin de medidas pretest o slo postest, la

    realizacin de anlisis estadsticos por intencin de tratar

    o slo con los que completan el tratamiento, el uso de eva-

    luadores ciegos, es decir, desconocedores de qu trata-

    miento est recibiendo el paciente que est siendo evalua-

    do, o el criterio diagnstico utilizado en el estudio para

    evaluar a los participantes. Todas estas caractersticas per-

    miten valorar la calidad metodolgica de los estudios y,en consecuencia, la posible existencia de sesgos en las es-

    timaciones de los resultados.

    Por ltimo, tambin se suelen codificar variables extrn-

    secas, as llamadas porque son caractersticas de los es-

    tudios que, en principio, no deberan tener nada que ver

    con el proceso cientfico de una investigacin, pero que

    sin embargo, en ocasiones pueden afectar a los resulta-

    dos de los estudios. Entran dentro de esta categora va-

    riables tales como la fuente de publicacin (publicado

    versus no publicado), la formacin de los autores del es-

    tudio (psiclogo, psiquiatra, etc.) o el ao de realizacindel estudio.

    El propsito de la fase de codificacin de las caracters-

    ticas de los estudios no es otro que disponer de un con-

    junto de variables que puedan ser capaces de explicar la

    variabilidad de los resultados de eficacia de los diferen-

    tes estudios, una cuestin que es analizada estadstica-

    mente en la siguiente fase. En el MA sobre el trastorno

    de pnico, la heterogeneidad en los resultados de efica-

    cia exhibida por los diferentes estudios empricos inte-

    grados poda deberse a que dichos estudios haban

    aplicado tcnicas de tratamiento psicolgico diferentes,con una duracin diferente, sobre muestras de pacientes

    que podan variar en edad, composicin por sexo y gra-

    vedad del trastorno, y con diseos y caractersticas meto-

    dolgicas variables. La codificacin de todas estas

    variables en los estudios tiene precisamente como objeto

    poder comprobar cules de ellas pueden estar relaciona-

    das con los resultados de eficacia.

    En esta fase es muy importante que se compruebe la

    fiabilidad del proceso de codificacin de las caractersti-

    cas. Para ello, lo habitual es que dos, o ms, investiga-

    dores codifiquen de forma independiente todos o

    algunos de los estudios empricos y comprobar el grado

    de acuerdo entre ellos. Slo de esa forma podremos sa-

    ber si el MA ha aplicado unas normas objetivas y siste-

    mticas en el proceso de codificacin.

    (4) Anlisis estadstico e interpretacin. Adems de las

    variables moderadoras de los estudios, la realizacin de

    un MA requiere del clculo de un ndice cuantitativo que

    permita poner en la misma mtrica los resultados de los

    estudios. Esto se debe a que los estudios medirn los

    efectos de los tratamientos con diferentes tests y escalas

    JULIO SNCHEZ-MECA Y JUAN BOTELLA

    11

    S e c c i n M o n o g r f i c a

  • 7/16/2019 Papeles del Psiclogo

    12/142

    psicolgicas, de forma que sus resultados no son directa-

    mente comparables al estar en unidades de medida dife-

    rentes. Esta homogeneizacin de los resultados se logra

    mediante la aplicacin de algn ndice del tamao del

    efecto. El tamao del efecto es, pues, un ndice que refle-ja el grado en que difieren, en promedio, los resultados

    de los participantes en el grupo tratado respecto de los

    del grupo de control. Aunque son muy variados los ndi-

    ces del tamao del efecto que podemos encontrar en los

    MAs, el ms utilizado es la diferencia de medias tipifica-

    da, definido como la diferencia entre las medias de los

    dos grupos dividida por la desviacin tpica conjunta de

    ambos. Al dividir por la desviacin tpica logramos obte-

    ner un ndice cuantitativo homogneo y comparable in-

    dependientemente de los tests o escalas que se hayan

    utilizado en los diferentes estudios, ya que se pueden in-terpretar como unidades tpicas de separacin entre las

    medias de los dos grupos. Aparte de la diferencia de

    medias tipificada, tambin es frecuente encontrar en los

    MAs ndices del tamao del efecto para variables de re-

    sultado dicotmicas, como son la diferencia de propor-

    ciones, el riesgo relativo o el odds ratio, pudindose

    transformar unos ndices en otros (Snchez Meca, Marn

    Martnez y Chacn Moscoso, 2003).

    Una vez que tenemos registrados para cada estudio sus

    caractersticas (variables moderadoras) y su tamao del

    efecto, la base de datos resultante puede someterse a an-lisis estadsticos que permitan responder a las preguntas

    clave a que se enfrenta un MA: (a) Cul es la magnitud

    del efecto media de todos los estudios?; (b) son homog-

    neos los tamaos del efecto de los estudios?, (c) caso de no

    ser homogneos, qu caractersticas de los estudios pue-

    den dar cuenta de esa heterogeneidad? y (d) es posible

    formular un modelo explicativo de la heterogeneidad de los

    tamaos del efecto a partir de un subconjunto de las varia-

    bles moderadoras codificadas?

    Para dar respuesta a estas preguntas se aplican tcni-

    cas de anlisis estadstico en las que el peso que ejerce

    cada estudio en los cmputos meta-analticos est en

    funcin de la precisin exhibida por su tamao del efec-

    to, y la precisin est en funcin del tamao de la mues-

    tra: a mayor tamao muestral, mayor precisin y, en

    consecuencia, mayor peso en los anlisis. De esta forma,

    se calcula una media ponderada de los tamaos del

    efecto junto con su intervalo de confianza, se evala el

    grado de heterogeneidad de los tamaos del efecto y, si

    los tamaos del efecto no son homogneos, se analiza el

    influjo de variables moderadoras sobre los tamaos del

    efecto. Esta ltima fase de los anlisis se lleva a cabo

    aplicando procedimientos ponderados basados en el

    anlisis de la varianza (o anlisis por subgrupos) y en

    los modelos de regresin (meta-regresin), de forma que

    la variable dependiente est formada por los tamaosdel efecto obtenidos en los estudios, mientras que las va-

    riables independientes o predictoras son las caractersti-

    cas de los estudios.

    (5) Publicacin. La ltima fase de un MA, como cual-

    quier otra investigacin, consiste en diseminar sus resul-

    tados. La publicacin de un MA se rige por las mismas

    normas que las de cualquier estudio emprico (Botella y

    Gambara, 2006b). Las secciones de un estudio meta-

    analtico suelen ser, pues, la introduccin, el mtodo, los

    resultados y la discusin y conclusiones.

    En la introduccin se revisa el tema objeto de estudio,se definen los constructos psicolgicos implicados y se

    formulan los objetivos del MA. En la seccin de Mtodo

    se incluyen varias subsecciones. En primer lugar, la sub-

    seccin bsqueda de los estudios tiene por objeto espe-

    cificar los criterios de seleccin de los estudios y los

    procedimientos de bsqueda de la literatura utilizados.

    En segundo lugar, se presenta una subseccin dirigida a

    especificar el proceso de codificacin de los estudios,

    donde se explican las caractersticas de los estudios co-

    dificadas. La tercera y ltima subseccin, que suele titu-

    larse anlisis estadstico, sirve para definir el ndice deltamao del efecto utilizado en el MA, as como las tcni-

    cas estadsticas de integracin aplicadas. La seccin

    Mtodo tiene por objeto permitir la replicabilidad del

    MA por otros investigadores, por lo que debe hacer lo

    ms explcitas posible todas las decisiones adoptadas

    durante la realizacin del MA.

    En la seccin de Resultados se representan los resulta-

    dos de los anlisis estadsticos aplicados en el MA, tra-

    tando de dar respuesta a las cuatro preguntas bsicas

    de un MA antes reseadas. Y en la seccin de Discu-

    sin los resultados del MA se ponen en relacin con la

    literatura previa sobre el tema, se discute su relevancia

    prctica, sus implicaciones para la prctica profesional y

    se apuntan lneas futuras de investigacin.

    UN EJEM PLOSiguiendo con el ejemplo antes planteado sobre la efica-

    cia de los tratamientos psicolgicos del trastorno de pni-

    co con o sin agorafobia (Snchez Meca et al., en prensa),

    en dicho MA se logr seleccionar 65 estudios que cumpl-

    an con los criterios de seleccin y en cada uno de ellos se

    REVISIONES SISTEMTICAS Y META-ANLISIS

    12

    S e c c i n M o n o g r f i c a

  • 7/16/2019 Papeles del Psiclogo

    13/142

    obtuvo una diferencia de medias estandarizada (d) que

    comparaba los resultados medios alcanzados por los gru-

    pos tratado y de control en el postest.3 Los resultados del

    MA estn basados en una muestra total de ms de 2.300

    pacientes con dicho trastorno psicolgico, lo que da unaidea del grado de generalizacin que pueden ofrecernos

    los resultados del MA.

    A la pregunta cul es el grado de eficacia global ob-

    tenido con todo el conjunto de estudios?, este MA ofreci

    un tamao del efecto medio d+=1.015, con un interva-

    lo de confianza estadsticamente significativo, que tom

    valores entre 0.855 y 1.175. El valor 1.015 puede inter-

    pretarse en unidades tpicas y, siguiendo el criterio de

    Cohen (1988), puede considerarse que valores en torno

    a 0.2, 0.5 y 0.8 reflejan una significacin prctica de

    magnitud baja, media y alta, respectivamente. Por tanto,el valor 1.015 implica una elevada eficacia de los trata-

    mientos psicolgicos, en general, sobre el trastorno de

    pnico. Otra interpretacin prctica del efecto medio

    puede hacerse asumiendo que la reduccin de los ata-

    ques de pnico en los grupos tratado y de control se dis-

    tribuyen segn una ley normal, y que el valor d =1.015

    representa en unidades tpicas la separacin entre los ni-

    veles medios de los dos grupos. As, tomando como po-

    blacin de referencia el grupo de control, el efecto d =

    1.015 indicara que, en promedio, los pacientes que han

    recibido tratamiento psicolgico se sitan en el percentil84.4% de la distribucin de los controles o, lo que es lo

    mismo, que los tratamientos psicolgicos han logrado re-

    ducir los ataques de pnico en un 34.4% respecto de los

    controles. La Figura 1 ilustra de forma grfica esta inter-

    pretacin prctica del tamao del efecto medio.

    La segunda pregunta, estrechamente relacionada con la

    anterior, a la que tiene que dar respuesta un MA es si los

    tamaos del efecto son homogneos en torno a su media o

    si, por el contrario, muestran tanta heterogeneidad que la

    media no representa bien al conjunto de los estudios. Me-

    diante pruebas estadsticas apropiadas, como son el esta-

    dstico Qy el ndice I2 (Borenstein et al., 2009), el MA

    permite responder a esta pregunta que, en el caso del MA

    que nos ocupa llev a la conclusin de que los estudios es-

    taban reflejando resultados de eficacia (cuantificados en

    sus tamaos del efecto) muy heterogneos entre s.

    Como consecuencia de la heterogeneidad manifestada

    por los tamaos del efecto, se hace preciso responder a

    la tercera pregunta: qu caractersticas de los estudios

    pueden estar afectando a la heterogeneidad? Es en esta

    fase donde se aplican tcnicas de anlisis de varianza yde regresin para encontrar las variables moderadoras

    de la eficacia. En un MA sobre tratamientos psicolgi-

    cos, la variable moderadora ms importante es el tipo

    de tratamiento aplicado en los estudios. Al clasificar a

    3 Los resultados del MA que se presentan en este artculo son slo una pequea muestra de todas las evidencias que aport. En este sentido,conviene aclarar que para cada estudio se calcul un tamao del efecto para cada medida de resultado diferente (ataques de pnico, conduc-tas agorafbicas, nivel de ansiedad general, de depresin, de ajuste global, etc.). En este artculo hacemos referencia nicamente a los resul-tados obtenidos con las medidas de pnico, que son las ms relevantes para este trastorno.

    FIGU RA 1REPRESEN TACI N GRFICA DE LA IN TERPRETACI N PRCTICADEL TAMAO DEL EFECTO DIFERENCIA DE MEDIAS TIPIFICADA

    Figura 2Representacin grfica tipo forest plot de los resultados de

    eficacia media alcanzados por diferentes tratamientospsicolgicos del trastorno de pnico con o sin agorafobia. RR:

    Tcnicas de rela jacin y/ o respira cin. EPR: Exp osicin conprevencin de recadas (bsicam ente, exp osicin in vivo). TC:terapia cognitiva (bsicamente, tcnicas de reestructuracin

    cognitiva). EMDR (Eye Movement Desensitization Reprocessing):Tcnicas de reprocesamiento por desensibilizacin de losmovimientos oculares. d+ es el tamao del efecto medio

    obtenido por cada tratamiento. I.C.: Intervalo de confianza.

    JULIO SNCHEZ-MECA Y JUAN BOTELLA

    13

    S e c c i n M o n o g r f i c a

  • 7/16/2019 Papeles del Psiclogo

    14/142

    los estudios segn la modalidad de tratamiento y calcu-

    lar el tamao del efecto medio alcanzado en cada una

    de ellas es posible comparar sus resultados de eficacia.

    Un modo muy til de presentar la comparacin entre tra-

    tamientos es mediante la construccin de un grfico de-nominado forest plot, en el que se presenta de forma

    grfica el efecto medio y el intervalo de confianza para

    cada categora de tratamiento. En la Figura 2 se repro-

    duce el forest plot de este MA en el que se observan los

    tamaos del efecto medios obtenidos por las diferentes

    tcnicas de tratamiento y las combinaciones entre ellas.

    As, el grfico permite observar cmo algunas tcnicas

    de tratamiento han obtenido un efecto medio que no di-

    fiere significativamente del efecto nulo, al cruzar su inter-

    valo de confianza al valor 0 (por ejemplo, la terapia

    cognitiva sola), y cmo otras tcnicas s han alcanzadoun efecto medio estadsticamente significativo (por ejem-

    plo, la exposicin con prevencin de recadas, o sta

    combinada con relajacin/ respiracin).

    GUA PARA LA LECTURA CRTICA DE META-ANLISISEl examen de los resultados aportados por un MA sobre la

    eficacia de tratamientos, intervenciones o programas de

    prevencin permite al lector valorar la eficacia diferencial

    de diferentes tratamientos y, en consecuencia, ayudarle en

    la toma de decisin sobre qu tratamiento aplicar en un

    caso particular. Sin embargo, la lectura crtica de los MAspasa necesariamente por que el profesional tenga unos co-

    nocimientos apropiados de qu es un MA, cmo se hace y

    a qu sesgos pueden estar expuestos sus resultados. Cons-

    cientes de esta problemtica, los expertos en MA han dedi-

    cado importantes esfuerzos a elaborar guas orientativas

    para la lectura crtica de estudios meta-analticos, fruto de

    los cuales ha sido la publicacin de diversas guas. En lu-

    gar de reproducir alguna de esas guas, aqu proponemos

    una que se basa fundamentalmente en las dos ms recien-

    temente propuestas en la literatura: la gua PRISMA (Prefe-

    rred Reporting Items for Systematic Reviews and

    Meta-Analyses; Moher et al., 2009), que es una mejora

    de la gua QUOROM (Quality Of Reporting Of Meta-

    analyses; Moher et al., 1994) y la gua AMSTAR (Shea,

    Grimshaw, Wells et al., 2007; Shea, Hamel, Wells et al.,

    2009), que consta de 11 preguntas sobre el proceso de re-

    alizacin y publicacin de una RS o MA.

    El Protocolo que presentamos en la Tabla 2 pretende

    recoger las claves principales en que nos tenemos que fi-

    jar cuando estamos leyendo una RS o un MA, con objeto

    de poder valorar crticamente la calidad de los resulta-

    dos que aporta y su relevancia para la prctica clnica.

    Las preguntas estn orientadas a las diferentes secciones

    en que se divide la publicacin de un MA: ttulo, resu-

    men, introduccin, mtodo, resultados y discusin. Bsi-

    camente, las preguntas estn orientadas a comprobar silos meta-analistas han hecho explcitas todas las decisio-

    nes que han tenido que tomar durante la realizacin del

    MA, y sta es una cuestin fundamental para poder va-

    lorar su calidad crtica y para garantizar que otros in-

    vestigadores puedan replicar el MA.

    REFLEXIO N ES FIN ALESA pesar de la disociacin existente entre la prctica profe-

    sional y la investigacin, el enfoque de la PBE est posibili-

    tando puntos de encuentro entre estos dos mbitos que

    siempre deberan ir de la mano. Al mismo tiempo, las RSsy los MAs constituyen un modo rpido y seguro de conocer

    las ltimas evidencias y pruebas cientficas sobre cualquier

    tema relacionado con la prctica profesional. Es por ello

    que los psiclogos deben conocer esta metodologa y saber

    hacer lectura crtica de RSs y MAs, as como de otros tipos

    de estudios que aportan evidencias.

    En esta misma lnea, sera conveniente que los planes de

    estudio de los Grados y Posgrados en Psicologa contengan

    materias en las que se explique el enfoque de la PBE y la

    lectura crtica, no slo de RSs y MAs, sino tambin de otros

    tipos de investigacin, como los ensayos clnicos aleatoriza-dos, los estudios de cohortes o los estudios observacionales

    y correlacionales. Slo as lograremos que los profesionales

    vean la metodologa como una disciplina cercana que tiene

    utilidad prctica en su desempeo profesional.

    La lectura crtica de la investigacin debera guiar las

    prcticas de los psiclogos, no slo en el ejercicio directo

    con personas, sino en la toma de decisiones cuando se

    ocupan cargos directivos y de gestin en empresas y en-

    tidades que tengan que ver con la gestin de los servi-

    cios sociales, de salud y educativos. Y, en ltima

    instancia, debemos tambin tender a hacer Poltica Ba-

    sada en la Evidencia, all donde los psiclogos ocupen

    cargos pblicos de responsabilidad o cuando otros nos

    pidan opiniones basadas en la evidencia acumulada por

    la psicologa para adoptar sus decisiones.

    Por ltimo, para profundizar en la metodologa del MA

    y de las RSs sugerimos algunas lecturas. En castellano

    pueden consultarse la monografa de Botella y Gambara

    (2002) o el captulo de Snchez Meca (2008). En ingls

    pueden consultarse los textos de Cooper (2010) y de Bo-

    renstein et al. (2009). Existen diversos programas de

    REVISIONES SISTEMTICAS Y META-ANLISIS

    14

    S e c c i n M o n o g r f i c a

  • 7/16/2019 Papeles del Psiclogo

    15/142

    TABLA 2LISTA DE PREG UN TAS O RIEN TADA S A LA LECTURA CRTICA DE RSS Y M AS

    1. Se identifica el estudio como un MA?

    2. Incluye un Resumen con los objetivos, mtodo, resultados y principales conclusiones? Debe proporcionarse un resumen estructurado que in-cluya: justificacin; objetivos; fuente de los datos; criterios de seleccin de los estudios, participantes e intervenciones; valoracin de la calidad de

    los estudios y mtodos de sntesis; resultados; limitaciones del estudio; conclusiones e implicaciones de los principales resultados.

    3. En la Introduccin se describen de forma explcita las preguntas y los objetivos del MA? Debe proporcionarse una declaracin explcitade las preguntas que se pretenden responder, con referencia a los participantes, las intervenciones, las comparaciones, las variables de re-

    sultado y el diseo de los estudios (PICOS: Participants, Interventions, Comparisons, Outcomes, and Study design).

    4. En el Mtodo se especifican los criterios de inclusin de los estudios? Deben especificarse las caractersticas de los estudios (e.g., PI-COS, duracin del perodo de seguimiento) y las caractersticas de los estudios utilizadas como criterios de elegibilidad, aportando su fun-

    damentacin (e.g., aos considerados, idiomas, estatus de publicacin).

    5. En el Mtodo se indican los procedimientos de bsqueda de los estudios? Deben describirse todas las fuentes de informacin (e.g., ba-ses de datos con sus fechas de cobertura, contactos con autores de los estudios para identificar estudios adicionales) utilizadas en la bs-

    queda y fecha ltima de bsqueda.

    Debe presentarse la estrategia de bsqueda electrnica completa de al menos una base de datos, incluyendo los posibles lmites impuestos,

    de forma que cualquiera pueda repetirla.

    6. En el Mtodo se especifican las variables de los estudios codificadas? Debe describirse el mtodo de extraccin de datos de los estudiosprimarios (e.g., protocolos de registro aplicados de forma independiente por dos o ms codificadores), as como cualesquier procesos de

    obtencin y confirmacin de datos utilizados por los revisores.

    Debe incluirse una lista con todas las variables registradas en los estudios, as como su definicin (e.g., PICOS, fuentes de financiacin), as

    como cualesquier supuestos y simplificaciones adoptados en dicho proceso.

    7. En el Mtodo se hace alusin a la fiabilidad de la codificacin? Un buen MA debe haber realizado un anlisis de la fiabilidad de lacodificacin de las variables moderadoras de los estudios, y presentar los resultados de dicho anlisis en trminos de ndices kappa y co-

    rrelaciones intraclase.

    8. En el Mtodo se especifica/ n el/ los ndice/ s del tamao del efecto? Debe especificarse cul o cules fueron los ndices del tamao delefecto utilizados en el MA (e.g., diferencia de medias estandarizada, odds ratio, etc.).

    9. En el Mtodo se describen los mtodos estadsticos utilizados en el MA? Deben describirse los mtodos de tratamiento de los datos ycmo se combinaron los resultados de los estudios (e.g., modelo de efectos fijos, de efectos aleatorios o de efectos mixtos). Deben incluirse

    las medidas de consistencia utilizadas para analizar la heterogeneidad de los efectos (e.g., Qe I2).

    Debe especificarse alguna valoracin del riesgo de sesgo que pudiera afectar a la evidencia acumulativa (e.g., sesgo de publicacin, re-

    porte selectivo dentro de los estudios).

    Deben describirse los mtodos de anlisis adicionales (e.g., anlisis de sensibilidad, anlisis por subgrupos, meta-regresin).

    10. En los Resultados se presentan las caractersticas de los estudios? Deben describirse las caractersticas de los estudios integrados, ascomo tambin debe proporcionarse una tabla con dichas caractersticas individuales, o bien ofrecer al lector la posibilidad de disponer de

    dicha tabla.

    11. En los Resultados se analizan los estudios segn su calidad? La calidad metodolgica de los estudios debe haberse codificado y pues-to en relacin con los tamaos del efecto, con objeto de comprobar posibles sesgos debidos a una calidad pobre. Si se han incluido estu-

    dios aleatorizados y no aleatorizados deben compararse sus resultados.

    S

    NoNo disponible

    S

    No

    No disponible

    S

    No

    No disponible

    S

    No

    No disponible

    S

    No

    No disponible

    S

    No

    No disponible

    S

    No

    No disponible

    S

    No

    No disponible

    S

    No

    No disponible

    S

    No

    No disponible

    S

    No

    No disponible

    JULIO SNCHEZ-MECA Y JUAN BOTELLA

    15

    S e c c i n M o n o g r f i c a

  • 7/16/2019 Papeles del Psiclogo

    16/142

    12. En los Resultados se presentan los efectos medios y las medidas de consistencia? Deben presentarse los resultados de cada MA reali-zado, incluyendo los tamaos del efecto medios con sus intervalos confidenciales y las medidas de consistencia o heterogeneidad (e.g., Q,

    I2). Opcionalmente, pueden presentarse los resultados de los estudios individuales y de cada MA mediante un forest plot.

    13. Si ha habido heterogeneidad, en los Resultados se presentan los anlisis de moderadores? Caso de que exista heterogeneidad entrelos tamaos del efecto, deben aplicarse modelos de efectos mixtos, tales como anlisis por subgrupos (ANOVAs) y meta-regresin (anli-

    sis de regresin) para identificar caractersticas moderadoras de los resultados.

    14. En los Resultados se hace algn anlisis de sensibilidad? Si se dise realizar anlisis de sensibilidad para comprobar la consistenciay robustez de los resultados del MA, deben describirse en esta seccin.

    15. En los Resultados se hace un anlisis del sesgo de publicacin? El MA debe haber realizado algn anlisis de sesgo de publicacinpara comprobar si ste puede ser una amenaza contra la validez de sus resultados.

    16. En la Discusin se resumen las evidencias? Deben resumirse los principales resultados, incluyndose la fuerza de las evidencias logra-das con cada variable de resultado principal; debe tambin considerarse su relevancia para los diferentes grupos implicados (e.g., profe-

    sionales de cuidados de salud, usuarios y polticos).

    17. En la Discusin se plantean las limitaciones del MA? Deben discutirse las limitaciones tanto en el nivel de los estudios como en el delas variables de resultado (e.g., riesgos de sesgo) y en el nivel de la revisin (e.g., recuperacin incompleta de investigaciones, sesgo de re-

    porte).

    18. En la Discusin se plantean las implicaciones para la prctica profesional? Deben discutirse las implicaciones que los principales re-sultados del MA tienen para el ejercicio profesional de los clnicos, los gestores y en la toma de decisiones poltica.

    19. En la Discusin se plantean las implicaciones para la investigacin futura? Debe aportarse una interpretacin general de los resulta-dos en el contexto de otras pruebas y evidencias, as como las implicaciones para la investigacin futura.

    20. Se especifica/ n la/ s fuente/ s de financiacin? Deben describirse las fuentes de financiacin de la RS o del MA, as como otras ayu-das recibidas (e.g., facilitacin de datos) y el papel jugado por los financiadotes en la revisin sistemtica, con objeto de valorar la posible

    existencia de conflicto de intereses

    S

    No

    No disponible

    S

    No

    No disponible

    S

    No

    No disponible

    S

    No

    No disponible

    S

    No

    No disponible

    S

    No

    No disponible

    SNo

    No disponible

    S

    No

    No disponible

    S

    No

    No disponible

    REVISIONES SISTEMTICAS Y META-ANLISIS

    software diseados para realizar los anlisis estadsticos

    tpicos de un MA. David B. Wilson ha desarrollado unos

    macros de MA para su uso en los paquetes estadsticos

    SPSS, SAS y STATA, que pueden obtenerse gratuitamen-

    te en el sitio web: http:/ / mason.gmu.edu/ ~dwilsonb

    / ma.html. Adems, la Colaboracin Cochrane ha elabo-

    rado el programa RevMan 5.0, para hacer MAs, que

    puede obtenerse tambin gratuitamente en el sitio web

    de esta organizacin (www.cochrane.org). Y tambin

    cabe mencionar el programa comercial Comprehensive

    Meta-analysis 2.0elaborado por Borenstein, Hedges,

    Higgins y Rothstein (2005; www.meta-analysis.com).

    REFEREN CIA SBorenstein, M.J ., Hedges, L.V., Higgins, J.P.T. y Roths-

    tein, H.R. (2005). Comprehensive Meta-analysis

    (Vers.2). Englewood Cliffs, NJ: Biostat, Inc.

    Borenstein, M.J ., Hedges, L.V., Higgins, J.P.T. y Roths-tein, H.R. (2009). Introduction to meta-analysis. Chi-

    chester, UK: Wiley.

    Botella, J. y Gambara, H. (2002). Qu es el meta-anli-

    sis. Madrid: Biblioteca Nueva.

    Botella, J. y Gambara, H. (2006a). El meta-anlisis: una

    metodologa de nuestro tiempo. Infocop, 29 mayo.

    Botella, J. y Gambara, H. (2006b). Doing and reporting

    a meta-analysis. International Journal of Clinical and

    16

    S e c c i n M o n o g r f i c a

    TABLA 2LISTA DE PREGUN TAS O RIEN TADA S A LA LECTURA CRTICA DE RSS Y M AS (Continuacin)

  • 7/16/2019 Papeles del Psiclogo

    17/142

    JULIO SNCHEZ-MECA Y JUAN BOTELLA

    Health Psychology, 6, 425-440.Cohen, J. (1988). Statistical power analysis for the beha-

    vioral sciences(2 ed.). Hillsdale, NJ: Erlbaum.Cooper, H. (2010). Research synthesis and meta-analy-

    sis: A step-by-step approach (3 ed.). Thousand Oaks,CA: Sage.

    Cooper, H., Hedges, L.V. y Valentine, J.C. (Eds.)(2009).The handbook of research synthesis and meta-analy-sis(2 ed.). Nueva York: Russell Sage Foundation.

    Fras Navarro, M.D. y Pascual Llobell, J . (2003). Psicolo-ga clnica basada e pruebas: Efecto del tratamiento.Papeles del Psiclogo, 85.

    Grupo de Atencin Sanitaria Basada en la Evidencia(2007). Atencin sanitaria basada en la evidencia:Su aplicacin a la prctica clnica. Murcia: Consejerade Sanidad de la Regin de Murcia.

    Littell, J .H., Corcoran, J. y Pillai, V. (2008). Systematicreviews and meta-analysis. Oxford, UK: Oxford Uni-versity Press.

    Marn Martnez, F., Snchez Meca, J., Huedo, T. y Fer-nndez, I. (2007). Meta-anlisis: Dnde estamos yhacia dnde vamos. En A. Borges y P. Prieto (Eds.),Psicologa y ciencias afines en los albores del sigloXXI(pp. 87-102). La Laguna, Tenerife: Grupo Edito-rial Universitario.

    Marn Martnez, F., Snchez Meca, J . y Lpez Lpez,J.A. (2009). El meta-anlisis en el mbito de las Cien-cias de la Salud: Una metodologa imprescindible pa-ra la eficiente acumulacin del conocimiento.Fisioterapia, 31, 107-114.

    Martn, J.L.R., Tobas, A. y Seoane, T. (Coords.) (2006).Revisiones sistemticas en ciencias de la vida. Toledo:FISCAM.

    Moher, D., Cook, D.J., Eastwood, S., Olkin, I., Rennie,D., et al. (1994) Improving the quality of reporting ofmeta-analysis of randomized controlled trials: TheQUOROM statement. Lancet, 354, 18961900.

    Moher, D., Liberati, A., Tetzlaff, J., Altman, D.G., ThePRISMA Group (2009) Preferred Reporting Items forSystematic Reviews and Meta-Analyses: The PRISMAStatement. PLoS Medicine, 6(7): e1000097.

    doi:10.1371/ journal.pmed.1000097.Navarro, F., Giribet, C. y Aguinaga, E. (1999). Psiquia-

    tra basada en la evidencia: Ventajas y limitaciones.Psiquiatra Biolgica, 6, 77-85.

    Nezu, A. M. & Nezu, C. M. (2008). Evidence-Based Out-come Research: A Practical Guide to Conducting Ran-domized Controlled Trials. Oxford University Press.

    Pascual Llobell, J ., Fas Navarro, M.D. y Monterde, H.(2004). Tratamientos psicolgicos con apoyo empricoy prctica clnica basada en la evidencia. Papeles delPsiclogo, 87.

    Petticrew, M. y Roberts, H. (2006). Systematic reviews inthe social sciences: A practical guide. Malden, MA:Blackwell.

    Snchez Meca, J. (1999). Meta-anlisis para la investiga-

    cin cientfica. En F.J. Sarabia-Snchez (Coord.), Meto-dologa para la investigacin en mrketing y direccinde empresas(pp. 173-201). Madrid. Pirmide.

    Snchez Meca (2003). La revisin del estado de la cues-tin: el meta-anlisis. En C. Camisn, M.J. Oltra yM.L. Flor (Eds.), Enfoques, problemas y mtodos deinvestigacin en Economa y Direccin de Empresas.Tomo I(pp. 101-110). Castelln: Universitat Jaume I.

    Snchez Meca, J . (2008). Meta-anlisis de la investiga-cin. En M.A. Verdugo, M. Crespo, M. Bada y B.Arias (Coords.), Metodologa en la investigacin so-bre discapacidad. Salamanca: Publicaciones del INI-

    CO (Coleccin ACTAS, 5/ 2008).Snchez Meca, J. y Ato, M. (1989). Meta-anlisis: una

    alternativa metodolgica a las revisiones tradicionalesde la investigacin. En J. Arnau y H. Carpintero(Eds.), Tratado de psicologa general. I: Historia, teo-ra y mtodo(pp. 617-669). Madrid:Alambra.

    Snchez Meca, J., Boruch, R.F., Petrosino, A. y Rosa Al-czar, A.I. (2002). La Colaboracin Campbell y laprctica basada en la evidencia. Papeles del Psiclo-go, 83, 44-48.

    Snchez Meca, J. y Marn Martnez, F. (en prensa). Me-ta-analysis. En B. McGaw, E. Baker y P.P. Peterson

    (Eds.), International encyclopedia of education (3ed.). Oxford: Elsevier.

    Snchez Meca, J., Marn Martnez, F. y Chacn Mosco-so, S. (2003). Effect-size indices for dichotomized out-comes in meta-analysis. Psychological Methods, 8,448-467.

    Snchez Meca, J., Rosa Alczar, A.I., Marn Martnez,F. y Gmez Conesa, A. (en prensa). Psychological tre-atment of panic disorder with and without agorapho-bia: A meta-analysis. Clinical Psychology Review.

    Shea, B.J., Grimshaw, J.M., Wells, G.A., et al. (2007).Development of AMSTAR: A measurement tool to assess

    the methodological quality of systematic reviews. Bio-Med Central, 7(10). doi: 10.1186/1471-2288-7-10.

    Shea, B.J., Hamel, C., Wells, G.A., et al. (2009). AMS-TAR is a reliable and valid measurement tool to assessthe methodological quality of systematic reviews.Jour-nal of Clinical Epidemiology, 62, 1013-1020.

    Vzquez, C. y Nieto, M. (2003). Psicologa (clnica) ba-sada en la evidencia (PBE): Una revisin conceptual ymetodolgica. En J.