Principios para la Validación y Uso de los Procesos de Selección de Personal

Cuarta Edición

Sociedad de Psicología Industrial y de las Organizaciones, Inc.

2003

ii

Este documento es la política oficial de la Sociedad de Psicología Industrial y de las Organizaciones (Society for Industrial and Organizational Psychology, SIOP)(División 14 de la Sociedad Americana de Psicología) y ha sido aprobado como política por la Sociedad Americana de Psicología (APA) y por el Consejo de Representantes de la APA en agosto de 2003. Hay copias disponibles en las oficinas de la Sociedad, y en la WEB de SIOP en: www.siop.org Society for Industrial Organizational Psychology 520 Ordway Avenue Bowling Green OH 43402 419-353-0032 www.siop.org © 2003 por la Sociedad de Psicología Industrial y de las Organizaciones. Reservados todos los derechos. Prohibida la reproducción total o parcial de este documento sin permiso expreso del editor

iii

Comités

Comité Ad-hoc para la revisión de los Principios para la Validación y Uso de los Procesos de Selección de Personal

Marcia M. Andberg, Ph.D. Marcia Andberg Associates Steven H. Brown, Ph.D. LIMRA, Inc. Wayne J. Camara, Ph.D. The College Board Wanda J. Campbell, Ph.D. Edison Electric Institute Donna L. Denning, Ph.D. City of Los Angeles P. Richard Jeanneret, Ph.D., Chair Jeanneret and Associates, Inc.

Jerard F. Kehoe, Ph.D. Selection & Assessment Consulting James L. Outtz, Ph.D. Outtz and Associates Paul R. Sackett, Ph.D. University of Minnesota Mary L. Tenopyr, Ph.D. Consultant Nancy T. Tippins, Ph.D. Personnel Research Associates Sheldon Zedeck, Ph.D. University of California at Berkeley

Expertos asesores para la Revisión de los Principios para la Validación y Uso de los Procesos de Selección de Personal

Herman Aguinis, Ph.D. University of Colorado at Denver Winfred Arthur, Jr., Ph.D. Texas A & M University Philip Bobko, Ph.D. Gettysburg CollegeCollage John C. Callender, Ph.D. The Procter & Gamble Company

Fritz Drasgow, Ph.D. University of Illinois Joyce C. Hogan, Ph.D. Hogan Assessment Systems Leaetta M. Hough, Ph.D. The Dunnette Group, Ltd. Frank J. Landy, Ph.D. SHL Landy Jacobs, Inc.

iv

CONTENIDOS

Comités .............................................................................................................................. Prólogo ............................................................................................................................... Introducción........................................................................................................................

Propósito .................................................................................................................... Los principios como guía ......................................................................................

Definición de los Procesos de Selección ................................................................... Visión General de los Procesos de Validación..................................................................

Fuentes de Evidencia ................................................................................................. Evidencia Basada en la Relación entre Resultados de Predictores y otras Variables............................................................................................................................... Evidencia Relacionada con el Contenido ............................................................. Evidencia Basada en la Estructura Interna del Test ............................................ Evidencia Basada en los Procesos de Respuesta ............................................... Evidencia Basada en las Consecuencias de las Decisiones de Personal ..........

Planificación del Esfuerzo de Validación.................................................................... Evidencia Existente ............................................................................................... Usos propuestos.................................................................................................... Requisitos para una Inferencia Cierta................................................................... Viabilidad ...............................................................................................................

Análisis del Trabajo..................................................................................................... Finalidad de los Análisis de Trabajo ..................................................................... Nivel de Detalle .....................................................................................................

Fuentes de Evidencia para la Validez ............................................................................... Evidencia de Validez Basada en las Relaciones con Medidas de Otras Variables.. Evidencia de Validez Basada en la Relación con el Criterio .....................................

Viabilidad de un Estudio de Validez de Criterio.................................................... Diseño y Ejecución de Estudios Relacionados con el Criterio............................. Desarrollo de Criterios........................................................................................... Elección del Predictor............................................................................................ Elección de los Participantes ................................................................................ Análisis de Datos para la Validez Relacionada con el Criterio ............................

Evidencia de Validez Basada en el Contenido .......................................................... Viabilidad de un Estudio de Validez Basada en el Contenido ............................. Diseño y Ejecución de Estrategias Relacionadas con el Contenido.................... Definición del Dominio del Contenido................................................................... Elección del Proceso de Selección....................................................................... Consideraciones de Proceso ................................................................................ Evaluar la Evidencia Relacionada con el Contenido............................................

Evidencia de Validez Basada en la Estructura Interna del Test................................ Generalización de la Evidencia de Validez ................................................................

Transportabilidad................................................................................................... Validez Sintética/Validez de Componentes de Trabajo ....................................... Meta-Análisis .........................................................................................................

Imparcialidad y Sesgo ................................................................................................ Imparcialidad ......................................................................................................... Sesgo.....................................................................................................................

Sesgo Predictivo................................................................................................ Sesgo en la Medida ...........................................................................................

Consideraciones Operativas de los Procesos de Selección .....................................

v

Iniciando un Esfuerzo de Validez.......................................................................... Definir los objetivos, necesidades y restricciones de la Organización............. Comunicar el Plan de Validación ......................................................................

Entender los Requisitos del Trabajo y del Trabajador ............................................... Estrategias para Analizar el Dominio del Trabajo y Definir los Requisitos del Trabajador.......................................................................................................... Consideraciones para Especificar el Plan de Muestreo ................................... Documentación de los Resultados....................................................................

Selección de los Procedimientos de Medida en los Esfuerzos de Validación Revisión de la Literatura Investigadora............................................................. Consideraciones Psicométricas ........................................................................ Consideraciones de Administración y Puntuación............................................ Formato y Medio................................................................................................ Aceptación del Candidato.................................................................................. Formas Alternas ................................................................................................

Selección de la Estrategia de Validez ........................................................................ Adecuación a Objetivos, Restricciones y Procedimientos Selectivos.............. Medidas Individuales .........................................................................................

Selección de los Criterios de Medida ......................................................................... Criterios Orientados a la Ejecución................................................................... Otros Índices...................................................................................................... Consideraciones Psicométricas y Relevancia ..................................................

Recopilación de Datos................................................................................................ Comunicaciones ................................................................................................ Pruebas Piloto.................................................................................................... Ajuste entre la Recolección de Datos y las Expetativas de Implementación... Confidencialidad ................................................................................................ Control de Calidad y Seguridad ........................................................................

Análisis de Datos ........................................................................................................ Precisión de Datos............................................................................................. Datos Perdidos y Extremos............................................................................... Estadísticos Descriptivos................................................................................... Análisis Apropiados ........................................................................................... Predicción Diferencial ........................................................................................ Combinación de Procedimientos Selectivos en una Batería de Medidas........ Modelos Compensatorios vs. No Compensatorios........................................... Puntuaciones Corte vs. Rangos........................................................................ Agrupamientos Baremos............................................................................................................. Comunicación de la Eficacia de los Procesos de Selección ............................

Uso Apropiado de los Procesos de Selección ........................................................... Combinación de los Procesos de Selección..................................................... Uso de los Procesos de Selección para otros Propósitos................................

Recomendaciones ...................................................................................................... El Informe Técnico de Validación...............................................................................

Identificación de la Información......................................................................... Establecer el Propósito...................................................................................... El Análisis del Trabajo ....................................................................................... Búsqueda de Procesos de Selección Alternativos ........................................... Procesos de Selección ...................................................................................... Relación con los Requisitos del Trabajo ...........................................................

vi

Medidas del Criterio (cuando sea aplicable)..................................................... Muestra de la Investigación............................................................................... Resultados ......................................................................................................... Puntuación y Transformación de Puntuaciones Brutas.................................... Información de Baremos ................................................................................... Recomendaciones ............................................................................................. Precauciones para las Interpretaciones............................................................ Referencias........................................................................................................

Guía de Administración .............................................................................................. Introducción y Visión General ........................................................................... Información de Contacto ................................................................................... Procesos de Selección ...................................................................................... Aplicabilidad....................................................................................................... Administradores................................................................................................. Información Aportada a los Candidatos ............................................................ Directrices para la Administración de Procesos Selectivos.............................. Entorno de la Administración ............................................................................ Instrucciones de Puntuación y Directrices de Interpretación............................ Bases de Datos de Puntuación ......................................................................... Información y Uso de los Procesos de Puntuación .......................................... Feedback del Candidato.................................................................................... Administraciones No Estandarizadas (Ver también Candidatos con Discapacidad)........................................................................................................................... Candidatos Reexaminados ............................................................................... Re-medida Correctiva........................................................................................ Seguridad del Proceso Selectivo ...................................................................... Referencias........................................................................................................

Otras Circunstancias en Relación con los Esfuerzos de Validación y Uso de los Procesos Selectivos....................................................................................................

Influencia de los Cambios en las Demandas de la Organización .................... Revisión de la Validación y Necesidad de Actualización de los Esfuerzos de Validación ..........................................................................................................

Candidatos con Discapacidad .................................................................................... Responsabilidades de los Diseñadores, Investigadores y Usuarios................

Referencias ........................................................................................................................ Glosario de Términos......................................................................................................... Índice ..................................................................................................................................

vii

PROLOGO

La Sociedad Americana de Psicología (SIOP) se enorgullece de presentar la cuarta edición de los Principios para la Validación y Uso de los Procesos de Selección de Personal. En 2000, Nancy Tippins, entonces presidente de la Sociedad, encargó a un grupo de trabajo la revisión de los Principios. Aquella revisión tuvo dos primeros objetivos: actualizar los Principios para que fueran consistentes con el actual cuerpo de investigación; y hacerlos consistentes con los recientemente revisados Estándares para el uso de Tests Psicológicos y Educacionales. Durante dos años, el equipo de trabajo revisó el documento y solicitó comentarios de un grupo de expertos sobre los primeros borradores, y recibió comentarios de los miembros de la Sociedad sobre los siguientes borradores. El equipo de trabajo dirigido por Richard Jeanneret y compuesto por Marcia Andberg, Steven Brown, Wayne Camara, Wanda Campbell, Donna Denning, Jerard Kehoe, James Outtz, Paul Sackett, Mary Tenopyr, Nancy Tippins, y Sheldon Zedeck, invirtió muchas horas para asegurar que este documento refleje el estado del arte en investigación y opinión, sobre la validación y uso de los procedimientos de selección de personal. La Sociedad está en deuda con este equipo y con los miembros que de la misma aportaron comentarios.

Nancy Tippins, Presidente 2000–2001 William Macey, Presidente 2001–2002 Ann Marie Ryan, Presidente 2002–2003 Michael Burke, Presidente 2003–2004

1

Introducción

Enunciado del Propósito

El propósito de los Principios para la Validación y Uso de los Procesos de Selección de Personal (desde ahora Principios), es especificar los resultados establecidos de investigación y las prácticas profesionales aceptadas en el campo de la psicología de la selección para la elección, desarrollo, evaluación y uso de los procesos de selección de personal diseñados para medir constructos relacionados con comportamientos laborales y con especial interés en la precisión de las inferencias que subyacen a las decisiones de empleo. Este documento es la cuarta edición de los Principios, los cuales son la política oficial de la Sociedad de Psicología Industrial y de las Organizaciones (División 14 de la Asociación Americana de Psicología y organización afiliada a la Sociedad Americana de Psicología), en relación con validación y selección de personal. La revisión ha sido provocada por los desarrollos teóricos y por los resultados de investigación ocurridos desde la edición anterior de los Principios (SIOP, 1987) y por la publicación de los Estándares para el uso de Tests Psicológicos y Educacionales (desde ahora estándares) en 1999 por la Asociación Americana de Investigación en Educación (American Educational Research Association (AERA), la Asociación Americana de Psicología (APA), y el Consejo Nacional de Medida en Educación (National Council on Measurement on Measurement in Education (NCME)). Los Principios tratan muchos aspectos relativos a la validación y selección de personal; sin embargo otros documentos profesionales (p.e. las Directrices para la Educación, Formación, Investigación y Práctica Multicultural, y para el Cambio Organizacional para Psicólogos) pueden dar orientaciones en situaciones particulares. Los Principios quieren ser consistentes con los Estándares. Esta revisión actualiza los Principios con el conocimiento científico actual, y guía en buenas prácticas en los procedimientos de selección de personal. Los Principios deben tomarse en su totalidad, más que ser considerados como una lista enumerada de principios. Existen decretos, reglamentos y casos legales de ámbito federal, estatal y local en relación con decisiones de empleo. Los Principios no intentan interpretar estos decretos, reglamentos y casos, pero pueden informar sobre procesos de decisión relacionados con ellos. Este documento aporta:

1. principios sobre cómo llevar investigación en selección y validación 2. principios sobre la aplicación y uso de procesos de selección 3. información para aquellos que tiene la responsabilidad de autorizar o implementar

esfuerzos de validación; y 4. información para aquellos que evalúan la adecuación y propiedad de los procesos de

selección. Los Principios intentan dirigir y orientar las necesidades de las personas involucradas en la selección de personal. Estos Principios son, en gran medida, un documento técnico pero también un documento informativo. Los Principios como guía. Es importante reconocer que este documento constituye un pronunciamiento que guía, soporta y recomienda, pero no exige o manda, acercamientos o acciones específicas. Este

2

documento aspira a facilitar y asistir en esfuerzos de validación y procesos de selección. No intenta ser vinculante, exhaustivo, o definitivo, puede no ser aplicable a todas las situaciones. Una buena práctica requiere juicio profesional para determinar la relevancia e importancia de los Principios en una situación particular. Los Principios no pretenden exigir determinados procedimientos independientes del juicio profesional de aquellos que tienen experiencia en un área relevante. Además este documento no intenta dar consejo sobre cómo aplicar o satisfacer leyes federales, estatales o locales que pueden ser aplicables a una situación específica. Los Principios expresan sobre qué expectativas deben afanarse los miembros de esta Sociedad u otros investigadores. Las evidencias de la validez de las inferencias de un proceso selectivo dado pueden debilitarse por expectativas asociadas a la aceptación de prácticas profesionales, y consecuentemente no cumplirse los Principios. Sin embargo las circunstancias de cualquier esfuerzo de validación o aplicación afectan a la relevancia de un principio específico o a la viabilidad de su implementación. La completa satisfacción de los Principios puede no ser necesaria o posible. Los Principios pretenden representar el consenso sobre el conocimiento y práctica profesional al día de hoy; sin embargo, la investigación y desarrollo en el área de selección de personal es un campo en evolución en el que las técnicas y modelos de decisión están sujetos a cambios. En el futuro podrán desarrollarse procedimientos aceptables y distintos de los que se tratan en esta edición de los Principios. En determinadas instancias, se citan referencias que soportan los principios, pero estas citas son más selectivas que exhaustivas. Se espera que tanto los investigadores como los prácticos mantengan un determinado nivel de conocimiento sobre los desarrollos de la investigación en el campo de la selección de personal. Los Principios no pretenden:

1. sustituir una formación adecuada en procesos de validación 2. ser exhaustivos (aunque cubren los principales aspectos de los procesos de

validación y uso de la selección) 3. ser una traslación técnica de regulaciones presentes o futuras. 4. enfriar el campo a prácticas preestablecidas y así limitar esfuerzos creativos; o 5. aportar una lista enumerada de principios separados

3

Definición de los Procesos de Selección

Los procesos de selección se refieren a cualquier procedimiento usado solo o en combinación para tomar decisiones de selección, y que incluyan, aunque no se limiten a ellas, pruebas de lápiz y papel, test de administración computerizada, pruebas de ejecución, muestras de trabajo, inventarios (p.e. pruebas de personalidad e intereses), técnicas proyectivas, polígrafo, medidas individuales, assessment centers, requisitos biográficos, requisitos de experiencia, referencias, investigaciones de currículo, requisitos físicos (altura o peso), pruebas de aptitud física, medidas del desempeño, interpretaciones basadas en procesos computerizados, estimaciones de potencial. Esos procesos incluyen métodos de medida que pueden ser usados para medir una variedad de características individuales que subyacen las decisiones de personal. Los términos “proceso de selección”, “test”, “predictor”, y “evaluación” se usan de modo intercambiable a lo largo del documento. Las decisiones sobre el personal son decisiones relacionadas con el empleo con el fin de contratar, formar, proveer, certificar, compensar, promocionar, finalizar, transferir, y/o tomar otras acciones que afectan al estatus de empleo.

4

VISIÓN GENERAL DEL PROCESO DE VALIDACIÓN

El principio esencial en la evaluación de cualquier proceso de selección es que se acumule evidencia que soporte una inferencia sobre la relación con el trabajo. Un proceso de selección se muestra relacionado con el trabajo cuando la evidencia soporta la precisión de las inferencias hechas desde las mediciones, o de evaluaciones derivadas de estos procesos con respecto a aspectos importantes de la conducta laboral (p.e. calidad o cantidad de ejecución, desempeño en la formación, avance, cargo, finalización, u otros comportamientos organizacionales relevantes). Aunque este documento se centra en el desempeño individual, las ejecuciones grupales u organizacionales también pueden ser criterios relevantes. Cualquier reclamación o demanda respecto de un procedimiento de selección, debe ser documentada con una investigación que aporte evidencia apropiada y construida sobre los principios enunciados en este documento. La literatura referida a promociones y los testimonios no pueden ser usados como evidencias de validez. Los Principios se adhieren a la definición de validez que hacen los Estándares como “el grado en el que evidencias acumuladas y teoría respaldan interpretaciones específicas de los resultados de una prueba demandadas por los propósitos de uso de la misma” (AERA y cols., 1999, p. 184). La validez es la consideración más importante a la hora de desarrollar y evaluar procesos de selección. Ya que la validez implica la acumulación de evidencia para proveer de una sólida base científica a las interpretaciones de los resultados de una prueba, son estas interpretaciones de los resultados requeridas por lo usos propuestos de la misma las que son evaluadas, no el proceso en sí mismo. Los Estándares hacen notar que la validación comienza con “un enunciado específico del propósito con el que se van a interpretar los resultados de la prueba, así como un racional de la relevancia de la interpretación en relación con el uso propuesto. La interpretación propuesta se refiere a los constructos o conceptos que la prueba pretende medir” (AERA y cols., 1999, p.9). Ejemplos de estos constructos o conceptos podrían ser destreza matemática, mando, capacidad para diseñar una página Web, destrezas en presentaciones orales, conciencia, y capacidad para resolver problemas relacionados con el equipo en una cadena de montaje. Debe desarrollarse una descripción clara del constructo o del marco conceptual que delimita el conocimiento, las destrezas, las capacidades, los procesos y las características que van a ser medidas. A principios de los años 50’s, se trataba sobre tres aspectos de la validez de las pruebas – contenido, relacionada con el criterio y de constructo. Desde entonces, la conceptualización de la validez ha experimentado algunas modificaciones, moviéndose desde la evidencia de los tres aspectos de la validez a la visión actual de los Estándares de la validez como un concepto unitario con diferentes fuentes de evidencia y que contribuyen a entender las inferencias que pueden derivarse desde un proceso selectivo. En realidad, toda la información de un proceso selectivo y las inferencias de sus resultados, contribuyen a entender su validez. Las evidencias en relación con la relevancia del contenido, relación con el criterio y significado del constructo, se subsumen dentro de esta definición de validez. La validez de cualquier inferencia puede determinarse mediante distintas estrategias que permitan acumular evidencia. Los Estándares hacen notar que aunque se pueden usar diferentes estrategias para acumular evidencias, la primera inferencia en el contexto de empleo se refiere a que un resultado en un proceso selectivo predice una subsiguiente conducta laboral. Incluso cuando la estrategia de validez usada no implica relación empírica

5

predictor-criterio, aquellas en las que un usuario confía en el contenido de la prueba para probar evidencia de validez, todavía hay implícita una relación entre el resultado de la prueba y el criterio. Por ello aunque se utilicen distintas estrategias para acumular evidencia de validez, la inferencia que tiene que ser soportada es que los resultados de un proceso selectivo pueden usarse para predecir subsiguientes comportamientos laborales o efectos. Es el juicio profesional el que debe guiar las decisiones en relación a las fuentes de evidencia que mejor pueden soportar la pretendida interpretación y uso. La calidad de una evidencia de validez es de primera importancia. Además, cuando existen evidencias contradictorias, es deseable comparar el peso de la evidencia que soporta inferencias específicas con el peso de aquellas que se oponen a tales inferencias. Los Estándares debaten sobre cinco fuentes de evidencia que se pueden usar a la hora de evaluar la interpretación propuesta del resultado de una prueba en un proceso de selección respecto de un uso particular del mismo: (a) relaciones entre los resultados de un predictor y otras variables, como las relaciones pruebas-criterios (b) contenido, (c) estructura interna de la prueba, (d) proceso de respuesta, y (e) consecuencias de las pruebas. Dado que la validez es un concepto unitario, estas categorizaciones se refieren a distintas fuentes de evidencia más que a distintos tipos de validez. O lo que es mejor, cada una aporta información que puede ser muy relevante para algunas interpretaciones propuestas, y menos relevantes o irrelevantes para otras.

Fuentes de Evidencia

Evidencia basada en la Relación entre los Resultados en Predictores y Otras Variables. Esta forma de evidencia se basa en la relación empírica entre los resultados del predictor y otras variables externas. Para conseguir evidencia empírica existen dos estrategias generales. La primera implica examinar la relación entre los resultados de una prueba y dos o más procesos selectivos que midan el mismo constructo que se supone (hipótesis) subyace en la medida del predictor. La evidencia de que dos medidas están muy relacionadas y son consistentes con el constructo subyacente, puede dar evidencia convergente que soporte la interpretación propuesta de los resultados de la prueba y representar el nivel del candidato en el constructo de interés. Similarmente, la evidencia de que los resultados de un test se relacionan de modo diferente con otros constructos distintos, puede aportar evidencia divergente de validez. Debe tenerse en cuenta que las evidencias convergentes y divergentes, por sí solas, no implican relación con el trabajo, la cual requiere evidencia de relación entre resultados de los procesos de selección y conductas relevantes en el trabajo. Una segunda estrategia, típica, implica relacionar los resultados de una prueba u otro proceso de selección con un criterio. Históricamente esta estrategia abarca dos diseños: predictivos y concurrentes. Un estudio predictivo examina la exactitud con la que una prueba o test predice una ejecución futura. En un estudio concurrente, los datos del predictor y del criterio se toman, relativamente, en un marco de tiempo simultáneo, auque el objetivo sigue siendo predecir el desempeño.

6

Evidencia relacionada con el Contenido El contenido de una prueba incluye las preguntas, tareas, formatos, redacción de preguntas, formatos de respuesta y directrices, en relación con la administración y corrección de la prueba. La evidencia basada en el contenido puede incluir análisis lógicos o empíricos que cotejen la correspondencia entre los contenidos de la prueba y el contenido del trabajo, los requisitos del trabajador, o los resultados del trabajo. Evidencia basada en la Estructura Interna de la Prueba Aquellos estudios que examinan la estructura interna de una prueba y la relación entre sus ítems o tareas (p.e. muestras de trabajo), pueden aportar evidencias adicionales de cómo los resultados de un test se relacionan con aspectos específicos del constructo a ser medido. Esta evidencia, típicamente, incluye información sobre la relación entre los ítems y el grado en el que ellos representan el constructo apropiado o el contenido del dominio. Por ejemplo, una evidencia de un alto grado de homogeneidad en los ítems es apropiada cuando se pretende medir una dimensión única o un constructo singular, pero si el marco de referencia requiere una estructura más compleja, la consistencia general de la prueba puede no aportar evidencia adecuada de la estructura interna de la prueba. Cuando se propone una estructura multifactorial, es apropiado evidenciar las inferencias mediante la validez de las interpretaciones de las puntuaciones de los subcomponentes. Evidencia Basada en los Procesos de Respuesta. En contextos de empleo, es necesaria la evidencia basada en los procesos de respuesta cuando se aduce que los resultados pueden ser interpretados como un proceso de respuesta particular del examinado. Por ejemplo, si se hace una reclamación en relación a que la medida de una muestra de trabajo usa técnicas adecuadas para resolver problemas de satisfacción de clientes, entonces, no es suficiente con medir que el problema, simplemente, se ha resuelto. Las evidencias basadas tanto en procesos de repuesta cognitivas como físicas, pueden aportar evidencias adicionales de validez. Examinar los procesos usados por los individuos a la hora de responder a tareas de ejecución o preguntas de una prueba, pueden probar dicha evidencia. A menudo, las evidencias en relación con los procesos de respuesta se pueden conseguir por (a) preguntar por las estrategias a aquellos que han contestado al test (b) analizando de forma computerizada los tiempos de respuesta de los examinados, o (c) realizando estudios experimentales donde el grupo de respuestas ha sido manipulado. Las observaciones de cómo los individuos se involucran en sus tareas también puede ilustrar el grado en el que las tareas representan las conductas relacionadas con el constructo que se quiere medir, y son opuestas a las conductas más relacionadas con constructos irrelevantes. Si embargo, en muchos contextos de empleo esta evidencia es irrelevante para el uso propuesto, como es el caso en el que la única queja es que las puntuaciones de un proceso selectivo son predictivas de un producto particular del trabajo. Evidencia Basada en la Consecuencia de las Decisiones sobre Personal Hace unos años, una escuela de pensamiento abogó por incorporar el examen de las consecuencias del uso de predictores en la determinación de la validez. Esta perspectiva observa que las consecuencias negativas, no intencionadas, del uso de los predictores debilita el argumento de la validez. Aunque la evidencia de consecuencias negativas puede influir en las decisiones sobre la política y práctica del uso de los predictores, el punto de vista de estos Principios y de los Estándares, es que esta evidencia es relevante respecto de

7

las inferencias sobre la validez, sólo si las consecuencias negativas pueden ser atribuidas a las propiedades de la medida del proceso selectivo en sí mismo. Las diferencias entre subgrupos resultantes de un proceso selectivo suelen ser vistas como consecuencias negativas. Las diferencias de grupos en los puntajes del predictor y los ratios de selección son relevantes para la organización y para sus decisiones de empleo, pero ésas diferencias, por sí solas, no retraen la validez de las interpretaciones pretendidas de la prueba. Si las diferencias entre grupos pueden identificarse como fuente de sesgo o contaminación de la prueba, entonces estas consecuencias negativas amenazan la validez de las interpretaciones. Alternativamente, si las diferencias entre grupos en el proceso de selección son consistentes con las diferencias entre los grupos en las conductas laborales o en le ejecución predicha por el proceso, el resultado de las diferencias entre grupos pueden soportar realmente el argumento de la validez. En este caso las consecuencias negativas del uso de la prueba se constituyen en un tema político para el que lo usa, más que un indicador de no evidencia con respecto a la validez del proceso selectivo. Un ejemplo diferente de consecuencias negativas puede ayudar. Una organización que introduce un test de integridad para cribar solicitantes, puede asumir que este proceso selectivo aporta una adecuada salvaguarda contra el robo por parte de los empleados, lo que le permitirá eliminar otros métodos usados para disuadir robos (p.e. vigilancia con vídeo). En este ejemplo, los robos de los empleados pueden aumentar realmente después de que el test de integridad se haya introducido, y de que otros procesos organizacionales se hayan eliminado. Según esto, las decisiones subsiguientes a la introducción de la prueba pueden haber tenido una consecuencia negativa y no prevista para la organización. Estas consecuencias pueden llevar a decisiones políticas y prácticas que reduzcan el impacto negativo. Sin embargo, estas consecuencias no amenazan la validez de las inferencias que pueden derivarse de las pruebas de integridad, ya que las consecuencias no son función de la prueba en sí.

Planificación de un Esfuerzo de Validez

Antes de planificar un esfuerzo de validación, los usos propuestos de los procesos selectivos que se hayan considerado, deben basarse en el entendimiento del trabajo desempeñado, y en las necesidades y derechos de la organización y de sus empleados presentes y futuros. Estos usos propuestos deben ser consistentes con las responsabilidades profesionales, éticas y legales. La validación comienza con un enunciado claro de los usos que se pretenden, así como de las interpretaciones y resultados que se proponen, y debería ser diseñada para determinar cómo de bien se han conseguido los usos propuestos. Los procesos selectivos usados en todo el proceso de selección deben estar soportados por evidencia de validez. Cuando una decisión de selección está basada en componentes múltiples combinados en un compuesto, la evidencia para la decisión final tiene una importancia capital. El esfuerzo de validación debe acumular evidencia que se generalice al proceso de selección y a los comportamientos laborales en el ámbito operativo. El diseño de este esfuerzo puede tomar muchas formas tales como estudios locales únicos, estudios hechos por consorcios, meta-análisis, estudios de transportabilidad, o estudios de validez sintética (componentes de trabajo). En todo esfuerzo de validación puede ser de valor que haya más de una única fuente de evidencia o de estrategia de validez. A la hora de planificar un esfuerzo de validez para decisiones de personal, es probable que sean tres las fuentes de evidencia más importantes: las relaciones con medidas de otras

8

variables, la evidencia de relación con el contenido, y la evidencia de estructura interna. En algunas circunstancias puede ser importante considerar la evidencia basada en el proceso de respuesta y la basada en las consecuencias. La decisión de utilizar una o más de estas fuentes de evidencia, está basada en varias consideraciones entre las que se incluyen los usos propuestos, los tipos de procesos selectivos deseados, y la disponibilidad y relevancia de la base de conocimiento profesional existente. Allí donde los usos propuestos se basen en conclusiones complejas, novedosas o únicas, puede ser importante que haya múltiples líneas de evidencia convergente. El diseño de un esfuerzo de validación es un juicio profesional que pone en la balanza tanto la fortaleza de la pretendida inferencia de validez y las limitaciones prácticas. Las consideraciones importantes incluyen (a) evidencia existente (b) características del diseño requeridas para los usos propuestos, (c) diseño de las características necesarias para satisfacer los requisitos generales de inferencias sólidas, y (d) viabilidad de las características de diseños particulares. Evidencia existente Una consideración importante en muchos esfuerzos de validación es si ya existe suficiente evidencia de validez que soporte los usos propuestos. La disponibilidad y relevancia de la evidencia existente y el valor potencial de la información de nuevas evidencias debe ser cuidadosamente sopesado en el diseño del esfuerzo de validación. Todas las conclusiones de validez son generalizaciones de los resultados en el ámbito de la validación, a los procesos de selección y conductas laborales del ámbito operativo. El valor de la información de las evidencias existentes y posibles, están basadas en muchos factores que afectan a la fuerza de esta generalización. La evidencia existente aporta valor de información si establece veracidad estadística y soporta la generalización del ámbito de la validez al ámbito operativo. Donde haya evidencia acumulada puede ser razón suficiente para inferir validez en el ámbito operativo y soportar la decisión de no acumular evidencia adicional. Estas inferencias dependen más de la evidencia de validez que de las meras demandas de validez. Los avances en los métodos de meta-análisis y la creciente base de conocimiento de los resultados metanalíticos, han establecido evidencias de validez considerables respecto de medidas de aptitudes cognitivas, y se están acumulando evidencias para medidas no cognitivas como personalidad y aptitudes físicas. Sin embargo, la evidencia existente puede no ser suficiente, por sí sola, para soportar inferencias de validez en una situación dada. Las conclusiones de validez basadas en evidencias existentes pueden ser reforzadas por la evidencia de más de un método, especialmente cuando la inferencia de validez depende en gran medida de alguna explicación teórica subyacente de un concepto o constructo. Por ejemplo, los análisis factoriales de resultados de las pruebas pueden no ser replicados por análisis factoriales de puntuaciones en los mismos atributos. En estas situaciones, pueden ser importantes las evidencias convergentes y divergentes a través de múltiples métodos. Usos propuestos. A la hora de diseñar un esfuerzo de validación, bien basado en las evidencias existentes, en nuevas o en ambas, primero deben considerarse las características del diseño que soportan los usos propuestos de dicho esfuerzo. Ejemplos de dichas características incluyen el trabajo sobre el que se infiere (p.e., un puesto de trabajo o una familia de puestos), agrupaciones

9

relevantes de los candidatos (p.e., candidatos con y sin experiencia), la singularidad del ámbito operativo (p.e., una organización homogénea o diferentes organizaciones), y medidas relevantes del criterio (p.e., productividad o rotación del personal). Requisitos para una Inferencia Sólida Son de primera importancia, los requisitos generales para una inferencia rigurosa de validez, tales como medidas de fiabilidad y validez, muestras representativas, técnicas apropiadas de análisis, controles sobre factores que, con probabilidad, puedan generar confusión. La gente que aporte información en el esfuerzo de validación debería ser conocedora y estar cualificada para las tareas que se solicita que hagan y sobre el contenido que se propone que aporten. Viabilidad La planificación de la validación debe considerar la viabilidad de los requisitos de diseño necesarios para soportar las inferencias de validez. Los esfuerzos de validación deben estar limitados por el tiempo, la disponibilidad de recursos, el tamaño de la muestra, u otras limitaciones incluido el coste. En algunas situaciones, estas limitaciones pueden constreñir el rango de posibles generalizaciones, pero en otras pueden ser la causa de fallos en el diseño que lleven a generalizaciones inadecuadas. Así como los esfuerzos de validación muy focalizados pueden tener valor, los mal realizados pueden llevar a quien contrata a rechazar procesos selectivos válidos o a aceptar inválidos. No deben tenerse en cuenta esfuerzos de validación engañosos o pobremente diseñados.

Análisis del Trabajo Históricamente los análisis de trabajo se han desarrollado para puestos específicos o familias de puestos. Hoy aún sigue siendo así y los métodos tradicionales de análisis de puestos todavía son relevantes y apropiados para estas situaciones. Sin embargo, las organizaciones que experimentan cambios rápidos en el entorno externo, la naturaleza del trabajo, o los procesos para realizarlo, pueden descubrir que los trabajos tradicionales ya no existen. En estos casos, puede ser más apropiado considerar las competencias o requisitos más generales para un tipo de trabajos más amplio. Los modelos de competencias a menudo son usados por las organizaciones para diferentes propósitos (Schippmann y cols., 2000). Cuando se pretende que estos modelos soporten la validez subyacente o el uso de un proceso de selección, deben aplicarse estos Principios. A lo largo de todo este documento, el término “análisis de trabajo” se usa y subsume información que tradicionalmente se ha recogido por métodos de análisis, así como por otras informaciones relativas al trabajo, trabajador, organización y entorno del trabajo. El objetivo para realizar un análisis de trabajo, puede incluir diferentes dimensiones o características del trabajo incluyendo la complejidad, el entorno del trabajo, el contexto, las tareas, los comportamientos y las actividades desarrolladas, o las características del trabajador (p.e., conocimientos, destrezas, aptitudes, y otras características personales [CDHO’s]). Propósitos para realizar un Análisis del Trabajo Hay dos principales propósitos para realizar un análisis del trabajo. Uno es para desarrollar procesos selectivos. Parte de este proceso es un análisis del trabajo que identifica los requisitos del trabajador incluyendo una descripción del nivel general de aptitud, destreza, conocimiento u otras características necesarias. Este análisis del trabajo determinaría qué

10

características el trabajador son necesarias para ser eficaz en un ámbito específico del trabajo, o el grado en el que los requisitos del trabajo son similares a los requisitos de un trabajo ejecutado en cualquier otro lugar. El otro propósito es para desarrollar o identificar medidas de criterio, por recopilar la información necesaria para entender el trabajo desarrollado, los ámbitos en los que se ejecuta el trabajo y los objetivos de la organización. No existe un único acercamiento que sea el método preferido para el análisis del trabajo. Los análisis usados en un estudio específico, son función de la naturaleza del trabajo, de la información disponible sobre el, del ámbito organizativo, de los trabajadores mismos, y del propósito del estudio. Entender los requisitos u objetivos de la organización es importante a la hora de seleccionar un método apropiado para realizar un análisis de trabajo. La elección de un método y la identificación de la información a conseguir por tal método deberían incluir la literatura relevante de investigación. Nivel de Detalle El nivel de detalle necesario para un análisis del trabajo está relacionado directamente con el uso que se pretenda y con la disponibilidad de la información sobre el trabajo. Un nivel de detalle menor puede ser suficiente cuando ya existe información descriptiva del trabajo. Un análisis menos detallado puede ser apropiado cuando la investigación previa permite la generación de hipótesis sólidas en relación con los predictores o el criterio de familias de puestos u organizaciones. Cuando no se requiere un análisis del trabajo detallado, el investigador debe recopilar evidencia razonable que establezca que el trabajo/s en cuestión es similar en comportamientos laborales y/o en requisitos de conocimientos, destrezas, aptitudes, y/o otras características, o caen dentro de un grupo de trabajos para los cuales la validez puede ser generalizada. Las situaciones que requieren análisis de trabajo más detallados, pueden ser aquellas en las que hay poca información disponible y la organización pretende desarrollar predictores de conocimientos específicos del trabajo. Cualquier método usado para obtener información sobre el trabajo o los trabajadores, debería tener características psicométricas razonables y ser entendida por los que participan en él. La falta de consenso sobre la información contenida en el análisis del trabajo debe ser anotada y considerada posteriormente. Las descripciones oficiales del trabajo u otros documentos pueden, o no, servir para los propósitos de la investigación. Esta información necesita ser evaluada para determinar su relevancia y utilidad. En algunas instancias, un análisis del trabajo puede ser la base para asignar o seleccionar individuos para puestos futuros que no existen en la actualidad. En otras, un análisis del trabajo puede usarse para promover trabajadores a comportamientos y actividades futuras. En ambas instancias, los comportamientos y las actividades futuras, así como los requisitos del trabajador, pueden diferir marcadamente de aquellos que existen en el presente. Similarmente, el entorno en el que trabaja una organización también puede cambiar en el tiempo. Por ejemplo, la tecnología ha permitido que muchos individuos trabajen desde oficinas virtuales y reemplacen muchas funciones que antes eran hechas por individuos. Más aún, el entorno global ha expandido las fronteras geográficas y mercados de muchas organizaciones. Algunos procedimientos, similares a los usados para analizar los requisitos del trabajo actual, pueden ser aplicables para analizar el trabajo en entornos en rápido cambio. Sin embargo, otros acercamientos pueden ser más sensibles con las complejidades de los entornos emergentes del trabajo y ser más apropiados (Peterson, Mumford, Borman, Jeanneret, & Fleishman, 1999; Schneider & Konz, 1989). El punto central en estas instancias

11

es la necesidad de obtener información fiable y relevante que oriente los comportamientos anticipados, las actividades o los CDHO’s. Si es pertinente cuestionarse si la gente con trabajos o familias de trabajos llamados igual, están haciendo el mismo trabajo, o si existe un problema para agrupar trabajos con similares complejidades, atributos, comportamientos, actividades, o CDHO’s de los trabajadores, puede ser necesario incluir múltiples perspectivas y ocupantes en el análisis de trabajo. Incluso cuando los afectados están en puestos con nombres iguales o familias de puestos, el estudio de muchos afectados puede ser necesario para entender diferencias en la complejidad, en el contexto del trabajo, el entorno, los comportamientos laborales, o las CDHO’s del trabajador en función del turno, localización, variaciones en cómo se desarrolla el trabajo, y otros factores que pueden crear diferencias en trabajos con nombres similares o familias de trabajos.

12

Fuentes de Evidencia de Validez

Las inferencias hechas sobre los resultados de un proceso de selección para un comportamiento o resultado laboral subsiguiente, necesitan estar basadas en evidencias que soporten dichas inferencias. Se describen tres fuentes de evidencia: evidencia basada en las relaciones con medidas de otras variables, evidencia basada en el contenido, y evidencia basada en la estructura interna del proceso selectivo. La generalización de la evidencia de validez acumulada por la investigación existente para la situación de empleo concreta, se trata en la sección de “Evidencia de Generalización de la Validez”.

Evidencia de Validez Basada en la Relación con Medidas de Otras Variables.

Los Principios y los Estándares ven al constructo como el concepto que un proceso selectivo pretende medir. A veces, el constructo no es plenamente entendido o bien articulado. Sin embargo, son las relaciones entre las variables las que reflejan los constructos subyacentes. Por ejemplo, generalmente un predictor no puede correlacionar con un criterio a menos que, en alguna medida, uno o más de los mismos constructos subyazcan a ambas variables. Consecuentemente, los esfuerzos de validación basados en constructos son de aplicación a todos los esfuerzos de validez. Más adelante se elaboran los principios de uso de las estrategias basadas en la relación con el criterio para acumular evidencia de validez en los ámbitos de empleo. Si bien no son explícitamente tratadas, los siguientes principios también se aplican a la investigación que usa otras variables distintas a las de criterios de ejecución del trabajo (p.e. evidencia convergente y discriminante). Alguna teoría o fundamento debe guiar la selección de estas otras variables, así como la interpretación de los resultados del estudio.

Evidencia de Validez en Relación con el Criterio. Los procesos de selección se usan para predecir el desempeño futuro u otro comportamiento del trabajo. La evidencia de validez basada en el criterio, típicamente, consiste en una demostración de la relación (mediante las pruebas de significación estadística o por intervalos de confianza) entre los resultados de un proceso selectivo (predictor) y una o más medida de comportamientos relevantes para el trabajo o resultados del trabajo (criterios). La elección de los predictores y del criterio debe estar basada en la comprensión de los objetivos para los que usa el test, en información del trabajo, y en el conocimiento existente en relación con la validez del test. Un procedimiento estandarizado es aquel que presenta y usa directrices y procedimientos consistentes para la administración, puntaje e interpretación. Son preferibles medidas estandarizadas de predictor y criterio. Lo que se trata en esta sección, sin embargo, es aplicable a todos los predictores y criterios estén o no estandarizados. Viabilidad de un Estudio Basado en la Relación con el Criterio. La disponibilidad de medidas apropiadas del criterio, la representatividad de la muestra de investigación, y la adecuación del poder estadístico son muy importantes a la hora de determinar la viabilidad de realizar un estudio basado en el criterio. Dependiendo de su magnitud, las deficiencias en cualquiera de estas consideraciones puede debilitar significativamente el estudio de validez basado en el criterio.

13

Deben desarrollarse u obtenerse medida(s) relevantes, fiables y no contaminadas del criterio. De estas características, la más importante es la relevancia. Un criterio relevante es aquél que refleja el estado relativo de los trabajadores con respecto a importantes comportamientos laborales o medidas de resultados. Si tal medida del criterio no existe o no puede ser desarrollada, no es factible el uso de estrategias relacionadas con el criterio. Un estudio competente de validez en relación con el criterio debe estar basado en una muestra razonablemente representativa del trabajo del grupo de candidatos. Debe prestarse atención a las diferencias entre una variable dada en la muestra usada para el estudio de validación y la del grupo de candidatos, cuando exista evidencia de investigación que demuestre que dicha variable afecta a la validez. Factores relacionados con el poder estadístico pueden influir en la viabilidad de un estudio relacionado con el criterio. Entre estos factores está el grado (y tipo) de la restricción del rango en el predictor o en el criterio, la fiabilidad del criterio y el poder estadístico. El tamaño de la muestra, el estadístico calculado, el nivel de probabilidad escogido como intervalo de confianza, y el tamaño de la relación entre el predictor y el criterio, determina el intervalo de confianza alrededor del cual se estima la validez. En la práctica, estas amenazas y factores ocurren en diferentes niveles que en combinación afectan al poder y precisión de la estimación. Por eso, el poder estadístico y la precisión de la estimación deberían ser consideradas cuidadosamente antes de acometer un estudio de validez relacionada con el criterio y, si dicho estudio se realiza, el informe debe incluir información relevante sobre el poder estadístico. Diseñar y realizar Estudios relacionados con el Criterio. Si es factible una estrategia en relación con el criterio, la atención debe dirigirse al diseño y realización del estudio. Se pueden identificar una variedad de diseños. La clasificación tradicional de evidencia de validez predictiva y concurrente se basa en la presencia o ausencia de un lapso de tiempo entre la toma de datos del predictor y la del criterio. El estatus de empleo de la muestra (trabajadores en activo o solicitantes) también puede diferenciar los diseños. En diseños predictivos, los datos de los procesos selectivos se recogen mientras los sujetos son seleccionados. Después de un periodo específico de tiempo (para la supervivencia del criterio) o después de que la ejecución relativa de los trabajadores se ha estabilizado (para el desempeño del criterio), se recogen los datos del criterio. En los diseños concurrentes, el predictor y el criterio se recogen, normalmente en trabajadores en activo, aproximadamente al mismo tiempo. Sin embargo hay otras diferencias entre y dentro de los diseños concurrentes y predictivos que pueden afectar a la interpretación de los resultados de los estudios de validez relacionados con el criterio. Los diseños pueden diferir en el tiempo entre la recogida de los datos y la decisión de selección o en relación con el tiempo cuando el trabajador empieza a trabajar – antes, simultáneamente, un poco después, o después de un periodo sustancial de tiempo. Los diseños pueden diferir con respecto a la base sobre la que se toman las decisiones de selección para los participantes en la muestra de investigación; ellos pueden haber sido seleccionados usando el predictor objeto de estudio, un predictor “existente”, un procedimiento azaroso, o alguna combinación de ellos. Los diseños también pueden diferir con respecto a la población muestreada. Por ejemplo, los diseños pueden usar una población de solicitantes o una población de trabajadores recientemente contratados, trabajadores recientes no completamente formados, o trabajadores con todo el rango de diferencias individuales en cuanto a experiencia.

14

El efecto de la naturaleza concurrente o predictiva del diseño puede depender del constructo del predictor. Para pruebas de aptitudes cognitivas, las estimaciones de validez obtenidas desde diseños predictivos y concurrentes puede esperarse que sean comparables (Barreto, Phillips, & Alexander, 1981; Bemis, 1968; Pearlman, Schmidt, & Hunter, 1980). Lo descubierto en relación con la comparación de los diseños concurrentes y predictivos no puede ser generalizado automáticamente a todas las situaciones y a otros tipos de predictores y criterios. En ocasiones, un proceso selectivo se diseña para predecir niveles de trabajo más altos que aquellos para los que los candidatos son seleccionados inicialmente. Estos trabajos de alto nivel pueden ser considerados puestos o trabajos diana, en un estudio relacionado con el criterio, si un número importante de individuos que permanecen empleados y disponibles para promocionar, progresan a niveles superiores en un periodo razonable de tiempo. Si los trabajadores no promocionan al siguiente nivel en número significativo, la medida de los candidatos para tal trabajo todavía puede ser aceptable, si el estudio de validez se realiza usando criterios que reflejan tanto el criterio para el que los candidatos son seleccionados, como para el nivel superior. Esta misma lógica puede aplicarse a situaciones en las que la gente rota entre puestos. En algunas organizaciones, los trabajos cambian tan rápidamente o son tan inestables que la validación con relación al desempeño en uno o más puestos “diana”, es imposible; la ejecución eficaz está más relacionada con las aptitudes o capacidades que contribuyen de un modo más general a la eficacia organizacional. En estos casos, el investigador puede acumular evidencias que soporten la relación entre los constructos de los predictores (p.e. flexibilidad, adaptabilidad, orientación en equipo, velocidad de aprendizaje y capacidad) y criterios organizacionales amplios (tales como eficacia en el trabajo bajo directrices cerradas) Desarrollo del Criterio En general, si los criterios se escogen para representar actividades relacionadas con el trabajo, comportamientos o resultados, los resultados de un análisis del trabajo son útiles en la construcción del criterio. Si la meta de un estudio dado es la predicción de un criterio organizacional como el nivel del puesto, el absentismo u otros tipos de criterios organizacionales, un análisis del trabajo exhaustivo no es normalmente necesario, aunque un entendimiento del trabajo y su contexto es beneficioso. A continuación se exponen algunas consideraciones sobre el desarrollo de criterios. Los criterios deben escogerse más sobre la base de su relevancia para el trabajo, ausencia de contaminación y fiabilidad, que por su disponibilidad. Esto implica que los propósitos del estudio de validación deben estar (a) claramente establecidos (b) apoyar las necesidades y propósitos de la organización y (c) ser aceptados en el contexto social y legal de la organización. El investigador no debería usar medidas de criterio no relacionadas con los propósitos del estudio y que se usen para dar apariencia de una cobertura más amplia.

Relevancia del Criterio. El criterio debería representar resultados importantes tanto para la organización, sus equipos o sus individuos, tales como comportamientos relacionados con el trabajo, productos, actitudes, o desempeños en formación, y ser indicados por una revisión de la información sobre el trabajo. No se necesita incluir todos los criterios, pero debe haber un fundamento claro que relacione el criterio con los usos propuestos del proceso selectivo. Los criterios pueden ser medidas de desempeño general o

15

de tareas específicas, comportamientos laborales, o resultados de trabajo. Dependiendo del trabajo objeto de estudio y de los propósitos del estudio de validación, pueden ser apropiados varios criterios tales como una muestra de trabajo estandarizada, puntuaciones en desempeños o comportamientos, éxitos en formación relacionada con el trabajo, movilidad, desempeño contextual/conducta organizacional, una estimación o puntuación de avance. Independientemente de la medida que se use como criterio, es necesario asegurar su relevancia para el trabajo.

Contaminación del Criterio. Una medida de criterio está contaminada en la medida que introduce varianza extraña y sistemática. Ejemplos posibles de factores contaminantes pueden ser las diferencias en la calidad de la maquinaria, territorios desiguales respecto a ventas, que los evaluadores conozcan las puntuaciones del predictor, el nivel del puesto, turno del trabajo, localización del trabajo, y actitudes de los evaluadores. Así como evitar (incluso conocer) todas las fuentes posibles de contaminación es imposible, se deben hacer esfuerzos para minimizar sus efectos. Por ejemplo, estandarizar el modo como se administra la medida del criterio, minimiza una posible fuente de contaminación. La medida de alguna variable contaminante permite al investigador controlarla estadísticamente; en otros casos, sólo puede tenerse especial diligencia en la construcción del procedimiento de su medida y uso.

Deficiencia del Criterio. La medida de criterio es deficiente en tanto que excluye varianza relevante y sistemática. Por ejemplo, una medida de criterio que pretenda medir la ejecución general de un puesto, sería insuficiente si no incluyera comportamientos laborales o resultados críticos para el desempeño del puesto.

Sesgo del Criterio. El sesgo en el criterio es un error sistemático resultante de la contaminación o de la deficiencia del criterio, y que afecta diferencialmente al desempeño de diferentes subgrupos. La presencia o ausencia del sesgo no puede detectarse solamente por el conocimiento de los resultados del criterio. Una diferencia en los resultados del criterio de trabajadores más viejos o más jóvenes o en turnos de día o noche, podría reflejar sesgo en los evaluadores o diferencias en las condiciones del equipo, o la diferencia puede mostrar diferencias genuinas en el desempeño. Debe anticiparse la posibilidad del sesgo en el criterio. El investigador debe protegerse del sesgo en la medida que le sea posible, y usar el juicio profesional a la hora de evaluar los datos.

Fiabilidad del Criterio. Cuando se estiman con medidas apropiadas, las medidas del criterio deben mostrar fiabilidad. Para ver ejemplos de usos adecuados e inadecuados de estimaciones de fiabilidad ver Hunter y Schmidt (1996). La fiabilidad del criterio establece el techo superior de las estimaciones de validez. Por ello, la falta de fiabilidad en el criterio infraestima de la validez de criterio en la población de interés.

Las Evaluaciones como Criterio. Entre las medidas de desempeño adecuadas y más frecuentemente usadas están las hechas por evaluadores. Si se espera que los evaluadores (superiores, pares, los mismos trabajadores, clientes y otros) evalúen distintos aspectos del desempeño, el desarrollo de los factores a evaluar, normalmente, está guiado por un análisis del trabajo. Más aún, para evaluar eficazmente, los evaluadores deben estar familiarizados con las demandas relevantes del trabajo, así como con los individuos a evaluar, y deberían ser entrenados en la observación y evaluación del desempeño. La investigación sugiere que las evaluaciones del desempeño que se hacen con propósitos de investigación, son preferibles para estos estudios más que aquellas se obtienen rutinariamente para propósitos administrativos (Jawahar y Williams, 1997).

16

Elección del Predictor Muchos factores, incluidos el juicio profesional y uso propuesto del proceso de selección, influyen en la elección del predictor(es). Selección de Predictores. Las variables que se escojan como predictores deben tener una base empírica, lógica o teórica. Debe especificarse el argumento por el que se escoge el predictor. Es más probable que un predictor aporte evidencia de validez, si hay una buena razón o teoría para suponer la relación entre él y el comportamiento que se ha planeado prediga. Este argumento se obtiene de entender claramente el trabajo, de la literatura investigadora, o de la lógica del predictor. No se pretende que este principio descarte hallazgos no esperados, pero estos, sobre todo si están basados en muestras pequeñas, deberían ser replicados con muestras independientes. La elección preliminar de predictores debe estar basada en el conocimiento científico del investigador, sin sesgos personales o prejuicios. Por ello, la elección de un predictor específico por un investigador debe estar basada en teoría y en los hallazgos de la investigación relevante, más que en intereses personales o familiaridad.

Contaminación del Predictor. Al igual que con el criterio, una medida del predictor está contaminada e la medida que incluya varianza extraña y sistemática. Varios factores pueden contribuir a la contaminación del predictor, incluyendo procedimientos administrativos no estandarizados y contenidos irrelevantes. Algunos procedimientos, como las entrevistas no estructuradas, pueden ser más susceptibles de contaminación que otros. Deben hacerse esfuerzos para minimizar la contaminación del predictor.

Los Predictores y las Decisiones Estratégicas de Selección. Los resultados obtenidos por estrategias de decisión, deben ser reconocidos como predictores. Aquellos que toman las decisiones, los que interpretan y actúan sobre los datos de un predictor, introducen algo de ellos mismos en el proceso interpretar o en la toma de decisiones. Por ello, los juicios o decisiones pueden ser considerados, cuando menos, un predictor más, y en algunos casos, el único predictor. Por ejemplo, si una estrategia de decisión utiliza un único juicio resultante de combinar distintos predictores (p.e. tests, listas de referencia, resultados de entrevista) en la decisión de selección final, el predictor real es el juicio al que ha llegado la persona que ha sopesado y resumido toda la información. Idealmente, es este juicio el que debería ser objeto del estudio de validación. Si esto no es posible, dicho juicio debe estar soportado y basado en evidencia de validez para sus componentes específicos.

Fiabilidad del Predictor. Como en el caso de la fiabilidad del criterio, la fiabilidad del predictor debe estimarse siempre que se pueda. La fiabilidad del predictor debe estimarse por los métodos apropiados y debe ser suficientemente alta como para garantizar su uso. En el predictor como en el criterio, la fiabilidad establece el techo de cualquier estimación de validez. Elección de los Participantes Las muestras deben escogerse con la intención de generalizar a la situación selectiva de interés. El impacto de características como la demografía, motivación, aptitud, y experiencia en la relación criterio predictor-criterio, y por ende en su generalización, es una cuestión

17

empírica. Ninguna variable debe asumirse como moderadora de los coeficientes de validez en ausencia de una evidencia explícita para tal efecto. Análisis de Datos para la Validez Relacionada con el Criterio La calidad de un estudio de validación depende tanto de la propiedad de los análisis de datos como de los datos recogidos durante la investigación. Los investigadores necesitan asegurar que los estadísticos usados son apropiados. Más aún, en la elección de las variables de criterio o predictor, los investigadores no deberían escoger el método de análisis simplemente por el paquete estadístico disponible en su ordenador. Aquellos investigadores que deleguen los análisis a otros mantienen la responsabilidad de asegurar la idoneidad y precisión de los análisis.

Fuerza de la Relación Predictor-Criterio. Los análisis deben aportar información sobre el tamaño del efecto, la significación estadística o la confianza de la relación entre el predictor y el criterio. Las estimaciones del tamaño del efecto y los intervalos de confianza pueden ser útiles a la hora de hacer juicios profesionales en relación a la fuerza de la relación predictor-criterio (Schmidt, 1996). Otras aproximaciones como las tablas de expectativas también son útiles en muchas situaciones, principalmente si no se consiguen las asunciones de un análisis de correlación. La investigación de estudios de validez sobre el poder de la relación predictor-criterio y la investigación metanalítica, sugieren que conseguir, a la vez, suficiente poder estadístico y controlar el Error Tipo I, puede ser problemático en estudios de validez locales, ya que pueden requerirse tamaños de muestra difíciles de conseguir. Los investigadores, como mínimo, deberían prestar la misma atención a los riesgos del Error Tipo II. Los informes de cualquier análisis deben aportar información sobre la naturaleza de la relación predictor-criterio y de cómo puede usarse esta en predicción. La información debe incluir el número de casos, las medidas de tendencia central, las características de las distribuciones, y la variabilidad tanto del predictor como del criterio, así como las interrelaciones entre todas las variables estudiadas.

Ajustes a las Estimaciones de Validez. Los investigadores deben obtener una estimación lo más imparcial posible de la validez del predictor en la población en la que ha sido usado. Los coeficientes de validez observada pueden subestimar la relación predictor-criterio debido a los efectos de la restricción del rango y a la falta de fiabilidad del predictor o del criterio. Cuando la restricción del rango causa la subestimación de la validez, deben hacerse ajustes bivariados o multivariados adecuados, cuando se disponga de la información necesaria. Deben hacerse ajustes del coeficiente de validez para la falta de fiabilidad del criterio, si es posible obtener una estimación apropiada de la fiabilidad del criterio. Los investigadores deben estar seguros de que las estimaciones de fiabilidad usadas para hacer las correcciones son apropiadas para evitar infra o supra estimaciones del coeficiente de validez. Por ejemplo, un estudio que utilice una estrategia basada en el criterio y en el que el criterio son evaluaciones del desempeño, las diferencias entre los evaluadores y las diferencias a través del tiempo pueden ser consideradas para estimar la fiabilidad del criterio, porque las estimaciones de la consistencia interna, por sí solas, pueden ser inadecuadas. Cuando se han hecho los ajustes, los coeficientes ajustados y no, deben ser informados. Los investigadores deben ser conscientes de que las pruebas de significación estadística normales, no se aplican para coeficientes ajustados por la restricción del rango o la falta de

18

fiabilidad del criterio (Bobko y Riecke, 1980; Raju y Brand, en prensa; Raju, Burke, Normand, y Langlois, 1991). El coeficiente ajustado, generalmente, es la mejor estimación puntual del coeficiente de validez para la población y deben calcularse los intervalos de confianza entorno a él. Debe informarse de los coeficientes de validez no ajustados para la falta de fiabilidad del predictor, a menos que esté claramente establecido que el coeficiente es teórico y no puede interpretarse como reflejo de la validez operativa real del proceso de selección.

Combinación de Predictores y Criterios. Cuando los predictores se usan combinadamente, los investigadores deben considerar y documentar el método de combinación. Los predictores pueden combinarse usando las ponderaciones resultantes de un análisis de regresión múltiple (u otra técnica multivariante apropiada), pesos únicos, pesos desiguales que se aproximen a los de la regresión, pesos determinados por técnicas de análisis de puestos, o pesos basados en juicios profesionales. Generalmente, después de una validez cruzada, el procedimiento más complejo de ponderación aporta poca o ninguna mejora más allá de las técnicas simples (Aamodt y Kimbrough, 1985). Cuando se combinan puntuaciones, debe tenerse cuidado en asegurar que las diferencias de variabilidad de los diferentes predictores no propenden a una infra o supra ponderación de uno o más predictores. Los procesos de selección que tienen relaciones lineales con el desempeño, pueden combinarse para usarse de modo lineal (p.e.,, sumando las puntuaciones de diferentes procesos selectivos) o de modo configural (p.e., usando múltiples puntuaciones corte). El investigador debe ser consciente de las implicaciones administrativas, legales, etc, de cada elección. Cuando se use una selección basada en puntuaciones corte, debe aportarse un fundamento claro para su uso (p.e., la consecución de metas o necesidades organizacionales más amplias, conveniencia administrativa o reducción de los costes de las pruebas). De igual modo, si el investigador combina puntajes de diferentes criterios en una puntuación compuesta, debe haber un fundamento que justifiquen las reglas de combinación y deben ser descritas. Normalmente es mejor asignar pesos unitarios o iguales a los componentes del criterio que intentar desarrollar pesos empíricos precisos. Cuando se combinan las medidas, los investigadores deben de reconocer que los pesos adecuados (p.e., la contribución de varios componentes a la varianza del compuesto) son función de la desviación típica de una variable y es improbable que sean los mismos que los pesos nominales (asignados).

Validez Cruzada. Los investigadores deben vigilar el sobre-estimación de validez resultante de la capitalización del azar. Especialmente cuando la muestra es pequeña, las estimaciones de la validez de una batería desarrollada sobre la base de una ecuación de regresión, deben ajustarse usando fórmulas apropiadas de reducción o mediante la validez cruzada en otra muestra. La asignación de pesos unitarios o justificados a los predictores, no implica reducción en el sentido usual. Cuando se selecciona para su uso un número más pequeño de predictores de una muestra más grande de coeficientes de validez incluidos en el estudio, las fórmulas de reducción sólo pueden usarse si el número más grande de predictores se introduce en la fórmula, aunque esto producirá una estimación levemente conservadora de la correlación múltiple de la validez cruzada.

Interpretación y Documentación de los Análisis de Validación. Los resultados obtenidos a partir de una estrategia basa en el criterio, deben interpretase a la luz de

19

resultados relevantes de investigación. El conocimiento acumulado por investigación juega un rol importante en cualquier esfuerzo de validación. Actualmente existe un gran cuerpo de investigación referido a la relación entre muchos predictores y desempeño del trabajo (Schmidt y Hunter, 1998). Se necesitan muestras extraordinariamente grandes y muchas replicas, para dar crédito a resultados inusuales. Estos descubrimientos incluyen, aunque no se limitan a ellos, efectos supresores o moderadores, regresiones no lineales y beneficios de puntuaciones corte. Hipótesis post hoc en estudios multivariantes y pesos diferentes para predictores altamente relacionados, son particularmente sospechosos y deben ser replicados antes de ser aceptados y sus resultados implementados.

Evidencia para la Validez Basada en el Contenido La evidencia para la validez basada en el contenido consiste típicamente en la demostración de una vinculación fuerte entre el contenido de un proceso selectivo y un comportamiento laboral importante, actividades, requisitos del trabajador, o resultados del trabajo. Esta vinculación también soporta la interpretación del constructo. Cuando el proceso selectivo está diseñado, explícitamente, como una muestra de elementos importantes del dominio del trabajo, el estudio de validación debe proveer evidencia de que el proceso de selección muestrea comportamientos laborales importantes, actividades y/o CDHO’s del trabajador necesarias para la ejecución del trabajo, la formación para el trabajo, o aspectos específicos de cualquiera de ellos. Esto aporta el fundamento para la generalización de los resultados del estudio de validez a la predicción de los comportamientos laborales (Goldstein, Zedeck, y Schneider, 1993). Los procesos selectivos basados en el contenido que se discuten aquí, son aquellos diseñados como muestras representativas de los comportamientos laborales más importantes, actividades y/o CDHO’s del trabajador, derivados del dominio del trabajo y definidos por el análisis de puestos. El contenido del proceso selectivo incluye las preguntas, tareas, temas, formatos, formulaciones, y significados de ítems, respuestas, formatos, y directrices en relación con la administración y puntuación del proceso selectivo. Lo que sigue aporta una guía para desarrollar o seleccionar procesos basados principalmente en el contenido. Viabilidad de un Estudio de Validación Basado en el Contenido Varias son las cosas que pueden afectar a la viabilidad de un estudio de validez basado en el contenido y deberían evaluarse antes de empezar un estudio de estas características. Entre estos temas están la estabilidad del trabajo y de los requisitos del trabajador, la interferencia de contenidos irrelevantes, la disponibilidad de expertos cualificados y no contaminados y las limitaciones de costo y tiempo. El investigador debería considerar si el trabajo y los requisitos del trabajador son razonablemente estables. Cuando sea posible, un proceso selectivo basado en el contenido debe eliminar o minimizar el contenido que sea irrelevante para el dominio muestreado. Virtualmente cualquier proceso basado en el contenido incluye algunos elementos que no son parte del dominio del trabajo (p.e., la estandarización del proceso de selección o el uso de formatos de respuesta que no son parte del contenido del trabajo, tales como los formatos de respuesta múltiple o respuestas escritas cuando el trabajo no requiere escribir)

20

El éxito de un estudio de validez basado en el contenido, está muy relacionado con la cualificación de los expertos. Los expertos definen el dominio del trabajo y participan en el análisis del puesto mediante la identificación de comportamientos laborales relevantes, actividades, y CDHO’s del trabajador. Los expertos deben tener un conocimiento profundo de los comportamientos laborales y de las actividades, de las responsabilidades de los trabajadores, y de las CDHO’s que son prerrequisitos de un desempeño eficaz del trabajo. Entre los expertos debe haber personas que sean plenamente conocedoras de características organizacionales relevantes, tales como turnos, localización, tipo de equipos usados, y demás. Debe seleccionarse, desarrollarse y documentarse un método para trasladar los juicios de los expertos al proceso de selección. Si se usan los expertos para evaluar el grado de adecuación entre el proceso basado en el contenido del trabajo y los requisitos del trabajador, los procesos y los criterios para valorar cada aspecto deben estandarizarse y describirse. Diseñar y Dirigir Estrategias Basadas en el Contenido. El estudio de validez de contenido demuestra específicamente que el contenido del proceso de selección representa una muestra adecuada de comportamientos importantes del trabajo, actividades y/o requisitos del trabajador definidos mediante un análisis del trabajo. Esto implica escoger expertos en el puesto, definir el contenido a ser incluido en el proceso selectivo, desarrollar el proceso selectivo, establecer las directrices para la administración y puntaje, y evaluar la eficacia del esfuerzo de validación. Definir el Dominio del Contenido La representación del dominio del trabajo debe estar basada en información minuciosa y precisa del trabajo, que incluya un análisis de comportamientos del trabajo, actividades, responsabilidades de los trabajadores, y/o los prerrequisitos de CDHO’s para una ejecución eficaz del mismo. Además, la definición del contenido a ser incluido en el dominio se basa en un entendimiento del trabajo, y puede considerar las necesidades de la organización, los mercados de trabajo, y otros factores que son relevantes para las especificaciones del personal y relevantes para los propósitos de la organización. No es necesario incluir en el domino todo lo que se hace en el trabajo. El investigador debe indicar qué comportamientos importantes del trabajo, actividades y CDHO’s del trabajador están incluidos en el dominio, describir cómo el contenido del trabajo está vinculado al proceso selectivo, y explicar por qué ciertas partes del dominio están o no incluidas en el proceso selectivo. El hecho de que un constructo medido por un proceso selectivo sea etiquetado aptitud, por sí mismo, no obvia la confianza en una estrategia orientada al contenido. Cuando el contenido de un proceso selectivo está vinculado al contenido del trabajo, las estrategias orientadas al contenido son útiles. Cuando el contenido de un proceso selectivo está menos claramente relacionado al contenido del trabajo, son otras evidencias de validez las que toman prioridad. El contenido de un proceso selectivo debe estar basado en un análisis del trabajo que especifique si se espera que el trabajador tenga todas las conductas importantes del trabajo, actividades o CDHO’s, antes de ser seleccionado para el puesto, o si se le dará una formación básica o avanzada después del proceso de selección. Si lo que se pretende en el proceso de selección es contratar o promocionar individuos para puestos para los que no hay formación previa, el investigador debería definir el proceso selectivo en los términos de comportamientos laborales, actividades y/o CDHO’s que se espera que un trabajador tenga antes de ser ubicado en el puesto. Si la intención de un proceso selectivo basado en el

21

contenido es seleccionar a individuos para un proceso formativo, los comportamientos, actividades y CDHO’s serán aquellos necesarios para superar el proceso de formación. Ya que lo que se pretende es seleccionar o promocionar a individuos que tengan los prerrequisitos de comportamientos, actividades y/o CDHO’s para aprender el puesto, así como para ejecutarlo, el proceso selectivo debería estar basado en un análisis del trabajo que defina un equilibrio entre los comportamientos del trabajo, actividades, CDHO’s que se espera que el solicitante tenga antes de ser ubicado en el puesto y la cantidad de información que la organización le dará. Por ejemplo, el hecho de que a un trabajador se le enseñe a interpretar los manuales técnicos de la compañía, puede significar que el candidato debe ser evaluado en capacidad de lectura. Un proceso selectivo que mida la capacidad de lectura necesaria para entender manuales técnicos, es probable que sea predictivo del desempeño. Un proceso selectivo basado en el contenido también puede incluir evidencia de formación específica previa, experiencia o logro. Esta evidencia se juzga sobre la base de la relación entre el contenido de la experiencia y el contenido del trabajo que requiere ésa experiencia. Para justificar dicha experiencia se requiere más que una apariencia superficial entre las variables de la experiencia y el contenido del trabajo. Por ejemplo, nombres de cursos y de puestos de trabajo pueden no dar indicación adecuada del contenido del curso o del trabajo y nivel de pericia que un trabajador ha desarrollado en algún área importante. Lo que debe evaluarse es la similitud entre los comportamientos, actividades, procesos desempeñados o las CDHO’s requeridas por el trabajo. Elección del Proceso Selectivo Normalmente la selección o desarrollo de un proceso selectivo está restringido a comportamientos frecuentes o importantes, a actividades o a prerrequisitos de CDHO’s. El investigador debe abarcar de forma adecuada los comportamientos, actividades y requisitos del trabajador de este dominio restringido, para aportar evidencia suficiente que soporte la validez de la inferencia. La fidelidad del contenido del proceso selectivo respecto de comportamientos relevantes del trabajo, forman la base de esta inferencia.

Muestreo del Dominio de Contenido. El proceso para construir o elegir el proceso selectivo requiere muestrear el dominio del contenido del trabajo. No es necesario medir todos los elementos del dominio del trabajo. Es mejor muestrear los comportamientos, actividades y CDHO’s que puedan dar una buena estimación del desempeño que se quiere predecir. El muestreo debe tener una base razonable sustentada en el juicio profesional del investigador y en un análisis del trabajo que detalle comportamientos relevantes, actividades, aspectos importantes del contexto de trabajo, y las CDHO’s necesarias para desempeñar el trabajo. Los muestreos aleatorios del dominio del contenido del trabajo, normalmente, no son apropiados o factibles. Debe documentarse el fundamento que subyace al muestreo.

Descripción del Nivel de Especificidad. A la hora de definir el dominio de contenido de trabajo, previamente debe describirse el grado de especificidad necesario para el análisis de trabajo y en el proceso selectivo. Cuanta más fidelidad haya entre el proceso selectivo y los componentes exactos del puesto, mayor es la probabilidad de que se demuestre evidencia basada en el contenido. Sin embargo, cuando cambia el trabajo y la fidelidad decae, es menos probable que el proceso selectivo se mantenga apropiado. Por ello, es importante considerar en qué medida es probable que el puesto cambie. Si es probable que los cambios sean frecuentes, el investigador puede querer desarrollar un proceso selectivo que tenga menos especificidad. Por ejemplo, a la hora de desarrollar un proceso selectivo

22

para un puesto en el que se procesan textos, el proceso selectivo puede excluir contenidos como “demostrar pericia con un determinado procesador de textos”, y en su lugar incluir contenidos que sean menos específicos, como “demostrar pericia con los principios y técnicas del procesamiento de textos”. El grado en el que pueden generalizarse los resultados de estudios de validación, depende en parte de la especificidad del proceso selectivo y de su posibilidad de aplicación a ámbitos, tiempo y puestos. Mientras que las medidas generales pueden ser más flexibles con los cambios en el puesto y más transferibles a otros trabajos similares, también pueden ser objeto de mayor escrutinio porque la correspondencia entre la medida y el contenido del trabajo está menos detallada. Consideraciones de Procedimiento El investigador necesita establecer directrices de administración y puntaje del procedimiento basado en el contenido. Normalmente, definir directrices para la administración y puntaje de un proceso selectivo de lápiz y papel y que mida los conocimientos relacionados con el trabajo o las destrezas cognitivas es, relativamente, poco complicado. Por otro lado, incluir en una selección basada en el contenido un comportamiento relacionado con el trabajo o actividad, puede introducir desafíos administrativos y de puntaje, que deben evaluarse previamente. Generalmente, cuanto más fielmente replica un proceso selectivo un comportamiento laboral, más acertada será la inferencia basada en el contenido. Sin embargo, cuanto más se parezca un proceso selectivo a un comportamiento laboral, mayor puede ser la dificultad de administrar y puntuar. Por ejemplo, la resolución de problemas informáticos de muchos pasos puede ser una parte importante del soporte técnico del trabajo de una persona. Sin embargo, puede ser difícil desarrollar y puntuar una simulación de resolución de problemas informáticos paso a paso o una muestra de trabajo, porque los examinadores pueden no usar los mismos pasos o estrategias al intentar resolver el problema. Una alternativa de fidelidad más baja puede incluirse en el proceso selectivo de manera que los aspectos importantes del dominio del trabajo todavía estén incluidos en el proceso de selección. En todos los casos, el investigador debe asegurar que los procedimientos están midiendo destrezas y conocimientos que son importantes para el trabajo, más que contenidos irrelevantes. Evaluar la Evidencia Relacionada con el Contenido. La evidencia de validez basada en el contenido descansa en la demostración de que el procedimiento selectivo muestrea adecuadamente y está vinculado con comportamientos relevantes, actividades y CDHO’s definidos por el análisis del puesto. Los métodos documentados usados en el desarrollo de los procesos de selección, constituyen la primera evidencia para inferir que las puntuaciones de un proceso selectivo pueden generalizarse a los comportamientos del trabajo y pueden interpretarse en términos de desempeño predicho. La suficiencia de correspondencia entre el proceso selectivo y el dominio del trabajo es una cuestión de juicio profesional que se basa en las evidencias acumuladas durante el esfuerzo de validación (Goldstein y cols., 1993). Siempre que sea posible, debe determinarse la fiabilidad de las ejecuciones en procesos selectivos basados en el contenido. Si se usan evaluaciones de más de un evaluador para evaluar la ejecución en una simulación de trabajo, el investigador debería evaluar la fiabilidad inter-jueces en su uso operativo.

23

Evidencia de Validez Basada en la Estructura Interna La información sobre la estructura interna de cualquier proceso selectivo puede soportar un argumento de validez. La estructura interna de un test, por sí sola, no es suficiente para establecer la utilidad de un proceso selectivo a la hora de predecir un desempeño. Sin embargo, la estructura interna de un test es importante a la ahora de planificar el desarrollo de un proceso selectivo. Los análisis específicos relevantes dependen del marco de referencia conceptual del proceso selectivo, que a su vez es típico que se establezca por los usos propuestos. Cuando la evidencia de validez se basa en la estructura interna, el investigador puede considerar las relaciones entre ítems, los componentes del proceso de selección o las escalas que miden estos constructos. La inclusión de ítems en un proceso selectivo debería estar basada primeramente en la relevancia para un constructo o dominio de contenido y secundariamente en sus interrelaciones. Los componentes bien construidos o las escalas cuyas correlaciones sean cercanas a cero, no tienen, necesariamente, por qué ser eliminadas. Por ejemplo, si intencionadamente el proceso selectivo contiene componentes relevantes para distintos constructos o dominios de contenido (p.e., una batería compuesta por un test de lectura, un ejercicio de in-basket, y una entrevista), los resultados de estos componentes no tienen por qué estar altamente correlacionados. Sin embargo, si el marco de referencia indica una sola dimensión o constructo, se debe tender a una alta homogeneidad entre los componentes, los cuales pueden ser evaluados con distintas estimaciones de fiabilidad por consistencia interna. Si el marco de referencia conceptual propende a una estructura más compleja, una medida general de consistencia interna puede que no sea la medida adecuada. Por ejemplo, la fiabilidad por consistencia interna para una evaluación de desempeño que supuestamente tiene escalas no relacionadas puede indicar solamente efecto halo. Cuando la puntuación implica altos niveles de juicio de quienes hacen la evaluación, los índices de fiabilidad inter-jueces o la consistencia del evaluador, tales como coeficientes de generabilidad o medidas de acuerdo inter-jueces, pueden ser más apropiadas que las estimaciones de consistencia interna.

24

Generalización de la Evidencia de Validez

A veces, se dispone de suficiente evidencia acumulada para justificar el uso de un proceso de selección en una situación nueva, sin tener que realizar un estudio de validación local. En estas situaciones, el uso de un proceso de selección puede basarse en una demostración de la generalización de las inferencias de validez de ése proceso selectivo, junto con un argumento convincente de su aplicabilidad a esa situación. Aunque no mutuamente excluyentes ni exhaustivas, se han esbozado algunas estrategias para generalizar las evidencias de validez: (a) transportabilidad, (b) validez sintética/validez de componentes de trabajo, y (c) generalización de la validez por meta-análisis.

Transportabilidad Un acercamiento para la generalización de las inferencias de validez de los resultados de un proceso selectivo, implica el uso de un determinado proceso de selección en una nueva situación basándose en los resultados de un estudio de investigación de la validez realizado en algún otro lugar. Esto se refiere a demostrar la “transportabilidad” de la evidencia de validez para el proceso selectivo. Cuando el propósito es “transportar” el uso de un procedimiento, debe garantizarse una revisión cuidadosa del estudio original de validez para asegurar la aceptación de la solidez técnica de ése estudio y determinar su relevancia a la nueva situación. Los puntos clave a considerar a la hora de establecer lo apropiado de la transportabilidad son: la posibilidad de comparar trabajos en función de requisitos (el más destacado), así como, posiblemente, la similaridad del contexto de trabajo y del grupo de candidatos.

Validez Sintética/Validez de los Componentes de Trabajo Un segundo acercamiento para establecer la generalización de las inferencias de validez basadas en los resultados de un proceso selectivo, lo refieren como validez sintética o validez de componentes de trabajo. (Algunos investigadores distinguen entre estos términos, otros no, en cualquiera caso sí existen algunas variaciones en cada uno). Un rasgo definitorio de la validez sintética o validez de los componentes de trabajo, es la justificación del uso de un proceso de selección que se basa en la demostrada validez de las inferencias de los resultados de un proceso selectivo con respecto a uno o más dominios del trabajo (componentes del trabajo). Por eso, establecer las validez sintética/validez de componentes de trabajo requiere documentar la relación entre el proceso selectivo y uno o más dominios específicos del trabajo (componentes del trabajo) dentro de un mismo puesto o entre diferentes puestos. Si la relación entre el proceso selectivo y los componente del trabajo está establecida, entonces la validez del proceso selectivo para ése componente de trabajo puede generalizarse a otras situaciones en las que los componentes del trabajo sean comparables. La validez de un proceso selectivo puede establecerse con respecto a dominios diferentes del trabajo (componentes), y así “sintetizar” (combinar) su uso basándose en los dominios relevantes del trabajo (o componentes) para un puesto dado o para una familia de puestos. En algunas situaciones, esto puede implicar la realización de un estudio de investigación diseñado para demostrar evidencia de la generalización de las inferencias de validez de los resultados de un grupo de tests, y luego usar varios subtests de estos procedimientos, para seleccionar dentro de puestos o de una familia de ellos, así como en otros puestos o familias de ellos. En otros casos esto implica generalizar la validez de las inferencias basadas en los puntajes de procesos selectivos examinados en uno o más estudios realizados en algún otro

25

lugar, a una nueva situación. En ambos casos, para usar esta estrategia de generalización de la validez, se requiere un análisis del trabajo detallado.

Meta-Análisis El Metanálisis es el tercer procedimiento o estrategia que puede usarse para determinar el grado en el que la relación predictor-criterio es específica de la situación en la que los datos de la validez han sido obtenidos, o son generalizables a otras situaciones, así como para determinar las fuentes de la variabilidad entre situaciones (Aguinis y Pierce, 1998). El metanálisis requiere acumular resultados de un número de estudios para determinar la mejor estimación de la relación entre el predictor y el criterio para la clase de dominios y ámbitos de los trabajos que se han incluido en el estudio. Así como los esfuerzos de transportabilidad, validez sintética o validez de componentes de trabajo, pueden basarse en un estudio original o en estudios que establecen la validez de las inferencias en resultados de los procesos de selección basados en estrategias relacionadas con el contenido o en el criterio, el metanálisis es una estrategia que sólo puede aplicarse en los casos en los que los estudios originales son de evidencia de validez basada en el criterio. La pregunta que debe responderse cuando se usa una estrategia metanalítica es si las inferencias válidas de comportamientos laborales o desempeños, pueden derivarse de puntuaciones del predictor de puestos o familias de puestos en diferentes ámbitos. (Nótese que el tema a tratar aquí es el uso del metanálisis para examinar las relaciones predictor-criterio. El Metanálisis también puede usarse para examinar otros temas, como la convergencia entre instrumentos que pretenden medir el mismo constructo). El metanálisis es la base para la técnica a la que a menudo suele referirse como “generalización de la validez”. En general, la investigación ha demostrado que muchas de las variaciones de los coeficientes de validez observados y obtenidos en diferentes situaciones pueden atribuirse a errores de muestreo y a otros artefactos estadísticos (Ackerman y Humpreys, 1990; Barrica y Mount, 1991; Callender y Osburn, 1980; 1981; Hartigan y Wigdor, 1989; Hunter y Hunter, 1984; Schmidt, Hunter, y Pearlman, 1981). Estos hallazgos están particularmente bien establecidos para pruebas de capacidad cognitiva; otros estudios recientes también están acumulando evidencia para generalizar las relaciones entre predictor y criterio para constructos no cognitivos en ámbitos de empleo. A la hora de interpretar y aplicar los resultados de la investigación metanalítica es importante el juicio profesional. Los investigadores deberían considerar los métodos metanalíticos usados y las asunciones subyacentes, la robustez de estas y los artefactos que pueden influenciar los resultados (Bobko y Stone-Romero, 1998; Raju, Anselmi, Goodman, y Thomas, 1998; Raju y cols., 1991; Raju, Pappas, y Williams, 1989). A la hora de evaluar la evidencia metanalítica, el investigador debería preocuparse de los potenciales moderadores, en la medida que puedan afectar a las conclusiones sobre la presencia y generalización de la validez. En estos casos, los investigadores deberían considerar tanto el poder estadístico para detectar esos moderadores, como la precisión de la estimación. Además, el investigador debe considerar la probabilidad de los errores Tipo I y II (Oswald, y Jonson, 1998; Sackett, Harris, y Orr, 1996). Los trabajos o informes que contribuyan a los resultados de la investigación metanalítica deben ser claramente identificados y estar disponibles. Los investigadores deben consultar la literatura relevante para asegurar que la estrategia metanalítica usada está fundada y ha sido aplicada correctamente, que se ha seguido el procedimiento adecuado para estimar la

26

relación predictor-criterio, sobre la base de evidencias acumuladas, que las condiciones para la aplicación de los resultados metanalíticos se han cumplido y que la aplicación de las conclusiones metanalíticas son apropiadas para el trabajo y ámbito estudiados. Deben informarse exhaustivamente de las reglas con las que los investigadores categorizan los trabajos y los puestos estudiados, los procesos de selección usados, las definiciones de lo que el proceso de selección está midiendo, el criterio de desempeño usado, y otras características del estudio que se supuso afectarían a los resultados del estudio. También debe informarse mediante un buen juicio profesional de la calidad de los estudios individuales y su impacto, si lo hay, sobre las conclusiones metanalíticas y su uso (Guion, 1998; Law, Schmidt, y Hunter, 1994a, 1994b). Debe tenerse en cuenta que sólo la confianza en la evidencia acumulada disponible puede no ser suficiente para satisfacer necesidades operativas tales como la ubicación de trabajadores, o una óptima combinación de predictores. Consecuentemente, pueden requerirse estudios adicionales y datos para cumplir con estas necesidades específicas. Si estas estrategias no son factibles en una organización, los investigadores y empleadores pueden involucrarse en estudios cooperativos. Los métodos metanalíticos para demostrar la generalización de la validez, están evolucionando. Los investigadores deberían ser conscientes de la necesidad de investigación continua, de aquellas críticas que pueden refinar más las técnicas, así como considerar un rango más amplio de las relaciones predictor-criterio a las que el metanálisis ha sido aplicado. La evidencia de generalización de la validez a partir de los resultados metanalíticos, a menudo, es más útil que un estudio único. Sin embargo, si en el metanálisis no están consideradas importantes condiciones del ámbito operativo (p.e., el ámbito local se refiere a puestos de jefatura y la base de datos metanalítica sólo se refiere a puestos básicos), un estudio local puede ser más acertado que la relación media aportada por un estudio metanalítico. Por el contrario, si un estudio se ha realizado competentemente, usando el mismo test en una muestra grande y para el mismo tipo de actividades del trabajo, este puede ser más acertado, informativo, y útil que la acumulación de pequeños estudios que no sean representativos del ámbito al que se quiere generalizar la validez. Confiar en resultados metanalíticos es más sencillo cuando se organizan entorno o un constructo o grupo de constructos. Cuando diferentes predictores (y diferentes criterios) que pretenden medir el mismo constructo se combinan en un metanálisis, los resultados son más significativos en la medida que son evidencia de que verdaderamente reflejan el mismo constructo (p.e., evidencia de validez convergente). Si, por ejemplo, la evidencia metanalítica se basa en datos publicados de cinco medidas de un predictor altamente relacionadas, no puede asumirse que estos resultados pueden generalizarse a otras medidas que usen la misma etiqueta de constructo, sin una evidencia de que ésas medidas se refieren al mismo constructo. Cuando los estudios se acumulan basándose más en los métodos (p.e. entrevistas, datos biográficos) que en los constructos, surgen distintos tipos de dificultades en la interpretación. La generalización es clara cuando, por ejemplo, una escala de datos biográficos se ha desarrollado para un trabajo específico, se han realizado muchos estudios de validez usando esa escala en ése trabajo y la intención es generalizarla a otro escenario que emplea individuos en el mismo trabajo. Sin embargo, los investigadores pueden tener problemas cuando intentan hacer la generalización a partir de un método, más que por una aplicación

27

específica del mismo. Ya que métodos como la entrevista pueden ser diseñados para medir una amplia variedad de constructos (desde el conocimiento del trabajo a la integridad), la generalización a partir de los resultados acumulados sólo es posible si las características del método resultantes de la una positiva relación método-criterio son claramente entendidas, si el contenido de los procedimientos y el significado de las puntuaciones son relevantes para los propósitos pretendidos, y si la generalización se limita a otras aplicaciones del mismo método que además incluye estos rasgos. Consideremos la acumulación de resultados de validez de distintos métodos de entrevista, donde varían la población de ámbitos en los que es usada, el proceso de desarrollo, el contenido y la puntuación (p.e., algunas están centradas en el conocimiento, otras en los valores; algunas estructuradas otras no estructuradas). Ahora consideremos un escenario en el que estos rasgos no se han codificado por lo que no está claro si esos rasgos varían en la muestra de estudios disponibles en el metanálisis. Generalizar validez de un metanálisis con tales datos a una nueva entrevista no especificada, a un método de entrevista diferente, o a una nueva situación, no tiene garantías. Podría darse el caso, por ejemplo, de que todos los estudios en la base de datos de entrevistas se centraran en medir el conocimiento, y que la consistencia de la validez de las entrevistas centradas en el conocimiento no aportara bases suficientes para inferir que la validez sea generalizable a entrevistas centradas en valores. Por el contrario, una base de datos sobre entrevistas donde el contenido, la estructura y la puntuación están codificados, podría soportar la generalización a una entrevista que cumpliera con las mismas especificaciones.

28

Imparcialidad y Sesgo

Imparcialidad La imparcialidad es un concepto más social que psicométrico. Su definición depende de lo que cada uno considere que es imparcialidad. La imparcialidad no tiene un único significado y por ello tampoco una sola definición, sea estadística, psicométrica o social. Los Estándares apuntan a cuatro posibles definiciones de imparcialidad o justicia. El primer significado ve a la imparcialidad como un requisito de igualdad en los resultados (p.e., similares ratios de superación de pruebas para sub-grupos de interés). Los Estándares no aceptan esta definición, señalando que ha sido totalmente rechazada en la mayoría de la literatura sobre tests. Dicen, que así como las diferencias entre grupos provocarían escrutinios exhaustivos para posibles fuentes de contaminación (p.e., errores sistemáticos que afectan diferencialmente al desempeño de diferentes grupos), las diferencias en y por los resultados no indican sesgo. Hacen notar además, que hay un acuerdo general respecto a que examinados con resultados similares en el constructo de interés, como media, deberían conseguir las mismas puntuaciones independientemente del grupo de pertenencia. El segundo significado ve a la imparcialidad en términos de tratamiento equitativo a todos los examinados. Desempeño equitativo en términos de condiciones de las pruebas, acceso a materiales de prácticas, feed-back de desempeño, oportunidades de re-tests, y otros rasgos de la administración de tests, incluyendo, cuando es apropiado, condiciones confortables para los que las realizan con discapacidades, todas ellas son importantes aspectos de imparcialidad bajo esta perspectiva. Existe consenso en cuanto a que es necesario un tratamiento equitativo en la administración de las pruebas (aunque no lo existe necesariamente respecto de lo que constituye un tratamiento equitativo). El tercer significado entiende la imparcialidad como la oportunidad comparable que los examinados tienen de aprender el contenido del la prueba. Sin embargo, los Estándares hacen notar que esta perspectiva prevalece más en el dominio de pruebas referidas al logro educativo, y que la oportunidad para aprender, normalmente, no juega un rol determinante en la imparcialidad de un proceso de selección para un empleo. Una excepción serían las situaciones en las que la organización usase los tests para limitar el acceso a la información necesaria para ejecutar bien las pruebas basándose en la pertenencia a un grupo. En tales casos, mientras la prueba puede estar libre de sesgo por sí misma a la hora de cubrir el contenido del puesto, el uso del test puede ser visto como injusto desde esta perspectiva. El cuarto significado ve la imparcialidad como la falta de sesgo en la predicción. Esta perspectiva ve el uso del predictor tan imparcial como si pudiera usarse una línea de regresión para describir las relaciones predictor-criterio para todos los subgrupos de interés; las diferencias de los subgrupos en los gradientes e intersecciones de la regresión, son señales de sesgo predictivo. Hay un gran acuerdo científico en esta definición de sesgo predictivo, pero no existe un acuerdo tan similar en cuanto a que la falta de sesgo predictivo pueda equipararse a imparcialidad. Por ejemplo, un sistema de selección puede no exhibir sesgo predictivo por razas o género, y todavía ser visto como injusto si a todos los examinados no se les da un tratamiento equitativo (p.e., acceso al material de prácticas). Así, hay muchas perspectivas de lo que es imparcialidad. Existe acuerdo en cuanto a que los temas referidos a trato equitativo, sesgo predictivo, y escrutinio por posible sesgo cuando se observan diferencias entre subgrupos, son todas preocupaciones importantes en selección

29

de personal; sin embargo, no hay acuerdo en que el término “imparcialidad” pueda definirse de modo unitario para todos estos temas.

Sesgo Los Estándares indican que el sesgo se refiere a cualquier fuente de varianza irrelevante para el constructo y que tiene como resultado puntuaciones sistemáticamente altas o bajas para un grupo identificable de examinados. Al efecto de estas fuentes irrelevantes de varianza en los resultados de una variable dada, se le conoce como sesgo de la medida. El efecto de estas fuentes de varianza en las relaciones predictor-criterio, pueden ser diferencias de un grupo y otro en los gradientes e intersecciones de una recta de regresión que relaciona el predictor y el criterio, es lo que se conoce como sesgo predictivo. Los Estándares indican que, en un contexto de empleo, la evidencia de presencia o ausencia de sesgo, normalmente, recae en el análisis del sesgo predictivo. Ambas formas de sesgo se discuten más abajo. Sesgo Predictivo Así como la imparcialidad no tiene un único significado aceptado, sí hay acuerdo sobre cuál es el significado de sesgo predictivo. Hay sesgo predictivo cuando se hacen predicciones consistentes no ausentes de error para un subgrupo dado (Cleary, 1968; Humphreys, 1952). (Otro término usado para describir este fenómeno es la predicción diferencial. El término “predicción diferencial” a veces se usa en la literatura referida a provisión y clasificación, para referirse a las diferencias en el desempeño predicho, cuando un individuo es clasificado dentro de una condición en vez de en otra; no debe confundirse este uso con el uso del que aquí usamos para el sesgo predictivo). Aunque se han introducido otras definiciones de sesgo, estos modelos han sido criticados y vistos como deficientes por falta de consistencia interna (Petersen y Novick, 1976). La prueba del sesgo predictivo implica el uso de la regresión múltiple moderada, donde se regresa la medida del criterio a la puntuación del predictor, a la pertenencia a un subgrupo, y a la interacción entre ambas. Las diferencias entre los subgrupos en los gradientes e intersecciones de la línea de regresión, indican sesgo predictivo (Gulliksen y Wilks, 1950; Lautenschlager y Mendoza, 1986; Nunnally y Bernstein, 1994). El sesgo predictivo se ha examinado extensamente en el dominio de las habilidades cognitivas. En comparaciones entre Blancos-Afroamericanos y Blancos-Hispanos, rara vez se han encontrado diferencias en el gradiente de la línea de regresión; aunque en lo que a las intersecciones se refiere, estas no son poco comunes, pero típicamente toman la forma de una sobre-predicción del desempeño del grupo minoritario (Bartlett, Bobko, Dossier, y Hannan, 1978; Hunter y Schmidt, y Rauschenberg, 1984; Schmidt, Pearlman, y Hunter, 1980). En otros dominios ha habido poca investigación o no publicada en sesgo predictivo, aunque ya empiezan a aparecer en el dominio de la personalidad. Saad y Sackett (2002) informan de resultados paralelos a los del dominio de las habilidades cognitivas a la hora de examinar el sesgo predictivo por sexos, usando medidas de personalidad (p.e., pocas diferencias en gradiente e intersección como sobrepredicción del desempeño de mujeres). Dada la poca investigación hasta la fecha es prematuro, por ahora, sacar conclusiones sobre la prevalencia de sesgo predictivo para muchos constructos. Se hacen notar algunas preocupaciones técnicas en relación con el análisis del sesgo predictivo. La primera es que un análisis de sesgo predictivo requiere un criterio no sesgado.

30

Confiar en una medida del criterio es un prerrequisito para un análisis del sesgo predictivo. Es importante hacer notar que, mientras que los investigadores se preocupan mucho por recoger medidas del criterio, las investigaciones de sesgo predictivo son limitadas por falta de una auténtica medida contra la que las medidas de desempeño puedan ser comparadas. La segunda se refiere al poder estadístico para detectar diferencias en el gradiente y en las intersecciones de la recta de regresión. Muestras pequeñas del grupo total o de los subgrupos, muestras desiguales entre subgrupos, restricción del rango, y falta de fiabilidad del predictor, son factores que contribuyen a un bajo poder estadístico (Aguinis, 1995; Aguinis y Stone-Romero, 1997). La tercera es la asunción de homogeneidad en las varianzas de error (Aguinis, Peterson, y Pierce, 1999); cuando se viola esta asunción, pueden preferirse tests estadísticos alternativos (Alexander y DeShon, 1994; DeShon y Alexander, 1996; Oswald, Saad, y Sackett, 2000). Desde algunos puntos de vista el análisis de sesgo predictivo es contingente con el descubrimiento de diferencias entre subgrupos. Sin embargo, de hecho, las diferencias entre los subgrupos y el sesgo predictivo pueden existir independientemente la una de la otra. Por esto, se encuentren o no diferencias entre subgrupos en el predictor, debe realizarse el análisis de sesgo predictivo siempre que haya razones acumuladas para preguntarse si, dada la disponibilidad de los datos específicos, un predictor o un criterio están relacionados de modo típico para subgrupos concretos. En los dominios donde haya investigación relevante, la evidencia generalizada puede ser apropiada para examinar el sesgo predictivo. Sesgo de la Medida. El sesgo de la medida, es decir, las fuentes de varianza irrelevante que producen sistemáticamente resultados más altos o más bajos en miembros de grupos particulares, es una preocupación potencial en todas las variables, tanto predictores como criterios. Determinar si el sesgo de la medida está presente es a menudo difícil ya que requiere comparar tanto las medidas observadas como las verdaderas. En muchos dominios, como la evaluación del desempeño, esta comparación estándar, generalmente, no está disponible. En el dominio de los tests multi-ítem, un abordaje para determinar el sesgo de la medida es realizar un análisis del funcionamiento diferencial del ítem (FDI). El FDI es un análisis que identifica los ítems en los que miembros de subgrupos con resultados idénticos en los totales (o estimaciones de puntuaciones verdaderas idénticas en modelos de la teoría de respuesta al ítem) tienen diferentes desempeños. Estos análisis no son frecuentes en el dominio de empleo. Primero, porque para su uso operativo requieren datos de muestras grandes, ya que los análisis FDI son, normalmente, parte del proceso de desarrollo del predictor. Segundo, porque la investigación empírica en los dominios donde los FDI son comunes, raramente ha encontrado grandes efectos que además sean replicables (Sackett, Schmitt, Ellingson, y Kabin, 2001). Tercero, estos análisis requieren pruebas unidimensionales, y muchos tests de empleo no son puramente unidimensionales, y la asunción de unidimensionalidad, a menudo, no es probada en las investigaciones FDI (Hunter y Schmidt, 2000). Cuarto, para las pruebas cognitivas pocas veces se encuentran números equivalentes o funcionamiento diferencial de ítems que favorezcan a cada grupo, resultando un sesgo no sistemático a nivel de test (Hunter y Schmidt, 2000). Como resultado de estos factores, los resultados de los FDI deben verse con precaución. No es probable que el análisis FDI se convierta en una rutina o en una parte esperada del desarrollo de test y del proceso de validación en los ámbitos de empleo; sin embargo, los investigadores pueden escoger si explorar el FDI cuando se dispongan de los datos apropiados para tales análisis.

31

Vinculada con la idea del sesgo de la medida a la hora de realizar un análisis en el nivel de ítem, es el concepto de revisión de la sensibilidad del ítem, en los cuales diferentes individuos con distintas perspectivas del lenguaje o contenidos, revisan los ítems para ver si pueden tener significados distintos para miembros de diferentes subgrupos y ver si el lenguaje podría ser humillante u ofensivo para miembros de distintos subgrupos. De igual manera pueden revisarse las instrucciones para los candidatos, evaluadores o asesores. El valor de este análisis variará según el contenido del test, y la necesidad para usar esta información es cuestión del juicio del investigador en una situación dada.

32

Consideraciones Operativas en Selección de Personal Esta sección de los Principios describe temas operativos asociados con el desarrollo o elección de un proceso selectivo, con la ejecución o acumulación de investigación que soporten la validez de las inferencias hechas, sobre cómo documentar los esfuerzos de investigación en informes técnicos o manuales de administración y los subsiguiente usos e implementación. En cada paso del proceso se requerirá un juicio profesional riguroso que se base en la literatura científica existente y en la propia experiencia del investigador. Además, todos los aspectos de investigación descritos en los Principios, deberán realizarse de conformidad con los Estándares de la Sociedad Americana de Psicología que la Sociedad de Psicología Industrial y de las Organizaciones avala. Los temas se introducen según el orden temporal en el que, generalmente, se realiza un esfuerzo de validación. Por ejemplo, la sección referida al entendimiento del trabajo y de los requisitos del trabajador, precede a la referida a las decisiones de selección. En otros casos, la ubicación se basa en la relación lógica entre temas. Así, el orden en el que en la práctica se dan los pasos, se basan en un juicio profesional para una situación dada. Se reconoce que, en algunas situaciones, un proceso selectivo puede ser implementado al mismo tiempo que se está realizando el esfuerzo de validación.

Iniciar un Esfuerzo de Validación El investigador trabaja colaborando con representantes de la organización para definir sus necesidades y objetivos, identificar las limitaciones organizacionales, el plan de investigación, y para comunicar a los principales afectados aquellos aspectos del proceso que pueden influirles o en los que se vean involucrados. Definir las Necesidades, Objetivos, y Limitaciones de la Organización. Los investigadores usan su experiencia y profesionalidad para ayudar a las organizaciones a la hora de redefinir o matizar sus metas u objetivos. Distintos departamentos de la organización pueden tener objetivos diferentes y a veces opuestos o conflictivos. Por ejemplo, un departamento puede preferir estándares de selección rigurosos incluso aunque les cree limitaciones a los directivos responsables de reclutar a solicitantes cualificados. Por ejemplo, una organización puede necesitar un gran número de trabajadores de primer nivel, allí donde es mínima la oportunidad de promocionar jerárquicamente. En otra organización, el interés puede centrarse en contratar a pocos individuos con la capacidad suficiente para promocionar jerárquicamente en un corto espacio de tiempo. En todas las situaciones, los investigadores y los representantes de la organización deben tener en cuenta los deseos de los implicados y determinar los pesos relativos que deben darse a los distintos puntos de vista. El investigador aporta información precisa en relación a las limitaciones y beneficios de las distintas estrategias para alcanzar los objetivos de la organización, basándose en su experiencia pasada y en la investigación científica existente. Se insta a que el investigador trabaje con todos los departamentos (p.e., recursos humanos, relaciones laborales, asesoría jurídica) que puedan afectar o ser afectados por el proceso selectivo e implicados (p.e., individuos o grupos de dentro o fuera, tales como sindicatos, asociaciones en defensa de alguna causa, clientes).

33

Cultura y Clima. Los investigadores se enfrentan al reto de asegurar un proceso selectivo de alta calidad en el contexto histórico de la organización, su entorno de estrategias y prácticas de empleo, así como al ámbito cultural en el que opera. Las organizaciones operan en entornos complejos que, a veces, someten a presiones enormes y conflictivas al equipo directivo. Los investigadores deben tener en cuenta las actitudes y compromisos de los líderes y de los trabajadores de las organizaciones que se enfrentan a una competencia intensa, fusiones, y otros eventos corporativos que pueden influir en cómo ven de importante el proceso selectivo. Los investigadores también tienen que tener en cuenta el entorno laboral y legal a la hora de decidir los acercamientos de validación o los instrumentos de selección. Además, los sistemas selectivos globales deben considerar las prácticas aceptadas en un lugar determinado.

Tamaño de la Fuerza de Trabajo y Disponibilidad. El número de individuos que realizan el trabajo y el grado de similaridad con la población a la que pertenecen los candidatos, pueden ser consideraciones importantes a la hora de diseñar una estrategia de validación. El número de trabajadores puede configurar la estrategia de validación perseguida (p.e., generalización de la validez, estrategia orientada al contenido), así como afectar a la viabilidad y al método de las pruebas piloto. Incluso cuando el número de trabajadores es suficiente, su disponibilidad y ganas para participar en un estudio de validación pueden ser limitadas. Por ejemplo, las necesidades de la organización pueden requerir que un grupo principal de los trabajadores esté presente en sus puestos todo el tiempo; los sindicatos pueden influir en el número y tipo de personas que deseen participar en la investigación; y los trabajadores con experiencia en reestructuraciones organizativas pueden ser escépticos respecto del propósito de la investigación y sus efectos en sus propios puestos. Las discrepancias respecto de las capacidades de los implicados y la disponibilidad del grupo de candidatos también son retos, particularmente a la hora de establecer baremos y puntuaciones corte. Por ejemplo, aquellas organizaciones cuya fuerza de trabajo es más capaz que el grupo de solicitantes, puede encontrar que las puntuaciones corte basadas en el desempeño de los ejecutores son inadecuadas para los solicitantes. Similarmente, aquellas organizaciones que buscan actualizar las destrezas de su fuerza de trabajo, pueden necesitar otras fuentes de información para establecer las puntuaciones corte.

Fuentes de Información. Para realizar e implementar un esfuerzo de validación es necesario, aunque no se limita a ellos, los siguientes elementos: los propios trabajadores, gestores, superiores, formadores, clientes, archivo de datos, bases de datos e informes de investigación internos y externos a la organización. En función de la complejidad del trabajo, el clima y las propias limitaciones organizacionales, se pueden preferir algunas fuentes a otras. En algunas situaciones, las fuentes de información preferidas pueden no estar disponibles. Dependiendo de las limitaciones organizativas, se pueden necesitar fuentes de información alternativas a las preferidas por el investigador. También se pueden usar fuentes alternativas para complementar la información obtenida de las fuentes preferidas.

Aceptación de los Procesos de Selección. Muchas organizaciones quieren procesos selectivos que sean predictivos, fáciles de usar, no muy costosos, y legalmente defendibles. Sin embargo, existen algunas consideraciones adicionales. Por ejemplo, las experiencias pasadas que la organización tiene con respecto a ciertos procesos selectivos pueden influir en sus decisiones. Los procesos selectivos que han sido cuestionados en el pasado pueden no ser aceptables para la organización, especialmente si la organización no

34

tuvo éxito defendiéndolos. Además, aquellos procesos que son vistos como controvertidos por los individuos, sindicatos, u otros implicados pueden no ser aceptables. Algunas organizaciones encuentran determinados procesos selectivos inaceptables. Por ejemplo, algunos cuestionarios de personalidad o biográficos (p.e., experiencias de la infancia, intereses personales) pueden ser vistos como una invasión a la privacidad, incluso aunque sean vistos como relacionados con las medidas de criterio o con los requisitos del puesto Algunas organizaciones prefieren procesos selectivos que aportan información en relación a las potencias y necesidades de desarrollo del que ha contestado al test. Los procesos selectivos que miden constructos susceptibles de ser aprendidos (p.e., mecanografía, procesador de textos) pueden preferir procesos que aporten información relacionada con experiencias previas de vida o con rasgos estables de personalidad. Aquellos procesos que parecen más relevantes para la organización pueden ser más aceptables para los involucrados que otros procesos que están relacionados con constructos menos obvios, sin importar su evidencia empírica de validez. Sin embargo la validez aparente no es un sustituto aceptable de otras formas de evidencia de validez, tal y como se trata en los Principios. Aunque la aceptación es importante, es sólo uno de los muchos factores a considerar a la hora de seleccionar o diseñar un proceso selectivo. Sin embargo, el investigador debería explicar a los que toman la decisión, los aspectos que subyacen a la hora de aceptar un proceso de selección como parte del esfuerzo inicial de planificación. Comunicación del Plan de Validación Tanto los trabajadores como los directivos deben entender en términos generales, el propósito de la investigación, el plan para realizarla y los respectivos roles en el desarrollo y validación del proceso selectivo. El investigador debe usar un juicio profesional a la hora de decidir qué información va a dar y qué formato y estilo de comunicación será más eficaz. Los investigadores deben animar a las organizaciones a considerar los efectos sobre los trabajadores, departamentos y unidades, de participar en un esfuerzo de validación. Es típico que las organizaciones decidan que los datos de estudios de validez se guarden como confidenciales y no sean usados para posteriores decisiones relacionadas con el empleo.

Entender el Trabajo y los Requisitos del Trabajador. Históricamente los procesos de selección se desarrollaron para puestos específicos o para familias de puestos. En muchas situaciones sigue siendo así. Sin embargo, aquellas industrias que han experimentado un desarrollo tecnológico rápido o han instituido otras estrategias para acometer el trabajo, pueden darse cuenta de que el puesto tradicional no existe. En estos casos puede ser más apropiado considerar los requisitos importantes del trabajo para un mayor rango o variedad de actividades. Estrategias para Analizar el Dominio del Trabajo y Definir los Requisitos del Trabajador. El acercamiento, método y los análisis usados en un estudio específico del trabajo está en función de la naturaleza del trabajo en sí, de aquellos que lo realizan, y de los ámbitos organizacionales en los que el trabajo es realizado. No hay una estrategia única para hacerlo, pueden ser apropiadas estrategias múltiples.

35

Hay situaciones en las que la importancia de un constructo es evidente por sí misma y no se requiere un exhaustivo análisis del trabajo. Por ejemplo, el absentismo y la rotación y sus constructos subyacentes pueden ser relevantes para todos los trabajos de una organización. Por ello, no es necesaria una demostración de su relevancia. Consideraciones del Plan de Muestreo El plan de muestreo para la recogida de datos debe tener en cuenta el número de trabajadores y las localizaciones de sus puestos, sus características (p.e., cantidad de experiencia, formación, habilidad técnica, etc.), turnos u otros ciclos de trabajo, y otras variables que pueden influir en el análisis del trabajo. Documentación de los Resultados. Debe documentarse la metodología, los métodos de recolección de datos, los análisis, resultados y las implicaciones para el esfuerzo de validación. Normalmente, esta documentación incluirá una descripción de las principales actividades, de requisitos más importantes del trabajador y de sus relaciones con el contenido del proceso selectivo y su proceso de puntuación, cuando sea necesario. La información debe aportar suficiente detalle para que otro investigador pueda replicar el proceso de análisis de trabajo. La documentación también debe ayudar a ése investigador a entender el rol del análisis del trabajo como fundamento para cualquier esfuerzo de validación.

Selección de Procesos de Medida para Esfuerzos de Validación Los investigadores deben ejercer su juicio profesional para determinar aquellos procesos de selección que deben incluirse en un esfuerzo de validación. Este esfuerzo considera las necesidades organizacionales tal y como se han discutido en esta sección. Revisión de literatura Los investigadores deben familiarizarse con la investigación relacionada con los objetivos de la organización. La revisión de la literatura se usa para informar de las elecciones hechas sobre los procesos selectivos y las estrategias de validación a usar. Consideraciones Psicométricas A la hora de seleccionar uno o más predictores deben considerarse un número de características psicométricas de cada instrumento. Algunas de las consideraciones psicométricas más importantes incluyen la fiabilidad, la evidencia que soporta las inferencias pretendidas, y las diferencias entre subgrupos. A la hora de escoger los componentes de una batería de test de selección, el investigador debe considerar la contribución general de cada componente, su contribución relativa y la posible redundancia potencial del constructo, y decidir cuánto de esta redundancia es deseable dado el instrumento y la situación. Consideraciones de Administración y Puntaje.

36

Existen una serie de consideraciones prácticas para realizar una administración y puntaje coherente de un proceso selectivo. Por ejemplo, el investigador debe asegurar que las tareas de administración y puntaje se completen de modo consistente en todos los lugares y por todos los que las administran. En la medida que el proceso selectivo (p.e., muestras de trabajo) requiere juicios subjetivos en el puntaje, los temas relacionados con la formación y entrenamiento de los evaluadores y la fiabilidad interjueces llegan a ser especialmente importantes. Si las consideraciones estandarizadas se violan a la hora de administrar o puntuar el proceso selectivo, se puede comprometer la generalización de los resultados. Formato y Medio El formato se refiere al diseño de los requisitos de respuesta para las preguntas del proceso selectivo (p.e., respuesta múltiple, ensayo). La elección del formato puede estar influenciada por las fuentes disponibles para el administrador y el puntaje del proceso selectivo. Por ejemplo, los ítems puntuados objetivamente por respuestas establecidas como correctas, pueden ser administrados y corregidos en menos tiempo que un proceso selectivo que requiere al individuo responder de formas más complejas o que usa respuestas individuales con juicio. El medio se refiere al método como se distribuye el contenido del proceso selectivo. Por ejemplo, una medida de capacidad cognitiva puede ser presentada por pruebas de papel y lápiz, ordenador, vídeo, o oralmente. A la hora de seleccionar o adaptar un proceso selectivo existente de un medio a otro hay ventajas y desventajas. Los procesos realizados por ordenador pueden reducir las demandas de los administradores y favorecer la estandarización. Las pruebas con ordenador también dan oportunidades para medir constructos que no se prestan a ser medidos por pruebas de lápiz y papel (p.e., uso de hojas de cálculo o gestión de bases de datos). La investigación ha demostrado que las versiones bien desarrolladas en ordenador de pruebas cognitivas miden el mismo constructo que las versiones de lápiz y papel (Mead & Drasgow, 1993). Cambiar el medio también puede cambiar el constructo que está siendo medido. Por ejemplo, convertir un test situacional de lápiz y papel a un vídeo donde las situaciones se actúan, reduce el componente de lectura de la prueba. Asimismo, se ha demostrado que adaptar pruebas de velocidad en habilidad cognitiva altera el constructo que está siendo medido (Mead & Drasgow, 1993). A la hora de evaluar las opciones de formato y medio, deben tenerse en cuenta algunas consideraciones. El coste y la eficacia de toda la operación puede ser una preocupación principal para la organización. Además, temas como la seguridad, la estandarización de las condiciones de las pruebas, la autentificación de los candidatos, el acceso a las oportunidades de ser medido, todas son consideraciones importantes. Los que desarrollan sistemas de selección deben ser conscientes de que el formato y el medio pueden afectar a las puntuaciones medias entre subgrupos (Hough, Oswald, & Ployhart, 2001). Aceptación del Candidato Además de las necesidades y objetivos de la organización, los investigadores también deben considerar la aceptación del proceso selectivo por los candidatos. Las reacciones de los candidatos al proceso selectivo, están influenciadas por una serie de factores entre los que

37

se incluyen las características individuales (p.e., experiencias de trabajo, demografía y marcos de referencia culturales), el rol del individuo (p.e., solicitante, implicado, gestor), el grado en el que el contenido del proceso selectivo refleja el trabajo, la capacidad del individuo con respecto a los constructos medidos, y el ratio de selección percibido. Generalmente cuanta mayor sea la similaridad entre el proceso selectivo y el trabajo a realizar, mayor será la aceptación de los candidatos, la dirección y otros interesados. Sin embargo, los procesos selectivos que representan muy exhaustivamente el trabajo, pueden percibirse como obsoletos cuando el trabajo cambia. Algunos procesos selectivos pueden parecer con menos validez aparente que otros. Por ejemplo, el valor de la información recogida con formatos biográficos e inventarios de personalidad a la hora de predecir el desempeño puede no ser obvia. La comunicación respecto del proceso selectivo, los constructos a ser medidos, y el rol de los participantes y gestores en el desarrollo del proceso pueden mejorar el entendimiento y la aceptación del proceso selectivo. Hay situaciones en las que algunos candidatos rehúsan participar en ciertos tipos de procesos selectivos. Puede ser útil considerar si candidatos deseables se autoexcluyen por el proceso selectivo. Además, los que reclutan a veces se resisten o intentan soslayar el uso de procesos selectivos porque aumentan la necesidad de candidatos adicionales. Así, los investigadores deberían considerar estrategias diseñadas para minimizar cualquier percepción negativa de un proceso selectivo. Formas Alternativas Pueden necesitarse formas alternativas de un proceso selectivo para reducir los efectos de la práctica y aumentar la seguridad. Las formas alternativas pueden permitir a la organización continuar con la evaluación después de algún incidente de seguridad; sin embargo, los investigadores pueden proveer información a las organizaciones que les ayuden a equilibrar estas ventajas con el incremento de costes del desarrollo y validación de formas alternativas. Si se desarrollan formas alternativas (incluidas pruebas de adaptación), debe tenerse mucho cuidado en que las puntuaciones del candidato en las distintas formas sean comparables. Si se usan formas alternativas, normalmente es necesario establecer la equivalencia de puntajes entre las distintas formas. Los procedimientos estadísticos usados para equiparar los estudios, normalmente, tienen en cuenta el tamaño y las características relevantes de las muestras, el uso de una prueba de anclaje o ítems de relación del test, y la viabilidad de determinar funciones equivalentes dentro de subgrupos.

Seleccionar la Estrategia de Validación

Una vez que los investigadores han trabajado con la organización para definir sus objetivos en el desarrollo del proceso selectivo, entender los requisitos del trabajo, y llegar a un acuerdo sobre el tipo de proceso de selección, deben decidir qué estrategia o estrategias de validación van a seguir para acumular evidencias que soporten las inferencias pretendidas. Además, la estrategia seleccionada debe ser viable en el contexto organizacional y cumplir con los objetivos del proyecto dentro de las limitaciones impuestas por la situación. Ajuste a Objetivos, Limitaciones, y Procesos de Selección. A la hora de escoger una estrategia de validación inicial, el investigador debe considerar la adecuación de la misma a los objetivos de la organización y a sus limitaciones, así como

38

adecuar también los procesos de selección planificados y las medidas de criterio. Seguidamente se aportan tres ejemplos para describir posibles formas en las que las estrategias de validación pueden casar con los objetivos y limitaciones de la organización. En el primer escenario, una organización quiere conseguir evidencia de validez para que en una plaza de pocos efectivos, se pueda confiar en una estrategia de generalización de la validez, ya que existe evidencia acumulada de la relación predictor-criterio en situaciones similares. Por el contrario, otra organización que se enfrenta a un problema similar, y quiere extender el proceso selectivo de una unidad de negocio a otra, puede usar un estudio de transportabilidad para establecer la validez del proceso de selección en otra unidad de negocio con el mismo trabajo. Ninguna de las dos opciones puede estar disponible cuando un puesto es único para la organización. Por ello, en la tercera situación, la organización puede confiar en una estrategia de validez basada en el contenido. Medidas Individuales Una medida individual se refiere a evaluaciones “individualizadas” sobre la base de un amplio rango de medidas cognitivas y no cognitivas que son integradas por el evaluador y que a menudo se resuelven más en una recomendación que en una decisión de selección o en la predicción de un nivel específico de desempeño (Jeanneret & Silzer, 1998). El evaluador debe tener un fundamento racional para la determinación y uso del proceso selectivo. En estos casos, la validez de los juicios clínicos del evaluador es lo más importante a la hora de valorar el proceso de evaluación. Si hay múltiples evaluadores, los resultados sobre la consistencia de sus medidas pueden servir para entender la validez y para hacer juicios precisos sobre los CDHO’s relevantes. Los estudios de investigación sobre la validez de juicios clínicos son, claramente, una excepción a la regla (Ryan & Sackett, 1998). Si embargo, pueden ser apropiadas tanto las estrategias de generalización de la validez, como las orientadas al contenido. Por ejemplo, puede haber un amplio rango de evidencia generalizable que ha sido acumulada por quien publica el test o por el psicólogo que evalúa, que demuestra que una escala de personalidad (p.e., conciencia) predice el éxito en el desempeño de directivos. Por ello, ése proceso selectivo sería apropiado usarlo en un protocolo de evaluación de directivos. Un ejemplo de validación orientada al contenido sería la demostración de la relación en un proceso selectivo de in-basket que mide la capacidad de planificación, en los requisitos de planificación de un puesto directivo.

Selección de Medidas de Criterio Cuando la fuente de evidencia de validez se basa en las relaciones entre las puntuaciones del predictor y otras variables (criterio), la naturaleza del criterio está determinada por los usos propuestos del sistema de selección y los resultados del análisis de puestos y de los requisitos del trabajador. Debe ejercerse el juicio profesional a la hora de seleccionar el criterio más apropiado dadas unas conocidas limitaciones organizativas y clima. Criterio Orientado al Desempeño Los criterios que son representativos de las actividades, comportamientos o resultados, normalmente se centran en el desempeño de los que lo realizan. La evaluación de superiores es la más frecuentemente usada, y a menudo están diseñadas específicamente para ser usadas en un estudio de investigación. Puede ser útil otro tipo de información de desempeño (p.e., resultados en programas de formación, tasa de errores, índices de productividad). Cuando sea factible, deben considerarse factores psicométricos para todos los criterios.

39

Otros Índices Dependiendo del objetivo del esfuerzo de validación, pueden ser más apropiados otros índices que los directamente relacionados con el desempeño de tareas. Ejemplos de esto incluyen el absentismo, la rotación, y otros comportamientos organizacionales más allá de los incluidos en la descripción del puesto. También aquí, el investigador debe ser cauto sobre las deficiencias o factores contaminantes en estos índices. Relevancia y Consideraciones Psicométricas Normalmente se espera que el criterio represente algún constructo (normalmente el desempeño del trabajo), y debe establecerse la calidad de esta representación. Por ejemplo, debe documentarse sobre la base de un análisis de trabajo, la fidelidad de una muestra de trabajo usada como criterio. Las evaluaciones de superiores deben estar definidas y puestas en escalas en términos de actividades o situaciones relevantes para el trabajo. Todos los criterios deberían ser representativos de comportamientos relevantes del trabajo, resultados o expectativas organizacionales relevantes en relación con el comportamiento individual de un empleado o con el desempeño del equipo. El criterio debe ser fiable, y la determinación de la fiabilidad puede estar influenciada por los parámetros del estudio y las limitaciones organizacionales. Por ejemplo, así como puede ser deseable que dos evaluadores independientemente evalúen el desempeño de un empleado para determinar la fiabilidad inter-jueces de las evaluaciones, la situación del trabajo y las relaciones de los superiores pueden imposibilitar este esfuerzo (p.e., no puede haber dos superiores que conozcan igualmente el trabajo de un empleado). En cualquier caso, el investigador debe determinar qué estimación de fiabilidad debe calcularse, cómo se obtiene y qué niveles de fiabilidad son aceptables.

Toma de Datos

La toma de datos tanto del predictor como del criterio en un estudio de validación requiere una planificación cuidada y una organización que aseguren datos correctos y completos. Las condiciones estandarizadas bajo las que una investigación se realiza, normalmente se replican en la medida de lo posible durante el uso real del proceso selectivo. Para recoger información correcta y completa, el administrador del test debe considerar las siguientes actividades. Comunicaciones La información relevante respecto del esfuerzo de toma de datos, debe comunicarse a todos aquellos afectados por dicho esfuerzo incluidos los directivos, aquellos que hacen la prueba con fines de investigación, personas que aportan los datos de criterio, y aquellos que usarán el test. Las comunicaciones apropiadas facilitarán la toma de datos y propenderán a que todos los implicados aporten información correcta y completa. La clase de información que se comparte, depende de las necesidades de la organización y de los individuos implicados. Por ejemplo, los participantes en un esfuerzo de validación querrán saber cómo se usarán sus resultados y quién tendrá acceso a los resultados. Los superiores que aporten puntuaciones de criterio y aquellos que aporten criterio sobre cómo archivar los datos, querrán saber la logística de la toma de datos, su uso último, y las cláusulas de confidencialidad. Los usuarios finales, tales como los dirigentes de la organización o los

40

clientes de la organización que han sido analizados con los procedimientos de selección, deben tener una visión global del estudio. Cuando sea factible, los usos anticipados de análisis de puestos, test, y los datos de criterio deben compartirse con aquellos que los han generado. Pruebas Piloto El investigador debe determinar en qué medida son necesarias o útiles las pruebas piloto. La experiencia previa con procesos de selección específicos puede reducir o eliminar esta necesidad. La disponibilidad de los que toman el test y las oportunidades para hacer pruebas piloto pueden estar influenciadas por varias limitaciones organizacionales. Coincidencia entre la toma de datos y las expectativas de aplicación. Los procesos de selección deben administrarse de la misma manera a como serán administrados en una situación real. Por ejemplo, si a los entrevistadores se les ha dado formación directa, cara a cara, en el estudio de validez, una formación similar debe darse en el uso real. Las instrucciones y las repuestas a las preguntas de los candidatos deben ser tan similares como sea posible durante la validación y la aplicación. Confidencialidad. La confidencialidad es una responsabilidad ética del investigador. También es una de las mayores preocupaciones de quienes participan en la investigación. Aquellos que aportan información, evaluaciones de desempeño, o enlaces para la validez de contenido, pueden estar más decididos a aportar información correcta si se les asegura la confidencialidad de sus contribuciones individuales. A los participantes en un estudio de validación se les debe dar confidencialidad a no ser que haya razones convincentes para actuar de otro modo. El investigador debe decidir de forma cuidadosa, qué nivel de anonimato o confidencialidad puede establecerse y mantenerse a lo largo del estudio. El investigador aporta la mayor confidencialidad posible en la toma y almacenamiento de los datos, reconociendo que identificar información de algún tipo a menudo requiere relacionarlo con datos recogidos en otros momentos o por individuos diferentes. Los datos recogidos vía web presentan otros desafíos de confidencialidad. Control de Calidad y Seguridad. El usuario del test debe emplear técnicas de recogida de datos que hayan sido diseñadas para aumentar la exactitud y seguridad de los datos y de los materiales del test. La divulgación pública del contenido y del puntaje de muchos procesos de selección debe reconocerse como una seria amenaza potencial a su fiabilidad, validez, y subsiguiente uso. Todos los datos deben guardarse a un nivel de seguridad que permita el acceso sólo a aquellos que tengan necesidad de conocerlos.

Análisis de Datos En el transcurso de un estudio de validación pueden recogerse y analizarse una gran variedad de datos. Las responsabilidades y supervisión de la gente que realiza los análisis de datos, debe ser proporcional con sus capacidades y experiencia relevante.

41

Exactitud de los Datos Debe comprobarse la exactitud de todos los datos. Esta comprobación típicamente incluye la verificación de que los puntajes entran dentro de los rangos posibles y que, aparentemente, no ha habido falsificaciones de las repuestas. Datos Perdidos/Puntuaciones Extremas (Outliers) A menudo, en el grupo de datos, es normal que uno o más datos se pierdan o haya alguna puntuación extrema. Ya que estas circunstancias suelen ser únicas para el esfuerzo de validación que se está llevando acabo, no es posible establecer reglas rápidas y duras. Sin embargo, cada investigador debe examinar cada situación según su propio valor y seguir una estrategia basada en su juicio profesional. Los investigadores deben documentar la base lógica para tratar los datos perdidos y/o los valores extremos, de manera que se pueda replicar su trabajo. Si se usan técnicas de imputación con los datos perdidos, estas y sus asunciones subyacentes deben documentarse claramente. Estadísticos Descriptivos Muchos de los análisis estadísticos empezarán con estadísticos descriptivos que presentan análisis de frecuencias, tendencia central y varianzas. Estas descripciones deben hacerse para el grupo total y para aquellos subgrupos relevantes si ellos son lo suficientemente grandes como para producir estadísticos razonablemente fiables. Análisis Apropiados El análisis de datos debe ser apropiado para el método o la estrategia tomada. Frecuentemente lo datos se toman durante el análisis de trabajo o durante el esfuerzo de validación mismo. Los métodos de análisis de datos usados también deberían ser apropiados por la naturaleza del dato (p.e., nominal, ordinal, intervalo, ratio), el tamaño de la muestra, y otras consideraciones que guían a inferencias correctas en relación con los grupos de datos. Predicción Diferencial Las organizaciones varían en sus metas, y no es inusual competir por intereses dentro de la propia organización. Los esfuerzos por reducir las diferencias con un subgrupo pueden aumentar las diferencias con otro. Dada la dificultad en reconciliar diferentes intereses en el caso de importantes sobrepredicciones o infrapredicciones, los investigadores suelen considerar la relación entre los errores de la predicción y las metas organizacionales. Encontrar un sesgo predictivo no necesariamente previene del uso operacional de un proceso selectivo. Por ejemplo, si el estudio se basa en una muestra extremadamente grande, encontrar un predicción diferencial pequeña pero estadísticamente significativa puede tener poco efecto práctico. En general, el descubrimiento preocupante debería ser la evidencia de una infra-predicción sustancial del desempeño de un subgrupo de interés. Dicho descubrimiento generalmente imposibilitaría el uso operativo de un predictor y probablemente llevaría a investigaciones adicionales y a consideraciones para modificar o remplazar el proceso selectivo.

42

En ausencia de una sustancial infra-predicción, una línea de acción razonable para algunas organizaciones podría ser recomendar el uso operativo uniforme del predictor para todos los grupos. Sin embargo, una gran cantidad de sobre-predicción puede llevar a considerar alternativas del proceso selectivo. Combinar Procesos Selectivos en una Batería de Medidas El investigador debe ejercer el juicio profesional en relación con los resultados del esfuerzo de validación para determinar aquellos predictores que deberían ser incluidos en el proceso selectivo final y el método de combinación (incluyendo dar pesos a predictores) adecuados a los fines de la organización. Debe describirse el algoritmo para combinar los procesos selectivos y el fundamento para el propio algoritmo. A la hora de combinar predictores, es de primera importancia validar las inferencias resultantes de la combinación de predictores; del compuesto. Modelo obstáculos vs. Modelo compensatorio Teniendo en cuenta los propósitos de la medida y los resultados del estudio de validez, el investigador debe decidir si a los candidatos se les requiere una puntuación por encima de un nivel específico en cada una de las medidas (obstáculos múltiples) o conseguir una puntuación específica total en todas las medidas (modelo compensatorio). No hay criterios absolutos en cuánto a qué modelo debe utilizarse, a veces un obstáculo puede ser lo más apropiado para un predictor, mientras que un modelo compensatorio puede ser el mejor para otros predictores dentro del proceso de selección global. Deben presentarse la lógica y la evidencia que soportan el modelo recomendado para la medida del puntaje y su interpretación. Los investigadores deben de ser conscientes de que el método de combinación de las pruebas puede afectar a la fiabilidad de todo el proceso selectivo y a los ratios de éxito de subgrupos (Sackett & Roth, 1996). Puntuaciones Corte vs. Orden de Rangos Dos estrategias frecuentes a la hora de tomar decisiones de selección son la basada en una puntuación corte o la selección de los candidatos en orden descendente. No existe un único método para establecer las puntuaciones corte. Si se basa en predictores válidos demostrada la linealidad y monotonicidad de todos los predictores, se pueden establecer puntuaciones corte tan altas o tan bajas como sean necesarias para cumplir con los requisitos de la organización. Adicionalmente, dada la monotonicidad, seleccionar los resultados ordenados de mayor a menor, maximiza el desempeño estimado en la medida del criterio si hay una apropiada cantidad de varianza en el predictor. Cuando hay indicación de no monotonicidad, este hallazgo debe tenerse en consideración a la hora de determinar cómo usar los resultados del proceso de selección. Dado el concepto unitario de validez y la premisa subyacente (basada en la evidencia empírica) de que las inferencias respecto de predictores de naturaleza cognitiva y criterios de desempeño, son lineales (Coward y Sackett, 1990), la selección basada en técnicas cognitivas desarrolladas mediante procedimientos orientados al contenido y diferenciando adecuadamente dentro del rango de interés, puede asumirse que existe una relación lineal con los comportamientos del trabajo. Estos procedimientos orientados al contenido soportan el ordenamiento en rangos y el establecimiento de puntuaciones corte tan altas o bajas como sea necesario. La investigación todavía no ha establecido si estas premisas también son

43

válidas para otros tipos de predictores como (p.e., inventarios de personalidad, intereses, índices de valores). A la hora de establecer una puntuación corte, es necesario un juicio profesional que típicamente suele basarse en una lógica que incluye factores como el ratio-coste beneficio, el número de vacantes y el ratio de selección, metas de desempeño y diversidad de la organización, o juicios como el conocimiento, las destrezas, las aptitudes u otras características necesarias para el trabajo. Cuando las puntuaciones corte se utilizan como base para rechazar a solicitantes, el investigador debe documentar su lógica o justificación. Las puntuaciones corte, son distintas de las puntuaciones críticas. Las primeras definen un punto en la distribución de puntuaciones de un proceso selectivo, por debajo del cual los candidatos pueden ser rechazados. La puntuación crítica define un punto en la distribución por encima del cual los candidatos pueden ser considerados exitosos. Las puntuaciones críticas son criterios de referencia y pueden usarse para implementar cierto tipo de procesos selectivos (p.e., exámenes de certificación), pero no son apropiados cuando no puede identificarse un mínimo absoluto en el proceso selectivo donde la distribución pueda ser discernida (p.e., aptitud cognitiva o prueba de aptitud). Cuando los investigadores hacen recomendaciones relativas al uso del método de ordenar por rangos o al de puntuaciones corte, estas recomendaciones a menudo tienen en cuenta el mercado de trabajo, las consecuencias de errores en la predicción, el nivel de CDHO representado por la selección de la puntuación corte, la utilidad del proceso de selección, las fuentes necesarias para disponer y mantener un lista de candidatos cualificados, y otros factores relevantes. Los objetivos de la organización pueden favorecer una alternativa particular. Por ejemplo, algunas organizaciones deciden usar más una puntuación corte que ordenar los candidatos para incrementar la diversidad de la fuerza de trabajo, reconociendo que puede ocurrir una reducción en el desempeño y en la utilidad. Cualquiera que sea la decisión, el investigador debe documentar el fundamento para ella. Bandas Las bandas son rangos de puntuaciones del proceso selectivo en las que los candidatos son tratados de la misma manera. La implementación de un proceso de este estilo utiliza puntuaciones corte, y hay varios métodos para establecer las bandas (Cascio, Outtz, Zedeck, y Goldstein, 1991; Campion y cols., 2001) Las bandas pueden crearse para distintos propósitos administrativos u organizativos; también pueden formarse para tener en cuenta la imprecisión de los puntajes del proceso selectivo y sus inferencias. Sin embargo, ya que las bandas agrupan sujetos que tienen diferentes puntajes en las pruebas de selección, las predicciones en las puntuaciones esperadas en los resultados del criterio, cada vez son menos precisas. Por ello, hacer bandas, necesariamente, produce expectativas de criterio y utilidad de la selección más bajas (con respecto a las medidas de criterio predichas por el proceso selectivo) que la selección ordenada de mayor a menor. Por otro lado, los bajos resultados esperados en el criterio y en la utilidad de la selección, pueden ser compensados por beneficios tales como comodidades administrativas y la posibilidad de aumentar la diversidad de la fuerza de trabajo, dependiendo de cómo se hayan tomado las decisiones de selección dentro de la banda. Si se implementa un proceso de hacer bandas, deben seguirse las bases para su desarrollo y las reglas de decisión, y su administración debe estar claramente documentada.

44

Baremos Cuando sea apropiado, debe presentarse la información relevante sobre baremos referida al grupo de solicitantes y a la población de referencia. El grupo normativo debe describirse en los términos de su relevancia demográfica y de sus características laborales, y presentada por subgrupos con adecuados tamaños de muestra. Debe establecerse el marco temporal en el que fueron establecidos los resultados normativos. Comunicar la Eficacia de un Proceso Selectivo Dos métodos potencialmente eficaces de comunicar la eficacia de un proceso selectivo, son los análisis de expectativa y las estimaciones de utilidad. Expectativa y valor práctico. Las tablas de expectativa pueden ayudar a entender la relación entre la puntuación de un proceso selectivo y el desempeño. Más aún, la información de las tablas de Taylor-Russell (Taylor y Russell, 1939) identifica qué proporciones de candidatos contratados serán exitosos bajo diferentes combinaciones de validez de tests (expresadas en términos de coeficientes de correlación), ratios de selección, y porcentajes de trabajadores actuales que son malos ejecutores. Utilidad. Puede ser relevante para medir el valor práctico del uso de un proceso de selección, la ganancia en productividad proyectada o las estimaciones de utilidad para cada candidato y la organización. Las estimaciones de utilidad también pueden ser usadas para comparar el valor relativo de procesos de selección alternativos. La literatura sobre el impacto de los tests de selección en la productividad del empleado, ha aportado distintas formas para estimar la utilidad (Brogden, 1949; Cascio, 2000; Cronbach y Gleser, 1965; Hunter, Schmidt, y Judiesch, 1990, 1990; Naylor y Shine, 1965; Raju, Burke, y Normand, 1990; Schmidt, Hunter, McKenzie, y Muldrow, 1979). Algunos de ellos expresan la utilidad en términos de reducción de algunos resultados de interés (p.e., reducción de accidentes, reducción de horas-persona necesarias para completar un cuerpo de trabajo). Otros expresan la utilidad en términos monetarios, con el valor monetario obtenido mediante una ecuación de regresión a la que se incorporan un número de parámetros, tales como el incremento de la validez sobre las prácticas reales y el valor monetario de una desviación estándar del desempeño. Otros incluso, expresan la utilidad en términos de porcentajes de resultados debidos al proceso de selección. Es frecuente que el valor de los términos en estos modelos suela estimarse con cierta incertidumbre, y por ello el resultado es una proyección de ganancias en el caso de que todas las asunciones del modelo se mantengan. A menudo los investigadores no realizan estudios de seguimiento para saber si las ganancias proyectadas, de hecho, han ocurrido. En estas circunstancias, los resultados de los estudios de utilidad deben identificarse como estimaciones basadas en un grupo de asunciones, y presentarse puntuaciones mínimas y máximas de utilidad, cuando es apropiado reflejar la incertidumbre de estimar parámetros en el modelo de utilidad.

Uso Apropiado de los Procesos de Selección

Las inferencias desde las puntuaciones de un proceso de selección son validadas para usarse de una manera prescrita y para propósitos específicos. En la medida que un uso se desvía bien de la manera prescrita o del propósito pretendido, la inferencia de validez para el proceso selectivo es probable que esté afectada.

45

Combinar procesos de selección Las decisiones de personal a menudo se hacen sobre información basada en una combinación de procesos selectivos. Los componentes individuales así como su combinación deben estar basados en la evidencia de validez. Los cambios en los componentes o en la mezcla de ellos, normalmente, requieren una acumulación de evidencia adicional que soporte la validez de las inferencias de los procedimientos alterados. Cuando se emplea un modelo no compensatorio, aquellos componentes que permanecen intactos, pueden estar apoyados por los datos originales de validez. Sin embargo, la eficacia de un proceso de selección, considerado como un todo, puede reducirse como resultado de introducir un predictor de calidad desconocida. Cuando se usa un acercamiento compensatorio, añadir o eliminar un componente al proceso selectivo, puede cambiar fundamentalmente las inferencias que pueden ser soportadas. Bajo estas circunstancias, la evidencia original de validez puede ser insuficiente cuando hay alteraciones al proceso de selección que no están justificadas por un seguimiento del esfuerzo de validación. Uso de los Procesos de Selección para otros Propósitos. El proceso de selección sólo debe ser usado para aquello sobre lo que hay evidencia de validez. Por ejemplo, debe evitarse el uso diagnóstico de un proceso de selección que no ha sido validado para que produzca dicha información. De la misma manera, el uso de un proceso de selección diseñado para un entorno educativo, puede no estar justificado como propósito para predecir éxito en entornos de empleo, a no ser que en el estudio de validación estén muy relacionadas las tareas educativas y las del trabajo desempeñado, o lo estén sus requisitos subyacentes, o por lo menos, la literatura investigadora soporte esta generalización.

Recomendaciones

Las recomendaciones basadas en los resultados de un esfuerzo de validación deben ser consistentes con los objetivos de la investigación, los análisis de datos hechos, y el juicio profesional del investigador y las responsabilidades éticas. Las recomendaciones de uso deben de ser consistentes con los procesos usados en y desde los resultados de la investigación de validación, incluyendo la evidencia de validez para cada proceso selectivo o puntaje compuesto y la integración de información de múltiples fuentes. Además, normalmente, el investigador considera el coste, el mercado de trabajo, y las expectativas de desempeño de la organización, particularmente a la hora de escoger la estrategia para determinar quién es seleccionado por el procedimiento. Los mercados fuertes pueden necesitar aceptar bajas puntuaciones en el proceso selectivo. Asimismo, las expectativas de la organización en relación con la diversidad de la fuerza de trabajo, pueden influir en el uso de la información de test para la organización.

Informe Técnico de Validación

Los informes de los esfuerzos de validación deben incluir detalles suficientes como para permitir que un investigador competente en selección de personal sepa qué se hizo, saque conclusiones independientes a la hora de evaluar la investigación, y pueda repetir el estudio. Los informes deben enmarcar adecuadamente los resultados, así como las interpretaciones y las decisiones basadas en ellos. Debe informarse de aquellos resultados de la

46

investigación que pueden cualificar conclusiones o la generalización de los resultados. Debe incluirse la siguiente información: Información de Identificación. El informe debe incluir al autor/res, la fecha del estudio, y otra información que permitiría a otro investigador entender quién dirigió la investigación original. Enunciado del Propósito En el informe debe enunciarse el propósito de la investigación. Análisis del Trabajo El informe debe contener una descripción del análisis del trabajo, incluyendo los procedimientos empleados, los participantes en el proceso, los análisis de datos y los resultados. Búsqueda de Procesos de Selección Alternativos. El investigador debe documentar cualquier búsqueda de procesos selectivos (incluyendo combinaciones alternativas de estos procesos) que sean sustancial e igualmente válidos y reduzcan las diferencias entre subgrupos. Procesos de Selección Deben proveerse los nombres, ediciones y formatos de los procesos selectivos adquiridos de editoriales, así como descripciones y, si es apropiado, muestras de ítems. Cuando se desarrollan test propios, el investigador debe incluir una descripción de los ítems, el/los constructo/s que es/son medido/s y, si es apropiado, muestras de ítems. Normalmente, en el informe técnico no deben incluirse copias de los procesos de puntuación o los manuales de administración de la prueba, con objeto de proteger la confidencialidad operativa de las preguntas. También debe incluirse el fundamento para el uso de cada test de selección y sus estadísticos descriptivos básicos incluyendo, cuando sea posible, estimaciones adecuadas de la fiabilidad para la muestra objeto del estudio de investigación. Si los evaluadores son una parte integral del proceso de selección (tal y como ocurre con algunas muestras de trabajo), debe determinarse y documentarse la fiabilidad de sus medidas. Relación con los Requisitos del Trabajo. El informe debe aportar una descripción de los métodos usados por el investigador para determinar que el proceso selectivo está relacionado significativamente con una medida de desempeño o representativa de un contenido del dominio del trabajo. Establecer la relación de un proceso selectivo con un contenido del trabajo, es particularmente importante cuando se lleva a cabo un estudio de validez basado en el contenido del trabajo. Medidas de Criterio (Cuando sea aplicable) Debe darse una descripción detallada de las medidas del criterio, del fundamento para su uso, de los procedimientos para la toma de datos, y una argumentación sobre su relevancia, fiabilidad, posibles deficiencias, ausencia de contaminación y sesgos, o su control.

47

Muestra de Investigación Deben describirse el procedimiento de muestreo y las características de la muestra de investigación relativas a la interpretación de los resultados. Dicha descripción debe incluir una descripción de la población a la que el diseño de la muestra representa, los sesgos del muestreo que pueden reducir la representatividad de la muestra, y la significación de cualquier desviación de la representatividad para interpretar los resultados. Son especialmente importantes los datos referidos a la restricción del rango en las medidas de los predictores o del criterio. Cuando se haya realizado un estudio de transportabilidad para justificar el uso de un proceso selectivo, la relación entre la muestra del estudio de validación original y la población para la que se propone usar el proceso de selección debe incluirse en el informe técnico. Resultados Debe incluirse un resumen de los estadísticos que vinculan las conclusiones obtenidas por el investigador y las recomendaciones de uso. Las tablas deben presentar los datos completos, no sólo los significativos o positivos. Deben presentarse y nombrarse claramente el tamaño de la muestra, las medias, las desviaciones estándar, las correlaciones entre las variables medidas, y cualquier otra información útil para interpretar los resultados. Cuando se hagan correcciones para artefactos estadísticos como la restricción del rango o la fiabilidad del criterio, deben presentarse tanto los valores corregidos como los no corregidos Puntaje y Transformación de Puntuaciones Brutas Deben describirse completamente los métodos usados para puntuar los ítems y las tareas. Cuando se usen tareas de desempeño, muestras de trabajo, u otros métodos que requieran algún elemento de juicio, debe darse una descripción del tipo de formación de evaluadores realizado o los criterios de puntuación que se han dado. Las escalas derivadas para informar de los resultados y su fundamento, deben describirse en detalle en el informe de investigación o en el manual de administración. Si se han usado puntajes obtenidos y etiquetados para una determinada situación (tales como “cualificado”, “marginal”, o “no cualificado”), el investigador debe describir claramente los fundamentos lógicos y psicométricos. Información Normativa Los parámetros de los datos normativos aportan a los investigadores y a los usuarios información que les orienta para interpretaciones relevantes. Estos parámetros, a menudo, incluyen características demográficas y de ocupación de la muestra normativa, marco temporal en el que se tomaron los datos, y estatus de los que hicieron el test (p.e., solicitantes, implicados, estudiantes universitarios). Cuando se presenta la información normativa, deben incluirse medidas de tendencia central y variabilidad, y deben describirse claramente los datos normativos (p.e., percentiles, puntuaciones estándar). Normalmente las tablas normativas suelen informar del porcentaje para pasar a una puntuación específica y puede ser útil para establecer los efectos de una puntuación corte. Las tablas de expectativa indican la proporción de candidatos de una

48

muestra concreta que llegan a un nivel específico de éxito y que, normalmente, se usan para orientar en decisiones de implementación. Recomendaciones Deben darse recomendaciones para la implementación y la lógica que las soporta (p.e., cómo usar el ordenamiento por rango, las puntuaciones para bandas, las puntuaciones corte y la forma de combinar la información a la hora de tomar decisiones de personal). Ya que las reglas para implementar, así como aquellas aplicadas a las puntuaciones corte a veces cambian, las modificaciones subsiguientes deben documentarse y adjuntarse en un apéndice del informe de investigación o en el manual de administración. Precauciones Respecto de Interpretaciones Los informes de investigación o los manuales de administración deben ayudar a los lectores a hacer interpretaciones apropiadas de los datos y deben advertirles contra los usos inadecuados y comunes de la información. Referencias Debe haber referencias completas de toda la literatura publicada y de los informes técnicos disponibles y citados en el informe. Los informes técnicos realizados por organizaciones privadas a menudo se consideran propios y confidenciales, y el investigador no puede violar las limitaciones impuestas por la organización. Consecuentemente, algunos informes técnicos que pueden haber sido usados por el investigador, generalmente, no están disponibles.

Guía de Administración

El término “administrador de tests” se refiere a aquellos individuos que son responsables de actividades diarias tales como programar las sesiones de administración del test, administrar el proceso selectivo, puntuar el procedimiento, mantener las bases de datos, e informar de las puntuaciones o resultados. Una guía de administración debe documentar completamente la información necesaria para administrar el proceso de selección, puntuarlo, e interpretar el resultado. Cuando el proceso de selección se administra mediante ordenador o en otro formato que no sea de papel y lápiz, la guía de administración también debe incluir instrucciones detalladas sobre las condiciones especiales de administración. Mientras que este documento es, a veces, parte de un informe técnico, a menudo, va aparte y así la información confidencial del estudio de validación se protege y a los administradores sólo se les da la información necesaria para administrar el proceso de selección. En otras situaciones, el usuario del test escribe partes de la guía de administración y el así el investigador no puede saber las políticas específicas de la organización o los detalles de las estrategias de implementación. A la hora de decidir si son necesarios dos documentos, el investigador debe considerar el acceso a cada documento, lo sensible que es la información que se va a incluir, el propósito de cada documento y la audiencia pretendida. Las guías de administración desarrolladas por un editor normalmente están complementadas con apéndices que satisfacen las decisiones del usuario de una organización concreta. Consecuentemente, no toda la información que se lista a continuación se encontrará en

49

cualquier guía de administración de un editor. Sin embargo, el investigador debe aportar respuestas y orientaciones a la organización usuaria sobre los temas que hayan surgido. La información desarrollada para usuarios o examinados debe ser precisa y completa para sus propósitos, no desorientadora. La información relativa a los procesos selectivos debe estar enunciada tan clara y precisamente como sea posible, de manera que los lectores sepan cómo llevar satisfacer sus responsabilidades de forma competente. El estilo de escritura de todo el material informativo debe cumplir con las necesidades de la audiencia. Normalmente, la siguiente información es la que debe incluirse en una guía de administración. Introducción y Visión General Esta sección del informe debe dar al lector el propósito del proceso de medida y una visión general de la investigación, que justifique el uso del procedimiento. La introducción debe explicar por qué la organización usa procesos de selección formales y validados, los beneficios de los procesos de selección desarrollados profesionalmente, la importancia de la seguridad, y las expectativas de la organización en relación a la consistencia de su uso. Debe tenerse cuidado a la hora de preparar este documento para evitar dar la impresión al lector de que el programa de medida es más útil de lo que es en realidad. Información de Contacto La guía de administración debe dar información de con quién contactar en caso de preguntas o problemas no previstos y asociados con el proceso de selección. Procesos de Selección El proceso de selección debe describirse concienzudamente. Deben darse los nombres, ediciones, versiones y formatos de los procesos publicados así como información para solicitar material y para asegurar su seguridad. Aunque normalmente por razones de seguridad no suelen incluirse tests enteros en una guía de administración, es de ayuda incluir muestras de los ítems. Cuando los tests son de desarrollo propio, el investigador debe incluir una descripción de los ítems, el/los constructo/s que son medidos, y una muestra de los ítems. Aplicabilidad La descripción del proceso de selección debe indicar a quién es aplicable el proceso (p.e., candidatos para el trabajo “x”) y señalar cualquier excepción de los requisitos del test (p.e., exceptuando ocupantes de los puestos). También puede ser útil indicar que el uso de un proceso de selección está basado en uno o más esfuerzos de validación centrados en requisitos de puestos o trabajos específicos y que estos esfuerzos definen las fronteras de la aplicación de cualquier test. Si la organización tiene normas de cuándo deben administrarse los tests, estas normas deben estar señaladas claramente en la guía de administración usada por la organización. Por ejemplo, algunas organizaciones sólo administran un proceso de selección cuando hay un puesto vacante. Otras pueden hacerlo periódicamente con el fin de crear un grupo de candidatos cualificados.

50

Administradores La guía de Administración debe establecer claramente las cualificaciones necesarias de los administradores y el periodo de formación requerido para poder administrar, en general, el proceso de selección, así como para el proceso de selección específico descrito en la guía de administración. Los administradores deben recibir formación para la administración de los procesos de selección. Los administradores deben entender que un fallo al seguir un protocolo estandarizado puede rendir resultados y puntajes operativos irrelevantes en algún grado. El investigador debe ser tan insistente y persuasivo como para conseguir que le entiendan en lo relacionado a la naturaleza y a la necesidad de una estandarización en la administración de los tests o de otros procedimientos. Pueden ser necesario reciclajes periódicos que refuercen las normas de administración. Las comprobaciones directas así como otros mecanismos de control de calidad deben crearse dentro de la administración del test para asegurar una administración precisa y consistente. Información Aportada a los Candidatos. Muchas organizaciones utilizan catálogos o material orientativo para informar a los solicitantes sobre el proceso de selección. Algunas también dan sesiones informativas previas a la administración del proceso selectivo. Cuando sea apropiado, el investigador debe considerar la posibilidad de dar a los candidatos información escrita clara y uniforme sobre el proceso de selección tal como: el propósito, los procesos administrativos, las estrategias para acabar, la gestión del tiempo, feed-back, confidencialidad, procesos para solicitar acomodación para discapacitados, y otras políticas relevantes. Cuando sea posible, deben estandarizarse tanto el contenido como el proceso para orientar a los candidatos. La guía de administración debe describir estos materiales y aportar información sobre cómo el administrador puede conseguirlos. Las reglas de distribución deben estar establecidas explícitamente para facilitar un trato consistente de los candidatos. Directrices para la Administración de los Procesos Selectivos. El investigador debe usar la guía de administración como una oportunidad para dar a conocer los requisitos de la organización en la administración del proceso de selección. Además de las instrucciones detalladas en cuanto a la administración real del proceso de selección, la guía de administración a menudo incluye normas y pistas para proveer de un ambiente apropiado así como para asegurar la identidad de los candidatos. Por razones de seguridad, antes de administrar el proceso de selección debe comprobarse la identidad de todos los candidatos. Los administradores deben custodiar la administración de posibles interrupciones, proteger la seguridad de los materiales de tests, y prevenir ayudas entre los candidatos. Lo estipulado para la seguridad, así como otros aspectos de los principios, se aplican igualmente para administraciones del proceso selectivo en el ordenador o vía Internet. Entorno de la Administración Existen una serie de factores que afectan potencialmente a la administración del test: espacio apropiado de trabajo, luz adecuada, silencio y un sitio confortable libre de distracciones. El investigador debe considerar estas condiciones y sus potenciales efectos para la ejecución del test. Como mínimo, la administración del test debe estar en un entorno

51

en el que se pueda responder a las preocupaciones de los candidatos en relación con los procesos de selección y que mantenga su dignidad. Instrucciones de Puntaje y Directrices de Interpretación El investigador debe proveer al administrador del proceso selectivo o al usuario, de instrucciones sobre cómo debe puntuarse el proceso selectivo y cómo deben interpretarse sus resultados. La guía de administración debe ayudar a los lectores a hacer interpretaciones apropiadas de los datos y avisarles de las pérdidas de información más comunes. Deben usarse procesos que aseguren precisión en el puntaje, verificación y grabación de resultados. Este principio se aplica al investigador y a cualquier agente en quien se haya delegado esta responsabilidad. No se exime de la responsabilidad por comprar fuera los servicios de puntaje. Los controles de calidad deben implementarse para asegurar precisión en el puntaje y en la grabación. Las instrucciones de puntuación para el usuario deben presentarse con detalle en la guía de administración para reducir los errores administrativos del puntaje y para incrementar la fiabilidad de cualquier juicio requerido. Deben describirse las distinciones entre los constructos para soportar la precisión de los juicios de puntaje. Las claves de puntuación no deben incluirse en los informes técnicos o en los manuales de administración y sólo deben hacerse disponibles a las personas que evalúan o escalan las respuestas. Si se usan Interpretaciones de Tests Basadas en Ordenador (ITBO) para procesar las respuestas de un proceso selectivo, el investigador debe aportar instrucciones detalladas sobre cómo se usa el ITBO en el proceso de decisión. Bases de Datos de las Puntuaciones del Test. Las organizaciones deben decidir qué registros de los procesos de medida y puntaje deben ser mantenidos, y aportar información detallada (o referencias detalladas) en cuanto al mantenimiento de registros y bases de datos. Asimismo, las políticas sobre el mantenimiento de registros (p.e., duración, seguridad, accesibilidad, etc.) deben estar establecidas, y comunicarse el uso de los archivos de datos en el tiempo. Deben guardarse las puntuaciones brutas ya que los datos informados derivados de escalas, pueden limitar futuras investigaciones. Las bases de datos deben mantenerse por periodos de tiempo suficiente como para soportar auditorias periódicas del proceso selectivo. Información y Uso de las Puntuaciones del Proceso de Selección. El investigador debe comunicar sobre cómo se va a informar y a usar las puntuaciones del proceso selectivo. Los resultados deben informarse en un lenguaje que haga probables buenas interpretaciones por parte de aquellas personas que los reciban. La guía de administración también debe indicar quiénes tienen acceso a las puntuaciones del proceso selectivo. Los administradores deben de ser cautos respecto del uso del proceso selectivo para otros usos que no sean los pretendidos. Por ejemplo, aunque un proceso selectivo puede tener alguna validez a la hora de determinar decisiones de retención posteriores, entonces pueden estar disponibles medidas potencialmente más relevantes como las evaluaciones de

52

desempeño. Más aún, si se usa el patrón de los resultados del proceso selectivo para hacer asignaciones diferenciales de puestos, se requiere evidencia que demuestre que las puntuaciones están relacionadas o predicen diferentes niveles de desempeño y diferentes puestos o agrupación de puestos. Información (feed-back) a los Candidatos Además de informar de las puntuaciones del proceso selectivo a otros dentro de la organización, el investigador debe incluir información sobre cómo dar información a los candidatos, de si esta retroalimentación es factible y apropiada. Esta información debe darse en un lenguaje claro que sea comprensible por aquellos que reciben esta información, y no debe violar la seguridad de los test o su forma de puntuar. Administraciones no Estandarizadas (ver también Candidatos con Discapacidades) La guía de administración debe cubrir la administración de pruebas no estandarizadas. Estas abarcan no sólo las sesiones de acomodación al proceso selectivo, sino también sesiones que sean interrumpidas (p.e., fallos de corriente, emergencias locales, y enfermedad candidato), errores inherentes (p.e., hojas de preguntas y respuestas que no coinciden, pérdidas de tiempo), o que de alguna manera no estaban estandarizadas. La guía de administración debe establecer un proceso claro para documentar y explicar cualquier modificación del proceso selectivo, interrupciones en la administración, o cualquier otra desviación de los procesos establecidos en la administración, puntaje, o el tratamiento de las puntuaciones. Así como es imposible predecir todas las incidencias posibles, el investigador debe comunicar los principios generales de cómo tratar las desviaciones del proceso normal. Reevaluación de Candidatos Generalmente, los empleadores deben dar oportunidades para reevaluar y para reconsiderar candidatos siempre que sea posible y factible. En algunas situaciones, tales como exámenes de una sola vez, reevaluar puede no ser viable. Para facilitar la consistencia del tratamiento, la guía de la administración debe explicar claramente si los candidatos pueden ser reevaluados y cómo tendrán lugar estas reevaluaciones. En algunas organizaciones, deben transcurrir intervalos de tiempo específicos. En otras, aunque son difíciles de evaluar, previamente a la reevaluación deben ocurrir determinadas actividades de desarrollo. Reevaluación Correctiva Los usuarios en conjunción con los investigadores deben considerar cuándo es apropiada una reevaluación. Los errores críticos del administrador (p.e., fallos de tiempo, usar hojas de respuestas que no se corresponden con el cuadernillo de preguntas,) y alteraciones extraordinarias (p.e., alarmas de fuego, enfermedad del candidato) normalmente son justificaciones para reevaluar. La guía de administración debe cubrir procedimientos y directrices para garantizar la reevaluación correctiva y documentar todos sus requisitos. Seguridad del Proceso Selectivo. Las preguntas que de un proceso selectivo sean ampliamente conocidas en una organización (por estudio, asesoramiento u otros medios) normalmente son menos eficaces

53

a la hora de diferenciar candidatos en los constructos relevantes. Por ello, mantener la seguridad del test, limita el tipo y cantidad de información que puede darse a los candidatos. Cuanto más detalle se dé de la respuesta del candidato, mayor es el riesgo de seguridad. La guía de administración debe enfatizar la importancia de salvaguardar el contenido, puntuación, y validez del proceso selectivo. El proceso selectivo, normalmente, representa una inversión significativa de aquella parte de la organización encargada del desarrollo y validación. La guía de administración debe indicar el valor del proceso selectivo por sí sólo y el coste adicional comprometido para la investigación que es necesaria, así como por la posibilidad de que sea contratado un candidato menos capaz. Deben comunicarse las prácticas que aseguran la seguridad de los documentos del proceso selectivo (p.e., numeración de los cuadernillos de respuesta y mantenimiento del registro de números; custodia de procesos selectivos usados y no en una instalación segura y cerrada; recoger los documentos marcados, rallados, etc., después de la administración) y el proceso de puntuación. Las puntuaciones del proceso selectivo deben guardarse de forma segura y ser accesibles sólo a aquellos que necesiten saberlas y estén cualificados para interpretarlas. Pueden requerirse prácticas especiales para proteger material confidencial y para la información que del proceso selectivo existe en formato electrónico. Aunque las prácticas de seguridad pueden ser difíciles de aplicar en el caso de la entrevista de empleo, debe considerarse la importancia de la seguridad como un medio de preservar su estandarización y validez. Se emplaza a las organizaciones a desarrollar políticas que especifiquen cuánto tiempo se va a retener la información confidencial. Cuando se destruya información confidencial, el usuario debe considerar formas de mantener su seguridad, tales como que el personal de selección supervise la destrucción de documentos. Referencias. Cuando se mencionan otros documentos útiles, deben citarse de forma completa. Cuando los documentos son publicaciones internas, debe describirse la forma como se han adquirido.

54

Otras Circunstancias en Relación con el Esfuerzo de Validación y el Uso del Proceso Selectivo

Influencia de los Cambios en las Demandas de la Organización Ya que las organizaciones y su fuerza de trabajo son dinámicas por naturaleza, pueden ocurrir cambios en su funcionamiento y consecuentemente ser necesarios cambios en su proceso selectivo. Los cambios en los requisitos de trabajo pueden llevar a ajustes en las puntuaciones corte o a la introducción de nuevas evaluaciones; ambas pueden requerir estudios posteriores del proceso de selección existente. Si el investigador es avisado de estas circunstancias, debe examinar cada situación por sí misma y hacer recomendaciones en relación al impacto que en la validación y uso del proceso selectivo tienen de los cambios de la organización. Revisión de la Validación y Necesidad de Actualizar el Esfuerzo de Validación Los investigadores deben desarrollar estrategias para anticipar que la validez de las inferencias de un proceso selectivo usado en una situación particular, pueden cambiar con el tiempo. Estos cambios pueden ocurrir por cambios en el propio trabajo, por los requisitos del trabajador, o por el ámbito del trabajo. Los usuarios de un proceso selectivo (bien por sí mismos o con la asistencia del investigador) deben revisar periódicamente el uso operativo del instrumento de evaluación y los datos disponibles (incluyendo, si es apropiado, la actualidad de los datos normativos) para determinar si es necesaria una investigación adicional que soporte el uso continuado del proceso selectivo. Cuando sea necesario, la investigación debe actualizarse e informar de ello. Las guías técnicas o de administración deben revisarse (o añadir apéndices) si los datos de investigación o uso, hacen que cualquier instrucción o enunciado sea incorrecto o confuso.

Candidatos con Discapacidades. Evaluar a candidatos con discapacidad puede requerir acomodaciones especiales que se desvíen de los procedimientos estandarizados. Las acomodaciones se hacen para minimizar el impacto de discapacidades conocidas y que no son relevantes para los constructos que están siendo medidos. Por ejemplo, un individuo con incapacidad motora de las extremidades superiores puede afectar a una medida de capacidad cognitiva aunque la incapacidad motora no esté relacionada con la capacidad cognitiva individual. Las acomodaciones pueden incluir, pero no se limitan a ellas, modificaciones del entorno (p.e., altura de pupitres), medios (p.e., Braille, lector), límite de tiempo, o contenido. Combinar adecuaciones puede requerir hacer inferencias válidas en relación a las capacidades del candidato en el constructo de interés. En necesario el juicio profesional del usuario y del que ha desarrollado el test en relación al tipo o tipos de acomodaciones que tienen menor impacto negativo en la validez de las inferencias hechas de las puntuaciones del proceso selectivo. La investigación empírica normalmente carece de los efectos de acomodaciones dadas sobre el desempeño del proceso selectivo para candidatos con diferentes incapacidades o magnitudes variables de la misma discapacidad.

55

Responsabilidades para los Desarrolladores del Proceso Selectivo, Investigadores, y Usuarios. Los investigadores y los encargados de aprobar la acomodación para una organización, deben conocer la disponibilidad de formas modificadas del proceso selectivo, de la teoría psicométrica y del probable efecto de la discapacidad en el desempeño del proceso selectivo. Los usuarios pueden escoger modificar el proceso selectivo original, desarrollar un proceso modificado para candidatos con discapacidades, o renunciar a todo el proceso selectivo y usar otra información en relación con los conocimientos, destrezas, capacidades y otras características del candidato en relación con el trabajo. Mientras no sea factible a la investigación empírica demostrar, en muchas instancias, la comparación entre el proceso original y el modificado, los individuos que hagan las modificaciones deben, cuando sea posible, hacer intentos de limitar las modificaciones consistentes con las responsabilidades legales a aquellas que permitan la comparación de los procesos, tanto como sea posible.

Desarrollo y Validación. Aunque muchos empleadores tienen muy pocos casos para hacer una investigación extensa, los principios para la preparación de procesos de selección modificados para candidatos con discapacidades, publicados en este documento, deben ser seguidos en la medida de lo posible. Los procesos modificados deben probarse en pruebas piloto con candidatos cuyas discapacidades reflejen la población de referencia cuando sea posible y factible. Las limitaciones prácticas como una muestra pequeña, a menudo restringe la capacidad del investigador para equiparar estadísticamente las versiones modificadas del proceso selectivo a las formas originales. Estas consideraciones también limitan los esfuerzos para establecer la fiabilidad de las puntuaciones y la validez de las inferencias hechas desde ésas puntuaciones. Sin embargo, siempre que sea posible deben determinarse la fiabilidad del proceso selectivo y la validez de las inferencias basadas en las puntuaciones. En el raro caso de que esto sea posible, deben explorarse los efectos de la administración del proceso selectivo original en los candidatos con discapacidades.

Documentación y Comunicación en Relación con las Acomodaciones. Si está disponible, deben incluirse en la documentación las descripciones de las modificaciones hechas, las características psicométricas de los procesos de selección modificados, y el desempeño de los candidatos con discapacidades en el formato del proceso selectivo original. Además, los usuarios del proceso selectivo siempre deben documentar las modificaciones y condiciones bajo las que el proceso fue administrado, y guardar la información de forma segura y separada de los datos de evaluación en los registros de la organización. Algunas consideraciones legales pueden prohibir dar, a quienes toman las decisiones, información sobre si las puntuaciones de los candidatos se obtuvieron con un proceso selectivo acomodado y la naturaleza de tal modificación. Sin embargo, los usuarios pueden señalar estos datos obtenidos con acomodaciones de manera que permitan tratamientos especiales en los análisis de datos.

Modificaciones del Proceso Selectivo. El usuario del proceso selectivo debe dar los pasos para asegurar que las puntuaciones de los candidatos en el proceso selectivo reflejan de forma precisa la capacidad, más que en discapacidades irrelevantes para el constructo. Uno de estos pasos es el diálogo con el candidato que tiene la discapacidad sobre las acomodaciones posibles. En algunos casos, el constructo que se está midiendo no puede diferenciarse de la discapacidad (p.e., prueba de corrector de pruebas hecha por un candidato con discapacidad visual). Otras veces, la discapacidad no afecta al desempeño del proceso selectivo y no es necesaria una acomodación. Los componentes de la batería de tests deben considerarse por separado a la hora de determinar las modificaciones. En la

56

medida de lo posible, los rasgos de la administración estandarizada deben retenerse en orden a maximizar la comparación entre puntajes. Puede delegarse a los propios administradores la aprobación de acomodaciones pre-especificadas y que no se espera que afecten a la interpretación psicométrica de las puntuaciones del test (p.e., ajustar la altura de la mesa).

Mantener la Consistencia con el Uso de la Medida por la Organización. El proceso de selección usado cuando se evalúan a candidatos con discapacidades debe reflejar lo más fielmente posible los procesos selectivos usados para medir a otros candidatos. Los procesos selectivos se desarrollan con el propósito de tomar decisiones selectivas, no con el propósito de evaluar la magnitud de la discapacidad de un candidato. Añadir un procedimiento diseñado para evaluar la existencia o el grado de una discapacidad es inapropiado como herramienta de selección.

57

Referencias

Aamodt, M. G., & Kimbrough, W. W. (1985). Comparison of four methods for weighting multiple predictors. Educational and Psychological Measurement, 45, 477–482.

Ackerman, P. J., & Humphreys, L. G. (1990). Individual differences theory in industrial and organizational psychology. In M. D. Dunnette & L. M. Hough (Eds.), Handbook of industrial and organizational psychology (Vol. 1). Palo Alto, CA: Consulting Psychologists Press.

Aguinis, H. (1995). Statistical power problems with moderated multiple regression in management research. Journal of Management, 21, 1141–1158.

Aguinis, H., Petersen, S. A., & Pierce, C. A. (1999). Appraisal of the homogeneity of error variance assumption and alternatives to multiple regression for estimating moderating effects of categorical variables. Organizational Research Methods, 2, 315–339.

Aguinis, H., & Pierce, C. A. (1998). Testing moderator variable hypotheses meta-analytically. Journal of Management, 24, 577–592.

Aguinis, H., & Stone-Romero, E. F. (1997). Methodological artifacts in moderated multiple regression and their effects on statistical power. Journal of Applied Psychology, 82, 192–206.

Alexander, R. A., & DeShon, R. P. (1994). The effect of error variance heterogeneity on the power of tests for regression slope differences. Psychological Bulletin, 115, 308–314.

American Educational Research Association, American Psychological Association, and National Council for Measurement in Education (1999). Standards for educational and psychological testing. Washington, DC: American Educational Research Association.

American Psychological Assocation (2003). Guidelines on multicultural education, training, research, practice, and organizational change for psychologists. American Psychologist, 58(5), 337–402.

Barrett, G. V., Phillips, J. S., & Alexander, R. A. (1981). Concurrent and predictive validity designs: A critical reanalysis. Journal of Applied Psychology, 66, 1–6.

Barrick, M. R., & Mount, M. K. (1991). The Big Five personality dimensions and job performance: A meta-analysis. Personnel Psychology, 44, 1–26.

Bartlett, C. J., Bobko, P., Mosier, S. B., & Hannan, R. (1978). Testing for fairness with a moderated multiple regression strategy: An alternative to differential analysis. Personnel Psychology, 31, 233–242.

Bemis, S. E. (1968). Occupational validity of the General Aptitude Test Battery. Journal of Applied Psychology, 52, 240–249.

Bobko, P., & Riecke, A. (1980). Large sample estimates for standard errors of functions of correlation coefficients. Applied Psychological Measurement, 4, 385–398.

Bobko, P., & Stone-Romero, E. (1998). Meta-analysis is another useful research tool but it is not a panacea. In G. Ferris (Ed.), Research in personnel and human resources management, Vol. 16, pp. 359–397, Greenwich, CT: JAI Press.

Brogden, H. E. (1949). When testing pays off. Personnel Psychology, 2, 171–183. Callender, J. C., & Osburn, H. G. (1980). Development and testing of a new model of validity

generalization. Journal of Applied Psychology, 65, 543–558.62 63 Callender, J. C., & Osburn, H. G. (1981). Testing the constancy of validity with computer-

generated sampling distributions of the multiplicative model variance method estimate: Results for petroleum industry validation research. Journal of Applied Psychology, 66, 274–281.

Campion, M. A., Outtz, J. L., Zedeck, S., Schmidt, F. L., Kehoe, J. F., Murphy, K. R., & Guion, R. M. (2001). The controversy over score banding in personnel selection: Answers to 10 key questions. Personnel Psychology, 54(1), 149–185.

58

Cascio, W. F. (2000). Costing human resources: The financial impact of behavior in organizations 4th ed.). Cincinnati, OH: Southwestern.

Cascio, W. F., Outtz, J., Zedeck, S., & Goldstein, I. L. (1991). Statistical implications of six methods of test score use in personnel selection. Human Performance, 4, 233–264.

Cleary, T. A. (1968). Test bias: Prediction of grades of negro and white students in integrated colleges. Journal of Educational Measurement, 5, 115–124.

Coward, W. M., & Sackett, P. R. (1990). Linearity of ability-performance relationships: A reconfirmation. Journal of Applied Psychology, 75, 297–300.

Cronbach, L. J., & Gleser, G. C. (1965). Psychological tests and personnel decisions (2nd ed.) Urbana: University of Illinois Press.

DeShon, R. P., & Alexander, R. A. (1996). Alternative procedures for testing regression slope homogeneity when group error variances are unequal. Psychological Methods, 1, 261–277.

Goldstein, I. L., Zedeck, S., & Schneider, B. (1993). An exploration of the job-analysis-content validity process. In N. Schmitt and W. Borman (Eds.), Personnel selection in organizations. San Francisco: Jossey-Bass.

Guion, R. M. (1998). Assessment, measurement, and prediction for personnel decisions. Mahwah, NJ: Lawrence Erlbaum.

Gulliksen, H., & Wilks, S. S. (1950). Regression tests for several samples. Psychometrika, 15, 91–114.

Hartigan, J. A., & Wigdor, A. K. (Eds.) (1989). Fairness in employment testing. Washington, DC: National Academy Press.

Hough, L. M., Oswald, F. L., & Ployhart, R. E. (2001). Determinants, detection, and amelioration of adverse impact in personnel selection procedures: Issues, evidence, and lessons learned. International Journal of Selection and Assessment, 9, 1–42.

Humphreys, L. G. (1952). Individual differences. Annual Review of Psychology, 3, 131–150. Hunter, J. E., & Hunter, R. F. (1984). Validity and utility of alternative predictors of job

performance. Psychological Bulletin, 96, 72–88. Hunter, J. E., & Schmidt, F. L. (1996). Measurement error in psychological research: Lessons

from 26 research scenarios. Psychological Methods, 1, 199–223. Hunter, J. E., & Schmidt, F. L. (2000). Racial and gender bias in ability and achievement

tests: Resolving the apparent paradox. Psychology, Public Policy, and Law, 6, 151–158. Hunter, J. E., Schmidt, F. L., & Judiesch M. K. (1990). Individual differences in output

variability as a function of job complexity. Journal of Applied Psychology, 75, 28–42. Hunter, J. E., Schmidt, F. L., & Rauschenberger, J. (1984). Methodological and statistical issues in the study of bias in mental testing. In C. R. Reynolds & R. T. Brown (Eds.),

Perspectives on mental testing. New York: Plenum. Jawahar, I. M., & Williams, C. R. (1997). Where all the children are above average: The

performance appraisal purpose effect. Personnel Psychology, 50, 905–925. Jeanneret, R., & Silzer, R. (Eds.). (1998). Individual psychological assessment. San

Francisco: Jossey-Bass. Lautenschlager, G. J., & Mendoza, J. L. (1986). A step down hierarchical multiple regression analysis for examining hypotheses about test bias in prediction. Applied Psychological Measurement, 10, 133–139.

Law, K. S., Schmidt, F. L., & Hunter, J. E. (1994a). Nonlinearity of range corrections in metaanalysis: Test of an improved procedure. Journal of Applied Psychology, 79, 425–438. Law, K. S., Schmidt, F. L., & Hunter, J. E. (1994b). A test of two refinements in procedures in meta-analysis. Journal of Applied Psychology, 79, 978–986.

Mead, A. D., & Drasgow, F. (1993). Equivalence of computerized and paper-and-pencil cognitive ability tests: A meta-analysis. Psychological Bulletin, 114, 449–458.

Naylor, J. C., & Shine, L. C. (1965). Atable for determining the increase in mean criterion score obtained by using a selection device. Journal of Industrial Psychology, 3, 33–42.

59

Nunnally, J. C., & Bernstein, I. H. (1994). Psychometric theory (3rd ed.). New York: McGraw Hill.

Oswald, F. L., & Johnson, J. W. (1998). On the robustness, bias, and stability of statistics from meta-analysis of correlation coefficients: Some initial Monte Carlo findings. Journal of

Applied Psychology, 83, 164–178. Oswald, F., Saad, S., & Sackett, P. R. (2000). The homogeneity assumption in differential prediction analysis: Does it really matter? Journal of Applied Psychology, 85, 536–541.

Pearlman, K., Schmidt, F. L., & Hunter, J. E. (1980). Validity generalization results for tests used to predict job proficiency and training success in clerical occupations. Journal ofApplied Psychology, 65, 373–406.

Petersen, N. S., & Novick, M. R. (1976). An evaluation of some models for culture-fair selection. Journal of Educational Measurement, 13, 3–29.

Peterson, N. G., Mumford, M. D., Borman, W. C., Jeanneret, P. R., and Fleishman, E. A. (Eds). (1999). An occupational information system for the 21st century: The development of O*Net. American Psychological Association: Washington, DC.

Raju, N. S., Anselmi, T. V., Goodman, J. S., & Thomas, A. (1998). The effect of correlated artifacts and true validity on the accuracy of parameter estimation in validity generalization. Personnel Psychology, 51, 453–465.

Raju, N. S., & Brand, P. A. (in press). Determining the significance of correlations corrected for unreliability and range restriction. Applied Psychological Measurement.

Raju, N. S., Burke, M. J., & Normand, J. (1990). A new approach for utility analysis. Journal of Applied Psychology, 75, 3–12.

Raju, N. S., Burke, M. J., Normand, J., & Langlois, G. M. (1991). A new meta-analytic approach. Journal of Applied Psychology, 76, 432–446.

Raju, N. S., Pappas, S., & Williams, C. P. (1989). An empirical Monte Carlo test of the accuracy of the correlation, covariance, and regression slope models for assessing validity generalization. Journal of Applied Psychology, 74, 901–911. 64

Ryan, A. M., & Sackett, P. R. (1998). Individual assessment: The research base. In R. Jeanneret & R. Silzer (Eds.), Individual psychological assessment (pp. 54–87). San Francisco: Jossey-Bass.

Saad, S., and Sackett, P. R. (2002). Examining differential prediction by gender in employment-oriented personality measures. Journal of Applied Psychology, 87, 667–674.

Sackett, P. R., Harris, M. M., & Orr, J. M. (1986). On seeking moderator variables in the metaanalysis of correlational data: A Monte Carlo investigation of statistical power and resistance to Type I error. Journal of Applied Psychology, 71, 302–310.

Sackett, P. R., & Roth, L. (1996). Multi-stage selection strategies: a Monte Carlo investigation of effects on performance and minority hiring. Personnel Psychology, 49, 549–572.

Sackett, P. R., Schmitt, N., Ellingson, J. E., and Kabin, M. B. (2001). High stakes testing in employment, credentialing, and higher education: Prospects in a post-affirmative action world. American Psychologist, 56, 302–318.

Schippmann, J. S., Ash, R. A., Battista, M., Carr, L., Eyde, L. D., Hesketh, B., Kehoe, J., Pearlman, K., Prien, E. P., & Sanchez, J. I. (2000). The practice of competency modeling. Personnel Psychology, 53, 703–740.

Schmidt, F. L. (1996). Statistical significance testing and cumulative knowledge in psychology: Implications for training of researchers. Psychological Methods, 1, 115–129.

Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124, 262–274.

60

Schmidt, F. L., Hunter, J. E., McKenzie, R. C., & Muldrow, T. W. (1979). Impact of valid selection procedures on work-force productivity. Journal of Applied Psychology, 64, 609–626.

Schmidt, F. L., Hunter, J. E., & Pearlman, K. (1981). Task differences as moderators of aptitude test validity in selection: A red herring. Journal of Applied Psychology, 66, 166–185.

Schmidt, F. L., Pearlman, K., & Hunter, J. E., (1980). The validity and fairness of employment and educational tests for Hispanic Americans: A review and analysis. Personnel Psychology, 33, 705–724.

Schneider, B., & Konz, A. (1989). Strategic job analysis. Human Resources Management, 28, 51–63.

Society for Industrial and Organizational Psychology, Inc. (1987). Principles for the validation and use of personnel selection procedures. (3rd ed.). College Park, MD: Author.

Taylor, H. C., & Russell, J. T. (1939). The relationship of validity coefficients to the practical effectiveness of tests in selection: Discussion and tables. Journal of Applied Psychology, 23, 565–578.

61

Glosario

Aptitud Un dominio definido de funcionamiento cognitivo, perceptivo, psicomotor o físico. Acomodación Cambio en el contenido, formato, y/o administración de un proceso selectivo hecho

para eliminar fuente irrelevante de varianza de las puntuaciones resultantes de la discapacidad de quien realiza el test.

Acuerdo Inter-jueces La consistencia con la que dos o más jueces puntúan el trabajo o desempeño de examinados.

Ámbito Operativo La organización específica, contexto de trabajo, solicitantes y trabajadores a los que se aplica el proceso selectivo.

Análisis de Trabajo Cualquier método usado para obtener ganancia en el entendimiento de las conductas laborales y actividades requeridas, o de los requisitos del trabajador (p.e., conocimiento, destrezas, aptitudes, y otras características personales), y el contexto o entorno en el que una organización y un individuo puede operar.

Argumento de Validez Un fundamento explícito y científico para la conclusión de que la acumulación de evidencia y la teoría, soportan las interpretaciones propuestas de las puntuaciones del proceso selectivo implicadas por los usos propuestos.

Baremos Datos estadísticos o tabulados (a menudo puntuaciones directas y percentiles) que resumen el desempeño de grupos definidos en un proceso selectivo.

Batería Un conjunto de procesos selectivos que se administran como una unidad. Características Personales Rasgos o tendencias que describen individuos. CDHO’s Conocimientos, destrezas, aptitudes, y otras características personales requeridas para

completar el trabajo en el contexto o entorno en el que una organización y un individuo pueden operar.

Coeficiente ajustado de validez/fiabilidad Un coeficiente de fiabilidad o validez –muy a menudo una correlación producto momento- que ha sido ajustada para contrarrestar los efectos de las diferencias en la variabilidad de las puntuaciones, variabilidad del criterio, o falta de fiabilidad del test y/o en el criterio. Ver Restricción del Rango de la Variabilidad.

Coeficiente de Validez Un coeficiente de medida que refleja la relación entre un proceso selectivo y un criterio que aporta evidencia en relación a la validez de una variable de selección.

Conocimiento del Trabajo Información (a menudo de naturaleza técnica) necesaria para desempeñar el trabajo exigido por el puesto.

Constructo Un concepto o características de los individuos inferido de evidencia empírica o teoría.Contaminación Varianza sistemática que es irrelevante para el significado pretendido de la

medida. Correlación Grado en el que dos grupos de medidas varían juntas. Criterio Una medida de desempeño o comportamiento del trabajo, tal como productividad, ratios

de accidentes, absentismo, antigüedad, ratio de rechazados, puntuaciones de formación y valoración de superiores sobre conductas, tareas o actividades relevantes del trabajo.

Desarrollo de Test Proceso a través del cual un test u otro predictor se planifica, construye, evalúa, y modifica, incluyendo consideraciones de contenidos, formato, administración, puntaje, propiedades de los ítems, escalas y calidad técnica para el propósito que se pretende.

Descripción del Trabajo Un enunciado de los comportamientos laborales o actividades requeridas o de los requisitos del trabajador (p.e., conocimiento, destrezas, aptitudes, y otras características personales)

Destreza Nivel de pericia de una tarea específica o grupo de tareas. Dominio de Contenido Un cuerpo de conocimiento y/o un grupo de tareas, actividades, u otras

características personales así definidas, de manera que conocimientos dados, actividades o características, pueden ser clasificadas como incluidas o excluidas.

62

Error Sistemático Un componente consistente de puntuación (a menudo observado indirectamente), no relacionado con el constructo propósito de la medida.

Errores Tipo I y Tipo II Errores en el test de hipótesis; el error Tipo I implica concluir que existe una relación significativa cuando en realidad no la hay; el error Tipo II implica concluir que no existe relación significativa cuando en realidad la hay.

Estandarización (a) En una construcción de test, el desarrollo de baremos de puntuación o protocolos basados en el desempeño del test, de una muestra de individuos seleccionados para ser representativos de los candidatos que harán el test para algún uso definido; (b) en la administración de un test de selección, la uniformidad en la administración y puntaje de un proceso selectivo de manera que sea la misma para todos los candidatos.

Estimación de la Fiabilidad Un indicador que refleja el grado en el que las puntuaciones están libres de error.

Estudio Local Ver Evidencia Local Evaluación Cualquier método sistemático de obtener información de test o de otras fuentes; que

se usa para hacer inferencias sobre las características de la gente. Evidencia Basada en la Consecuencia Evidencia de que las consecuencias del uso del proceso

selectivo son consistentes con el significado o interpretación pretendida del proceso selectivo. Evidencia de Validez Basada en el Contenido Demostración de la magnitud por la que un

contenido o proceso selectivo es una muestra representativa de características personales relacionadas con el trabajo, con su desempeño, o con otras actividades o resultados del trabajo.

Evidencia de Validez Basada en el Criterio Demostración de una relación estadística entre las puntuaciones de un predictor y las puntuaciones de una medida de criterio.

Evidencia de Validez Concurrente Demostración de la relación entre la ejecución de un trabajo, otros resultados del trabajo, y las puntuaciones de un proceso selectivo obtenidas, aproximadamente, al mismo tiempo.

Evidencia de Validez Convergente Evidencia de la relación entre medidas que pretenden representar el mismo constructo.

Evidencia de Validez Cualquier investigación o evidencia teórica que pertenece a la interpretación de las puntuaciones del predictor, o el fundamento para la relevancia de las interpretaciones para el uso propuesto.

Evidencia de Validez Discriminante Evidencia de la falta de relación entre medidas que se pretende representan diferentes constructos.

Evidencia de Validez por Estructura Interna Demostración del grado por el que relaciones psicométricas y estadísticas entre ítems, escalas, u otros componentes dentro de un proceso de selección, son consistentes con el significado pretendido de las puntuaciones en un proceso selectivo.

Evidencia de Validez Predictiva Demostración de la relación entre las puntuaciones de un proceso selectivo y algunas conductas futuras del trabajo o resultados del trabajo.

Evidencia de Validez Sintética Evidencia generalizada de validez basada en demostraciones previas de la validez de las inferencias de puntuaciones en el proceso selectivo o batería de pruebas, con respecto a uno o más dominios del trabajo (componentes del puesto); también llamada como “evidencia de validez de los componentes del trabajo”.

Evidencia Generalizada de Validez Evidencia de validez que generaliza a ambito/s distintos del ambito/s en que fue documentada la evidencia original de validación. La evidencia generalizada de validez se acumula por estrategias tales como la transportabilidad, validez sintética/validez de los componentes del trabajo, y meta-análisis.

Evidencia Local Evidencia (normalmente relacionada con la fiabilidad y validez) recogida en una sola organización o en una localización específica.

63

Expertos en la Materia Individuos que tienen un profundo conocimiento de los comportamientos del trabajo, actividades, o responsabilidades de los que ocupan el puesto, y de las CDHO’s necesarias para un desempeño eficaz en el puesto.

Fiabilidad Grado en el que las puntuaciones de un grupo de evaluados son consistentes por encima de una o más potenciales fuentes de error (p.e., tiempo, evaluadores, ítems, condiciones de medida, etc.) en la aplicación de un procedimiento de medida.

Fiabilidad por Consistencia Interna Un indicador de la fiabilidad de una puntuación derivada de la interrelación estadística entre respuestas a ítems o puntuaciones en diferentes partes de una medida.

Formas Alternas Dos o más versiones de un proceso selectivo que se consideran intercambiables en el sentido de que miden el mismo constructo de la misma manera, se pretenden para los mismos propósitos, y son administrados con las mismas directrices. El término Formas Alternas es un término genérico usado para referirse tanto a formas paralelas como a formas equivalentes. Formas Paralelas tienen las mismas medias en puntuaciones brutas, iguales desviaciones típicas, mismas estructuras de error, e iguales correlaciones con otras medidas para una población dada. Formas Equivalentes no tienen la misma similaridad estadística que las formas paralelas, pero las disimilaridades en las puntuaciones brutas se compensan en las conversiones derivadas de las puntuaciones o en baremos específicos de la forma

Fórmula de Reducción Un ajuste al coeficiente de correlación múltiple por el hecho de que los pesos beta en una ecuación de predicción, no puede esperarse que se ajusten tan bien a una segunda muestra como a la original.

Funcionamiento Diferencial del Ítem Una propiedad estadística del ítem de un test en el que diferentes grupos de quienes hacen el test y que tienen el mismo estatus en el constructo de medida, tienen diferentes puntuaciones medias o, en algunos casos, diferentes ratios de selección de las opciones de respuesta del ítem. También conocido como FDI.

Generalización de la Validez Justificación para el uso de un proceso de selección o una batería en un ámbito nuevo sin llevar a cabo un estudio de investigación de validación local. Ver Evidencia Generalizada de Validez.

Imparcialidad Hay múltiples perspectivas en la imparcialidad. Hay acuerdo en que temas como trato equitativo, sesgo predictivo, y escrutinio de posibles sesgos cuando se observan diferencias entre subgrupos, son preocupaciones importantes en selección de personal; sin embargo, no hay acuerdo en que la imparcialidad pueda ser definida en los términos de cualquiera de esos temas.

Intervalo de Confianza Intervalo entre dos valores de una escala de puntuación, entre los que, con una probabilidad especificada, se espera resida una puntuación o parámetro de interés.

Irrelevancia del Constructo Magnitud en la que las puntuaciones de un predictor están influenciadas por factores irrelevantes para el constructo. Estos factores extraños distorsionan el significado de las puntuaciones de lo que está implicado en la interpretación propuesta.

Ítem Un enunciado, pregunta, ejercicio o tarea de un proceso selectivo en la que el que hace el test tiene que seleccionar o construir una respuesta, o desempeñar una tarea.

Juicio Profesional Evaluaciones y decisiones que están informadas por y son representativas de la comúnmente aceptada base de conocimiento empírico, metodológico y experiencias de una profesión.

Meta-análisis Un método estadístico de investigación en el que los resultados de algunos estudios independientes sobre fenómenos comparables, son combinados para estimar un parámetro o el grado de relación entre variables.

64

Modelo Compensatorio Dos o más puntuaciones componentes de un proceso selectivo individual (a menudo puntuaciones en tests individuales) combinados en un proceso de selección compuesto de acuerdo a una fórmula específica (incluyendo la suma simple de puntuaciones con el mismo peso). Como consecuencia de la combinación de puntuaciones, alguna compensación para uno o más de los constructos medidos, puede deberse al desempeño diferencial en el proceso selectivo individual (p.e., una puntuación alta en un test compensa una puntuación baja en otro).

Modelo de Obstáculos (no compensatorio) La implementación de un proceso selectivo donde dos o más procesos separados deben superarse secuencialmente.

Muestra Una selección de un número especificado de entidades llamadas unidades de muestra (los que hacen los tests, ítems, etc.), de una especificada y más larga agrupación de entidades posibles, llamada población. Una muestra aleatoria es una selección de acuerdo con un proceso aleatorio donde la selección de cada entidad de ninguna manera es dependiente en la selección de otras entidades. Una muestra aleatoria estratificada es un grupo de muestras aleatorias, cada una de un tamaño específico, de algunos ámbitos diferentes, que son vistos como estratos de la población.

Normativo Perteneciente a grupos normativos o a la muestra en la que los estadísticos descriptivos (p.e., media, desviación estándar, etc.) o interpretaciones de los resultados (p.e., percentiles, expectativa, etc.) están basados.

Objetivo Perteneciente a puntuaciones obtenidas de manera que minimiza el sesgo o error debido a diferentes observadores o evaluadores.

Población El universo de casos desde el que se extracta una muestra y al que los resultados de la muestra pueden ser proyectados o generalizados.

Poder (estadístico) La probabilidad con la que un test estadístico producirá resultados estadísticamente significativos si un efecto de una magnitud específica existe en la población.

Poder Estadístico (Ver Poder) Predicción Diferencial El caso en el que del uso de una ecuación de regresión común,

sistemáticamente resultan errores distintos de cero para la predicción de subgrupos. Predictor Una medida usada para predecir criterio de desempeño Proceso de Respuesta Un componente, normalmente hipotético, de la explicación cognitiva de un

comportamiento, como dar la respuesta a un ítem. Proceso Selectivo Un instrumento de medida usado para informar una decisión de personal tal

como contratar, promocionar o ubicar. Psicométrico Perteneciente a la medida de características psicológicas como aptitudes, rasgos

de personalidad, logro, destrezas, y conocimiento. Puntuación Compuesta Una puntuación que combina puntuaciones de diferentes procesos

selectivos de acuerdo con una fórmula especificada. Puntuación Corte Una puntuación en la que o por encima de la que los solicitantes son

seleccionados por ulteriores consideraciones del proceso selectivo. La puntuación corte puede estar establecida sobre la base de una serie de consideraciones (p.e., mercado de trabajo, restricciones organizativas, información normativa). No es necesario que las puntuaciones corte estén referidas al criterio y diferentes organizaciones pueden establecer diferentes puntuaciones corte en el mismo proceso selectivo, basándose en sus necesidades.

Puntuación Crítica Punto especificado en una distribución de puntuaciones en el que, o por encima del cual, los candidatos son considerados exitosos en el proceso selectivo. Las puntuaciones críticas difieren de las puntuaciones corte en que las críticas, por definición, están referenciadas al criterio (p.e., la puntuación crítica está relacionada con una puntuación aceptable mínima en el criterio) y es la misma para todos los grupos de candidatos.

65

Puntuación Derivada Una puntuación que resulta de una transformación numérica (p.e., conversiones de puntuaciones brutas a rangos de percentil o puntuaciones estandarizadas) de la puntuación original del proceso selectivo.

Puntuación Estándar Una puntuación derivada resultante de una distribución de puntuaciones para una población especificada con valores específicos para la media y la desviación típica. El término a veces se usa para describir una distribución de media 0.0 y una desviación típica de 1.

Puntuación Un número que describe la medida de un individuo; un término genérico aplicado según convenga a tan diversas clases de medida como tests, cantidades de producción, ausencia de registros, grados de cursos, evaluaciones u otros procesos selectivos o medidas de criterio.

Rasgo Una característica perdurable de una persona que es común a un número de actividades de ésa persona.

Regla de Configuración de Puntaje (Puntaje Configurado) Una regla para puntuar un grupo de dos o más elementos (como ítems o subtests) en los que la puntuación depende de un patrón particular de respuesta a los elementos.

Relación con el Trabajo La inferencia de que las puntuaciones en un proceso selectivo son relevantes para el desempeño u otros comportamientos en el puesto; la relación con el trabajo puede ser demostrada por coeficientes apropiados de validez predictiva o por acumular evidencia de la relevancia para el trabajo del contenido del instrumento de selección, o del constructo medido.

Relación Predictor-Criterio La relación entre un predictor y un criterio externo (p.e., desempeño, cargo) u otros predictores y medidas del mismo criterio.

Relevancia del Criterio Magnitud con la que una medida de criterio refleja importantes dimensiones de desempeño u otros resultados del trabajo.

Restricción del Rango o Variabilidad Reducción en la puntuación de la varianza observada de una muestra, comparada con la varianza de una población entera, como consecuencia de las limitaciones en el proceso de muestreo.

Sesgo de Medida Ver Sesgo Sesgo de Muestreo La extensión en la que un proceso de muestreo introduce representaciones

erróneas y sistemáticas de la población pretendida. Sesgo En un contexto estadístico, el error sistemático de una puntuación. Al discutir sobre

igualdad, el sesgo se refiere a la varianza debida a la contaminación o deficiencia que afecta diferencialmente a los puntajes de diferentes grupos de individuos.

Sesgo Predictivo La sobre o infra predicción del criterio de desempeño de gente que pertenece a grupos diferenciados por características no relevantes para el criterio de desempeño.

Significación Estadística El descubrimiento de que los datos empíricos son inconsistentes con la hipótesis nula a un nivel de probabilidad especificado.

Teoría de Respuesta al Ítem Un modelo matemático de la relación entre el desempeño en un ítem de un test y el status del que hace el test en una escala del constructo medido, normalmente denotado como θ. En el caso de ítems puntuados como 0/1 (respuesta incorrecta o correcta) el modelo describe la relación entre θ y la media de puntuación del ítem (P) para los que hacen los tests en el nivel θ, sobre el rango de valores aceptables de θ. En muchas aplicaciones, la función matemática que relaciona P con θ se asume que es la función lógica que representa de modo cercano la distribución normal acumulada.

Test (prueba) Una medida o procedimiento en el que una muestra del comportamiento del examinado en un dominio especificado, se obtiene, evalúa, y puntúa usando un proceso estandarizado.

66

Transportabilidad Una estrategia para generalizar la evidencia de validez en la que la demostración de importantes similaridades entre diferentes ámbitos del trabajo, son usadas para inferir evidencia de validez de un proceso de selección, acumulada en ámbitos de trabajo generalizables a otro ámbito de trabajo.

Usuario del Proceso Selectivo (test) El o los individuos o la organización que selecciona, administra, y puntúa los procesos selectivos (tests) y normalmente interpreta las puntuaciones que se han obtenido para un propósito específico en un contexto organizacional definido.

Validación Proceso por el que la evidencia de validez es acumulada, analizada y resumida. (Nota: los profanos suelen malinterpretar el término como si implicase dar un sello de aprobación; el resultado de la investigación puede ser validez cero).

Validez Cruzada La aplicación de un sistema de puntuación o un grupo de pesos derivados empíricamente en una muestra, a otra muestra diferente de la misma población, para investigar la estabilidad de las relaciones en las que se basan los pesos originales.

Validez de los Componentes Ver Evidencia de Validez Sintética Validez El grado en el que las evidencias acumuladas y la teoría soportan interpretaciones

específicas de puntuaciones de un proceso selectivo, implicadas por los usos propuestos de ése proceso selectivo.

Variable Una cantidad que puede adoptar cualquiera de un grupo especificado de valores. Variables Moderadoras Una variable que afecta a la fuerza, forma o dirección de la relación entre

un predictor y un criterio.