Las Normas del Programa de Evaluacin

Maestra en Educacin Superior, FFyL, BUAP

Traduccin: Lic. Mara Esther Vargas Elas

Establishing Essential Competencies for Program EvaluatorsToward a Taxonomy of Essential Evaluator Competencies. American Evaluation Journal of Evaluation, Establecimiento de competencias esenciales para evaluadores de ProgramaLaude Stevahn Laude Stevahn

Seattle University Universidad de SeattleJean A. King Jean A. King

Gail Ghere Gail Ghere

Jane Minnema Jane Minnema

University of Minnesota, Minneapolis-St. Universidad de Minnesota, Minneapolis-St. Paul Pablo

Abstract: This article presents a comprehensive taxonomy of essential competencies for program evaluators.Resumen: Este artculo presenta una taxonoma exhaustiva de las competencias esenciales para evaluadores de programa. First, the authors provide a rationale for developng evaluator competencies, along with a brief history of the initial development and validation of the taxonomy of essential evaluator competencies in King, Stevahn, Ghere, and Minnema (2001). En primer lugar, los autores proponen un fundamento para el desarrollo de las competencias de un evaluador, junto con una breve historia del desarrollo inicial y la validacin de la taxonoma de las competencias esenciales del evaluador en King, Stevahn, Ghere y Minnema (2001). Second, they present a revised versin of that taxonomy and describe the revisin process. En segundo lugar, presenta una versin revisada de esa taxonoma y describe el proceso de revisin. Third, a crosswalk accompanying the taxonomy indicates which competencies address standards, principies, and skills endorsed by major evaluation associations in North America. En tercer lugar, el cotejo que acompaa a la taxonoma indica que competencias orientan las normas, principios y habilidades y que son respaldadas por asociaciones de evaluacin de gran renombre en Norte Amrica. Finally, the authors identify future needs related to the taxonomy,' including the need for validation research, a shared understanding of terms, and the construction of descriptive rubrics for assessing competence. Por ltimo, los autores identifican futuras necesidades relacionadas con la taxonoma, incluida la necesidad de investigar la validacin, una comprensin comn de trminos, y la construccin de rbricas descriptivas para evaluar la competencia.

Keywords: evaluator competencies; evaluation training; professional issues; standards Palabras clave: competencias del evaluador; formacin en evaluacin, cuestiones profesionales, normasLa evaluacin de program evaluation began as a field with a can-do attirograma comenz como un tema de se puede hacer. Faced with unprecedented oppor-tunities during the era of vvell-funded Great Society programs, evaluators in the 1960s and 1970s applied the techniques of large-scale social research to study program effectiveness. Frente a oportunidades sin precedentes durante la poca de programas bien fundamentados de la Gran Sociedad, los evaluadores en los aos 1960 y 1970 aplicaron las tcnicas de investigacin social a gran escala para estudiar la eficacia de los programas. ' Evaluation theonsts defned terms and labeled concepts to describe an evolving practice, such as formative versus summative evaluation (Scriven, 1967), responsive evaluation (Stake, 1980), and utilization-focused evaluation (Patton, 1978). Los tericos en Evaluacin definieron trminos y etiquetaron conceptos para describir una nueva prctica como son la evaluacin formativa contra la sumativa (Scriven, 1967), la evaluacin de respuesta (STAKE, 1980), y la evaluacin centrada en la utilidad (Patton, 1978). Evaluation models multiplied as peo-pie wprked in different settings .with different needs (see, eg, Alkin, 1969; Provus, 1969; Stufflebeam, 1973). Los Modelos de evaluacin se multiplicaron en tantos modelos como personas trabajaban en diferentes reas y con diferentes necesidades. (vase, por ejemplo, Alkin, 1969; Provus, 1969; Stufflebeam, 1973). Those whcrfocusd on desig developed methods to-study "programs in sit-- uatiorfs not conduciVe t- traditional quantitativerresearch,"including the quasi-experiment (Campbell & Stanley, 1963) and naturalistic methods (Guba, 1978). Aquellos que se enfocaron en el diseo de mtodos para estudiar programas en situaciones no propicias para la investigacin cuantitativa tradicional incluyendo el cuasi-experimento (Campbell y Stanley, 1963) y los mtodos naturalistas (Guba, 1978). Like felds that have grown Al igual que los campos que han crecido en respuesta a demandas legales (por ejemplo, la educacin especial), la evaluacin del programa surgi en gran parte en su prctica misma.Laurie Stevahn, Assistant Professor of Education, Director of Curriculum and Instruction, College of Education, Seattle University, PO Box 222000, Seattle, WA 98122-1090; phone: (206) 296-2559; e-mail: stevahnl@seatdeu.edu . Laurie Stevahn, Profesor Asistente de Educacin, Director de Currculo e Instruccin, Escuela de Educacin, Universidad de Seattle, PO Box 222000, Seattle, WA 98122-1090; telfono: (206) 296-2559, e-mail: stevahnl@seatdeu.edu .

Authors' Note: We wish to heartily thank the many individuis who engaged in discussion, provided feedback, shared insights, supped information, and offered suggestions for the revised taxonomy of essential competencies for program evaluators presented in this article. Nota de los Autores: Queremos agradecer de todo corazn a las muchas personas que participaron en la discusin, proporcionando retroalimentacin, compartiendo ideas, proporcionando informacin, y ofreciendo sugerencias para la revisin de la taxonoma de las competencias esenciales para los evaluadores del programa presentado en este artculo.

American Joumal of Evaluation, Vb]. Revista: American Journal of Evaluacin, Vb. 26 No. 1, March 2005 43-59 26 N 1, marzo de 2005 43 a 59

DOI: 10.1177/10982140042731 gO DOI: 10.1177/10982140042731 gO

2005 American Evaluation Association 2005 Asociacin Americana de Evaluacin

- '*"

Through theyears, the can-do attitude, coupled with hard work, led to increasing profession-alizatioj of the field. A travs de los aos, la actitud de se puede hacer, junto con el trabajo arduo, se dirigi a aumentar la profesionalizacin del campo. Professional organizationsthe Evaluation Research Society and the Evaluation Network, which merged in 1985 to form the American Evaluation Association developed, as did journals and textbooks devoted to program evaluation. Las organizaciones profesionales -la Sociedad para la Investigacin en Evaluacin y la Red de Evaluacin, que se fusionaron en 1985 para formar la Asociacin Americana de Evaluacin - desarrollaron, tanto revistas como libros de texto dedicados a la evaluacin de programas. Led by Daniel Stufflebeam, the Joint Committee on Standards for Educational Evaluation (1994), represent-ing 16 professional organizations, engaged in a multi-year process to develop and publish formal standards that articlate key attributes for improved program evaluation: utility, feasibility, propriety, and accuracy. Dirigido por Daniel Stufflebeam, el Comit Mixto de Normas para la Evaluacin Educativa (1994), represent 16 organizaciones profesionales, comprometidas en un proceso de varios aos para desarrollar y publicar normas oficiales que articulaban los atributos clave para mejorar la evaluacin de los programas: utilidad, viabilidad, correccin y precisin. A task forc of the American Evaluation Association (1995) later cre-ated the Guiding Principies for Evaluators, providing guidelines for evaluation practice and further developing the field as a profession. New Directions for Program Evaluation published a list of evaluation training programs (Altschuld, Engle, Cullen, Kim, & Macee, 1994), and Fitzpatrick, Sanders, and Wbrthen (2004) highlighted the features of program evaluation that suggest steady growth toward professional status. Un grupo de trabajo de la Asociacin Americana de Evaluacin (1995) ms tarde crearon los Principios rectores para los evaluadores, proporcionando las directrices para las prcticas de evaluacin y seguir desarrollando el campo como una profesin. En Nuevas orientaciones para la Evaluacin de Programas se public una lista de programas para la formacin en evaluacin (Altschuld, Engle, Cullen, Kim, y Macee, 1994), y Fitzpatrick, Sanders, y Worthen (2004) resaltaron los rasgos de la evaluacin de programas que sugieren un crecimiento constante para alcanzar la categora profesional. In one rea, howeverthe development of competencies for evaluatorsthe field of program evaluation has been decidedly less than can-do. En un rea, sin embargo, -el desarrollo de competencias para evaluadores- el campo de la evaluacin de programa ha sido decididamente menor de lo que puede hacerse. Most fields recognized as professions have typically developed competencies for practice (eg, in health care, teaching, counseling, and so on) by asking a group of distinguished practitionersoften on behalf of a professional organizationto first genrate a category scheme and initial list of competencies, then to inst-tute an expert review process to edit and refine them. La mayora de las reas reconocidas como profesiones han desarrollado usualmente competencias por la prctica (por ejemplo, en el cuidado de la salud, la enseanza, el asesoramiento, etc) al pedirle a un grupo de distinguidos profesionales, -a menudo en nombre de una organizacin profesional -para generar primero un esquema de categoras y lista inicial de competencias, y luego instituir un proceso de revisin experto para editarlas y perfeccionarlas. The competencies are then made available to professionals in the field to structure the following: training programs for novice practitioners; continuing education programs for experienced professionals; and periodic reviews to update the competencies as theory, research, and practice evolve with time. Las competencias se ponen entonces a disposicin de los profesionales en campo para estructurar lo siguiente: programas de formacin para principiantes; programas de educacin continua para profesionales con experiencia, y revisin peridica para actualizarse en la teora, investigacin y prctica con lo que se evoluciona con el tiempo. This has yet to happen in the field of program evaluation. Esto todava no ha ocurrido en el mbito de la evaluacin de programas.

Distinguished writers and practitioners in program evaluation followed a different course.Distinguidos escritores y profesionales en la evaluacin de programas han seguido un curso diferente. They debated instead whether it was even possible to discover the common ground of competencies in an rea of practice spanning such diversity across context and content. Debatieron si an era posible descubrir un tema comn de las competencias en un rea con tal diversidad en su contexto y su contenido. Internal versus external evaluator roles, for example, entail different types of relations between evaluator and client (eg, short-term versus long-term associations), which in turn imply different types of opportunities and constraints (eg, insider versus outsider perspectives).Funciones internas versus funciones externas del evaluador, por ejemplo, abarcan diferentes tipos de relacin entre evaluador y cliente (por ejemplo, asociaciones de corto plazo versus largo plazo), que a su vez implican diferentes tipos de oportunidades y limitaciones (por ejemplo, perspectiva interna frente a las perspectivas externas). Similarly, program evaluators who work in business, government, education, health, nonprofit, or other sectors face different sets of concerns across those sectors. Del mismo modo, evaluadores de programa que trabajan en empresas, gobierno, educacin, salud, organizaciones no lucrativas, y otros sectores enfrentan diferentes asuntos de inters en esos sectores. This has created a elassie chicken-egg situa-tion. Esto ha creado una situacin clsica de la pregunta de qu fue primero, el huevo o la gallina. If there are no competencies agreed upon in program evaluation, then the field cannot become a unified profession by working across its differences. Si no hay acuerdo sobre las competencias para la evaluacin del programa, entonces el campo no puede convertirse en una profesin unificada mediante el trabajo de sus diferencias. At the same time, if the field is truly that diverse and cannot speak across its differences, then it will never be possible to iden-tify competencies. Al mismo tiempo, si el campo es verdaderamente diverso y no puede expresar sus diferencias, entonces nunca ser posible identificar las competencias. The taxonomy of essential evaluator competencies^ proposed in King, StevahnTGhere, and Minnema (20P) marked one effort thatprovidad hope that agreemeHt_on evaluatot competencies might be-possibe. La taxonoma de las competencias esenciales del evaluador propuesta en King, Stevahn Ghere y Minnema (2001) marc un esfuerzo que aport esperanza de que las competencias del evaluador pudieran ser posibles. This article marks a second step in that search. Este artculo supone un segundo paso en esta bsqueda.

A Rationale for Developing Competencies for Program EvaluatorsUna razn para desarrollar Competencias para evaluadores de Programa

After 30 or so years of discussion, one may well ask, "If competencies are the solution, what exactly is the probleDespus de 30 aos ms o menos de discusin, uno bien podra preguntarse: "Si las competencias son la solucin, cul es exactamente el problema?" Put another way, are there consequences of not having established competencies for program evaluators? Dicho de otro modo, existen consecuencias por no haber establecido las competencias para los evaluadores de programa? Several come immediately to mind. Varias respuestas vienen a la mente. First, because there is no standardized licensing or.credentialing, anyone can claim.to be an evaluator. En primer lugar, ya que no se cuenta con licencias estandarizadas o credenciales de educacin, nadie puede reclamar ser un evaluador. Because of A causa de esto, evaluadores incompetentes, charlatanes y defraudadores bien pudieran pasar por profesionales con experiencia.Stevahn et al. / Evaluator Competenciesthis, incompetent evaluators, charlatans, and crooks rnay well pass as seasoned professionals. Second, program directors who setout to hire an evaluator hve no easy way of knovving who is qualified to do the job, and the reminder of "caveat emptor" may provide little comfort.En segundo lugar, los directores del programa que dispusieron contratar a un evaluador no la tienen fcil de saber quien est calificado para hacer el trabajo, y ante el aviso de no hay advertencia les puede proporcionar un poco de consuelo. Third, En tercer lugar, -individuis interested in becoming evaluators may struggle to determine what they personaspersoper personas interesadas en convertirse en evaluadores pueden encontrar dificultades para determinar lo que necesitan learn or where they should staprender o donde pueden estudiar. Fourth, those who provide professional development or uni- En cuarto lugar, aquellos que trabajan en versity programs may base their curricula only on perceived needs or personal preferenceprogramas de desarrollo profesional universitario pueden basar sus planes de estudios en sus necesidades evidentes o en preferencias personales.

Fifth, a broader concern is the continuing lament that the field lacks program evaluatioEn quinto lugar, una preocupacin ms amplia es la queja continua de que el campo carece de investigacin en evaluacin de programa, research aimed at developing and validating theory-based descriptive models to guide effectiv dirigida a desarrollar y validar modelos descriptivos basados en la teora para guiarse a una prctica efectivapractice.. Instead, the field primarily has produced prescriptive models for practice derived fEn cambio, el campo ha producido principalmente modelos prescriptivos para la prctica derivados de practical needs in particular contexts (AIkin, 2004). necesidades prcticas en contextos particulares (Aikin, 2004). AU of these issues relate directly to the Todos estos temas se relacionan directamente con la feld's lack of competencies, creating a problem-oriented rationale for developing t falta de competencias en campo, creando un problema orientado a su lgica para desarrollar las competencias. Building in part on these negatives, we believe that an affirmative rationale for evaluator competencies exists as welBasndose en parte en estos aspectos negativos, creemos que existe tambin una razn afirmativa para las competencias del evaluador. Para nuestra manera de pensar, el campo se beneficiara de las competencias de evaluador en cuatro formas principales: (a) mejorar la formacin, (b) ampliar la prctica reflexiva, (c) promover el avance de la investigacin en evaluacin, y (d) potenciar la profesionalizacin continua del campo.

Improved Training Mejorar la Formacin

There are several ways in which evaluator competencies can faciltate the improvement of evaluation training. Hay varias maneras en que las competencias del evaluador pueden facilitar el mejoramiento de la capacitacin en evaluacin. In university settings with formal preparation programs that award aca-demic degrees or training certificates, evaluator competencies may serve as an anchor for struc-turing program foundatons and determining required courses. En los entornos universitarios con programas de preparacin formal que premian con grados acadmicos o certificados de formacin, las competencias de evaluador pueden servir como un ancla para estructurar los cimientos del programa y de los diferentes cursos que sean necesarios. By systematically embedding such competencies in or across all courses, faculty collectively and individually can crate a cohesive program that equips students with the knowledge, skills, and dispositions they will need for successful professional practice. Al implementar estas competencias de manera sistemtica en todos los cursos, colectiva o individualmente se puede crear un programa coherente que prepare a los alumnos con conocimientos, habilidades y actitudes que necesitarn para la prctica profesional exitosa. Las competencias tambin pueden guiar la instruccin y evaluacin efectivas en todos los cursos requeridos. Although faculty can currently base program and curriculum decisions on The Program Evaluation Standards (Joint Committee on Standards for Educational Evaluation, 1994), those standards speak to what constitute effective evaluations, rather than what constitutes competent evaluators who conduct such evaluations. Aunque actualmente la facultad puede basar los programas y las decisiones curriculares en la Evaluacin del Programa de Normas (Comit Mixto de Normas para la Evaluacin Educativa, 1994), esas normas hablan de lo que constituyen las evaluaciones eficaces, y no de en qu consiste ser el evaluador competente que lleva a cabo esas evaluaciones.

Without explicit identification, crucial competencies may be either assumed or overlooked, potentialy leaving trainees without a full complement of skills. Sin identificacin explcita, las competencias esenciales pueden ser o asumidas o pasarse por alto, dejando a los aprendices sin una gama completa de habilidades. For example, few university programs provide formal training in the interpersonal skills required for many evaluation approaches, particularly participant-oriented approaches. Por ejemplo, pocos programas universitarios ofrecen capacitacin formal en las habilidades interpersonales necesarias para muchos mtodos de evaluacin, particularmente en enfoques orientados a la participacin. A comprehensive taxonomy of evaluator competencies would highlight the need for such training as well as focus faculty and students alike on targeting interpersonal skills for practice in internships. Una taxonoma completa de las competencias del evaluador pondra de relieve la necesidad de dicha formacin, as como inducira a educadores y estudiantes a enfocarse en las habilidades interpersonales para su prctica profesional. Competence in the devel- La competencia en el desarrollo d-opmert of such skills -alo could be included in candidaoy criterra or exit interviews, along wie tales habilidades incluso podra ser incluido como criterio de candidatura o en entrevistas de salida, junto con .competencias en tcnica investigativa, -tales como en mtodos cuantitativos o cualitativos- que typically form the foundation of university evaluation studies programs. normalmente constituyen el fundamento de programas de evaluacin de la universidad.

In nonuniversity evaluation training settings, evaluator competencies also can guide decisin making regarding the types of professional development experiences needed and the sequencing of such experiences. En la formacin para evaluadores en entornos no universitarios, las competencias del evaluador tambin pueden guiar la toma de decisiones sobre los tipos de experiencias para el desarrollo profesional necesaria y la secuencia de tales experiencias. Whether organizations provide ongoing evaluation training for employees or promote professional development for specific purposessuch as evaluation capacity building for self-study or continuous improvementa taxonomy of essential evaluator competencies can be useful for examihing the knowledge, skills, and dispositions partici-pants already possess and which reas for growth would most likely advance both personal development and organizational aims. Tanto las organizaciones pueden proporcionar a evaluadores formacin continua a los trabajadores o pueden promover el desarrollo profesional para fines especficos, -tal como el fortalecimiento de la capacidad de evaluacin para estudiantes independientes o en formacin continua- una taxonoma de las competencias esenciales de evaluador puede ser til para examinar los conocimientos, habilidades y actitudes en la participacin que ya poseen y en cuales reas de crecimiento es probable el avance tanto en el desarrollo personal como en los objetivos de la organizacin.

Enhanced Reflective Practice Mejora de la prctica reflexiva

One hallmark of professional effectiveness is continuous learning and skill refinement. A taxonomy of competencies for systematically reflecting on practice can faciltate this process. Otra de las caractersticas de eficacia profesional es el aprendizaje continuo y el perfeccionamiento de habilidades. Una taxonoma de las competencias para la reflexin sistemtica en la prctica puede facilitar este proceso. Whether working in a context that supports professional development by promoting participaron in ongoing training experiencessuch as within an organization that sponsors ongoing trainingor working in a situation where professional development must be sought at one's own initiativesuch as when evaluators oprate as independent consultantsevaluator competencies can anchor reflective practice by providing substance for self-assessment. Si se trabaja en un contexto en el que se apoya el desarrollo profesional mediante la promocin de la participaron en actuales experiencias de formacin, -tales como las de dentro de una organizacin que patrocina el curso de formacin- o trabajando en una situacin en la que el desarrollo profesional se busque por propia iniciativa, as como cuando los evaluadores trabajen como consultores independientes las competencias de evaluador pueden anclar una prctica reflexiva, mediante una autoevaluacin sustancial. Similar to engaging in metacognition, evaluators benefit from the following: being acutely aware of personal evaluation preferences, strengths, and limitations; self-monitoring the results of actions intended to faciltate effective evaluation studies; and planning how to enhance future endeav-ors.

Similar a practicar la metacognicin, los evaluadores se benefician de lo siguiente: adquieren consciencia de sus preferencias personales para la evaluacin, as como de sus fortalezas y limitaciones; auto-seguimiento de resultados de acciones destinadas a facilitar estudios de evaluacin eficaces; y planeacin de formas para mejorar futuros intentos. A comprehensive taxonomy of evaluator competencies can provide meaningful substance for such reflection. Una taxonoma exhaustiva de las competencias de evaluador puede brindar resultados significativos para esta reflexin.

We have identified four types of evaluators who we believe would find such a taxonomy helpful for reflection and self-assessment: (a) new evaluators, that is, people entering the field of program evaluation who are not engaged in professional development but typically are fac-ing circumstances that require additional knowledge or the development of new skills to meet the demands of their evaluation circumstances; (b) accidental evaluators, that is, people wihout training who have been given responsibility for conducting evaluationssometimes with liftle interest in such workand who are trying to sort out exactly what will be necessary to do the job; (c) professionals in transition, that is, people who are professionals in one rea but have elected to become evaluators; and (d) experienced evaluators who want to keep up with changes in the field's theory and practice, expand expertise across evaluation approaches, or develop evaluation theory in the scholarly sense to ground pragmatic practice in the real-world sense. Hemos identificado cuatro tipos de evaluadores que creemos podran encontrar tal taxonoma til para la reflexin y la autoevaluacin: (a) nuevos evaluadores, es decir, personas que entran en el mbito de la evaluacin de los programas que no estn comprometidos en el desarrollo profesional, sino que se encuentren encarando circunstancias que requieren un conocimiento adicional o el desarrollo de nuevas habilidades para satisfacer las exigencias de sus circunstancias evaluatorias; (b) evaluadores ocasionales, es decir, personas sin formacin que han recibido la responsabilidad de realizar las evaluaciones, a veces con poco inters en esa labor y que estn tratando de averiguar exactamente lo que ser necesario hacer en el trabajo;(c) profesionales transitorios, es decir, gente profesional en un rea, pero han elegido ser evaluadores; y (d) evaluadores con experiencia que quieren mantenerse al da con cambios en la teora del campo y la prctica, ampliar conocimientos a travs de criterios de evaluacin, o el desarrollo de teora de la evaluacin en un sentido acadmico en un sentido de prctica pragmtica en el mundo real. For all of these evaluators, a taxonomy of essential evaluator competencies becomes a useful tool for identifying reas of existing strengths (eg, particular evaluation approaches, methods, communication skills, interpersonal skills) as well as reas of need. Por todos estos evaluadores, una taxonoma de las competencias esenciales de evaluador se convierte en una herramienta til para identificar reas de fortaleza ya existentes (por ejemplo, enfoques determinados para la evaluacin, mtodos, habilidades comunicativas, habilidades interpersonales), as como en las reas donde haya necesidad.

Advancement of Research on Evaluation Avance de la Investigacin en la evaluacin The tasks of formulating and validating theories of effective practice, as traditionally pur-sued in most other social science disciplines, have not generally been a focus within the field of program evaluation (Christie, 2003; Stufflebeam, 2001)Las tareas de formular y validar teoras de prctica efectiva, como tradicionalmente se ha seguido en otras disciplinas cientficas sociales, generalmente no han sido enfocadas en el mbito de la evaluacin de programas (Christie, 2003; Stufflebeam, 2001). This is an rea where essential evaluator competencies can play a useful roleespecially as they pertain to enacting different evaluation models and approaches successfully. Esta es un rea donde las competencias esenciales de evaluador puede desempear un papel til, especialmente en su relacin con la formulacin de la evaluacin de diferentes modelos y enfoques exitosos. The competencies provide abundant possibilities for . Las competencias proporcionan abundantes posibilidades paradetermining useful questions (or proble_ms).of practice to investgate, identifying independent and depedent variables, formulating hypotfiesized relationships, .and examining various aspects of effectiveness. determinar preguntas tiles (o problemas) de la prctica a investigar, identificar variables dependientes e independientes, formular relaciones hipotticas y examinar diversos aspectos de efectividad.

Possible reas for systematic research on program evaluation include (a) examining the role of competencies in effective evaluation practice, for example, framing evaluation questions, remaining open to input, or resolving conflicts constructively; (b) investigating the impaet of training on skill acquisition and appication, that is, identifying what types of professional development experiences facilitate skill development and transfer of training; and (c) determining variables that medate successful evaluation practice, such as identifying conditions that facilitate or hinder use of competencies or their effectiveness, especially within particular con-texts or models of practice.Algunas posibles reas para la investigacin sistemtica sobre la evaluacin de programas incluyen: (a) examinar el papel de las competencias en una prctica de evaluacin efectiva, por ejemplo, enmarcar las preguntas de evaluacin, permaneciendo abiertos a otros aportes, o resolviendo conflictos de manera constructiva, (b) investigar del impacto de la formacin en la adquisicin de habilidades y su aplicacin, es decir, identificar qu tipo de experiencias de desarrollo profesional facilitan el desarrollo de las habilidades y la transferencia de la formacin, y (c) determinar las variables que intervienen en la prctica de evaluacin con xito, tales como la identificacin de las condiciones que facilitan u obstaculizan el uso de las competencias y su eficacia, especialmente, en contextos particulares o modelos de prctica. The competencies also can be a springboard for further work in operationally defining variables or describing skill-based evaluator activities to better under-stand the personal dimensions of evaluation practice inspecific contexts. Pursuing these reas Las competencias tambin pueden ser un trampoln para seguir trabajando en la definicin de las variables operativas o describir las actividades que realiza el evaluador con base en las habilidades para entender mejor las dimensiones personales de la prctica de la evaluacin en contextos especficos. La ejecucin de estas reas de la investigacin posee el potencial para un avance en el campo de la evaluacin de programa, contribuyendo en la elaboracin y validacin de teoras descriptivas tiles para refinar, ampliar y orientar una prctica efectiva.

of research has the potential to further advanee the field of program evaluation by contributing to the development and validation of descriptive theories seful for refining, extending, and guiding effective practice. Professionalization of the Field Profesionalizacin del Campo

We would further arge that there is an intrinsic benefit to the field to discussing the specific knowledge, skills, and dispositions that define competent evaluation practice. Argumentaremos posteriormente que existe un beneficio inherente al campo para discutir los conocimientos especficos, habilidades y disposiciones que definen a la prctica de la evaluacin competente. Even absent agreement, professional discussion on competencies sets an agenda for grappling with what is important to evaluation practice in differing reas. Aun en ausencia de acuerdos, el debate sobre las competencias profesionales establece un programa para lidiar con lo que es importante para la prctica de evaluacin en diferentes reas. Furthermore, if the field wants to move toward licensure or credentialing of evaluators, the competencies provide initial topics for discussion and refnement (Altschuid, 1999). The existence of a set of competencies may also increase the potential for program accreditation if an organization like the American Evaluation Association were to adopt and adapt them for this purpose, an important step in professiona-lizing the field. Por otra parte, si el campo quiere avanzar hacia dar licencia u otorgar credenciales a los evaluadores, las competencias pueden servir de tema para el debate inicial y el perfeccionamiento (Altschuid, 1999). La existencia de una serie de competencias tambin puede aumentar la posibilidad de acreditacin de programas, si una organizacin como la Asociacin Americana de Evaluacin fuese a adoptar y adaptarlas a este fin, -un paso importante en la profesionalizacin del campo.

Taxonomy of Essential Competencies for Program Evaluators Taxonoma de competencias esenciales para evaluadores de Programa

The taxonomy of essential competencies for program evaluators presented in this article both extends and refines an earlier versin proposed in King et al. (2001). La taxonoma de competencias esenciales para los evaluadores del programa que se presenta en este artculo, amplia y perfecciona una versin anterior propuesta por King y col. (2001). That publication describes how a group of four individuis at the University of Minnesota piloted a face validity study on an initial set of evaluator competencies. Esta publicacin describe cmo un grupo de cuatro individuos en la Universidad de Minnesota puso en marcha un estudio de validez sobre una serie inicial de competencias de evaluador. The initial validation process used a Multi-Attribute Consensus Reaching (MACR) procedure with 31 participants located in or near Minneapolis-St. El proceso de validacin inicial emple un procedimiento de logro de consensos Multi atributos (MACR) procedimiento con 31 participantes localizados en el rea o cerca de Minneapolis-St. Paul (Minnesota). Paul (Minnesota). Those participants represented diverse evaluator roles, con-texts, levis of training, and years of experience. Esos participantes representaron a las diversos roles de evaluador, Contextos, niveles de formacin y aos de experiencia. The quantitative and qualitative findings indi-cated consensus on the perceived importance of more than three fourths of the proposed competencies. Los resultados cuantitativos y cualitativos indicaron un consenso sobre la importancia percibida de ms de tres cuartas partes de las competencias propuestas. reas where consensus did not emerge among participants tended to reflect the role-and context-specific aspeets of their evaluation practice. En reas donde el consenso no surgi entre los participantes, tendieron a reflejar aspectos especficos de su contexto y de su papel en su prctica de evaluacin. Although the initial taxonomy remained constant throughout the entire validation study, all participants were asked what they believed should be added to (or omitted from) the list of competencies following their participa-tion in the validation tasks. Their suggestions and underlying rationales were systematically recorded for future consideration.Aunque la taxonoma inicial se mantuvo constante durante todo el estudio de validacin completo, a todos los participantes se les pregunt qu crean que deba aadirse (u omitirse de) la lista de competencias despus de su participacin en las tareas de validacin. Sus sugerencias y razones subyacentes fueron sistemticamente reconocidas para futuras consideraciones. A complete description of the study's design and a full discussion of its findings appear in King et al. Una descripcin completa del diseo del estudio y una discusin completa de sus resultados aparecen en King y colaboradores. (2001). (2001).

Following publication of the initial set of evaluator competencies in King et al. Tras la publicacin del primer conjunto de competencias de evaluador de King y colaboradores(2001), the original group of four investigators continued to pursue the development of essejitial competencies' on several fronts. (2001), el grupo inicial de cuatro investigadores continu con el desarrollo de competencias esenciales en varios frentes. Qne sefof actions'involved presenting the published set of competencies atprofessional conferences, includig the annual meeting ofthfe American Evaluation Association (AEA) and the yearly Minnesota Evaluation Studies Institute (MESI). Un grupo de complicadas acciones se presentaron en las publicaciones de las conferencias sobre competencias profesionales, incluyendo la reunin anual de la Asociacin Americana de Evaluacin (AEA) y el anuario de Instituto de Estudios de Evaluacin de Minnesota (MESI). Another undertak-ing involved creating and conducting a one-credit course in the University of Minnesota's graduate-level Evaluation Studies Program in which participants grappled with issues relevant to the published set of evaluator competencies. Otra complicada tarea consisti en crear y llevar a cabo un curso de un crdito-en la Universidad de Minnesota, a nivel postgrado, fue el de Programa de Estudios de Evaluacin en el cual los participantes confrontaban con temas relevantes el conjunto de competencias de evaluador publicado. In addition, we consulted with Professor James Altschuid, who had led a Task Forc on this topic for the American Evaluation Association. Adems, consultamos con el profesor James Altschuid, quien haba liderado un grupo de trabajo sobre este tema para la Asociacin Americana de Evaluacin.

Two primary purposes guided our endeavors. Dos objetivos principales guiaron nuestro esfuerzo. The first was to genrate critical discussion and further input on the taxonomy of evaluator competencies from both professonals and stu-dents in the field. El primero fue generar una discusin crtica y continuar con nuevas aportaciones a la taxonoma de las competencias de evaluador, de los profesionales y estudiantes en campo. In doing so, we consistently asked if anything should be added to (or omitted from) the list and why. Al hacerlo, nos preguntbamos si algo deba aadirse (u omitirse de) a la lista y por qu. Our second purpose was to provide individuis who attended the ses-sions with an opportunity for competeney-based reflection on their own evaluation practice and Nuestro segundo objetivo era proporcionar a los individuos que asistieron a las sesiones una oportunidad para la reflexin sobre su propia prctica evaluatoria y su desarrollo profesional. 48American Journal of Evaluation / March 200professional developmenSus impresiones personales proporcionaron informacin sobre la taxonoma de las competencias iniciales.

More than 100 individuis participated in the various presentations, meetings, orcourse ses-sions that we conducted to elicit additional input on the initial taxonomy of evaluatorcompetencies. Ms de 100 individuos participaron en las diversas presentaciones, reuniones, o sesiones que se realizaron para obtener aportes adicionales a la taxonoma de competencias esenciales para evaluadores de programa. In doing so, we systematically recorded comments, issues, and suggestions that surfaced during the discussions. De este modo, registramos sistemticamente observaciones, cuestionamientos y sugerencias que surgieron durante los debates. The recurring themes that emerged from critiquing those records, along with our own continued thinking on competencies and participants* keen interest and enthusi-asm for further discussion, suggested the following five needs for revisin: (a) the need for a user-friendly format, (b) the need to systematically cross-reference the competencies with evaluation standards endorsed by evaluation associations, (c) the need for additional competencies to comprehensively support existing evaluation association standards, (d) the need for precisin within each competency, and (e) the need todisseminate the revised taxonomy in order to faciltate timely continued discussion and critique. Los temas recurrentes que surgieron de la crtica de esos registros, junto con nuestro propio pensamiento continu sobre las competencias y los participantes * de gran inters y entusiasmo por una mayor discusin, sugirieron los siguientes cinco necesidades de revisin: (a) la necesidad de un formato fcil de usar , (b) la necesidad de cruzar sistemticamente las competencias con las normas de evaluacin aprobadas por asociaciones de evaluacin, (c) la necesidad de competencias adicionales para apoyar integralmente normas vigentes de la asociacin de evaluacin, (D) la necesidad de precisar cada competencia y ( e) la necesidad de diseminar la taxonoma revisada con el fin de facilitar la discusin continua puntual y crtica. The taxonomy of essential competencies for program evaluators presented in Table 1 resulted from intentionally addressing each of these needs. La taxonoma de las competencias esenciales para evaluadores de programas presentada en la Tabla 1 tiene la intencin de abordar cada una de estas necesidades.

Before elaborating in the following sections how we addressed each need listed above, we Antes de profundizar en las siguientes secciones sobre la forma de abordar cada necesidad indicada anteriormente, queremos hacer wish to note that there is no generally accepted definition for competencies (Rychen, 2001), notar de que no existe una definicin generalmente aceptada para las competencias (Rychen, 2001), no hay agreement on how to write them. acuerdo sobre la manera de describirlas. The term competencies is derived from the term competence, El trmino competencias se deriva del trmino competencia,vvhich in the world of work signifies that a person has reached some level of expertise with the que en el mundo del trabajo significa que una persona ha alcanzado cierto nivel de experiencia en multifaceted abilites needed to be successful in any given field. Differeht frames of reference, multifacticas habilidades que son necesarias para tener xito en un campo determinado. Diferentes marcos de referencia, however, influence how competencies are conceived and operationalized (Weinert, 2001).sin embargo, sealan cmo las competencias son concebidas y operacionalizadas (Weinert, 2001). In En education, for example, someconsider competencies to include speciaized skills and knowl- educacin, por ejemplo, algunas competencias consideran incluir las habilidades y conocimientos especializados edge, whereas others also include attitudes or dispositions (Blanton, 1992; Gettinger, Stoiber, mientras que otros incluyen tambin las actitudes o disposiciones (Blanton, 1992; Gettinger, Stoiber, Goetz, & Caspe, 1999). Goetz, y Caspe, 1999). Despite a lack of agreement, most competency taxonomies focus on A pesar de la falta de acuerdo, la mayora de las taxonomas sobre competencias se centran en "complex action systems thtencompass not only knowledge and skills, but also strategies and " sistemas de accin complejos que abarcan no slo conocimientos, sino tambin estrategias y routines for appropriately applying these knowledge and skills, as well as appropriate emotions rutinas para la adecuada aplicacin de estos conocimientos y habilidades, as como las emociones apropiadas and attitudes and the effective self-regulation of these competencies" (Rychen, 2001, p. 8).y actitudes y la autorregulacin efectiva de estas competencias "(Rychen, 2001, p. 8). Accordingly, we chose to use a competency framework that includes the knowledge, skills, and En consecuencia, elegimos utilizar un enfoque de competencias que incluye conocimientos, habilidades y dispositions program evaluators need to be effective as professionals. We also chose to write thdisposiciones que los evaluadores de programa necesitan para ser eficaces y profesionales. Tambin elegimos describir lascompetencies in behavioral language (to the extent possible), describing "the things you can see competencias en lenguaje conductual (en la medida de lo posible), describiendo "las cosas que puedes ver or hear being done" (Green, 1999, p. 7). As such, the competencies predominantly describe varo escuchar siendo hechas " (Green, 1999, p. 7). Por lo tanto, las competencias predominantemente describen variasious activities that evaluators carry out to achieve standards that constitute sound evaluations actividades que los evaluadores llevan a cabo para alcanzar los estndares que constituyen una evaluacin adecuada (eg, The Program Evaluation Standards; Joint Committee on Standards for Educational Eva(Por ejemplo, las normas del Programa de evaluacin, del Comit Mixto de Normas para la Evaluacin Educativauation, 1994)., 1994). It is important to note, however, that using behavioral language is not the same as Es importante sealar, sin embargo, usar un lenguaje comportamental no es el mismo quetaking a behavioral approach to developing competencies, the latter of which tends to task- adoptar un enfoque de comportamiento para el desarrollo de las competencias, ya que ste tiende a analyze competencies into discrete behaviors rather than considering whole, functional analizar tareas en forma de comportamientos discretos en lugar de considerar el resultado como un todo funcional. outcomes (McAllister, 1998).. (McAllister, 1998) - Need for a User-Frendly FormatNecesidad de un Formato accesible para el usuario

The previously published taxonomy of evaluator competencies was organized in a three-tiered scheme (see King et al., 2001). La taxonoma publicada anteriormente se organiz en un esquema de tres niveles (ver King y col., 2001). The frst tier designated four broad domains, the second tier identied main categories within each domain, and the third tier listed specific items under each category. El primer nivel design cuatro dominios generales, el segundo nivel identific las categoras principales dentro de cada dominio, y el tercer nivel los temas especficos que figuran en cada categora. This trilayered classification scheme was dictated by the MACR validation pro-cess in the original study but proved to be difficult for practical use. Este esquema de clasificacin en tres niveles fue establecido por MACR para la validacin del proceso en el estudio original, pero result difcil ponerlo en prctica. For example, many individuis found the domain labels to be so general that they did not immediately bring to mind the competencies contained in each (the four domains were I. Systematic Inqury, II. Competent Evaluation Practice, III. General Skills for Evaluation Practice, and IV. Evaluation Profession-alism). The multitiered scheme also resulted in a cumbersome numberinPor ejemplo, muchos individuos encuentran a los niveles de dominio ser tan generales que no traen a la mente de inmediato las competencias que figuran en cada uno (los cuatro dominios fueron: I. Investigacin sistemtica, II. Prctica de evaluacin competente, III. Habilidades Generales para la Prctica de Evaluacin, y IV. Profesionalizacin en Evaluacin. El esquema multinivel tambin dio lugar a un sistema de numeracin engorroso que utiliz nmeros romanos para los Dominios, letras del alfabeto para las categoras y nmeros arbigos para los artculos combinations of Romn numeris for domains, letters of the alphabet for categories, (ilustrado de la siguiente manera: dominio IV. Evaluacin de la Prctica categora IVE. IVE. Professional Development, item IVE4. Desarrollo Profesional, tem IVE4. Actualizacin personal en el campo de la evaluacinfeld).). Although methodical, this tiered numbering system made it difficult for individuis to Aunque metdico, este sistema numrico escalonado dificulta a los individuos readily remember as well as discuss the competencies.,_- recordar rpidamente, as como analizar las competencias.Tabla 1

Taxonoma de Competencias esenciales para Evaluadores de ProgramaKing, Stevahn, Ghere, & Minnerna (2001)

Competenciasesenciales

p/ evaluadoresde programa

Comit mixto AEASociedad canadiense De NormasPrincipiosde Evaluacin p/ programa de Guade habilidad esencial Evaluacin(1994) (1995)Series (1999)[VIVCVDVBIVB1IVB2 IVB3IIB1 B5IA3 IA4 IC3 14AI4AIB3fB4IC2IC4

1.0 Prctica Profesional1.1 Aplica las normas de evaluacin1.2 Acta ticamente y con integridad y honestidad en la realizacin de evaluaciones1.3Transmite la evaluacin y se acerca y habilitaa clientes potenciales1.4Respeta a clientes, encuestados, participantes,y otros interesados1.5 Considera el bienestar general y pblico en la prctica de la evaluacin 1.6 Contribuye al conocimiento base de la evaluacin2.0 Investigacin Sistemtica

2.1 Comprende y conoce las bases de la evaluacin(trminos, conceptos, teoras, hipotesis)2.2 Conoce los mtodos cuantitativos

2.3 Conoce los mtodos cualitativos

2.4 Conoce los mtodos mixtos

2.5 Dirige revisiones de la literatura

2.6 Revisa la teora del programa

2.7 Formula preguntas de evaluacin

2.8 Desarrolla diseos de evaluacin

2.9 Identifica las datos

2.10 Recaba datos

2.11 Evala la validez de los datos2.12 Evala la confiabilidad de los datos

AI2D.l Ninguna

PlC1.1

P2C.l

P3C.2

P4C.3

P5C.4

PC.5

P7C.6

P8C.7 D.l

P5C.51.1

All

P3D Ninguna

R4_D.l D.2 D.3D.5

NingunaD.4 EE.2 E.3E.54.i

Ninguna Ninguna Ninguna

NoneA.21.a

A.3l.b l.c l.d

A9A.2 A.34.f

A8A.2 A.3. 4.f

NingunaA.2 A.3 Ninguna

NingunaNinguna Ninguna

NingunaNinguna2.e

2. "

_ .4.a

U3"A.2 ELe

A3A.ll.f

A4A.22.e

A54.d

A6

A4Ninguna Ninguna

A5A.l3.d

A64.c

A 7

A5A.l4.e

A7

A6A.l4.c

A7-

Tabla 1 (continuacin)Competencias esenciales para evaluadores deprograma2.13 Analiza los datos

2.14 Interpreta los datos

2.15 Hace juicios

2.16 Formula recomendaciones

2.17 Justifica las decisiones en toda la

evaluacin2.18 Informa el procedimiento y los resultados

2.19 Seala fortalezas y limitaciones de la evaluacin

King, Stevahn, Ghere, & Minnema