evaluación e indicadores de evaluación para proyectos culturales

www.e-‐itd.conhttp://blog.transit.eswww.asceps.org

Etapas de un proyecto

Beneficios de la evaluación

  enfoca los aspectos más relevantes

  permite conocer el grado de cumplimiento y desarrollo del proyecto

  identifica dificultades que impiden el cumplimiento de los objetivos

  favorece la toma de decisiones

  integra la dimensión diseño-‐planificación

  mejora el desarrollo de los procesos y resultados

  aumenta el conocimiento de las tareas realizadas

  incrementa la implicación de los equipos y de los partners

  (si es publicada), valoriza técnicamente el proyecto

  aporta competencias analíticas a quienes la realizan

  es más necesaria, más fácil y más útil cuanto más se practica

Algunos apuntes sobre el uso de la evaluación

  El inicial approach americano y su traslado a las políticas nacionales europeas

  La importancia de la Comisión Europea, especialmente en el ámbito de la Cultura   http://www.eipa.eu/en/activities/show/&tid=2330

  Otras disciplinas: educación, sanitario, servicios sociales   http://www.institutodeevaluacion.mec.es/

Evaluación   evaluar.(Del fr. évaluer).1. tr. Señalar el valor de algo.2. tr.

Estimar, apreciar, calcular el valor de algo. Evaluó los daños de la inundación en varios millones. U. t. c. prnl.3. tr. Estimar los conocimientos, aptitudes y rendimiento de los alumnos

  evaluación.(De evaluar).1. f. Acción y efecto de evaluar.2. f. Examen escolar. Hoy tengo la evaluación de matemáticas.

Definiciones de evaluación   “Proceso sistemático mediante el cual se obtiene

la información necesaria sobre los resultados, previstos o no, y el funcionamiento de un programa cultural para saber en qué medida se logran los objetivos y se desarrolla la producción,y poder tomar así las decisiones oportunas para reconducir dicho programa mediante la modificación de cualquiera de sus aspectos” (Rosselló )

  “Evaluación es realizar un juicio, basado en evidencias, sobre el valor y calidad de un proyecto” (Dean, Goodlad, Hamilton)

Definiciones de evaluación   “Examen crítico del desarrollo y de los efectos actuales y

potenciales de un programa o proyecto y se orienta a aumentar la eficacia del mismo y a proporcionar una base orientadora para el diseño e implementación de programas futuros” (Fernández Ballesteros)

  “Cómo y por qué (no) funciona una iniciativa”

Objetivos de la evaluación   Conocer las razones que favorecen o dificultan el

desarrollo del proyecto

  Saber de qué manera se consiguen los objetivos previstos

  Facilitar la toma de decisiones sobre el desarrollo y resultados

COMPLEMENTARIEDADES   Evaluación cuantitativa

  Verifica hipótesis mediante pruebas empíricas

  Utiliza métodos estructurados para la recogida de datos y análisis estadístico

  Evaluación cualitativa   Da valor al contexto y las

dimensiones humanas

  Se orienta a los procesos y se basa en el lenguaje

  Busca conocer las percepciones sobre un tema o dimensión

http://www.mcu.es/cooperacion/docs/MC/Evaluacion_politicas_locales_cor.pdf

Conceptos paralelos   Monitoraje: comprobación del cumplimento parcial de lo

establecido

  Auditoría: control del resultado y del cumplimiento del procedimiento (establecido o no por la ley)

  Validación: aprobación (externa)

  Revisión crítica: peer review

Criterios básicos de evaluación

  EFICACIA: comprobación del cumplimiento de los objetivos del proyecto

  EFICIENCIA: relación entre el cumplimiento de los objetivos y su relación con los recursos utilizados

  PERTINENCIA: adecuación del proyecto al problema, necesidad u oportunidad planteada

Criterios básicos de evaluación

  IMPACTO: adecuación a las finalidades u objetivos a largo plazo del proyecto

  VIABILIDAD: posibilidad de continuación y desarrollo futuro

Objetivos Medios Resultados

Eficiencia Viabilidad

Eficacia

Pertinencia

Impacto

http://www.ec.europa.eu/europeaid/evaluation/methodology/methods/mth_ccr_es.htm

Problema/necesidad

Organización/proyecto cultural

Metodología de evaluación   Evaluar la evaluabilidad del proyecto

  Identificar los destinatarios

  Decidir quién la hará

  Establecer el alcance de la evaluación

  Indicar las dimensiones principales

  Elaborar los indicadores y escalas de síntesis

  Formular las técnicas e instrumentos para la obtención de datos

  Presentar los resultados

  Mille Galán, José Manuel.-‐ Manual bàsic d'elaboració i avaluació de projectes.-‐ Ajuntament de Barcelona. 2002

  Rosselló Cerezuela, David.-‐ Diseño y evaluación de proyectos culturales. Ariel, Barcelona, 2004.

Metodología de evaluación   Evaluar la evaluabilidad del proyecto:

  Un proyecto será evaluable cuando dé una respuesta suficiente a:

  Por qué se quiere hacer   Qué se quiere conseguir

  Cómo se quiere conseguir

  A quién se dirige   Donde se realizará   Cuando se realizará   Quién lo realizará

  Con qué se hará

Metodología de evaluación   Identificar los destinatarios

  Equipos responsables y técnicos de proyecto   Promotores del proyecto (dirigentes, donantes,

financiadores, mecenas)

  Destinatarios: clientes, usuarios, participantes,

Metodología de evaluación   Decidir quién la hará

  EVALUACIÓN INTERNA   Conocimiento directo de la acción

  Facilidad para su continuidad   Promueve la participación y la implicación

  Proclividad a la inobjetividad   Más económica

  Equipo directivo, persona o grupo “ad hoc”   http://tibidabo-‐project.gesem.net/

Metodología de evaluación   Decidir quién la hará

  EVALUACIÓN EXTERNA   Percepción de intromisión o control

  Mayor apariencia de objetividad

  Puede promover legitimidad y/o prestigio

  Implica mayor inversión de recursos

  Consultores, investigadores, expertos, instituciones locales   http://www.sharedintelligence.net/viewproject.php?

projectid=71

Metodología de evaluación   Establecer el tipo de evaluación

  Evaluación inicial

  Evaluación de resultados

  Evaluación de proceso

  Evaluación de impacto

  ..


  Evaluación de resultados   Comprobación del nivel de cumplimiento de los objetivos del

proyecto y cumplimiento de las previsiones

  Verifica cómo lo programado ha sido ejecutado

  Comprueba cómo el proyecto modifica la situación de partida

  Conoce la opinión de los destinatarios

  Observa otros resultados

  Determina las causas que han permitido o no su cumplimiento


  Evaluación de proceso   Comprueba el cumplimiento y funcionamiento de las

periodificaciones del proyecto.

  Comprueba la adecuación de la organización y su funcionamiento

  Verifica la adecuación de los recursos humanos y materiales a disposición


  Evaluación de impacto   Mide los efectos a largo plazo

  Verifica los cambios en el contexto general

  Observa los cambios en el contexto cultural

Metodología de evaluación   Indicar las dimensiones principales

  Organización y funcionamiento   Gestión económica   Implementación   Seguimiento   Calidad artística   Satisfacción   Participación comunitaria   Comunicación   Atención a la diversidad   Género   …

Metodología de evaluación   Indicar las dimensiones principales

  Establecimiento del listado de preguntas básicas, teniendo presente los criterios básicos de evaluación (eficacia, eficiencia, pertinencia, impacto, sostenibilidad)

  Determinar los contenidos específicos de cada dimensión

Metodología de evaluación   Elaborar los indicadores y escalas de síntesis

  Características:   Permiten medir los cambios y resultados

  Son singulares de cada proyecto   Necesitan del contraste con otras referencias

  Se acoplan preferentemente al tipo de evaluación: indicadores de proceso, resultado e impacto

  Hay cualitativos y cuantitativos


  Aspectos clave   Delimitar los contenidos de la evaluación

  Fijarlos en el inicio   Comprobar si se podrá recoger la información

  Decidir las técnicas e instrumentos para la recogida de información

  Verificar si son válidos, fiables,claros, útiles, representativos y específicos


  Aspectos clave   Verificar si son:

  válidos, si miden realmente lo que quieren medir

  claros, fáciles de interpretar

  útiles, organizativa y técnicamente

  Específicos, si sirven para medir un solo factor

  Representativos; si comprenden todos los individuos y cuestiones que han de medir


  Smart system:   Simple and precise

  Measurable and quantifiable

  Achievable and ambitious

  Realistic, compatible with the whole of the project

  Temporary, wiht a deadline of execution


  Formulación de escalas de síntesis   Instrumento que visualiza el proceso de evaluación

  Reducción de la complejidad a pocas variables

  Utilización de series tipo deficiente…excelente, insatisfactorio…satisfactorio

Una cifra informa… un indicador indica

-‐  ¿Podemos decir que un concierto experimental con 35 asistentes fue peor que un concierto de un grupo popular con 70?

-‐  ¿Podemos decir que el taller de fotografía digital programado (15 usuarios) fue mejor que el programado con con chavales (8 usuarios)

-‐  Si utilizamos sólo números absolutos no nos indican nada, sólo nos informan

…la idea de utilizar indicadores es que nos ayuden a tomar decisiones…

(NO A LOS INDICADORES PORQUE SÍ)

Ejemplos de indicadores algo más complejos

-‐  ¿Podemos decir que un concierto experimental con 35 asistentes fue peor que un concierto de un grupo popular con 70?

Si, si estandarizamos las variables para hacerlas comparables.

Al estandarizar, transformamos los datos que tenemos en otros que son comparables entre sí

Ejemplo 1:

valor real – valor mínimo /valor máximo-‐valor mínimo

Concierto experimental:

35-‐4/55-‐4 = 0,6

Concierto pop:

70-‐10/250—10= 0,25

Al estandarizar, transformamos los datos que tenemos en otros que son comparables entre sí

Ejemplo 2:

Valor maximo – valor real /valor máximo-‐valor mínimo

Concierto experimental:

55-‐35/55-‐4 = 0,39

Concierto pop:

250-‐70/250—10= 0,75

Ejemplo de selección de destinatarios

Total de destinatarios posibles 25 países ALC

Objetivo: Delección de 2 países donde implementar proyectos culturales basados en redes sociales distribuidas

Metodología de selección:

1.  Creación del indicador de posibilidades de implementación

2.  Selección de 10 mejores

3.  Profundización en perfil país + industrias culturales

4.  Selección de 5 mejores

5.  Profundización en sector cultural local : 2 ganadores

Los datos estadísticos utilizados para la creación del indicador surgen básicamente de la ITU (Internacional Telecommunication Union) y son estadísticas del año 2006. Estos datos, tras ser tratados para poder ser utilizados en un único indicador, se combinaron de la siguiente forma:

0,60*Penetración de Internet + 0,35*Penetración de banda ancha + 0,05*penetración de telefonía móvil.

Donde:

-‐ Penetración de Internet: usuarios / población total

-‐ Penetración Banda ancha: suscriptores banda ancha/ población total

-‐ Penetración telefonía móvil: suscriptores de teléfono móvil/ población total

IDH: Índice de desarrollo humano

IDH -‐ parámetros

1 - Vida larga y saludable: medida según la esperanza de vida al nacer.

2 - Educación: medida por la tasa de alfabetización de adultos y la tasa bruta combinada de matriculación en educación primaria, secundaria y superior, así como los años de duración de la educación obligatoria.

3 - Nivel de vida digno: medido por el PIB per cápita PPA en dólares internacionales.

IDH -‐ cálculo

Metodología de evaluación   Formular las técnicas e instrumentos para la

obtención de datos:   Técnicas cualitativas:

  Entrevistas en profundidad   Observación directa (y material visual)

  Juicio de expertos (y peer review)

  Análisis de documentación

  Estudio de casos   Focus groups

Metodología de evaluación   Formular las técnicas e instrumentos para la

obtención de datos:   Desarrollo de las herramientas de seguimiento (monitoraje)

y desarrollo de evaluación   Establecimiento estrategia recogida de datos

  Periodificación entrega de resultados   Verificación de los resultados   Comparación con las predicciones

  Análisis de resultados   Redacción del informe de evaluación

Metodología de evaluación   El informe de evaluación

  Partes básicas:   Descripción del proyecto de evaluación (marco, objetivos,

metodología, tipo de evaluación, dimensiones, indicadores, instrumentos)

  Resultados principales (cumplimento de objetivos, resultados no esperados)

  Conclusiones, recomendaciones, propuestas, lecciones obtenidas, puntos fuertes y débiles

  Apéndices

La evaluación y su momentum

  EVALUACIÓN EX ANTE o inicial

  EVALUACIÓN IN ITINERE o de proceso

  EVALUACIÓN EX POST o final

BATERÍA INDICADORES UNESCO

  http://culturayeconomia.org/noticias/unesco-‐presento-‐el-‐estudio-‐de-‐indicadores-‐en-‐cultura-‐y-‐desarrollo-‐para-‐colombia/

FEMP

  http://www.femp.es/Portal/Front/Atencion_al_asociado/BuenasPracticasDetalle/_Q416TFyB0rLgu8Ibp07KmrDTXbuB1NzlZqOUAlHmbQSVwGSAouTsjX_LThJgxK1I08ogWIR8xByU__eHlCrD_X1y_3ssghqpA1JoMEc12Mxf64O-‐OXu20Sd98AWqwe0e8Gp7ek5OctM

CULTURA EUROPA

  http://europa.eu.int/comm/culture/eac/sources_info/evaluation/evaluation_en.html

Teoria del cambio:

  http://www.theoryofchange.org/

E-‐Herramienta para evaluación

  http://www.evaluationforall.org.uk/

Logical Framework tool: http://europa.eu.int/comm/europeaid/qsm/project_en.htm

  /

  Logical Framework tool: http://europa.eu.int/comm/europeaid/qsm/project_en.htm

New Approaches to Evaluating Community Initiatives, Vol. 1: Concepts, Methods, and Contexts

Edited by James P. Connell, Anne C. Kubisch, Lisbeth B. Schorr, and Carol H. Weiss

  http://www.theoryofchange.org/html/origins.html

  http://www.uv.es/~cursegsm/IIIbloque/indicadoresCult.pdf

LASI PROJECT

  http://www2.warwick.ac.uk/fac/soc/wbs/research/lgc/research/lasi/

Projecte Tibidabo

  http://tibidabo-‐project.gesem.net/

Evaluate Europe handbook

  http://www.evaluate-‐europe.net

  Curso evaluacion

  http://www.eipa.eu/en/activities/show/&tid=2330

  Instituto evaluacion

  http://www.institutodeevaluacion.mec.es/

BIBLIOGRAFÍA

  Rosselló Cerezuela, David.-‐ Diseño y evaluación de proyectos culturales. Ariel, Barcelona, 2004.

  Mille Galán, José Manuel.-‐ Manual bàsic d'elaboració i avaluació de projectes.-‐ Ajuntament de Barcelona. 2002

  L'évaluation à la Commission Européenne. Guide des procédures et structures d'évaluation actuellement en vigueur dans les programmes de coopération externes de la Commission. EuropeAid Office de Cooperation. Bruselas. 2001

  VV AA.-‐ Monogràfic: la qualitat en l'acció socioeducativa. Revista Educació Social. Fundació Pere Tarrés. Barcelona. 2002

  Monnier, Eric.-‐ Evaluación de la acción de los poderes públicos. Ministerio de Economía y Hacienda. Instituto de Estudios Fiscales. Madrid 1995

  Nohria, Nitin y G. Eccles, Robert (edit).-‐ Networks and Organizations. Structure, form and action. Harvard Business School Press. Boston 1992

  Chen, Huey-‐Tsyh.-‐ Theory-‐driven evaluations. Sage Publications. Newbury Park, California. 1900

  New Approaches to Evaluating Community Initiatives, Vol. 1: Concepts, Methods, and Contexts

  Edited by James P. Connell, Anne C. Kubisch, Lisbeth B. Schorr, and Carol H. Weiss

  http://www.theoryofchange.org/html/origins.html

  Hugues, Jenny y Nieuwenhuis, Loek.-‐ A project manager’s guide to evaluation. Universität Bremen. 2006

evaluación e indicadores de evaluación para proyectos culturales

Education