procuradur??a general de la naci??n, rep??blica de colombia - kit de … · de la nación edgardo...

Kit de herramientas para procesos educativos del Instituto de Estudios del Ministerio Público

Cartilla 7.Manual de evaluación de transferencia e impacto de la capacitación y cálculo del retorno sobre la inversión

�

Kit de herramientas para procesos educativos del Instituto de Estudios del Ministerio Público © Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) GmbHISBN: 978-958-8438-15-3

Cartilla 7. Manual de evaluación de transferencia e impacto de la capacitación y cálculo del retorno sobre la inversión© Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) GmbHPrimera edición: septiembre de 2008ISBN: 978-958-8438-22-1

Coordinación editorialRita Kotov

Diseño editorial de la ColecciónDiseño de portada, corrección de estilo y diagramación para la Cartilla 7:

LYO ComunicacionesAlba Lucía ForeroAlfonso Ortega SotoOscar MottaCel: 316 335 4712 / 316 335 4701e-mail: [email protected]

Fotografías en la cartilla:www.sxc.hu

ImpresiónGráficas Ducal

Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) GmbH

Barbara HessDirectora Agencia GTZ en Bogotá

Proyecto Fortalecimiento del Estado de Derecho –FortalEsDer-Rita Kotov

Coordinadora principal del Proyecto

AutoresTeresa Cardona de Cortés

Rafael I. Rodríguez U.Consultores GTZ

Procuraduría General de la Nación

Edgardo José Maya VillazónProcurador General de la Nación

Instituto de Estudios del Ministerio PúblicoElsa Barón de RayoDirectora del I.E.M.P.

Carlos Humberto García OrregoJefe de la División de Capacitación del I.E.M.P.

AutoresRoland Oswaldo Sánchez OjedaCésar Augusto Nieto RojasInstituto de Estudios del Ministerio Público

Equipo técnico I.E.M.P.Roland Oswaldo Sánchez OjedaDiana Sulma Pardo IbarraSandra Rojas Barrero César Augusto Nieto Rojas

�

Tabla de conTenido

Introducción 8

Capítulo1.Elementosconceptualesdelmanual 14

¿Quéeslaevaluacióndecapacitación? 16¿Cuáleselciclodelprocesodecapacitación? 20¿Cuáleselmodeloteóricobasedelmanual? 23¿CuáleselprocesodelaevaluacióndelosNiveles3,4y5? 26¿Quécriteriosguíanladecisióndelosnivelesaevaluar? 28¿Cómoejecutarlaevaluación? 30¿Québeneficiostieneregistrarlainformacióndelasevaluaciones? 31

Capítulo2.Estructuradelmanual 32

Definiciónyalcancedelmanual 34

Capítulo3.Evaluacióndelastransferenciasdeaprendizaje-Nivel3 40

¿PorquéesimportantelaevaluacióndeNivel3? 42¿CómoeselprocesodelaEvaluaciónNivel3? 43¿Quésenecesitaparaqueocurralatransferenciadelaprendizaje? 48¿QuéseconsideraóptimoparalaevaluacióndeNivel3? 49¿QuésepuedeesperardelaevaluaciónNivel3? 52

Capítulo4.Evaluacióndeimpacto–Nivel4 54

¿PorquéesimportantelaevaluacióndeNivel4? 56¿CómoeselprocesodelaevaluacióndeNivel4? 57¿QuésepuedeesperardelaEvaluaciónNivel4? 76

Capítulo5.Cálculodelretornosobrelainversión–Nivel5 46

¿Quéeselcálculodelretornosobrelainversión(Nivel5)? 80¿CómoeselprocesodeevaluaciónenN5? 81¿Cómosedefinenlosbeneficiosintangibles? 84

�

Tabla de conTenido

¿Cómoseconviertendatosavaloresmonetarios? 85¿Cómocalcularloscostosdelprograma? 90¿QuéseconsideraóptimoparalaevaluacióndeNivel5? 93

Capítulo6.BalancedScorecard 94

¿QuéeselBalancedScorecard? 96¿CómoseutilizaelBSC? 99

Capítulo7.Conclusiones 104

Anexos 114

Glosario 148

Bibliografíaconsultada 150

Flujodelprocesodecapacitación 154

�

1Abdala, E y Diez de Medina. Manual para la evaluación de impacto en programas de formación para jóvenes. Organización Internacional delTrabajo(Cinterfor/OIT).2004

2En adelante se denominan “Programas deCapacitación”.

inTroducción

Lacapacidaddel Institutode EstudiosdelMinisterio Público(I.E.M.P.), como ladecualquierorganizaciónparaplanificar

y manejar el cambio de manera efectiva, está estrechamentevinculadaconsucapacidaddeaprenderyrenovarconocimientos.Entre más sólida sea la cultura de aprendizaje, más fácil seráenfrentar losdesafíosqueelconstantecambio impone.Existeuna necesidad creciente en las organizaciones productivas ysocialesdemedirlosresultadosdesusprogramasdecapacitación.Tantoenel sectorprivadocomoenelpúblico,elcrecimiento,lainnovaciónyelcontroldecostos,sonelementosclaveenlaestrategiadelaorganizaciónmodernayéstosselogranatravésdeunfocoyunaatenciónespecialeneldesarrollodeltalentohumano,gestordelosprocesosdetransformaciónyéxitodelasempresas.

Cuandosehabladeevaluacióndeprogramasdecapacitación,losteóricosconcuerdanentérminosgenerales,queéstaesunproceso “sistemático, metódico y neutral que hace posible elconocimiento de los efectos de un programa, relacionándoloscon lasmetaspropuestasy losrecursosmovilizados,conelfinde identificare interpretar informaciónqueconduzcaa tomardecisiones relevantes para el programa de formación y/o laorganizaciónengeneral”1.

Paramediryevaluaradecuadamentelosprogramasdecapacita-ción (formación, entrenamiento y desarrollo)2 y asegurar queesténorientadosamejorartemastácticos(corto-plazo)oestraté-gicos (largo-plazo), es necesario que el I.E.M.P. desarrolle unaEstrategiadeMediciónyEvaluación(MyE)desusprogramasdecapacitación y una guía para su implementación. Para ello esnecesariodeterminarhastaquépuntotodoslos“stakeholders”

IntroduccIónManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón� �IntroduccIónManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón� �

del proceso encuentran satisfacción en lo que obtienen de losprogramas frente a la inversión que se hace en ellos; y tenerclaridadsobrelasnecesidades,requerimientosyexpectativasdecadaunode los“stakeholders”3 involucrados,antes,duranteydespuésdelosprogramas.

Los programas de Educación Continuada (Capacitación) yde Investigación, que ofrece el I.E.M.P. como facilitador deaprendizaje organizacional comprometido con la formaciónintegralypertinentedelosservidorespúblicosdelasentidadesusuarias,tienendosejesdeacción:

1. Elpuestodetrabajoparaelfortalecimientodelascompetenciasyeldesarrollodecarrera.

2. Respeto por los derechos consagrados en la constitución,puestosalserviciodelEstadoylasociedadcolombiana.

El I.E.M.P. debe ofrecer una propuesta de valor atractiva paralos beneficiarios de los programas y especialmente para lasentidadesque invierten recursosen lacapacitación,diseñandoprogramas sobre aquello que los funcionarios deben hacer,y no sobre aquello que deben aprender (ver Figura No. 1). Elsectorpúblico,aligualqueelprivado,debeinvertirdemanerainteligentesuspresupuestosdecapacitaciónenprogramasquerealmentegenerenunamejora sustancialde los resultados. Lacapacitaciónyanoseentiendecomo“uncostonecesario”;hoyseconsideraunainversiónnecesariaqueapalancaeimpactalosresultadosestratégicos.

Lamedición,evaluaciónyelresultadodetodaactividadeducativa–mejoraeneldesempeño–queadelanteel I.E.M.P.debeestaralineadaeintegradaconlaestrategiaglobaldelaProcuraduría

3 “Aquellosgrupossincuyoapoyolaorganizacióncesaría de existir (Jennings, 1999). El Anexo7 – Glosario, provee una definición amplia del conceptode“stakeholder”.

Figura No. 1. Alineación de la estrategia con los Programas de

Capacitación

IntroduccIónManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón� �IntroduccIónManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón� �

General de la Nación y demás entidades delMinisterio Público. El Manual entronca con losobjetivosprincipalesdelaProcuraduría,unodelosclientesclavedelI.E.M.P.,encuantoalanecesidadde “trabajar sobre claros e inequívocos objetivosqueemergendeunaprogramación;midiendo losresultadosobtenidos; reconociendo los puntosdefuerzaodedebilidadenelactuar,queesloquehaceposibleeldiálogoconlosciudadanosyrefuerzaelsentidodepertenenciaaunacomunidaddelaquehacenpartetodoslosactores”4.

Además, debe permitir a los responsables de losprocesos, total transparencia en el momento derendir cuentas sobre el manejo que hacen de losrecursospúblicosasignados.Estosealcanzacuando:a) los programas responden a las necesidadesestratégicasdelMinisterioPúblico;b)losprogramasno son iniciativas aisladas sino que hacen partedeuna estrategiade aprendizaje y demedición yevaluación que busque desarrollar y/o reforzar lascompetenciasindividualesyorganizacionales;c)sehadesarrolladounprocesocoherentequegaranticeque el saber adquirido se transfiere al puesto detrabajo;d)existeunsistemademediciónyevaluacióndeldesempeñoindividualpreferiblementeconbaseencompetencias5;e)semideyevalúalacontribucióndelparticipantealainstituciónyelimpactoenlos

4BalanceSocialdelaProcuraduríaGeneraldelaNación2007.5 LaProcuraduría, conlacolaboracióndelSENA,estáenproceso

de definir su sistema de competencias. Esta labor deberá quedar concluida antes de finalizar el año 2008.

resultadosquesegeneracomoconsecuenciadelacapacitaciónrecibidaydelasinterrelacionesconlosagentesdelproceso;yf)seutilizanlosresultadosdelasevaluacionesparadesarrollaraccionescorrectivasydemejoramiento.ElManualproponeeldesarrollodeunametodologíaestructurada,pasoapaso,paraserutilizada/adaptadaenlaMediciónyEvaluacióndelosNiveles3,4y5delosprogramasdecapacitaciónparaelMinisterioPúblico a través del I.E.M.P. La metodología tienetrespropósitosbásicos:

1. Medir la transferencia de competencias con elapoyodeherramientasapropiadasquepermitandiseñar y obtener la información correcta –indicadores–sobrelosprogramaseinterpretarlaapropiadamente para realizar análisis sobre suefectividad.

2. Medir el impacto que generan en la ejecuciónde la estrategia institucional y, para algunos,el retorno en términos financieros (ROI) de lasinversionesencapacitación.

3. Presentarunaseriedeherramientaseinstrumentosque pueden adaptarse a las necesidades yprogramas particulares del Ministerio Públicopararealizardichasevaluaciones.

Es importante enfatizar que no todo programade capacitación justifica un proceso completo deevaluacióndesdeelNivel1hastaelNivel5.

IntroduccIónManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón10 11IntroduccIónManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón10 11

Conestefin,elI.E.M.P.,conlaasesoríaycolaboracióndirectadelaGTZ,haemprendidoeldesarrollodeunaseriedeManualesdeEvaluación,de los cuales ya sehanproducidodosque,deacuerdoalmarcoconceptualdeDonaldKirkpatrick6,cubrenlasEvaluacionesdeNivel1(Reacción)ydeNivel2(Aprendizaje).

Este Manual cierra el ciclo al cubrir los otros dos niveles: elNivel3(Transferencia)yelNivel4(Impacto);ysecomplementacon un quinto nivel, el Cálculo del Retorno sobre la Inversión(ROI)7 desarrollado por Phillips y Stonev8. Los cinco niveles deevaluacióntienencaracterísticaspropiasysoncomplementarios.EnlamedidaenqueseprogresadesdeelNivel1alNivel5(ROI),sepresentansituacionesqueesimportantetenerencuenta.LaFiguraNo.2resumelaesenciadeloscuatronivelesdeKirkpatrickyelquintodePhillips.Entremásaltoelniveldeevaluación,elvalordelainformaciónesmayorymásútil,elfocodelaevaluaciónsetrasladadesdeelparticipantehacialaaltagerencia,lafrecuenciadeevaluaciónesmenoryladificultadenelprocesodeevaluaciónesrelativamentemayor.Estoexplicaporquénotodainiciativadecapacitaciónseevalúaentodosloscinconiveles.

ElManualesproductodeunainvestigaciónextensadelasmejoresprácticas que existen en el ámbito académico y empresarialcuando se tratademedir yevaluarprogramasde capacitación.Enelprocesoseconsultó,mediantelarealizacióndeunaseriedeentrevistasdeprofundidad,laopiniónyexpectativasquealgunosfuncionariosexpertostantodelaProcuraduría,el I.E.M.P.,comodelaGTZ,tienensobrelosprocesosdeevaluación.

Figura No. 2. El sistema de medicióny evaluación de programas de capacitación

6Este marco conceptual plantea Cuatro Niveles de Evaluación (1 – Reacción,2 –Aprendizaje, 3 – Transferencia y 4 – Impacto), se desarrolla en el capítulosiguiente.

7PorsusiglaenInglésROI(ReturnonInvestment).8Phillips,JackJ.yStone,RonDrew.How to Measure Training Results A practical

Guide to Tracking the Six Key Indicators,NewYork,McGrawHill,2002.


Todo loanterior respondea ladirectrizpresidencialde modernización del Estado, que constituye unainiciativa revolucionaria, tanto en la gestión de losrecursos,comoenladeltalentohumanoyque,asuvez,exigemayoreficienciaenlosprocesosmisionales,asícomoenelservicioqueseprestaalacomunidadengeneral.

ElManualestáestructuradoenseis capítulosy17anexosquesepresentancomoguíasparaapoyarsucontenido.EstosanexossonformatosqueelI.E.M.P.debepersonalizardeacuerdoconsusnecesidades.Lafigura3presentadeformagráfica,loselementosqueconstituyenelmanual.

Capítulo 1. En “Elementos conceptuales delmanual”, se presentan los diferentes elementos ymodelosteóricosquelosustentan:ladefinicióndelaevaluación,ladescripcióndelciclodelprocesodelacapacitación,elmodeloteóricodelaevaluación,elprocesodelaevaluaciónyloscriteriosparadefinirelnivelaevaluar.

Capítulo 2. En “Estructura del manual” el lectorencontrará su definición, alcance y principalescaracterísticas,asícomolosbeneficiosyladefiniciónderolesyresponsabilidades.

Capítulo 3. Describe el proceso, propone lametodologíaypresentaenformaespecíficaquées

la“Evaluacióndetransferencia–Nivel3”.Partiendodesudefiniciónyatravésdeunaseriedepreguntassedesarrollanlasdiferentesetapasdeesteproceso.

Capítulo4.“Evaluacióndeimpacto–Nivel4”,parasu desarrollo se plantean una serie de preguntasclave, cuyas respuestas guían a los responsablesde este proceso en la aplicación de la evaluaciónde transferencia. ¿Hasta qué punto el programadeentrenamientogeneró resultados?, ¿Cuál es laimportanciadelaEvaluacióndeImpacto?,¿Cuálesson loscriteriosparaevaluarel impacto?,¿CuálessonlosBeneficiosIntangiblesdeestenivel?,¿CómoeselprocesodeunaEvaluacióndeImpacto?

Capítulo5.“Retornosobrelainversión–Nivel5”.Este capítulo inicia con la definición del RetornosobrelaInversiónyplanteaunejemplodecálculo.Así mismo incluye la obtención de datos, losmétodosparaaislarlosefectosdelentrenamientoylospasosparaconvertirdatosavaloresmonetariosparadeterminarloscostosdelprograma.

Capítulo6.ElManualfinalizaproponiendoquelosprogramasdecapacitacióndelI.E.M.P.seadministrenutilizando lametodologíadelBalanced Scorecard,conlacualseestructuraunsistemadegestión,decomunicación y de información ágil, que permitevisualizarenunasolapáginaelestadoyresultadosdelosprogramas.


¿Quéeslatransferenciadelconocimiento?

Evaluación de transferencia de conocimiento N3

¿PorquéesimportantelaevaluaciónN3?

¿CómoeselprocesodeevaluaciónN3?

¿Quésenecesitaparaqueocurralatransferenciadelconocimiento?

¿QuéseconsideraóptimoparalaevaluaciónN3?

¿QuésepuedeesperardelaevaluaciónN3?

Estructura del manual

¿Quéeselmanual?

¿Cuáleselalcancedelmanual?

¿Cuálessonlascaracterísticasdelmanual?

¿Cuálessonlosbeneficiosdelsistemadeevaluación?

¿Quiénessonlosresponsablesycuálessusroles?

¿Quéeslaevaluacióndelacapacitación?

Elementos conceptuales del manual

¿Cuáleselciclodelprocesodecapacitación?

¿Cuáleselmodeloteóricobasedelmanual?

¿CuáleselprocesodelaevaluaciónN3,N4yN5?

¿Quécriteriosguíanlosnivelesaevaluar?

¿Cómoejecutarlaevaluación?

¿Québeneficiostieneregistrarlainformaciónevaluaciones?

Figura No. 3 - Elementos del manual


InstrumentosdemediciónparaN3,N4

yN5

Anexos

Cuestionariodeevaluación

InstrumentosdeNivel3


¿QuéeselcálculodelaTasadeRetornoN5?


¿Cómosedefinenlosbeneficiosintangibles?

¿Cómoseconviertendatosavaloresmonetarios?

¿Cómocalcularloscostosdelprograma?


Glosario

Bibliografía

Ejemplosdeindicadoresdedesempeño

Balanced ScorecardCálculo del retorno sobre la inversión (ROI)

¿Quéeslatransferenciadeimpacto?

Evaluación de impacto N4

¿PorquéesimportantelaevaluaciónN4?


¿QuéseconsideraóptimoparalaevaluaciónN4?

¿QuésepuedeesperardelaevaluaciónN4?

¿QuésenecesitaparalaevaluaciónN4?

¿Cómoseutiliza?

Anexos

¿Quéeslaevaluacióndelacapacitación?

¿Cuáleselciclodelprocesodecapacitación?

¿Cuáleselmodeloteóricobasedelmanual?

¿CuáleselprocesodelaevaluacióndelosNiveles3,4y5?

¿Quécriteriosguíanladecisióndelosnivelesaevaluar?

¿Cómoejecutarlaevaluación?

¿Qué beneficios tiene registrar lainformacióndelasevaluaciones?

elemenTos concepTuales del manual

capíTulo 1

Definir el enfoque a adoptar para asegurar que los objetivos se cumplen y decidir dónde se concentran los esfuerzos de medición y evaluación es un elemento clave en la estrategia de capacitación de las entidades del Ministerio Público.

El flujo de información que permite medir la alineación de los programas con las estrategias, la efectividad de los objetivos que se establecen, y el impacto que las iniciativas de capacitación tienen en los resultados con relación a las necesidades de la organización, ,permite tomar decisiones con relación a innovaciones, nuevas estrategias y mejoras en la calidad de los procesos.

capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón16 1�capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón16 1�

Esunode loselementosclavede laestrategiadecapacitacióndelasentidadesdelMinisterioPúblico(MP)quedebeestablecermetas de alto nivel para la medición y la evaluación de losprogramasquedesarrollael I.E.M.P.,definirelenfoquequesevaaadoptarparaasegurarque losobjetivos secumplanyendecidirdóndesevanaconcentrar losesfuerzosdemediciónyevaluación.Estoconstituyeunflujodeinformaciónquepermitemedir la alineación de los programas con las estrategias, laefectividaddelosobjetivosqueseestablecen,yelimpactoquelasiniciativasdecapacitacióntienenenlosresultadosconrelaciónalasnecesidadesdelaorganización.

Esta información permite tomar decisiones con relación ainnovaciones, nuevas estrategias, mejoras en la calidad de losprocesosy,enelcasodelMinisterioPúblico,enelservicioalosciudadanos. Todo lo anterior, implica un control permanentedeloscostosyunaumentoenlaproductividad9.ElprocesosepuedevisualizarenlafiguraNo.1-1.

9 Ulrich&Brockbank(2006).La Propuesta de Valor de Recursos Humanos,Ed.Deusto.

¿Qué es la evaluación

de capaciTación?


¿CuáleslaSituaciónActualdelI.E.M.P.?

1.EvaluarlaSituaciónActualdeEvaluación

2.DefinirunEnfoquedeEvaluación

3.VisualizarelFuturodela

Evaluación

4.DesarrollarlaEstrategiade

Evaluación

5.ImplementarlaEstrategiade

Evaluación

6.SocializarlaEstrategia

¿Quéesimportanteyporqué?

¿Quésequierelograrypara

cuándo?

¿Cómosevaalograrel

compromisodeotros?

¿CómovaelI.E.M.P.alcanzarlasituaciónfutura?

¿Cómosevaaconvertiren

realidad?

EstrategiadelMPEstrategia

Capacitación

Figura No. 1‑1. Marco Conceptual de Medición y Evaluación de la Capacitación

capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón1� 1�capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón1� 1�

Conrespectoalafiguraanterioresimportanteresaltarenquéconsistecadaunodelosseispasos.

10Por ejemplo SENA (Servicio Nacional de Aprendizaje), oInstitucionesAcadémicas.

Situaciónactual.¿Quéseestámidiendoyevaluando?¿Cómoseestáhaciendo?¿Quéseestáhaciendobienyquésepuedemejorar?¿Cómosepuedecompararconloquehacenotrasentidadesdelsectorpúblicooprivado?10.EstetipodeinterrogantesdebenserrespondidosporelI.E.M.P.antesdedecidiradóndequierellegarconlamediciónyevaluación(M&E).

Definirunenfoque.¿Quéesimportantemedir?¿Quétipodetemassonimportantesmediryporqué?¿CuáleslaculturademediciónenelI.E.M.P.?¿Quésepuedeesperarcomoreaccióndequienesvanarecibirlasevaluaciones?

Visióndelfuturo.¿QuérequiereelI.E.M.P.delprocesodemediciónyevaluacióndelosprogramas?¿Cuándolorequiere?


Socializacióndelaestrategia.Definidaslasetapasanteriores,esnecesariocomunicarlaestrategiaparacomprometeratodoslos stakeholdersensucumplimiento

Elprocesoanteriordebeserescalable.Sualcanceencuantoa cobertura es definido por las necesidades de medicióny evaluación que el I.E.M.P. establezca, definición que hacepartedelproceso formaldeplaneaciónestratégica11.Sibienlaevaluaciónaparentementeeselúltimopasoenelprocesodecapacitación,comoseplanteaenelparágrafosiguiente,elI.E.M.P.debedesarrollarelmarcoconceptualdesuestrategiade medición y evaluación y aplicarlo de manera general atodoslosprogramas,teniendoencuentalasparticularidadesdecadauno.

11“Garantizar a los funcionarios del MinisterioPúblicounservicioeducativointegralypertinentemediante el fortalecimiento del sistema decapacitación e investigación”. Tomado de losobjetivos de la perspectiva del Cliente delBalanced ScorecarddelI.E.M.P.

Desarrollarlaestrategia.¿CómovaelI.E.M.P.aalcanzarlasmetasqueseplantea?¿Quésuposicionesapoyanesaestrategia?

Implementación.¿Cómosevaaconvertirlaestrategiaenunarealidad?¿QuéprioridadestieneelI.E.M.P.conrespectoalamediciónyevaluacióndelosProgramas?¿Conquéfrecuenciasevaarevisarelprogreso?

capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón20 21capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón20 21

¿cuál es el ciclo

del proceso de capaciTación? DonaldKirkpatrickplantea12quelaevaluacióneselúltimoeslabónenunacadenadediezpasosqueaseguralaefectividaddelosprogramas de capacitación. Este Manual, además de plantearel desarrollo de una Estrategia de Medición y Evaluación parael I.E.M.P., se focaliza en el desarrollo de los Niveles 3, 4 y 5de evaluación mencionados anteriormente. A continuación seenumeranlosdiezpasosqueintegranelprocesodecapacitación(verFiguraNo.1-2):

12Evaluating Training Programs, Tercera Edición.Capítulo1,pág.3.

13 Competencias se refieren a los conocimientos, habilidadesyconductasdelosindividuos.

Determinarlasnecesidadesdecapacitación.¿Quétipodenecesidadessevanadeterminar?¿Aquiénentrevistarparadefinirlas?¿Quéregistrossedebenconsultar?¿Cuálesfueronlosresultadosdelasevaluacionesdedesempeñoanteriores?¿Cuálesfueronlosresultadosdelosindicadoresdegestióndelasentidades?

Establecer Objetivos de Aprendizaje. ¿Quécomportamientossequierenmodificar?¿Quétipodeconocimientos sequierenenseñar?¿Cuálesson las competencias13 a aprender/desarrollar?¿Cuáles variables del clima organizacional sedeseamejorar?,etc.

Definircontenidosdeaprendizaje.¿Quémateriassedebenincluirenfuncióndelasnecesidadesylosobjetivos?¿Quémetodologíasseutilizarán?

Seleccionar/Invitarlosparticipantesapropiados.¿Quiénesycuántos?¿Quéperfiles?


Para el cumplimiento efectivo de este proceso esfundamentaldisponerdelosrecursosfinancierosyproyectar su alcance para determinar la viabilidaddelosprogramasysuevaluación.

Enlaactualidad,enelI.E.M.P.existenlosmecanismosyprocedimientosparagarantizarquelasiniciativasde capacitación cuenten con las herramientasnecesarias para la ejecución eficiente y efectivade lospasospreviosa laEvaluaciónde losNiveles3,4y5, (N3,N4yN5),que incluye lospasos1a9 mencionados anteriormente y los resultados de

lasevaluacionesN1(Nivel1)yN2(Nivel2)quesehandesarrolladoyquedebenconstituiruninsumocrucialparaN3,N4yN5.EnelI.E.M.P.,elciclodecapacitación propuesto por Kirkpatrick se traduceen seis subprocesos14 como se presentan en laFiguraNo.1-2.

14¿Cómo se construye, desarrolla y evalúa un programa decapacitación?–DocumentointernodelI.E.M.P.

Definir una agenda apropiada y conveniente.¿Cuál es el tiempo a emplear durante lacapacitación? ¿Cuántas sesiones se debenrealizar?¿Cuáleselhorario?

Establecer el sitio de entrenamiento. ¿En quésitio se llevará a cabo la capacitación? ¿Cuáles la disposicióndelmobiliario? ¿Qué tipodealimentaciónsesuministrará?

Seleccionar/Escogerlosinstructoresapropiados.¿Cuál es el presupuesto? ¿Cuál es el perfilprofesional del instructor? ¿Cómo se realizaráel proceso de selección? ¿Dónde buscar a losinstructores?

Preparartécnicasyayudasapropiadas.¿Quématerialyayudasserequieren?

Evaluarelprograma.¿Quéprogramassevanaevaluar?¿Quénivelessevanevaluar?¿Quiénsonlosresponsables?

Coordinarelprograma.¿Quiéneselresponsabledelevento?


Evaluar

Coordinación

Materiales

Instructores

Sitio

Agenda

Participantes

Objetivos

Necesidades

Contenidos

Inicio

Seguimiento(Evaluación)

Ejecución

Alistamiento

Planeación

DiagnósticodeNecesidades

DiseñoCurricular

Fin

Figura No. 1-2 - Ciclo de Capacitación - Un enfoque sistémico

ModeloKirkpatrickInstitutodeEstudiosdelMinisterioPúblico

-I.E.M.P.


¿cuál es el modelo Teórico

base del manual?

EsteManualsedesarrollóbajounmarcoconceptualque combina dos enfoques complementarios. Elprimero corresponde a los 4 niveles tradicionalesde evaluación propuestos por Donald Kirkpatrickhacecasi50años(1959–1960)yquelaevidenciaexistentelosratificacomolosconceptosdominantesen el campo tanto académico como empresarialde laevaluacióndeprogramasdecapacitación.Eldenominado Modelo de Kirkpatrick (MdK) hacereferencia a cuatro niveles de evaluación: Nivel 1- Evaluación de Reacción; Nivel 2 - Evaluación deAprendizaje;Nivel3-EvaluacióndelComportamiento/AplicaciónyNivel4-EvaluacióndeImpactoenlosResultados.

El segundoenfoque,desarrolladopor JackPhillipsyRonDrewStone15alrededordelataxonomíadelMdK, se puede considerar como una extensión operfeccionamiento del cuarto nivel del modelo,pero en realidad se considera como un quintonivel adicional, el Nivel 5 (N5), “qué se enfocaespecíficamente en la medición del impactofinanciero de los programas de capacitación“¿qué retorno sobre la inversión y qué benefi-cios intangibles se esperan?”. Luego, trabajar en

15Phillips,JackJ.yStone,RonDrew.Op.cit.

cascada descendente resolviendo una secuenciade interrogantes similar a: “¿Qué se necesita queocurra(N4)paraobteneresosresultadosfinancierosonofinancieros?”.Continuarcon:“¿Quéconductassonnecesariasenlosindividuos(N3),enlasáreasoen laorganizacióncomountodopara lograresosresultados?”.

Laestructurainherenteenlos4nivelesdelMdKsedebe visualizar, como él mismo lo sugiere, desdeuna perspectiva de inversión en el aprendizaje.Bajo este enfoque, para justificar inversiones encontenidos de capacitación es necesario empezaranalizandoapartirdelN5,conjuntamenteconlosgerentesde línea,esdecir,partirde losresultadosque esperan obtener los miembros de la altadireccióndelaorganizacióny/osus“stakeholders”ypreguntar:“¿Quéretornosobrelainversiónyquébeneficiosintangiblesseesperan?”.Luego,trabajarencascadadescendenteresolviendounasecuenciade interrogantes similar a: “¿Qué se necesita quéocurra(N4)paraobteneresosresultadosfinancierosonofinancieros?”.Continuarcon:“¿Quéconductassonnecesariasenlosindividuos(N3),enlasáreasoen laorganizacióncomountodopara lograresosresultados?”.


En seguida “¿Qué tipo de conocimientos, habilidades,competencias, actitudes (N2) generan esas conductas?”; yfinalmente,¿Qué tácticas (contenidos:cursos,entrenamientos,etc.) y cómo se deben presentar (N1) de tal manera que elproceso de aprendizaje sea atractivo para los colaboradores?EsteconceptoseexplicaenlaFiguraNo.1-3.

Capacitación

Reacción

Aprendizaje

ConductaAplicación

Resultados

Perspectiva de Justificación de los

Programas

Perspectiva de Inversión en el

Aprendizaje

¿AlosparticipanteslesgustóelPrograma?

¿Aprendieron?

¿Aplicanensutrabajoloqueaprendieron?

¿Cómoesteaprendizajeimpactaa

laorganización?

¿Cómolopresentamosparaquelosparticipantesreaccionendemanerafavorable?

¿Quéconocimientos,habilidadesyactitudesnecesitanlaspersonasparacomportarseasí?

¿Quéconductasserequierenparalograrestosresultados?

¿Quéresultadosestamosbuscando?

Organización

Figura No. 1‑3. Un cambio de perspectiva


Dentro de la disciplina de evaluación de programas decapacitación, algunos académicos sugieren que incluso esnecesarioirmásalládeloscuatronivelesdelMdKydelquintodePhillipsymedirel“ImpactoSocial”delosprogramas(Watkins,Leigh, Foshay yKaufmann,1998).Reconociendo la validezdeesteplanteamiento,sehaconsideradoqueestealcancenodebesercubiertoenestaetapa,pueselhechodeproponerloscinconivelesmencionados,constituyeungrandesafíoparaelI.E.M.P.yelMinisterioPúblico.

EnelReportedelEstadodela Industria16,unanálisisdelASTD(American Society for Training and Development) que resumeinformacióndelosaños1999a2003,revelóqueenpromedioel79%delosprogramasdecapacitaciónseevalúanenelNivel1;36%enelNivel2;15%enelNivel3;mientrasquesóloun8%delosprogramassonevaluadosconrelaciónalimpactoqueproducen.Lasorganizacionesparticipantesenelestudioidentificaron“Noesrequeridoporlaorganización”,comolamayorcausa(citadapor el 42,34%) para no realizar las evaluaciones. La segundacausademayorincidencia(citadaporel39,64%)fue“FaltadeEntrenamiento” para realizar la evaluación y la tercera (citadaporel36,94%)“Costo”pararealizarlaevaluación.

16Fuentes: Valuing Human Capital and HRD. ALiterature Review (2006), ASTD State of theIndustryReport(2004).


¿cuál es el proceso

de la evaluación de los niveles 3, 4 y 5?

Entidades del Ministerio Público

Consejo Académico

Delegados de Procesos Misionales

Directivos I.E.M.P.

Cooperación Internacional

Entidades Educación Formal e Informal

Misión

Visión

Directrices

POA’s

PlanTrienalCapacitación

Normatividad

EvaluacionesDesempeño

InstrumentosEvaluación

FacilitarlaformaciónintegraldelosservidoresdelMinisterioPúblicomediante:EducaciónContinuadaeInvestigación

Planear,diseñaryejecutarlaEvaluacióndelosprogramasdecapacitaciónenlosniveles3,4y5

Recursos:MECI,POA’s,InstrumentosdeEvaluación,Indicadores,FormatosdeRegistro

Proveedores Insumos Procesos


Dando continuidad al proceso de SeguimientoAcadémico,AdministrativoInternoyExterno17quese aplica a los programas de capacitación en elI.E.M.P. para N1 y N2; la Figura No. 1-4 presenta

17¿Cómo se construye, desarrolla y evalúa unprograma de capacitación en el I.E.M.P.? –Documento interno del I.E.M.P., 2008.

elCiclodel Procesode laEvaluaciónenN3,N4yN5, integrando en forma sistémica el proceso deevaluacióndelacapacitación.

Informes de Resultados Evaluación Nivel 3, 4 y 5

Proyectos de mejora

Identificación de nuevas necesidades capacitación

Ajustes al POA

Sistema de Información Evaluaciones de las

capacitación

Consejo Académico

Delegados y Dueños de Procesos Misionales

Responsable Unidad de Gestión Humana

Jefe División Capacitación

Personeros y demás servidores públicos

Funcionarios I.E.M.P.

Comunidad en general

Figura No. 1-4 - Ciclo del Proceso Evaluación Nivel 3, 4

y 5Resultado Clientes


¿Qué criTerios guían

la decisión de los niveles a evaluar? La decisión sobre cuáles programas evaluar y en qué nivelevaluarlos depende de muchos factores. Phillips y Stone, porejemplo, recomiendan18 evaluaciones de Nivel 3 para aquelloscontenidos que están dirigidos a modificar competencias dequienestienenquetratardirectamenteconelpúblicoylohacencasiinmediatamentedespuésdelosprogramasdecapacitación.

Enel I.E.M.P., ladecisióndeevaluar losNiveles3,4o5debedeterminarse en la fase de la Planeación de la Capacitación,considerandodosaspectosprincipales:

1.Determinar loscambiosesperadosen lascompetencias19delos servidores públicos de las entidades beneficiarias de loseventoseducativosdelI.E.M.P.

2.Determinarlarelacióndedichoscambiosconelcumplimientodelasmetasinstitucionales.

Teniendo en cuenta que las evaluaciones de N4 y N5 son lasqueimplicanmayoresfuerzo(complejidadycosto),losautoressugierenqueéstassereservenparaprogramasquecumplanunodelossiguientescriterios:

El ciclo de vida efectivo del programa está entre 12 y 18meses.

El programa es importante para la implementación de laestrategiaorganizacionaloparaalcanzarlasmetasmisionalespropuestas.

•

•18Phillips,JackJ.yStone,RonDrew.Op.cit.19 Manual para el Diseño Curricular para eventos

educativos del I.E.M.P., febrero de 2008.


El costo del programa representa un % significativo delpresupuestodecapacitación.

El programa está dirigido a un número relevante departicipantes.

Elprogramatieneunaaltavisibilidad.

La alta dirección ha expresado un interés particular en elprograma.

ElAnexo1-1presentaunamatrizqueconstituyeunaguíaprácticaparadefinirlosnivelesdeevaluaciónparalosniveles3,4y5.

Engeneral,elI.E.M.P.ylosresponsablesdelasáreasmisionalesdelasentidadesusuariastienenlaresponsabilidaddeparticipardesde el inicio del proceso, definiendo la pertinencia de losniveles a evaluar, interviniendo incluso en el diseño y en laentrega (enseñanza), cuando seaoportunopor la especialidaddelcontenido.Deestamanera,unavezfinalizadoelprograma,los diferentes stakeholders del proceso aseguran así que losconocimientos adquiridos se traducen en conductas clave,sosteniblesyperdurablesqueasuvezgenerenresultadosqueimpacteneláreay/olaentidad.ElAnexo1-2contieneunejemplopara la definición y desarrollo de objetivos y el Anexo 1-3 unejemploparaexplorarlasexpectativasdelosstakeholders.

•

•

•

•


¿cómo ejecuTar la evaluación?Unavezsehayanseleccionadolosmétodose instrumentosdemediciónyevaluaciónquesedefinenenlossiguientescapítulos,seprocedea:

1

2

3

4

5

Recolectarlosdatosdeacuerdoconlaperiodicidaddefinida.

Analizarlosdatosrecolectadosparaidentificarlabrechaentrelopropuestoylologrado.

Elaborarreportesderesultadosqueevidencienel nivel de aplicación de los conocimientos,los cambios generados por la transferencia,asícomolasfacilidadesydificultadesquesepresentaron,yelgradodesatisfaccióndelosinvolucradosenelproceso.

Proponerajustesconbaseenlosresultados,alosprogramasdecapacitacióny/oprocesosmisionales.

Sistematizarlosdatosenbasesquepermitansuanálisis.


¿Qué beneficios Tiene

regisTrar la información

de las evaluaciones?

Con la visión de un instituto que promueve el conocimientoinstitucional mediante la gestión del aprendizaje, el manteneren forma sistematizada el proceso de recolección, registro,protecciónyprocesamientodedatos,haráviableelcumplimientodelestenuevoenfoquedelI.E.M.P.

En este orden de ideas, garantizar el registro de datos de lasevaluacionespermitecrearunhistóricodelcomportamientodelagestiónde la capacitacióndel I.E.M.P.para realizar estudioscomparativos,paraevaluarlaefectividaddelserviciodelInstituto,ytomardecisionessobreposiblesintervenciones.

Todo lo anterior tiene como fin último fortalecer la gestiónde los servicios de capacitación e investigación del I.E.M.P.Èstos impactan la gestión de las diferentes dependencias dela Procuraduría General de la Nación (PGN) y Defensoría delPueblo(DP)ydemásentidadesdelMinisterioPúblico,asícomoel desarrollo integral de los servidores públicos. El proceso deevaluación de la capacitación se integra en los flujogramas yestándares operacionales que se presentan en el capítulo deconclusiones(Capítulo7).

esTrucTura del manual

capíTulo 2

Definición y alcance del manual

Este Manual contiene las definiciones, el alcance, la cobertura, las características y la estructura de los procesos de los Sistemas de Evaluación que permitirán a los responsables de su administración, comprender y poner en práctica la metodología, usar las herramientas y calcular los indicadores, para evaluar las acciones formativas facilitadas por el I.E.M.P.

capítulo 2. estructura del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón34 3�capítulo 2. estructura del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón34 3�

definición y alcance del manual

Esunaherramientaprácticaparaquelaspersonasresponsablestengan unas referencias conceptuales y metodológicas delsistemadeevaluacióndelacapacitaciónenelI.E.M.P.Suobjetivoesmejorar lacapacidaddeevaluaciónde los resultadosen losprogramasdecapacitaciónybrindaralI.E.M.P.,yalasentidadesdel Ministerio Público, una mayor capacidad analítica paraevaluarenquémedidalosprogramasdecapacitaciónalcanzansusmetasysetraducenenundesempeñoefectivo,eficienteycon una relación costo-beneficio favorable a sus intereses. Enotras palabras, cómo los contenidos contribuyen a acelerar eldesarrolloyfortalecimientodelascompetenciasdelosservidorespúblicos,afacilitarlatransformaciónorganizacional,aaumentarlaproductividadyaprestarunmejorservicioa losciudadanoscolombianos.

Siendo consecuentes con la metodología del Balanced Scorecard(BSC)quesehainstitucionalizadoenlaProcuraduría,sedefineneincluyenindicadoresderesultadoypredictivosenlascuatroperspectivasdelBSC(VerCapítulo5),quepermitenhacer seguimiento a los resultados y demostrar el valor quelos programasde capacitación tienen como inductores de lasestrategiasbásicasdelainstitución(capacidad,productividadysostenibilidad).

ElI.E.M.P.,comoparteintegraldesusistemadeevaluacióndelos programas de capacitación, debe además comprometerseen la estructuración de un sistema de información que lepermita manejar de manera eficiente todo el proceso desdelaplanificación,hastalaevaluaciónfinaldelosprogramas.En

El Manual se aplica a los programasde capacitación, susceptibles deevaluacióndetransferencia,impactoycálculodelretornosobrelainversión,con base en los procesos definidosy mediante el uso de instrumentosdiseñados para tal fin con laparticipación de los usuarios de losprogramas.

Se articula y es coherente con otrosprocesos, métodos e instancias delI.E.M.P. relacionados con la gestiónde capacitación, como el diseñocurricular, así como con los de lasentidades clientes, a saber: procesosmisionales, objetivos estratégicos,análisis ocupacional, selección ycarrera de personal; evaluación deldesempeño,queseencaminana


lamedidaenquelasinstitucioneseducativasdelpaísadoptannuevosesquemasdecapacitaciónfundamentadosensolucionese-learning21, el I.E.M.P. debe prepararse para asumir estaexigencia.Unsólidosistemadeinformación,quenonecesitasercomplejoensusinicios,contribuiríademaneracrucialaasumirestedesafío.

gestionar la relación del I.E.M.P. conlas entidades del Ministerio Público,y en particular con la ProcuraduríaGeneral de acuerdo con el modelo“Gerencia por Objetivos basada encompetencias”20,enelcualsedeclaralaformacomoelInstituto:

Gestiona el aprendizaje orga-nizacionaldelMinisterioPúblico.

Gestionaelservicio.

Gestiona internamente a la orga-nización.

Gestiona la interrelación con elMinisterioPúblicoengeneralyconlaProcuraduríaenparticular.

¿Cuáles son las características del Manual?

ElManual constituyeunaguíapráctica, sencilla ydeaplicacióninmediata para la Evaluación de los Niveles 3, 4 y 5 en losprogramas de capacitación que realiza el I.E.M.P. y que por sunaturaleza y/o relevancia requieren este tipo de evaluaciones.Plantealosrazonamientosmetodológicos;proveelasherramientasnecesarias para entender y realizar las evaluaciones (hojas detrabajo,plantillas,listasdechequeo,modelosdeencuestas,etc.),ypresentaejemplosprácticossobrecómoaplicarestasherramientas.Loanterior facilitaelentendimientoy laaplicacióndecadaunodeloscomponentesdelsistemadeevaluación,ypermiterealizaruna valoración sólida que genere confianza en los resultados ysirvacomovehículodemejoramientoydeplanificacióndefuturasiniciativasdecapacitación(diseñocurricular).

20 Tomado del documento “Concepto Gerencial”realizado para el I.E.M.P.por la GTZ y laorganizaciónFortaEsDer.

21 Esquemas de e-learning: Video-conferencias,podcasts, videocasts, webminars. (Ver definiciones enAnexo7-Glosario).


¿Cuáles son los beneficios del Sistema de Evaluación?

Entre losprincipalesbeneficiosque resultande lasevaluaciones,tantoparaelI.E.M.P.,comofacilitadordel aprendizaje organizacional, como para lasentidades del Ministerio Público usuarias de losserviciosdecapacitación,sedestacan:

AlinealasdecisionesquesetomanapartirdelosresultadosdelasevaluacionesconlasestrategiasdelasentidadesusuariasylasdelI.E.M.P.

OtorgaalosfuncionariosdelI.E.M.P.informaciónválidayconfiablesobrelaefectividaddelciclodecapacitación.

ProveeunrelacionamientoefectivoentreelI.E.M.P.ylasentidadesdelMinisterioPúblicousuariasdelacapacitación.

Revelaelniveldetransferenciadeconocimientoseimpacto.

Disponedemetodologíasyherramientasparahacerlasevaluacionesdemaneratécnica.

Conbaseenelcumplimientodelosindicadores,permiteproponermejorasenlosdiferentesprocesosdelacadenadelacapacitación.

EvidencialagestiónqueelI.E.M.P.realiza.

GeneravaloralagestióndecadaunodelosfuncionariosdelMinisterioPúblicoyenparticularalosdelaProcuraduríausuariosdelacapacitación.

¿Quiénes son los responsables

y cuáles sus roles en la Evaluación?

Parateneréxitoenlatransferencia,enlosresultadosyenelretornosobrelainversiónenlosprogramasdecapacitación,ademásderequerirdeunacuidadosapreparación de todos los aspectos mencionadosanteriormente,debenexistirciertosprerequisitos22:

FocoEstratégicoLiderazgoCapacidadparaplanificaryejecutarelcambioUnsistemademediciónderesultadosResultadospositivosenN1yN2Unesquemademotivación

En la correcta utilización del Manual por parte delos responsables de administrarlo y de todos losstakeholders del proceso, es importante tener encuenta que el desempeño de los individuos es unresultado conjuntode su capacitación ydel apoyoquereciban(VerFiguraNo.2-1).Porlotanto,existenciertos prerrequisitos, que se deberán cumplir conlosrolesquesedefinenacontinuación:

22Kirkpatrick,DonaldLand.Kirkpatrick,JamesD,Transferring Learning to Behaviour, Using the Four Levels to Improve Performance,SanFrancisco,CA,Berret-KoehlerPublishing,Inc.,2005.


Desempeño=f(Individuo,Entorno)

Entrenamiento Cargo Apoyo

Aprendizaje Desempeño Gerencia

ActitudesMotivaciónCapacidad

•••

ConocimientosHabilidadesConductas

•••

RetroalimentaciónExpectativasGuíasclarasdedesempeñoProcesosapropiados:herramientasymaterialesIncentivosfinancierosyno–financierosLiderazgoSelecciónAsignaciones

•••

•

•

•••

Figura No. 2‑1. Variables que impactan el desempeño

Fuente:McGregorMeetsGilberporFredNickols,2007.

capítulo 2. estructura del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón3� 3�capítulo 2. estructura del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón3� 3�

La Dirección del I.E.M.P. debe:

1. Definir lasEstrategiasdeMediciónyEvaluacióndetodoslosprogramas(N3,N4yN5).

2. Disponerde la informaciónde lasevaluacionesN1yN2.

3. PlanearlasaccionesdeevaluacióndetransferenciaeImpactoconsiderandolasparticularidadesdelacapacitaciónobjetodelaevaluación.

4. Obtenerlosrecursosfinancierosparaimplementarlasaccionesdelasevaluaciones.

5. Analizarydifundirlosresultadosdelosreportes.

El Jefe de la División Capacitación del I.E.M.P. debe:

1.ProponerlaEstrategiadeMediciónyEvaluacióndelosProgramasdeCapacitación.

2.Desarrollarprogramasrelevantesparalamejoraen el desempeño en los puestos de trabajo yrelacionadosconlaunidaddenegocio.

3. Diseñar ejercicios y actividades relacionadascon las necesidades y problemas del entornoorganizacional.

4.Desarrollary/oadaptarherramientasdemedicióny evaluacióndeacuerdo con losprogramasdecapacitacióneinvestigación.

5. Recolectar y procesar datos, información yevidencias con base en los instrumentos demedición.

6. Elaborar reportes de resultados de lasevaluaciones.

7. Analizar la información de los resultados de laevaluación y entregar reportes a las áreas deGestión Humana de las entidades beneficiariasdelaCapacitación.

8.Comunicarlosresultadosalproveedorquediseñóydesarrollóprogramasdecapacitación.

9.Revisaryre-diseñarlosprogramasbasadosenlosresultadosdeevaluaciones.

10.Desarrollarlasaccionesdemejoraenelciclodelacapacitación.

Los jefes de las Entidades del Ministerio Público deben:

1. Participar activamente en la definición de laestrategia e indicadores de desempeño de lacapacitaciónenN3,N4YN5.

2. Asegurar que el personal participe de losprogramasofrecidosyestableceracuerdossobrelasexpectativas.

3. Eliminar obstáculos y asegurar un caminolibre para la aplicación de los conocimientosadquiridos, garantizando el cumplimiento delosindicadoresdedesempeñoparaimpactarlosresultadosdegestiónanivelindividual,grupalyorganizacional.

4.Motivareincentivaralparticipanteaaprenderyaaplicarsuaprendizajealpuestodetrabajo.

capítulo 2. estructura del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón3� 3�capítulo 2. estructura del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón3� 3�

5.Acordarydivulgarplanesdeacción.

6. Hacer seguimiento y analizar con el equipoprimario del participante, los cambios comoconsecuencia de la transferencia y evaluar eléxitodelplanylaefectividaddelacapacitación.

7.Proponeraccionesdemejora.

Las unidades de Gestión Humana de las entidades deben:

1. Participar activamente en la definición de laestrategiaeindicadoresdedesempeño.

2. Administrar los resultados de las evaluacionesparaverificarlaalineacióndelacapacitaciónconlasnecesidadesdemejoradeldesempeño.

3. Identificar la brecha entre lo propuesto en lacapacitaciónylosresultadosdelaevaluacióndelosniveles3,4y5.

4. Plantear mejoras en la estrategia decapacitación.

5.Darretroalimentaciónalosparticipantesconbaseenlosresultadosdelasevaluaciones.

6. Diseñar estrategias de mejora del desempeñoque propicien la eficacia personal, grupal yorganizacional.

7.Establecerpolíticasdeincentivos23quefomentenelreconocimientoaldesempeñoexcelentecomoconsecuenciadelaaplicacióndelaprendizaje.

Los participantes de los programas de capacitación deben:1. Establecer acuerdos sobre el resultado que se

espera de su participación en el programa yejecutaraccionesquepermitancumplirlos.

2. Brindar información objetiva acerca de laaplicación del aprendizaje monitoreando sudesempeño(auto-observación).

3.Buscarconstantemente la retroalimentacióndelproceso de transferencia de los conocimientosadquiridos.

4.Desarrollaren formasostenible laaplicacióndelosconocimientosadquiridosdeacuerdoconelplandeacciónpreviamenteestablecido.

5. Participar activa y constructivamente en losprocesosdeevaluación.

Paraelcumplimientodeestasresponsabilidades,las personas implicadas requieren desarrollarun trabajo colectivo que genere sinergia enla realización del mismo, en cuanto a manejodel tiempo y construcción de acuerdos en laestrategiayensuimplementación.

23Ley909de2004,Título6,Capítulo1,Artículo36.

evaluación de las Transferencias de aprendizaje - nivel 3

¿PorquéesimportantelaevaluacióndeNivel3?

¿CómoeselprocesodelaevaluacióndeNivel3?¿Quésenecesitaparaqueocurralatransferenciadelaprendizaje?

¿Qué se considera óptimo para la evaluación deNivel3?

¿QuésepuedeesperardelaevaluacióndeNivel3?

capíTulo 3

“La transferencia del aprendizaje se define como la garantía de que los conocimientos y las habilidades adquiridas durante una intervención de aprendizaje sean aplicadas en el trabajo. La meta es que los/as alumnos/as transfieran el 100% de sus conocimientos nuevos a sus trabajos lo que daría como resultado un nivel más alto de desempeño y un mejoramiento en la calidad de los servicios en sus respectivos establecimientos”24.

El proceso de transferencia del aprendizaje consiste de una serie de tareas interrelacionadas que son desempeñadas por los/as supervisores/as, capacitadores/as, alumnos/as, compañeros/as de trabajo y algunas veces terceras personas (por ejemplo, reguladores/as oficiales del gobierno, usuarios/as, etc.) antes, durante y después de una intervención de aprendizaje a fin de maximizar la transferencia de conocimientos y habilidades y mejorar el desempeño en el trabajo.

24 Transferencia del Aprendizaje. Una Guía para fortalecer el desempeño del personal del campodelasalud.ProyectoPRIMEII.PublicacióndeJHPIEGOCorporation(www.jhpiego.org), afiliada a Johns Hopkins University. Marzo del 2002, con el auspicio de laUSAgenciaInternacionalparaelDesarrollodelosEstadosUnidos(USAID),Marzodel2002.

capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón42 43capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón42 43

El objetivo inmediato de la gran mayoría de losprogramasdecapacitaciónesquequieneslosrecibenpuedanaplicarlosensustrabajos.Latransferenciaes importante para los capacitadores, para losparticipantes, para sus jefes, para los compañerosde trabajo y para la institución en general, pormúltiplesrazones.

Al garantizar que se efectúa la transferencia deconocimientos, se está protegiendo la inversiónqueserealiza,semejoralacalidaddelosserviciosprestados y existe una mayor motivación de losparticipantes para desempeñarse mejor aplicandoloaprendido.

LaevaluacióndeN3secentraen laaplicacióndelo aprendido, en la integración y/o adaptaciónde los conocimientos adquiridos al entorno detrabajo, y busca fundamentalmente: identificarla frecuencia con la que se aplican en el entornodetrabajo losnuevosconocimientos/habilidadesoactitudesadquiridasymedir laefectividaddeesosconocimientosensuaplicacióneneldíaadía.

Estenivelrespondeapreguntascomo:¿hastaquépuntosehanmodificado loscomportamientosdelos participantes como producto del programa?,¿están los participantes utilizando las habilidades

¿por Qué es imporTanTe la evaluación de nivel 3?

y conductasque les fueronenseñadas?; ¿qué tanrelevantes son esas conductas y habilidades en elentorno en que se desempeñan?; ¿qué tanto elentorno, incluyendo los jefes del participante eincluso sus pares o compañeros de trabajo, sepresta y apalanca la utilización de los nuevosconocimientos/conductas?; ¿cuáles son loselementosqueusanmásyporquéhayelementosquenoseaplican?

Porlotanto,medirloscambiosesnecesario,nosóloparadeterminarsisehanmodificadolasconductasysisehaaprendido,sinotambiénparadeterminarlasrazonesporlascualeselcambioNOhaocurrido.

Al realizar evaluaciones de N3, las entidades delMinisterioPúblicoyelI.E.M.P.adquierenelementosde decisión para definir si el programa debe serrediseñado para lograr mejores resultados, si sedeben introducircambiosenelentorno laboral,osi sedebenmodificar los requisitosdeaccesoa laactividadformativa.

capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón42 43capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón42 43

Una vez tomada la decisión de aplicar la Evaluación de N3, yconbaseenlosresultadosdelaevaluacióndeaprendizaje(N2),sedebedarcumplimientoa tres subprocesos: selecciónde losmétodosdeevaluación,ejecuciónde laevaluaciónyregistroycierredelproceso (verfiguraNro3-1).Para laselecciónde losmétodos a emplear se deben tener en cuenta los siguientesaspectos:

Disponibilidaddedatoshistóricosconrelaciónalasevaluacionesdedesempeño,medicióndeclimaorganizacional,medicióndecompetencias,etc.

Validez de los instrumentos disponibles tales comocuestionarios,listasdechequeoparaobservación,evidenciasfotográficas,entrevistasestructuradasygruposfocales,paraobtener y hacer seguimientode los datos requeridospor laevaluación.

Disponibilidadderecursosydepersonalparaeldesarrollodelosmétodosdeevaluación.

•

•

•

¿cómo es el proceso

de la evaluación nivel 3?

capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón44 4�capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón44 4�

Fin

Niveles1y2

Definición,pertinenciaynivelesdeevaluación

Selección de métodosdeevaluaciónN3

EjecucióndelaEvaluaciónN3

Registroycierredelproceso

Fin

Figura No. 3‑1.Proceso de evaluación Nivel 3


Dependiendodelanaturalezadelprograma,ymásespecíficamentede losobjetivosa lograr,existeunavariedaddemétodosparaobtenerlosdatosrelevantesyrealizarlaEvaluacióndeNivel3.

Entrelasopcionesmáscomunesseencuentran:

Sondeosdeactitud.

Cuestionariosdeseguimientoparaparticipantesyjefes.

Observaciónenelpuestodetrabajo.

Entrevistasalosparticipantes,amiembrosdelequipodetrabajodelparticipante.

Focus Groups de seguimiento. Se recomiendanespecialmente cuando es necesario obtener muchainformación sobre qué tan bien el aprendizaje de unprogramaseestáaplicandoenelpuestodetrabajo.

Medicióndeproyectosrelacionadosconelprograma.

Planesdeacciónydemejora.

Contratosdedesempeño.

Sesionesdeseguimientoalprograma.

Definido el (los) método(s) de evaluación y desarrollado elinstrumentodemedición,esnecesariovalidarloconlasdirectivasy/o personas involucradas en el proceso, aplicando los ajustespropuestos para su efectividad. Lo anterior siempre focalizadoenlamagnituddelcambio,surelevanciaysostenibilidadeneltiempo.

a)

b)

c)

d)

e)

f)

g)

h)

i)


Previoalainiciacióndelprograma,losresponsablessu desarrollo deben determinar, dentro de lasopciones anteriores –u otras que se establezcan–,cuáles se van a utilizar para medir si hubo o notransferenciadeaprendizaje.Estosehaceteniendoencuentalosobjetivosquesehandefinidoparaelprograma25.Esposiblemedircadaobjetivoutilizandovariosmétodos,peroserecomiendanoutilizarmásde2o3instrumentosparaobtenerlosdatossobrelos cuales se vanaobtener las conclusionesde laevaluaciónNivel3.Adicionalmentealametodología,esnecesariodefinirlaperiodicidadofrecuenciadelaevaluaciónyelresponsabledelaevaluación,talcomoseproponeenlamatrizquesepresentaenlaFiguraNo.3-2.Estamatrizesunode los recursosqueseutilizanenlafasedeplanificaciónparadefinirquémetodologíaderecoleccióndeinformaciónsevaautilizar.

25 Los objetivos deben ser: específicos, medibles, motivadores, alcanzables, acordados, relevantes, realistas, y definidos en el tiempo.

26En el corto plazo es deseable que toda la información relativaa los proyectos de capacitación se almacene en un sistema deinformaciónmássólido,queutilicealgunabasededatosrobustaque permita obtener, procesar, modificar y reportar la información decadaproyecto.

Fuente:AdaptacióndeFocusedManagementdeColombiaconbaseentextosdelImperialExecutiveLeadershipDevelopment,ImperialNationalBank,PatriciaPulliamPhillip,de“How to Measure Training Results”deJ.J.PhillipsyR.D.Stoneydesarrollospropios.

EneldesarrollodelosobjetivosparaevaluarN3(verAnexo3-1)sedebebuscar responderapreguntascomo:

¿Qué conocimientos nuevos o mejorados seaplicaránaltrabajo?

¿Con qué frecuencia se deben aplicar estosconocimientos?

¿Quénuevastareasoiniciativasseharáncomoconsecuenciadelosconocimientosadquiridos?

¿Quénuevosprocedimientos,procesosoguíasseimplementarán,ocuálescambiarán?

ElformatosiguientesehadesarrolladoenExcel.Su diligenciamiento constituye el inicio de unsistema de información básico que contengala información relativa a cada proyecto decapacitación y que pueda ser manipulada confacilidad26.

a)

b)

c)

d)

e)


Figura No. 3‑2. Matriz de instrumentos de evaluación y periodicidad Nivel 3

Instituto de Estudios del Ministerio Público ‑ I.E.M.P.Evaluación Programas de Capacitación - Niveles 3, 4 y 5 Planificación proceso de evaluación Nivel 3

Programa Instructor

Fecha Horas LugarObjetivo General -Expectativas del Programa

DescribirelObjetivoGeneraldelProgramadeCapacitaciónylasexpectativasdelosdiferentesinteresados“stakeholders”(Procurador,Delegados,I.E.M.P.,Ciudadanía,etc.).

Objetivos Específicos Nivel 3 Método de Obtención de Información para Evaluación Nivel 31 2 3 4 5 6 7 8 9 10 11

1

2

3

4

5

6

1.SondeosdeActitud 2.CuestionariodeSeguimiento 3.ObservaciónPuestodetrabajo 4.Entrevistas

5.FocusGroups 6.ProyectosRelacionados 7.PlanesdeAcciónyMejora 8. Contratos Desempeño

9.Sesióndeseguimiento 10. Otro (Especificar) 11. Otro (Especificar)

Objetivos Específicos Nivel 3 Método de Evaluación

Periodicidad¿Cuándo medir?

Responsable

1

2

3

4

5

6

Comentarios:

capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón4� 4�capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón4� 4�

Ademásdelconocimientoserequieredeotraseriedeingredientescomo: voluntad, persistencia y disciplina de los funcionarios einclusodesuscompañerosdetrabajo.Asímismo,debenexistirunas condiciones para la efectividad de la transferencia talescomo:

¿Qué se necesiTa para Que ocurra la Transferencia del aprendizaje?

Elcambio,objetodelatransferencia,debeestaracordeconlasnecesidadesdelcargo,áreaylaentidad.

Losfuncionariosdebentenerlavoluntaddehacerlo.

Losfuncionariosdebenconocerconanterioridadquéseesperadeellosencuantoalatransferencia.

Losfuncionariosdebenlaborarenambientespropiciosparaelcambio.

Eljefedebefacilitarlascondicionesparaquelosfuncionariosapliquenloaprendido.

Eljefedebereconocerelcambiodadoenlaspersonas.

Losfuncionariosdebensentirseorgullososporlaaplicacióndelascompetenciasadquiridas.

Laentidaddebeestablecerincentivos,tangibleseintangibles,parareforzarlatransformaciónhacialasostenibilidad.

capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón4� 4�capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón4� 4�

¿Qué se considera ópTimo

para la evaluación de nivel 3?

1.Utilizargruposdecontrolcuandoseaprácticoyconveniente.

2.Dejarpasaruntiempoprudencialparaqueelcambioenlaconductaylaaplicacióndelconocimientoocurran.

3.Realizarunaevaluaciónantesydespuésdelprograma.Estaeslamejormaneradedeterminarquétantocambialaconductacomoresultadodelprograma.

4.Entrevistaraunoomásdelossiguientes“stakeholders”:losentrenados,sussupervisoresinmediatos,sussubordinados,yotrosquepuedanobservarlaconductadelosentrenados.

5.Encuestaral100x100delosparticipantes,oensudefecto,realizarunmuestreo.

6.Repetirlaevaluaciónenperiodosdetiempoapropiados.Algunosparticipantesmodificansuconductainmediatamentedespuésdelprograma,otrosmesesdespuésyalgunosnunca.Enlosdosprimeroscasos,esposibleinclusoque,sinoexisteunaevaluaciónrepetitiva,vuelvanalaconductaanterior.

7.Tenerencuentaelcostovs.losbeneficiosdelaevaluación.

Paraobtener informaciónyverificar losresultadosde latransferenciadecompetencias,seproponensieteguíasquedebenserconsideradasantesderealizarlaevaluación.

capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�0 �1capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�0 �1

Esprobablequenoseaprácticoestablecerungrupode control; o hacer una evaluación antes y otradespuésdelprograma;oquepordiversasrazones(porejemplo,dispersióngeográfica) sea imposibleevaluar a un buen número de los “stakeholders”o al 100 % de los participantes27. Bajo estascircunstancias, el realizar una sola evaluacióndespuésdelprogramarevelaconalgunaprecisiónla informaciónque se requiere conocer; evaluar a

27ElInternethacemásfácilellogrodeesteobjetivo.28 Kirkpatrick,DonaldLand.Kirkpatrick,JamesD,Implementing the

Four Levels. A Practical Guide for effective Evaluation of Training Programs, San Francisco, CA ,Berret-Koehler Publishing, Inc.,2007.

una muestra representativa de los participantespuedesersuficiente;yunaencuestabiendiseñadapuede sustituir parcialmente a una entrevista deprofundidad.

Donald y James Kirkpatrick recomiendan28realizarevaluaciones exhaustivas de Nivel 3 cuandose presentan una o varias de las siguientessituaciones:

Lasnuevasconductasoconocimientossoncríticosparalaejecucióndelaestrategiadelaorganización.

Setratadeunprogramapilotoyesimportanteconocersiloaprendidosepudeaplicaraltrabajo.


Elprogramaesdealtavisibilidady/oimpactoyporlotantoesimportantedemostrarsuvalor.

Lasconductasesperadassonmuydiferentesalasactuales.

Elprogramaserepetiráyporlotantoesimportanteasegurarquelasconductas/conocimientosconduzcanalosresultadosesperados(Nivel4).

EnelAnexo3-2 sepresentaunaguíapara laconstruccióndecuestionarios,entrevistasyeldiseñodeobservacionesenelpuestodetrabajo.LosAnexos3-3,3-4,3-5,3-6presentanejemplosdeinstrumentos(cuestionariostipo,listasdechequeo)quepuedenseradaptadosporelI.E.M.P.paraefectosdelaEvaluaciónN3.ElAnexo3-3esunejemplocompletodeuncuestionarioutilizadoenlaevaluacióndeunprograma;3-4detallalaconstruccióndelistasdechequeo;3-5,3-6sontambiénejemplosdecuestionariosqueserealizanantesydespuésdelacapacitación.


¿Qué se puede esperar

de la evaluación nivel 3?

El N3 mide la aplicación de las competencias traducidas encomportamientosobservablesyeneldesempeñodeldíaadíalaboral.Estecambiopuedeevidenciarsedespuésdelaformaciónoatravésdeunseguimientoeneltiempo,dependiendodelostemase interesesdelprograma.¿Cómohacerparaque tantolíderes como empleados transfieran lo que han aprendido enconductasquecontribuyanamodificarsuentornolaboral?.La práctica ha demostrado que éste puede ser el nivel máscomplejo de medir y probablemente el más importante puesN3 constituye el prerrequisito para garantizar el éxito de losprogramasenlosniveles4y5.Paralamayoríadelosprogramas,silosparticipantesnoaplicanloquehanaprendido,elprogramasepuedeconsiderarcomounfracaso,aúnsielaprendizaje(N2)hasidoexitoso.

No es realista esperar que se produzca un cambio en laconducta si no ha existido el aprendizaje apropiado. Paraasegurarelaprendizajeesnecesarioqueexistaunaatmósferapositiva (entorno, instructor, contenido, etc.) que satisfagaa los participantes (N1). También es un hecho que el serhumanotiendeamantenerseensuSTATUSQUOo“círculodemantenimiento”, antes que entrar en un proceso de cambio“círculo de transformación”, aún a costa de su efectividad.Justamenteesteeselaspectomáscrucialen todoprocesodecambiocultural.

evaluación de impacTo – nivel 4

¿PorquéesimportantelaevaluacióndeNivel4?

¿CómoeselprocesodelaevaluacióndeNivel4?

¿QuésepuedeesperardelaevaluaciónNivel4?

capíTulo 4

“Bajo la denominación de evaluación de impacto se entiende el proceso evaluatorio orientado a medir los resultados de las intervenciones en cantidad, calidad y extensión según las reglas preestablecidas. La medida de los resultados, característica principal de la evaluación de impacto, permite comparar el grado de realización alcanzado con el grado de realización deseado. Compara, de esta forma, la planeación con el resultado de la ejecución”29.

La evaluación de este nivel busca medir: a) el éxito del programa en función de los objetivos y de los indicadores previamente establecidos; b) la influencia e impacto que los aprendizajes ejercen en la unidad de trabajo, en el área, o en la entidad en general; c) la mejora en el desempeño individual en el puesto de trabajo; d) la contribución que los programas de capacitación hacen al desarrollo del recurso humano y la eficacia organizacional.

29DiezdeMedinayAbdala(2004).Manual para la evaluación de impacto en programas de formación para jóvenes,OrganizaciónInternacionaldelTrabajo,(Cinterfor/OIT),2004.

capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�6 ��capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�6 ��

¿por Qué es imporTanTe

la evaluación de nivel 4?

PorqueelI.E.M.P.debeasegurarquelosprogramassefocalicenen las necesidades del Ministerio Público y respondan asu estrategia; porque es necesario que todo programa decapacitaciónseaeficaz;porquesenecesitaconocerelimpactodelosprogramasparapoderestablecerprioridades;porquelosjefesesperanresultadosynecesitanrendircuentassobrelosrecursosempleados; porque toda iniciativa de cambio debe mostrarcómocontribuyea lasmetasdelaorganización,y,finalmente,porqueeslabaseparaconstruirunaorganizaciónqueaprendecontinuamenteygestionaelconocimientodemanerasistémica.

Elprincipalobjetivodeestenivelesevaluarelimpactodelprogramaen los resultadosdelMinisterioPúblicomediante lautilizaciónde indicadores, preferiblemente los denominados “indicadorescríticosdedesempeño”(KPIs)quepermitencompararun“antes”yun“después”.LaevaluaciónN4identificabrechasexistentes,aporta información que enriquece la toma de decisionesestratégicasytácticasquegenerenmejorasypotencializaelvalordelainversiónqueserealizaenlosprogramasdecapacitación.

LaevaluacióndeimpactolepermitiráalI.E.M.P.:

Registraryanalizarlainfluenciaqueejercen las experiencias (positivasy negativas) de los programas decapacitaciónsobrelosresultadosdelasentidadesdelMinisterioPúblico.

Difundir y discutir entre losresponsables de la gestión decapacitación, los aportes que losprogramas implementados hacenal cumplimiento de los indicadorespropuestos.

Informar,deformaclarayobjetiva,a los responsables de la toma dedecisiones sobre la marcha de losprogramas,lasbrechasidentificadasentre los resultados planeados ylos obtenidos. Esta retroalimenta-ción promueve el reforzamientoinstitucional.

Examinarconsecuenciasnoprevistasenlosbeneficiarios.

Disponer de la información pararealizarestudiosdecosto-beneficio.


TeniendoencuentaelModelodeKirkpatrick(MdK),JackPhillipsyRonnieD.StonesintetizanenunapublicacióndelASTD30, laevaluación de impacto que comprende una secuencia lógicadeochopasosqueseagrupanentresfases:Antes,DuranteyDespuésdelprograma(verFiguraNo.4-1).LaEvaluaciónNivel4 que se propone en este manual, se desarrolla, en su parteconceptual,deacuerdoalprocesodePhillipsyStoneyseiniciacon la exploración y decisión de evaluar el programa en estenivel31 y concluye con la comunicación de los resultados delprogramaatodoslosstakeholders.

La figura 4-1 evidencia la importancia de definir durante laetapadeplaneación la factibilidadde realizar laevaluacióndeNivel4(Paso1)ydehechodetodoslosniveles.UnavezsehadefinidounaestrategiadeevaluaciónyestaincluyeN4,sedebenestablecer losobjetivosdeevaluaciónparaN1,N2yN3 (Paso2),loscualesdebenestaralineadosconN4,paraasíprocederaplanificarlaevaluacióndetodoslosniveles(Paso3).Lospasos4y5seconcentranenlarecoleccióndelosdatosrelevantesparacadanivel.

30 Issue 9816. Level 4 Evaluation: Business results,1999-2000.Info-line.The How to Reference Tool for Training & Performance Professionals.

31Decisión que hace parte de la Estrategia deMediciónyEvaluación.

¿cómo es el proceso

de la evaluación de nivel 4?

capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�� capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón��

Antes del programa

Durante el programa

Después del programa

PHVA

Paso1Explorar

factibilidadde

evaluacióndeNivel4

Paso2Desarrollarobjetivos

paratodoslosniveles

Paso3Planificar

laevaluación

Paso4Obtenerdatosde

Nivel1ydeNivel2

PHVA

Paso5ObtenerdatosdeNivel3y

deNivel4

Paso6Aislarlos

efectosdelprograma

Paso7Analizarlosdatos

Paso8Comunicarlosdatos

Figura No. 4-1. Modelo para Medir el Impacto en la

Organización

Fuente:ASTD, Info-Line.Level4Evaluation:BusinessResults,AutoresJackJ.PhillipsyRonDrewStone

TiposdedatosFuentesdedatosMétodosdeobtencióndedatosTiemposparaobtencióndedatos

capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�� capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón��

Acontinuaciónsedetallanloselementosmásrelevantesdecadapaso.

anTes del programa

a).¿Es posible la Evaluación Nivel 4? Para responder a estapreguntaesnecesariocontestar:

i. ¿Sepuedenobtenerlosdatosqueseconsiderencomoevidenciadelosresultados?

ii. ¿Elprogramaes lo suficientemente robustoparacrearunimpactoenlosresultadosdelainstitución?

iii.¿Esposibleaislarlosefectosdelprograma?

b).¿CuáleselalcancedelaEvaluación?

c).¿Cuáles son los resultados a medir? Los diferentes“stakeholders” del programa pueden tener expectativasdistintas sobre los resultados esperados y es importantetenerabsolutaclaridadsobreloquesevaamedirenestenivel.

Enestepuntolomássencilloessimplementepreguntara

cadauno:¿quétipoderesultadosesperadelprograma?Alprincipiolasrespuestaspuedenservagas,porestarazónsedebeinsistirhastalograridentificarexpectativasconcretaspreferiblementeentérminoscuantitativos.

1. Explorar viabilidad de la evaluación Nivel 4

capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón60 61capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón60 61

Ladefinicióndeobjetivos32,quedebensercoherentesconlosobjetivosdecapacitación,permitealinearlaestrategiadeevaluaciónencadaunodelosniveles.Losobjetivosproveenelenlaceentrelasnecesidadesylaevaluación,yseestablecenentérminosderesultadosydesempeñosesperadosdelasunidadesquedebenserinfluenciadosomodificadosporelprograma.Elcumplimientodelosobjetivossemideatravésdeindicadoresquepuedenserdecalidad,decostos,detiempo,deservicioalciudadano,declimadetrabajo,etc.LaFiguraNo.4-2presentaunamatrizquesepuedeutilizarparavariospropósitos,unodeellos,identificarlosobjetivosdelprograma.

2. Desarrollar objetivos de evaluaciónpara todos los niveles

32Los objetivos se deben haber definido en la etapa de planificación del programa de capacitación y debenserresultadodelanálisisdenecesidadesque se realizó y dio origen al programa. VerCartillas: D.N.C. y Diseño Curricular.


3. Planear la evaluación

DelamismamaneracomoseplanteóparaelN3,enestepaso-queseejecutaantesdeiniciarelprograma-seidentificanlosinstrumentosylaperiodicidadparalarecopilacióndedatosdelosindicadoresquedebenserinfluenciadosporelprograma.Loselementosfundamentalesenestepasoson:elplanparalarecoleccióndedatos,determinarsiesposibleelusodegruposdecontrol,laseleccióndelosinstrumentos,lafrecuenciadesuuso(repeticionesdesernecesarias),elmomentoapropiadopara recopilar los datos (incluyendoel interés por hacerevaluacionesantesydespuésdelprograma),ylaobtencióndedatosapartirdelaevidencia.

LosmétodospararealizarlaevaluaciónsonsimilaresalosdelNivel3:

1. CuestionariosdeSeguimientoparaparticipantesyjefes

2. MedicióndeProyectosrelacionadosconelprograma

3. PlanesdeAcciónydeMejora

4. ContratosdeDesempeño

5. Sesionesdeseguimientoalprograma

6. MonitoreodelDesempeño

LamatrizdelaFiguraNo.4-2seutilizatambiénparafacilitarestasdefiniciones.Enlaparteinferiorsedebendetallarlosindicadoresquesevanautilizarparamedircadaunodelosobjetivos.


4. Desarrollo de indicadores

Los indicadores de desempeño deben seracordadospreviamenteporlosstakeholders delprocesodecapacitación.ConstituyenlacolumnavertebraldelaEvaluacióndeNivel4 y requieren un tratamiento especial. Sedebendefinirdemaneramuyprecisaparaqueexistaunentendimientototalsobresusignificado. A tal efecto, durante la etapade planeación, la información de cadaindicadorqueseconsiderenecesariomedir,se debe consignar en un “Diccionario deIndicadores”,similaralquesepresentaenlaFigura4-4yenelAnexo4-1.

La construcción de cualquier modelo osistema de indicadores se basa en trespreguntasbásicas:1)¿CuáleselIndicador?,2)¿Cómosecalcula?,y3)¿Cuálesson lasvariablesdeentrada?33.

Losindicadoressoncifrasqueseobtienenatravésdelanálisisdeactividadesyresultanderelacionarcantidadesprefijadasparaobtenervalores determinados. A cada indicador sedebevincularunametacuyocumplimientodaorigenaplanesdeacciónespecíficos.LaFiguraNo.4-3,presentaunformatosimpleparadesarrollarplanesdeacciónorientadosa cumplir con un objetivo particular ya establecer metas. La columna “PasosEspecíficos–VoyaHaceresto”consignalasaccionesnecesariasparaalcanzar lasmetas(Columna “Resultados Esperados - Paralograresto”).Lacomparaciónsistemáticadelos valores obtenidos ymás concretamentede la variación en el tiempo del valor delindicador,seutilizaparalatomadedecisionesyelmejoramientocontinuo.Laseleccióndelosindicadoresparamedirlosprogramasdecapacitación, depende de la naturaleza delprograma, de sus objetivos y del resultadoqueseesperaalcanzarunavezsedesarrolleelprograma.

33 Frederick W. Nickols, Frederick W “Finding the Bottom line payoff for training”. Publicado, en:elTraining and Development Journal delASTD,diciembre1979,pp.páginas54–63.


Figura No. 4-2. Matriz de instrumentos de evaluación, objetivos e indicadores Nivel 4

Instituto de Estudios del Ministerio Público ‑ I.E.M.P.Evaluación Programas de Capacitación - Niveles 3, 4 y 5 Planificación proceso de evaluación

Nivel 4Programa Instructor

Fecha Horas Lugar

Objetivo General -

Expectativas del

Programa

DescribirelObjetivoGeneraldelProgramadeCapacitaciónylasexpectativasdelosdiferentesinteresados

“stakeholders”(Procurador,Delegados,I.E.M.P.,Ciudadanía,etc.).

Objetivos Específicos Nivel 4Indicador de Desempeño

1 Objetivo1

2 Objetivo2

3 Objetivo3

4 Objetivo4

5 Objetivo5

1.CuestionariosdeSeguimiento

2.MediciónProyectosRelacionados

4. Contratos de Desempeño 5.SesionesdeSeguimiento

7. Otro (Especificar) 8. Otro (Especificar)

Objetivos Específicos Nivel 4MétododeObtencióndeInformaciónparaEvaluaciónNivel4

1 2 3 4 5 6 7 81 Objetivo1

2 Objetivo2

3 Objetivo3

4 Objetivo4

5 Objetivo5

Comentarios:

Fuente: Adaptación de Focused Management de Colombia (FMICol) con base en textos del Imperial Executive LeadershipDevelopmentImperial,NationalBank,PatriciaPulliamPhillip,deHowtoMeasureTrainingResultsdeJ.J.PhillipsyR.D.StoneydesarrollospropiosdeFMICol

capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón64 6�capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón64 6�

Figura No. 4‑3. Planes de acción

Instituto de Estudios del Ministerio Público ‑ I.E.M.P.Evaluación Programas de Capacitación ‑ Niveles 3, 4 y 5 Planes de acción ‑ Evaluación Nivel 4

Programa Instructor

Fecha Horas Lugar

Participante Cargo

Objetivo

Indicadoramejorar Valoractual

ValorMeta

Pasosespecíficos:Voyahaceresto Resultadoesperado:paralograresto

1 1

2 2

3 3

4 4

5 5

6 6

BeneficiosIntangiblesesperados:

Comentarios:


Todoloanteriorsignificaqueenlaprácticanoexistenindicadoresestándarparamedirel impactodeprogramasdecapacitación.Hoy en día, en las denominadas organizaciones con base enel conocimiento, el desempeño, además de medirse medianteindicadores de velocidad, eficiencia y resultados, se determinacadavezmásporfactorescomoporejemplo:experimentacióninteligente, ingenio, habilidades interpersonales, capacidad dereacciónyrecuperación34.

El Anexo 4-2 muestra una base de datos, que contiene másde300 indicadoresclasificadosendiferentescategorías35.EstabasededatossepuedeirenriqueciendoenlamedidaenqueelI.E.M.P.realiceevaluacionesdesusprogramasdecapacitación.

Losformatosanteriores,asícomoeldelaFigura3-2delcapítuloanterior,sehandesarrolladotodosenMSExcel.Sesugierequeenelcortoplazoestosformatosseconviertanaunsistemadeinformación robusto apoyado en una de las muchas bases dedatoscomercialesqueexistenenelmercadoy,preferiblemente,enunaplicativo especializado, lo cual daría agilidada todoelprocesodeevaluacióndelosdiferentesnivelesyengeneralalaadministracióndelosprogramas.

Unsistemaautomatizadopermitiríamantenerunrepositorioconinformaciónestructurada,válidaydefácilaccesoparatodoslosstakeholders,peroespecialmente,incrementaríalacapacidaddeplaneaciónyejecucióndelI.E.M.P.,alproporcionarherramientas,datos e información que permitan evaluar rápidamente losprogramasyanticiparseaproblemasydeficienciasfuturas,aligualquedesarrollarunacapacidaddeadaptabilidadyaprendizaje.

34Edmonson, Amy C, “The Competitive ImperativeofLearning”,en:Harvard Buisiness Review, July-August, 2008.

35Estos indicadores se obtuvieron manualmentedelaplicativoWLPScorecarddelASTydelLlibroHow to Measure Training Results,deJ.PhillipsyRonStone.


36Este Diccionario de Indicadores es un formato que se utiliza para definir Indicadores bajo la disciplina del Balanced Scorecard(BSC).EnelCapítulo6,setrataeltemadelBSCdesdelaperspectivadelaMediciónyEvaluacióndeProgramasdeCapacitación.

Figura No. 4‑4 Diccionario de Indicadores36

Instituto de Estudios del Ministerio Público ‑ I.E.M.P. Evaluación Programa de Capacitación ‑ XYZ DICCIONARIO DE INDICADORES ‑ Instructivo

ObjetivoProgramaDescribirlosobjetivosgeneralesdelprogramadecapacitación,sualcance,aquiénesestádirigidoyquéseesperalograr.Describirlasexpectativasdelosdiferentes“stakeholders”

ProveedorContenido

NombreEntidadqueproveelaCapacitación/Contenido

Instructor(es) Inicia dd/mm/aa Finaliza dd/mm/aa

Perspectiva PerspectivadelBSC Objetivo Objetivoacumplir Dueño Dueño del Objetivo

IndicadorNro. N-XX NombreIndicador NombredelIndicador Dueño Dueño del Indicador

DescripciónIndicador BreveDescripcióndetalladadelindicador.Enquéconsiste,quépretendemedir.

¿Sepuedenobtenerdatosqueseanevidenciaclaradelindicador?

Si/No¿Elprogramageneraunimpactomedibleenesteindicador?

Si/No

¿Sepue-denaislarlosefectosdelprogra-maparamediresteindicador?

Si/No

GradodeComplejidadparaobteneresteIndica-dor

Alto Medio Bajo

ProbableRelaciónCausaEfecto Descripcióndelarelacióncausa-efectoquedebegenerarelindicador.¿Quédebedeocurrirsisecumpleelindicador?

TipodeIndicador Pasado/Presente/Futuro Frecuencia

Frecuen-ciademedi-ción

Unidad

Unidaddemedicióndelindica-dor

Polaridad ¿Quétipodevalorsedesea:altoobajo?

FórmuladeCálculo Detallarlafórmuladecálculodelindicador

Fuente(s)delosDatos ¿Cuálessonlasfuentesquevanasuministrarlosdatosnecesariosparaelcálculodelindicador?

CalidaddelosDatos

¿Qué tan confiables son los datos y/o las fuentes quelossuministran?

Receptordelosdatos:

¿Quién(es)es(son)el(los)receptor(es)delosdatos?

MetasdelIndicador

Proponermetasparaelindicador(valores)segúnconveniencia:manual,semestral,trimestralomensual,otra

BasedeComparación ¿Cuáleselpuntodepartidaparaelindicador?.Da-tospreviosantesdelprogramadecapacitación

Justificación delasMetas Explicarlasrazonesquerespaldanlasmetasquesehanestablecido

NotasSupuestosComen-tarios Espaciopararealizarcomentariosconrespectoalindicadorquedebasertenidoencuentaduranteelprocesodeevaluación


duranTe del programa

Estainformaciónesuninsumo-input-paralasevaluacionesdetransferenciaydeimpacto.

5. Recopilar, registrar y procesar los datos de los Niveles 1 y 2.

después del programa

Consiste en la recolección de datos para calcular los indicadores relacionados con losobjetivosquesehanestablecidoparaelprograma.Losdatos-y/o los indicadores-ensumayoríadebenestardisponibles en las entidades,pueshacenpartedelprocesodeplanificaciónestratégica.Generalmente, losprogramasdecapacitaciónimpactanunoomás indicadoresdedesempeño,por lo tanto, laevaluaciónde impactocontemplaunacombinacióndedistintostiposdeindicadores.Losindicadoresseleccionadosylosmétodosde evaluación y recolecciónde información (ver Figuras4-2, 4-3 y4-4), determinan lacomplejidad del paso, los recursos, el tiempo y el costo necesarios para la efectuar laEvaluaciónNivel4.

6. Recopilar, registrar y procesar los datos de los Niveles 3 y 4.

capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón6� 6�capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón6� 6�

Todo programa de capacitación tiene comoobjetivogenerarunimpactoenlaentidad,elcual,enloposible,semideatravésdelosindicadoresquesehayanescogido.

Sin embargo, lo más común es que la variaciónen cualquier indicador no sea una consecuenciaexclusiva del programa de entrenamiento, sinotambién de otros factores, eventos y procesosinfluenciadores, así el programa haya sidodiseñado para mejorar resultados –indicadores–específicos.Enconsecuencia,almedirel impactode los programas vía la variación en uno o másindicadores, el cambio (positivo o negativo) quese presenta siempre es atribuible, además delprogramadecapacitación,afactorescomo:posiblesmodificacionesdeprocesosoprocedimientosquehayan tenido lugar, actualizaciones tecnológicas,programa de incentivos existente o que seestablezca,gradodeatenciónquelosjefesprestenaldesempeñoespecífico37,yfinalmenteafactoresexternos, por ejemplo cambios en el entorno,cambiosenlalegislación,etc.

DuranteelprocesodelaevaluaciónN4,escrucialidentificarlasvariablesqueinfluyenenlavariacióndelosindicadores.

Para ello, se debe recurrir a diversas fuentes,como por ejemplo: otros participantes en el

7. Aislar los efectos del programa.

programa,analistasdedesempeño,diseñadoresydesarrolladoresdelosprogramas,supervisoresdelosparticipantes,gerenciamediayalta,yenalgunoscasos, dependiendo del alcance del programa, ala ciudadanía. En todos los casos, como se tratadeestimativos,esnecesariovalidarlosyrealizarlosajustesnecesariosparaminimizarcualquiersesgoquepuedahaber.

Existeunaseriedetécnicasparaaislar,hastadondesea posible, los efectos del programa. Las máscomunes son: utilización de grupos de control,análisis de tendencias, proyecciones, estimativosrealizados por participantes, supervisores, la altagerencia,expertosy subordinados.Enel casodelasestimaciones,quieneslasrealizandebentenerautoridad (posición, conocimiento y experiencia)para hacerlas. De otra forma, el proceso pierdecredibilidad. El Anexo 4-3 presenta un formatobásicoqueayudaaaislarlosefectosdelprograma,loscualesdebenserdefinidosporlosparticipantesenelprocesodemediciónyevaluación.

37Seproducendosefectos:EldenominadoefectoHawthorn,enelcual.lasmejoresocurrenporquelaatenciónsefocalizaenellas;y el efecto Pigmaleon, por el cual los participantes mejoran sudesempeño, simplemente porque se espera que lo mejoren.

capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón6� 6�capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón6� 6�

Elobjetivoesentenderqué funcionócorrectamenteyquéno,afinde tomaraccionespreventivas. Estaactividadestáorientadaa validar el cumplimientodelpropósitode lacapacitaciónconlosresultadosdelaevaluación.

En el procesode análisis se deben tener en cuenta los siguientes aspectos: relevancia,consistenciayprecisióndelosdatos.Elanálisisdebehacerusodemétodosestadísticossencillos:resúmenes,comparaciones,relacionesentrevariables,dispersión,tendencias,etc.Noserequieredeejerciciosestadísticoscomplejos.Paralamayoríadelosprogramas,dosestadísticoscomunes,elpromedioyladesviaciónestándarproduceninformaciónvaliosa,especialmentecuandosecomplementanconunanálisisdecorrelaciónelcualestablecerelacionesentredistintasvariables.

Cuando el número de participantes en un programa es grande, no es práctico hacerevaluacionesconel100x100delosparticipantesysedebehaceraunamuestraválidadelapoblación.Siesteeselcaso,existenmétodosyaprobadosparaseleccionarunamuestraapropiadaquegaranticelaconfiabilidaddelosresultados38.

8. Analizar los datos

38Losmétodosestadísticospara loanteriornosonobjetodeestemanual. Se sugiere que se recurra a análisis sencillos y, en lamedidaqueseadquieraexperienciaolascondicioneslorequieran,se exploren mecanismos de análisis más sofisticados.

capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�0 �1capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�0 �1

EselpasofinaldelprocesoyconsisteenpresentaralasdiferentesdependenciasdelMinisterioPúblicolosresultadosdegeneracióndevalordelacapacitaciónanivelindividual,grupalyorganizacional.La comunicación de estos resultados como vehículo para dar a conocer la importancia de laevaluacióndebedirigirsealaaudienciaapropiadayestructurarseteniendoenmentelainfluenciaquepuedegenerarenaspectoscríticosparaelI.E.M.P.talescomo:estímuloalacredibilidad,apoyo,compromiso e interés a sus iniciativas, y asignación y aprobación de presupuestos para futurosprogramas.Elinformedebeserconciso.Sualcancelodeterminalasnecesidadesdelosstakeholders aquienessedirigeydebeconteneralmenos:a)unresumenejecutivo;b)datoseinformaciónquerespaldenlosresultados;c)explicacióndelametodologíadeevaluaciónydeobtencióndedatosyd)elanálisis,lasconclusionesylasrecomendaciones.Previoelinforme,esconvenientehacerselassiguientespreguntasconrespectoalaaudienciaalacualsevaadirigirelinforme:

¿Estánrealmenteinteresadosenrecibirlainformación?¿Cuáleselmomentocorrectoparaenviarleslainformación?¿Cómoprefierenqueselesinformesobrelosresultadosdelosprogramas?¿Puedenlosresultadosdelprogramaincomodar?

••••

9. Comunicar los resultados

Silascondicioneslopermiten,ydadalaimportanciadeesteniveldeevaluación,durantelospasosqueseincluyenenlasfasesantes,duranteydespués,esrecomendableaplicarlamuyreconocidametodologíadecontroldecalidadPHVA39(Planear,Hacer,ValidaryActuar),paragarantizarunprocesodeevaluaciónconresultadosmuchomásconfiables.

Lacomunicacióndelosresultadossepuederealizardeunavariedaddeformas.Normalmenteseutilizaalgúnsistemadeinformaciónquepermitaorganizarlosdatosdemaneraquesean fácilesdeentender 39“CiclodeCalidad”Demming.

einterpretar.LafiguraNo.4-5muestrauncuadrode control básico con información de resultadosclasificadosenseisdelasdimensionesmáscomunespara evaluar programas de capacitación. En estecaso,esimportantenotarqueenelmodelonosóloseestableceelvalorquesemide,sinoqueademáspresentaunabasedecomparación,quepuedeserlametaquesehabíaplanteado,unasituaciónanterior,unvalordeunaentidaddereferencia,otodas.


Figura No. 4‑5 Ejemplos de perspectivas e indicadores de evaluación

Instituto de Estudios del Ministerio Público ‑ I.E.M.P.Evaluación Programas de Capacitación

Ejemplo Tablero de Control ‑ Programa XYZPerspectivadeEvaluación/Indicador VALOR

1.ACTIVIDAD

Númerodeparticipantes 117

Númerodesitiosdondeserealizólacapacitación 16

Númerodesesionesdeclasedictadas 66 COMPARACIÓN

2.CALIDAD

% de Satisfacción con el Desempeño General del Programa 78 78% 73%

% de Satisfacción con el Desempeño del Instructor 87% 81%

%deSatisfacciónconelContenidoyconlaMetodología 71% 79%

3.EFECTIVIDAD

% de participantes que experimentaron ganancias significativas en conocimiento yhabilidades

65% 63%

4.IMPACTOPROYECTADO

%departicipantesquetienenplanesdeaplicarelconocimientoylashabilidadesadquiridas

33% 61%

% de participantes que esperan que el desempeño en su trabajo mejoresignificativamente

56% 64%

% participantes que proyectaron mejoras en el desempeño debido a la capacitación

4% 6%

5.RESULTADOS

%departicipantesqueesperanqueelprogramaimpacteenlaproductividad 67% 62%

%departicipantesqueesperanqueelprogramaimpactelacalidad 41% 61%

6.VALOR

% que califican la inversión (tiempo y dinero) en el programa como que valió la pena

50% 57%

Proyección Razón costo-beneficio 1,83 3,23

NOTA:EstaTabladeControlesunejemploilustrativodealgunosdelasperspectivasbajolascualessepuedeevaluarunprogramaounconjuntodeprogramasdecapacitación.Detallaalgunasde lasgananciasendesempeñoquepuedenseratribuiblesalacapacitaciónyvinculalacapacitaciónconalgunosdelosresultadosdelnegocio.


La figura anterior constituye sólo un ejemplo yno necesariamente un compendio de indicadoresestándares para medir y evaluar programas decapacitación,aunquealgunossepuedenutilizarenlagranmayoríadeprogramas.

Los indicadores críticos de desempeño siempreestán ligados a los objetivos del programa y a lanaturalezadelmismo.

Figura No. 4‑6 Ejemplo indicadores de evaluación

Evaluación Programas de Capacitación. Ejemplo de Tablero de Control ‑ Programa XYZ

Perspectiva/Indicador Referencia Meta Año2008

Ene-Mar Abr-Jun Jul-Sep Oct-Dic

Puntajes de Calificación Nivel 1

Desempeño de los instructores 92% 90% 68% 79% 92% 95%

Calidaddelprograma 90% 85% 80% 83% 82% 85%


Logrodelosobjetivosdeaprendizaje 70% 90% 85% 90% 90% 92%

Efectividaddelaprendizaje 75% 70% 80% 75% 78% 80


Númerodeinvestigacionesrealizadas 9 12 9 8 11 10


Productividadporempleado $1.190.000 $2.250.000 $2.600.000 $2.000.000 $ 2.800.000 $3.000.000

Tiemponecesarioparaproducirimpacto(días) 95 70 85 78 70 72

Vínculosalosresultadosdelaentidad

Calidad 85% 85% 90% 90% 90% 90%

Reducción/AhorrosTiemposdeproceso(T/%) 15% 20% 5% 8% 12% 15

Incrementodelaproductividad 10% 15 10% 14% 15% 16%

Ahorros $2.000.000 $2.500.000 $2.100.000 $2.100.000 $2.300.000 $2.400.000

Satisfaccióndelosempleados 75% 85% 83% 85% 80% 88%

Satisfaccióndelosciudadanos 65% 80% 76% 76% 78% 80%

Ladisponibilidaddeformatosdeevaluaciónesmuyamplia.Cadaorganización,enestecasoelI.E.M.P.,desarrolla lospropiosyellodependede laculturaque exista en la entidad y especialmente de ladefiniciónquesehagadelaestrategiadeMedicióny Evaluación. Por ejemplo, las Figuras 4-6 y 4-7presentanotrasalternativasdemostrarindicadoresseleccionados enotras dimensionesde evaluación(desempeño, operativos, financieros, culturales)diferentesalasquesemostraronenlaFigura4-5.


EnelAnexo4-4,sepresentanmodelosyejemplosadicionalesdeevaluaciónutilizandotablerosdecontrolquepuedenseradoptadosy/oadaptadosporelI.E.M.P.comoresultadodesuestrategíademediciónyevaluación.

EsimportantemencionarquequizáslaherramientamáspoderosadecomunicaciónqueexisteenlaactualidadeselBalanced Scorecard(BSC).Porestarazón,elúltimocapítulodeestemanualproponelautilizacióndelBSCcomounconsolidadormuyeficazparaevaluarlosprogramasdecapacitación,hacerleseguimientoalosobjetivoseindicadoresycomunicar/reportarlosresultados40.

40Inicialmentepropuestapor.Kaplan,R.Sy.Norton,D.P en su artículo “The Balanced Scorecard:Measures that Drive Performance”, en: HarvardBusiness Review, Enero – Febrero de 1992.LuegoformalmentedesarrolladaensuslibrosTheBalanced Scorecard: Translating Strategy intoAction,Boston,HBSPress,1996 ;TheStrategyFocusedOrganization,Boston,HBSPress,2001,yStrategyMaps,Boston,HBS,2004.

1y2

3

4

5

1.EnergíayEntusiasmo

2.Interacciónconparticipantes

3.PreparaciónyOrganización

4.Conocimientodelamateria

5.Incentivalaparticipación

6.AyudasAudiovisulaes

7.ComparativoInterno

8. Comprativo Externo

Figura 4‑7 Ejemplo de representación de indicadores de evaluación

Evaluación Programas de CapacitaciónEjemplo Tablero de Control ‑ Instructor XYZ

1 5% 20% 75%

2 5% 95%

3 100%

4 5% 20% 75%

5 15% 85%

6 15% 5% 80%

7 5% 20% 25% 50%

8 15% 5% 15% 65%

0% 20% 40% 60% 80% 100%


¿Qué se requiere para realizar la evaluación de Nivel 4?

Evaluar el impacto en los términos descritos puede ser máscomplejo que evaluar algunos de los niveles precedentes.No sólo exige que los niveles anteriores se hayan evaluado,sino que además requiere que en la organización exista lacultura apropiada de medición para hacerlo41, que se hayanestructuradoprocesosformalesdeevaluacióndeldesempeñoy,especialmente,queexistaelcompromisodetodoslosagentesqueparticipan,desdelaaltadirección,hastalasorganizacionessindicales.

41La Procuraduría recientemente ha adoptado lametodologíadelBalanced Scorecard,locualdebefacilitarlosprocesosdemedicióndeNivel4.


¿Qué se considera óptimo para la evaluación de Nivel 4?

DemaneracasiidénticaaloestablecidoparaN3,enelNivel4esdeseable:

1. Utilizargruposdecontrolcuandoseaprácticoyconveniente.

2. Dejar pasar un tiempoprudencial paraque losresultadosocurran.

3. Realizar una evaluación antes y después delprograma.Estaeslamejormaneradedeterminarquétantosehamodificadounindicadorcomoresultado del programa. En muchos casos estabase de comparación existe, pues se trata delos indicadores que maneja normalmente lainstitución.

4. Medir los indicadores en periodos de tiempoapropiados.

5. Tenerencuentaelcostovs.losbeneficiosdelaevaluación.

6. Cuando las pruebas no sean fácilmenteobtenibles,laevidenciapuedesersuficiente.

Lamayoríadelasconsideracionesquesehicieronenelparágrafo3.5anteriorsonválidasparaesteNivel.Valelapenamencionarqueenestecaso(EvaluaciónN4),generalmenteresultamuchomássencillomedirelcambioenunindicador(N4),puesenlamayoríadeloscasossetratadesituacionesconocidasyquesehanvenidomidiendo,comolaconductadelosparticipantes(N3)antesydespuésdelprograma.


Al evaluar el impacto que los programas decapacitacióndelI.E.M.P.tienensobrelosresultadosindividuales, de área y de la entidad, se obtienedatos e información que evidencian la efectividadde dichos programas, se genera confianza entrelos stakeholders implicados y las directivas de lasentidades del Ministerio Público, se fortalecen losprocesosmisionalesenlamedidaenqueseevidencianyreconocenloscambiosymejorasimplementadas,yseinfluyenenelclimaylaculturalaboral.

La evaluación Nivel 4 es altamente productiva ysus resultados mucho más contundentes en lasorganizacionesenlascualeslosdiferenteselementosqueconformantodoslosprocesosrelacionadosconlagestióndeltalentohumano(capacitación,bienestar,carrera, compensación, etc.) están integrados enunasolaárea42,paraqueseproduzcalasinergíaquegeneranlasevaluacionesNivel4.

Una buena evaluación N4, provee mucha de lainformaciónrequeridaporlamayoríadestakeholders

¿Qué se puede esperar

de la evaluación nivel 4

42PorejemplolaGerenciadeTalentoHumano.

involucrados en los programas. El ejemplo de laGráfica No. 4-8 ilustra un tablero de control quecontiene una serie de indicadores con los cualessepuede resumirel resultadodeunprogramadecapacitación.

Sin embargo, tanto en los círculos académicos yprivadoscomoenlosoficiales,cadavezlapresiónporlosresultadosylacompetenciaalinteriordelasorganizacionesporlaasignacióndelosrecursosesmayor.

Esto impulsaaquienessonresponsablesderendircuentas,abuscarjustificacionesmássólidasparalasinversionesencapacitacióneirmásalládelascuatroevaluaciones tradicionales y complementarlas conel cálculo del Retorno sobre la Inversión (ROI), talcomosehaceparacualquierotrotipodeproyectosdeinversión.Elcapítulosiguiente,cubreestequintonivel (N5) de evolución para los programas decapacitación.


Figura No. 4‑8 Ejemplo integración indicadores de control

Evaluación Programas de CapacitaciónEjemplo Tablero de Control ‑ Programa XYZ

Concepto NúmeroEvaluaciones

NúmeroEventos

Respuestas Satisfacción EfectividadAprendizaje

ImpactoenTrabajo

ResultadosNegocio

ValorPercibido

ComparaciónExterna 63% 4,52 3,8 4,2 3,55 4,32

ComparaciónInterna 1600 70 60% 4,25 3,9 4,28 3,47 4,15

Metas 1800 75 70% 4,33 4,12 4,3 4 4,8

NuestroPromedio 1450 76 65% 4,28 3,96 4,1 4,7 4,53

NombredelPrograma/Ciudad/Instructor










Nota: Para las variables 1 a 3 se deben definir códigos de colores con base en la unidad de medición. Para las variables 4 a 8 se deben definir códigos de colores con base en calificaciones 1 y 2 (rojo), 3 (amarillo oscuro), 4 (amarillo) y 5 (verde)

t

capíTulo 5

cálculo del reTorno sobre la inversión

nivel 5

¿Quéeselcálculodelretornosobrelainversión(Nivel5)?

¿CómoeselprocesodeevaluaciónenN5?

¿Cómo se definen los beneficios intangibles?

¿Cómoseconviertendatosavaloresmonetarios?

¿Cómocalcularloscostosdelprograma?

¿QuéseconsideraóptimoparalaevaluacióndeNivel5?

cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�0 �1cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�0 �1

ElRetornosobrelaInversión(ROI)esuníndicequeseexpresaentérminosdeunporcentajeyqueevalúalosbeneficiosfinancierosdecualquiertipodeinversiónoproyecto,comparadosconsuscostos.EnaquelloscasosenqueseaposibleyademássejustifiquehacerestecálculoparalosprogramasdecapacitacióndelI.E.M.P.,elROIseconvierteenunindicadormásquemuestraelvalordelacapacitaciónentérminosdesucontribuciónmonetariaalosobjetivosdelasdiferentesentidadesdelMinisterioPúblico43.ParaqueelprocesodeROIseaviable,debeposeerunascaracterísticasesenciales:

Sersimple,fácildeentenderydeimplementar.

Notomarmuchotiemponiexigirderecursosespeciales.

Nosercostoso.

Enotraspalabras,sedebeestablecerunbalanceentrefactibilidad,simplicidad, credibilidad, solidez, flexibilidad y costos, peroespecialmente,paraasegurar su funcionamiento yefectividad,se debe contar con la aceptación de todos los agentes y“stakeholders” del proceso, como son: el área de recursoshumanos, laaltagerencia, lasentidadesdelMinisterioPúblico,losinstructores,investigadoreseincluso,cuandoseapertinente,lossindicatos.

•

•

•

¿Qué es el cálculo

del reTorno sobre la inversión n5?

43En teoría todo programa de capacitación debeser susceptible de ser justificado en términos del Retorno sobre la Inversión; sin embargo, estajustificación puede no ser siempre necesaria, prácticaodeseable.


¿cómo es el proceso de evaluación en n5?

Jack Phillips y Ron Drew Stone desarrollaron un Modelo y unProcesoespecial parael cálculodelRetorno sobre la Inversión(ROI)enprogramasdecapacitación.LaTIRsecalculautilizandolafórmula:

En adición al ROI, otros dos indicadores de gran utilidad yestrechamente relacionados con el ROI son: 1) la relaciónbeneficio-costo del programa44, que resulta de dividir el valormonetario de los beneficios entre el costo; y 2) el período derecuperacióndelainversión.

Este capítulo se ha desarrollado tomado como referenciay adaptando a las circunstancias del Ministerio Público, losplanteamientosdePhillipsydeStone45cuyomarcoconceptualsevisualizaenlaFiguraNo.5-1.

roi =100 x (beneficios ToTales – cosTos del programa) / cosTos del programa

44Pesos retornados por cada peso invertido.Relaciones superiores a 1 son positivas entérminosdeROI,ymenoresa1generanunROInegativo.

45Philips, Jack y Stone, Ron, How to Measure Training Results: A Practical Guide to Tracking the Six Key Indicators,NewYork,porJackPhilipsyRonStone.McGraw-Hill,2000.


Desarrollarobjetivos

entrenamiento

Desarrollarplanesde

evaluaciónydatosbase

Obtenerdatosduranteentrenamiento

Obtenerdatosdespuésdel

dntrenamiento

Aislarlosefectosdel

entrenamiento

Instrumentosdeevaluación

PlaneaciónEvaluación Obtencióndedatos

Fuente:HowtoMeasureTrainingResults,JackJ.PhillipsyRonDrewStone.

Figura No. 5-1. El Modelo y el Proceso ROI

(1) (2)(4) (5)(3)


Esinteresantenotarqueesteprocesodediez(10)pasosesbastantesimilaraldescritoparalaEvaluaciónN4.Lospasos1a5(DesarrollarObjetivosdelaCapacitación,DesarrollarelPlandeEvaluaciónylosDatosBase,ObtenerDatosDurantelaCapacitación,ObtenerDatosDespuésdelaCapacitaciónyAislarlosEfectosdelaCapacitación)sonprácticamenteigualesalosdelNivel4,yporlotantoaplicanconsideracionessimilaresalasquesehicieronenelnumeral4.3delcapítuloanterior.EnelAnexo5-1,sepresentandosformatosguíaparaarecolecciónylaintegracióndedatos.

Apartirdelpaso6,ConvertirDatosenValoresMonetarios,elprocesosedireccionahaciaelcálculodelROI.AlgunasdelosresultadosquesehanidentificadoenelNivel4,debensermonetizados(Paso6).Estoesnecesarioparapoderestablecerunacomparaciónentrelosbeneficiosdelprogramayloscostosderealizarlo(Paso7),cuyoresultadosetraduceenelcálculodelROI(paso8).

Nosiempreesposibleodeseabletraducirbeneficiosentérminosmonetarios.Cuandoestoocurreesosbeneficiossimplementesereportancomobeneficiosintangibles(Paso9),quesiemresedebenincluirenelReporteoEstudiodeImpacto(Paso10),cuyaestructurayasemencionóenelcapítuloanterior.

Aislarlosefectosdel

entrenamiento

Convertirdatosenvaloresmonetarios

Calcularelretornoenlainversión

(ROI)

Identificarcostosdel

entrenamiento

Identificarbeneficiosintangibles

Generar estudio de impacto

Análisisdedatos Reportes

IndicadoresdeIntangibles

(6)

(7)

(8)

(9) (10)

cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�4 ��cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�4 ��

¿cómo se definen

los beneficios inTangibles?

Sonvaloresagregadosquenosepuedenexpresaroconvertirdemaneraobviaosencillaentérminosdeunvalormonetario,bienseaporquenoesfactibleaislarelefectoauncostorazonable,o porque simplemente se prefiere así. Un impacto en laorganizaciónquenopuedasermedidoentérminosmonetarios,nosepuedecompararconsucostodeejecución,porlotantono es posible calcular el costo–beneficio o el retorno sobre lainversión de ese programa. Ejemplos de beneficios intangiblesderivadosdeiniciativasdecapacitaciónson:mayorcompromisoorganizacional,mayortrabajoenequipo,retencióndeempleados,disminucióndequejas,reduccióndeconflictitos,satisfaccióndelosempleados,etc.46.Losbeneficios intangibles sonunaúltimadimensión que es importante considerar cuando se evalúanprogramasde capacitación.Muchosde los indicadoresque seobtienen en N1 y N2, pueden catalogarse como “beneficiosintangibles”47.

46 Todos los beneficios mencionados pueden ser monetizados, pero no siempre es práctico odeseablehacerlo.

47Philips,JackyStone,Ron.Op.Cit.p.45.


¿cómo se convierTen

daTos a valores moneTarios?

Para completar el proceso de cálculo del Retorno sobre laInversión(ROI)queevalúaelverdaderovalorde losprogramasde capacitación y entrenamiento, y los coloca en el mismonivel de otras inversiones que realice el Ministerio Público,es necesario expresar los resultados bajo un denominadorcomún: dinero. Los datos y/o indicadores se clasifican en dostipos: datos duros y datos blandos. Los primeros se refierena los indicadores tradicionales que existen en la entidad ygeneralmenterepresentanunresultado:lacalidad,loscostosoel tiempo de los procesos internos. Generalmente, los “datosduros” son objetivos, constituyen los indicadores comunes dedesempeño, son relativamente fáciles de medir, cuantificar yasignarles un valor monetario, y por su naturaleza, tienen unaltoniveldecredibilidadporpartedelaaltagerencia.Encuantoa los“datosblandos”,estos se caracterizanpor ser subjetivosenmuchoscasos,difícilesdemedir,cuantificaryasignarlesunvalordemaneradirecta.Sonmenoscreíblescomo indicadoresdedesempeñoypor logeneralsondetipoconductual.Comosemencionóanteriormente,elAnexo4-248incluyeunnúmeroextenso de ambos tipos de indicadores. Para efectos de laevaluación Nivel 5, dependiendo del programa a evaluar, sedeben seleccionar y/o diseñar los indicadores apropiados parasertransformadosenvaloresmonetarios. 48 Este compendio de indicadores es sólo una

referenciaynodebeconsiderarseexhaustivo.Eldiseño de los indicadores debe ser propio para cadaprogramaydependedelasexpectativasdelosstakeholders.


La transformación de los resultados en valores monetarios serealizautilizandounoovariosdelosmecanismosqueselistanacontinuación:

1.Convertirresultadosencontribuciones.

Elvalordelresultadoincrementalsepuedeobtenerodeterminarnormalmentedelosregistroscontables.Enlasentidadesdelsectorpúblico,elvalorgeneralmentesereflejaenlosahorrosacumuladosqueselogren.

2.Calcularelcostodecalidad.Elcostodecalidadesunindicadorimportanteencualquierorganización.

Comolamayoríadelosprogramasdecapacitaciónestánorientadosamejoraralgúntemadecalidad,sedebeestablecerunvalorparalamejoraenelindicadordecalidad.

3.Reduccióndetiempos.

Lareducciónenlostiempospararealizarunatareaesunobjetivocomúndemuchosprogramas,porlotantoesviablecalcularelahorroenmanodeobra.


Lostresmecanismosanterioressonlosmásdirectosysencillosdeutilizar.Enocasionesesnecesariorecurriraotros,notanobviosyquepuedensignificarunmayorgradodedificultadounmenorgrado de precisión y confiabilidad. Por ejemplo: uso de datoshistóricos,utilizacióndeexpertos internosyexternosparaqueestimenelvalordelasmejoras,utilizacióndeestimativosdelosmismosparticipantesenlosprogramas,odesussupervisores.

Ninguno de los métodos descritos produce un cálculo exactode losbeneficios,pero siunaaproximaciónbastante real,quesedebeutilizarconcriterioysustentarsólidamente.ElRetornosobrelaInversiónenrealidadesunindicadordelvalorpercibidoporlosstakeholders,ycomosemencionóantes,estevalorpuedeser,ydehecholoes,diferenteparacadagrupodeinteresados.

En ladefinicióndelmecanismoparavalorizar losbeneficiosesnecesariotenerencuenta:

a)Eltipodeindicador(duroosuave);

b)Elgradodeprecisiónqueofrece;

c)Ladisponibilidadyconvenienciadelosdatosaobtener;

d)Minimizareltiemporequeridoparahacerlaconversión;

e)Utilizarvariosmecanismoscuandoseaviabley

f)Cuandoseanecesariorecurriralaopinióndeterceros,asegurarsequeseanexpertoseneltema.

Enresumen,paraconvertirdatosenvaloresmonetarios,sedebenrealizarlossiguientescuatropasos:

Determinar la unidad de mejora. ¿Quéindicador debe ser impactado por elprogramadecapacitación?Porejemplo:tiempo para procesar expedientes,disminución del desperdicio, ahorro encostosdeviaje,etc.

Determinar el valor de cada unidad.¿Cuál es el valor de una unidad delindicador del paso anterior? Porejemplo, tiempo de procesamientode un expediente, una unidad dedesperdicio,valordelosviajes.

anexosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón��

Determinar cuál ha sido la variaciónenelniveldeldesempeño.¿Encuántovarióelindicadorduranteelperíodoqueseestáanalizando?

Calcular el valor monetario de lamejora. Es el resultado de multiplicarelvalordecadaunidad(paso2)porlavariaciónenelvalordelindicador.

LafiguraNo.5-2,esunejemplodeuncuestionariosencilloquefacilitalaidentificaciónyelprocesamientodelospasosanteriores.El ejemplohace referencia al tipodepreguntasque sedebenrealizarparaidentificarelvalordeloscambioscuandosetratadedatosdurosydatosblandos.Laspreguntassedebenadaptardeacuerdoalprograma.

anexosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón��


El segundo componente para el cálculo delRetorno sobre la Inversión es la identificación delos costos asociados al programade capacitación.Por logeneral,esmásfácilestimar loscostosquelos beneficios. Los costos tanto directos comoindirectos,debenserprecisos,confiablesyrealistas.Normalmente, las organizaciones tienen claridadsobre el presupuesto total de capacitación, perocon frecuencia se desconocen los costos de losprogramasespecíficos.Larelaciónentre loscostosy los beneficios de los programas de capacitaciónesdirecta.

En términos generales los diferentes rubros decostos se pueden clasificar en cuatro categorías:Análisis, Desarrollo, Ejecución y Evaluación. Siexistendatosconfiablesaniveldecentrosdecostosodeprocesos,paraobtenerunamayorprecisiónesposibleasignarlealprogramauncostorelacionadoconlosgastosgeneralesdelI.E.M.P.

¿cómo calcular

los cosTos del programa?

49Porejemplocuandoexisteinformacióncontableoadministrativaaniveldecentrosdeservicioscompartidos.

De la misma manera, asignar gastos distribuidosprovenientes de otros conceptos de gastos49,contribuye una mayor exactitud en el cálculo decostos y por ende del Retorno sobre la Inversióndel programa. Lo anterior completa la informaciónnecesariaparaelcálculodelROI.ElAnexo5-2presentadosposiblesformatosaserutilizadosenlavaloracióndeloscostosdelosprogramasdecapacitación.

Unopresentaundetalledeloscostosmáscomunesrelacionadosconunprogramadeentrenamiento.Elsegundomuestraunaguíaparaestablecerunapro-ratadeloscostosdeposprogramas.Estosformatos,comolagranmayoríaquesehanpresentadoenestemanual,debenseradaptadosalasnecesidadesyalarealidaddelI.E.M.P.,odelMinisterioPúblicoodelosprogramas.EsteanexotambiénsehadesarrolladoenExcelycomosecomentóanteriormente,loidealseríaqueformarapartedelsistemadeinformacióndelprocesodecapacitación.


Figura No. 5‑2 Determinación Valores Monetarios

Instituto de Estudios del Ministerio Público ‑ I.E.M.P.Evaluación Programas de Capacitación ‑ Nivel 5Tasa Interna de Retorno ‑ Valores Monetarios

Programa Instructor

Fecha Horas Lugar

ObjetivoGeneral-ExpectativasdelPrograma

Describir el Objetivo General del Programa de Capacitación y las expectatias de los diferentes interesados“stakeholders”(Procurador,Delegados,I.E.M.P.,Ciudadanía,etc.).

PREGUNTASAREALIZARSOBREDATOSDUROS

Pregunta Valor Comentarios

¿CuáleselValordeunaunidadadicionaldeservicio?

¿Cuál esel valor de reducir enunaunidadel indicadorde calidad?(desperdicio,errores,etc.)

¿Cuáleselvalordemejorarenunaunidaddetiempo

¿Cuántovalenlosahorrosencostosdirectosquegeneralamejora?

PREGUNTASAREALIZARSOBREDATOSBLANDOS

Pregunta SI/NO Comentarios

¿Estándisponiblesregistrosdeloscostos?

¿Existeunexpertointernoquepuedaestimarlosvalores?

¿Existen datos en otras entidades u organizaciones que se puedanutilizarparaestimarelvalor?

¿Puedenlossupervisoresdelosparticipantesenelprogramaestimarlosvalores?

¿EstálaAltaGerenciadispuestaaproveerunestimadodelvalor?

¿Losentrenadorestienenlaexperienciayelconocimientoparaestimarelvalor?


Ejemplo A.

Ejemplo B.Aumentoencostos,

mismoniveldebeneficios

Ejemplo C.Disminuciónencostos,

mismoniveldebeneficios

100 X

100 X

100 X

$ 10.000.000 ‑ $ 4.500.000

$ 4.500.000

$ 10.000.000 ‑ $ 7.000.000

$ 7.000.000

$ 10.000.000 ‑ $ 3.000.000

$ 3.000.000

= 111 %

= 43 %

= 233 %

Figura No. 5-3. Ejemplo Retorno sobre la Inversión

LafiguraNo.5-3muestraconunejemplosimpleelefectodeRetornosobrelaInversiónalincrementarodisminuirloscostosdelprograma,manteniendoelniveldebeneficiosconstante.


¿Qué se considera ópTimo para la evalación de nivel 5?

abcd

f

h

e

Utilizargruposdecontrolcuandoseaprácticoyconveniente.

Dejarpasaruntiempoprudencialparaquelosresultadosseden.

Medirlaproductividadoeldesempeñoantesdelentrenamiento.

Medir la productividad o el desempeñodespuésdelentrenamiento.

Medirlavariacióndelaproductividadoeneldesempeño.

Traducir la variación en términosmonetarios.

Restarloscostosdelentrenamiento.

CalcularelROI.

Siendo consecuentes con los desarrollos gerenciales de laProcuraduría, este sistema de información puede y debecomplementarse con el desarrollo de un Balanced ScorecardparaelProcesodeCapacitación.

Elcapítulosiguienteplanteaydesarrolla losconceptosbásicosquedebenformarpartedeesteúltimoelementodeevaluación.

balanced scorecard¿QuéeselBalanced Scorecard?

¿CómoseutilizaelBSC?

capíTulo 6

capítulo �. la evaluacIón de los InstruMentosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�6 ��capítulo �. la evaluacIón de los InstruMentosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�6 ��

¿Qué es

el balanced scorecard? La metodología del Balanced Scorecard (BSC) seha venido utilizando desde hace más de 15 añosparaayudaratodotipodeorganizacionesendostemas clave: medición efectiva del desempeño eimplementación y comunicación de la estrategia.El BSC consiste de la selección cuidadosa deobjetivoseindicadoresydeladescripcióndemetas

50Enocasionespuedeserrecomendableincluirotrasperspectivascomoporejemplo:entornoysatisfaccióndelosempleados.Estodependedelgradodedetallequesequieraalcanzary/odelimpactoquepuedantenerlasperspectivasadicionalesenlaorganización.

e iniciativas vinculadas con los objetivos quedefinenlaestrategiadecualquierorganización

(pública, privada o sin ánimo de lucro).La construcción del BSC se inicia con la

definiciónquesehacedelosobjetivoseindicadores.Todoindicadorserelacio-

naconunobjetivoydebeserasigna-doaunadelas4perspectivasdel

Balanced Scorecard (Financiera,Clientes/Ciudadanos, Proce-

sosInternosyAprendizajeyCrecimiento)50 (ver Figura

No.6-1).

Indicadores EstratégicosCómosevaamediryamonitorearelÉxito

VISIÓN¿Adóndesevaa

llegar?

ESTRATEGIA¿Cómosevaallegar?-Prioridades

Objetivos EstratégicosLoquesedebehacerparaimplementarlaEstrategia

CiudadanosProcesosInternos

AprendizajeyCrecimiento

FinancierosPresupuesto

CiudadanosProcesosInternos

AprendizajeyCrecimiento

FinancierosPresupuesto

Misión - Valores

Figura No. 6-1. Marco de Referencia BSC

capítulo �. la evaluacIón de los InstruMentosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�6 ��capítulo �. la evaluacIón de los InstruMentosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�6 ��

Definidos los objetivos y los indicadores de cadaperspectiva, se construye lo que se denominaun mapa estratégico, que se define como unarepresentacióngráficadeldestinode laorganiza-ción, en el cual, la totalidad de los objetivos/indicadores, se encuentran vinculados entre sí através de relaciones causa-efecto, que se derivande la estrategia de medición y evaluación de losprogramasdecapacitacióndelMinisterioPúblicoysepuedeaplicara toda laestrategiadecapacita-ciónoacadaunodesusprogramas.

51Objetivosdelaestrategiageneraldecapacitaciónydeinvestigación.

Perspectiva del cliente.Semanejanobjetivosrelacionadosconaquelloquelosprogramasdecapacitaciónofrecenalosdiferentes“clientes”delproceso.LosobjetivosdeNivel3sontípicosenestaperspectiva.

Perspectiva de aprendizaje y crecimiento.NormalmenteseincluyenlosobjetivoseindicadoresdelosNiveles1y2,ypuedetambiénincluiralgunosindicadorescorrespondientesalNivel3.

Perspectiva financiera.Seestablecenobjetivos/indicadoresquetenganunaimplicaciónfinanciera;porejemploretornosobrelainversión,retencióndeempleados,financiacióndelosprogramas,reduccióndecostos,presupuestodeoperación,etc.GeneralmenteseasimilanamuchosdelosobjetivosdeN4.ElobjetivodeRetornosobrelaInversión(N5)siemprehacepartedeestaperspectiva.

Perspectiva procesos internos.Seasocianaestaperspectivaaquellosobjetivosqueestánorientadosaproducircambiosenelcomportamientooenlosprocesosinternosdelaentidad.MuchosobjetivosdeNivel3puedenasignarseaestaperspectiva.

ElBalanced Scorecardyelmapaestratégicosondosherramientascomplementarias.Enelcasodelprocesodecapacitación,elBSCdebe incluir losobjetivosdelprograma general de capacitación51 sus respectivosindicadorescríticosdedesempeño(ICD)delosNiveles1a5, lasmetasparacada indicadory las iniciativasque se proponen para alcanzarlas. Este marco dereferencia encaja adecuadamente con el desafío demediryevaluarprogramasdecapacitaciónyhaceparteintegraldelametodologíayherramientaspropuestasporKirkpatrickensusmásrecientespublicaciones.

capítulo �. la evaluacIón de los InstruMentosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�� capítulo �. la evaluacIón de los InstruMentosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón��

Enelsectorprivado,estarelaciónseiniciadesdelaperspectivafinancieraypasandoporladeclientesyladeprocesosinternos,bajahastaladeaprendizajeycrecimientoatravésdeunasecuenciadepreguntassimilaresa:¿Cómoseexpresaeléxitofinanciero?,¿qué debemos hacer con los clientes para lograreste resultado?, ¿en qué procesos debemos serexcelentesparalograrlafidelidadysatisfaccióndelos clientes y cumplir la promesa de valor que seleshace?yfinalmente,¿quétipodeorganización,de conocimientos y de infraestructura tecnológicasedebedesarrollarparaquelosprocesosfuncionencomoseespera?

En el sector público normalmente las entidadesno buscan un objetivo financiero. Su misión porlo general, se expresa en términos de servicios ala ciudadanía, lo que se logra asegurando que secuenta con los recursos financieros para alcanzaresosobjetivos.LametodologíaparadesarrollarunBSCenelsectorpúblicoesexactamentelamisma.Ladiferenciaestribaenelfinúltimoyentérminosprácticosenlasecuenciadepreguntas.¿Cuáleslamisión de la organización? ¿qué servicios se vana proporcionar a los ciudadanos?, ¿mediante quéprocesos se van a lograr?, ¿qué organización sedebedesarrollar?y¿cómosevaafinanciar?,¿quéfuentesdeingresos(presupuesto)serequiereparaello?52.

53En ocasiones es aconsejable incluir otras como, por ejemplo,EntornoySatisfaccióndelosempleados.

Este marco de referencia encaja adecuadamentecon el desafío de medir y evaluar programas decapacitaciónyhaceparteintegraldelametodologíay herramientas propuestas por Kirkpatrick en susmásrecientespublicaciones.

A tal efecto, el BSC se constituye en unaalternativa adicional para que el I.E.M.P. gestionelos programas, monitoree su desempeño, tomedecisiones estratégicas y tácticas en el presentey en el futuro, identifique problemas, corrijadesviaciones y comunique a los delproceso los resultados. Partiendo de la estrategiageneral de capacitación y de los objetivosgeneralesyparticularesdecadaprogramaydesusindicadoresenlosnivelesdeevaluación,sepuedenutilizar las perspectivas tradicionales del BSC53(Financiera,Ciudadanos/Clientes,ProcesosInternosy Aprendizaje y Crecimiento) para estructurar unsistemadeinformaciónágil,quepermitavisualizaren una sola página, el estado y resultados tantodel programa global como de los programasindividuales.

52Nieven,Paul,BalancedScorecard.StepbyStep forGovernmentand Nonprofit Agencies, New Jersey, John Wiley & Sons Inc., 2003.

capítulo �. la evaluacIón de los InstruMentosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�� capítulo �. la evaluacIón de los InstruMentosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón��

¿cómo se uTiliza el bsc?

Enestemanual,elalcancequesedaalautilizacióndel BSC y a los mapas estratégicos es limitado.Se circunscribe a presentar la utilización de laherramienta como un medio para consolidar,retroalimentarycomunicarlosresultadosvitalesdelos diferentes niveles de evaluación y presentarlosde una forma gráfica, coherente que sea fácil deentenderyutilizar,queseafácildeentenderyutilizar,y permita, para luego ser utilizados dispuestos,como parte de un sistema de información másrobusto,ysiesposibleautomatizado,quefacilitelatomadedecisiones.TodoellocontribuyedemaneraimportanteaquetantoelI.E.M.P.comolasentidadesdelMinisterioPúblicoavancenenel caminohaciauna “Organización que Aprende”, las que PeterSengedefineenLaQuintaDisciplina54como:

“…organizaciones donde la gente expande continuamente su capacidad para crear los resultados que verdaderamente desean, en donde se alimentan modelos nuevos de pensamiento, en donde la aspiración colectiva es libre y en donde las personas aprenden continuamente a ver las cosas como un todo…”

LaprácticaconBSCrecomiendanoincluirunnúmeroexcesivodeindicadores.Porlogeneralacadaobjetivo

55 Este valor se refiere al punto de partida del indicador. Puede ser el valormásrecientedelindicador,unpromedio,etc.

seasignaun indicador,peroenalgunasocasionesaunobjetivoselepuedenasignardosindicadores.LaFiguraNo.6-2,presentaunadelasmuchasvariacionesquesepuedendardeunformatoestándardeBSC.El Anexo 6-1 contiene formatos que pueden serutilizados/adaptadosparadesarrollarunBSC.

Enlacolumna“NombreIndicador”seconsignanlosindicadores de cada perspectiva. A continuación elvalorbaseodereferenciadelindicador55yenseguidalametaquesehaestablecido.EnlascolumnassiguientesseestablecenloslímitesylosvaloresqueseconsideranInaceptablesyAceptablesyen laúltimacolumnaseanotaelvalordelindicadorquesehaobtienecuandoserealizalamedicióndespuésdelprograma.LaimplementacióndelBSCparaelprocesodeGestióndel Conocimiento en el I.E.M.P. y en el MinisterioPúblico, es una opción que debe ser analizada ala luzde laspolíticas yde losprocesosactualesdeGestión del Desempeño en la Procuraduría. Lomás recomendable es que se utilice el esquemaque actualmente se ha implantado y se adapte entérminos de los objetivos e indicadores apropiadospara los programas de capacitación, ya que estosconstituyenlaclavedeléxitodelBSC.

54Senge, P. M. The Fifth Discipline. The art and practice of the learning organization.London.RandomHouse.1990.

capítulo �. la evaluacIón de los InstruMentosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón100 101capítulo �. la evaluacIón de los InstruMentosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón100 101

Figura No. 6‑2 Formato Genérico de Balanced Scorecard

Instituto de Estudios del Ministerio Público ‑ I.E.M.P.Evaluación Programa de Capacitación ‑ XYZ

Balanced Scorecard ‑ Programas de CapacitaciónPERSPECTIVA Código NOMBRE

INDICADORVALORBASE

META RANGOSDELAMETA VALORREALINACEPTABLE ACEPTABLE

1.CLIENTES IC1 PuntajesdeEvaluaciónNivel3

Límite Valor Límite Valor

IC2 Númeroempleadospromovidos

IC3 Resultadoencuestadeclima

2.PROCESOSINTERNOS

IP1 Sesionesdecoachinglideradasporelgerente

IP2 Númerodepublicacionesrealizadas

IP3 Reducción en tiempos deprocesamiento

IP4 Entrevistas de seguimientorealizadas

3.APRENDIZAJE

YCRECIMIENTO

IAC1 CartadeFelicitaciónescritas

IAC2 Empleados Certificados

IAC3 Gerentes certificados como coaches

IAC4 DesarrollodeNuevosCursos

4.FINANCIERA IF1 TasaInternadeRetorno

IF2 Lealtaddelosempleados

IF3 CostosdeEntrenamientoporempleado

IF4 GastosDepartamentodeEntrenamiento


En este caso, como en las Evaluaciones de Nivel 3, 4 y 5, laherramientaqueseanexaesunahojaMSExcel,confuncionalidadlimitada. Por ejemplo, sólo se muestra el valor real para unamedición,cuandonormalmente lamediciónde los indicadoresse realiza periódicamente. Generar un BSC de esta manera,así como realizar evaluaciones N3, N4 y N5 con este tipo deherramientas100x100manuales,puedeimponerunacargadetrabajosignificativaydemandarrecursosadicionalesalI.E.M.P.yalMinisterioPúblico.

Elusodetecnologíasapropiadas,sibienrequierendeunainversióninicial en plataformas (hardware, software y comunicaciones),y posteriormente en su mantenimiento, es muy probable queenunplazocorto, lamayoreficiencia-costoytiempo-en ladiseminación, captura, procesamiento, análisis y generaciónde reportes, justifique adoptar estos nuevos esquemas tantopara la realización de temas específicos de capacitación quese presten para utilizar esquemas mixtos de e-learning yaprendizajepresencial,comoparaelcontroldetodoelprocesode capacitación, desde la evaluación de necesidades hasta laevaluaciónderesultados,incluidoelBSC.

Lomásapropiadoparael I.E.M.P.es iniciar,partiendodelBSCdel I.E.M.P., con un BSC y un mapa estratégico que refleje laestrategiageneraldemediciónydecapacitación; luego,en lamedida en que la organización y las entidades del MinisterioPúblicosehayansensibilizadodebidamente,sepuedeprocederyrealizarunprocesoencascada,atravésdelosobjetivosdelaestrategiageneral, enel cual sedesarrolleunBSCyunmapaestratégicoparacadaunodelosprogramas(verFigura6-3).

El llegar a un desarrollo como el propuesto anteriormenterequieredeunprocesoprogresivo.Antesdeincursionarconlametodología del Balanced Scorecard, es recomendable que seadquieraexperienciacon laelaboraciónde tablerosdecontrolcomolosquesepresentanenelAnexo4-4.


Figura No. 6.3BSC-Proceso en Cascada

Nivel Estratégico (BSC I.E.M.P.)

CulturadeVentas

MejorarHabilidades

Personal

AdquisicióndeTecnología

DesarrolloNuevos

Productos

ReducirCostospor

Unidad.

GestiónVisitasClientes

EvacuaciónInventarios

InformaciónPrecisa

MejorarprocesoAdministracióndeVentas

ParticipaciónMercado

SatisfacciónClientes

ServicioExcepcional

RendimientoRentable Desempeño

Operativo

ExpectativasSocios

ReducirTiemposProcesos

CLI

ENTE

SPR

OC

ESO

S IN

TER

NO

SA

PREN

DIZ

AJE

C

REC

IMIE

NTO

PercepciónClientes

CulturadeVentas

MejorarHabilidades

Personal


DesarrolloNuevos

Productos

ReducirCostospor

Unidad.



InformaciónPrecisa




ServicioExcepcional


Operativo

ExpectativasSocios


CLI

ENTE

SPR

OC

ESO

S IN

TER

NO

SA

PREN

DIZ

AJE

C

REC

IMIE

NTO

CulturadeVentas

MejorarHabilidades

Personal


DesarrolloNuevos

Productos

ReducirCostospor

Unidad.



InformaciónPrecisa




ServicioExcepcional


Operativo

ExpectativasSocios


CLI

ENTE

SPR

OC

ESO

S IN

TER

NO

SA

PREN

DIZ

AJE

C

REC

IMIE

NTO

FIN

AN

CIE

RA

FIN

AN

CIE

RA

FIN

AN

CIE

RA

PercepciónClientes


Nivel Táctico (BSC de cada programa)

CulturadeVentas

MejorarHabilidades

Personal


DesarrolloNuevos

Productos

ReducirCostospor

Unidad.



InformaciónPrecisa




ServicioExcepcional


Operativo

ExpectativasSocios


CLI

ENTE

SPR

OC

ESO

S IN

TER

NO

SA

PREN

DIZ

AJE

C

REC

IMIE

NTO

PercepciónClientes

CulturadeVentas

MejorarHabilidades

Personal


DesarrolloNuevos

Productos

ReducirCostospor

Unidad.



InformaciónPrecisa




ServicioExcepcional


Operativo

ExpectativasSocios


CLI

ENTE

SPR

OC

ESO

S IN

TER

NO

SA

PREN

DIZ

AJE

C

REC

IMIE

NTO

CulturadeVentas

MejorarHabilidades

Personal


DesarrolloNuevos

Productos

ReducirCostospor

Unidad.



InformaciónPrecisa




ServicioExcepcional


Operativo

ExpectativasSocios


CLI

ENTE

SPR

OC

ESO

S IN

TER

NO

SA

PREN

DIZ

AJE

C

REC

IMIE

NTO

FIN

AN

CIE

RA

FIN

AN

CIE

RA

FIN

AN

CIE

RA

PercepciónClientes

conclusiones

capíTulo 7

Es importante insistir nuevamente en que las herramientas que se han presentado y propuesto en los capítulos de este manual, son sólo ejemplos que siempre deben ser adaptados a la realidad del I.E.M.P. La experiencia en su uso conducirá a desarrollar listas de chequeo, entrevistas/sondeos/encuestas con algún grado de estandarización, indicadores duros y blandos, etc., que puedan ser reutilizados haciendo las adaptaciones necesarias. En resumen, en el diseño de la estrategia de medición y evaluación de los Programas de Capacitación del I.E.M.P., se debe tener como supuesto que el arte de gerenciar radica en la gerencia del conocimiento. No se trata solamente de administrar a las personas y las actividades que realizan, sino el conocimiento que poseen. Para ello, lo líderes de las entidades del Ministerio Público deben crear las condiciones que permitan a sus funcionarios generar, adquirir, interpretar, transferir y retener conocimientos aplicables y hacerlo de tal manera que se incentive el empoderamiento y la responsabilidad personal frente al aprendizaje y su aplicación sistémica a través de la modificación de conductas que respondan a esos nuevos conocimientos, para que generen el impacto deseado.

Al respecto, el I.E.M.P. debe liderar, promover e inspirar un ambiente apropiado para el aprendizaje en las instituciones del Ministerio Público y estruvcturar los procesos y procedimientos para que éste ocurra. En el proceso de medición de los diferentes niveles que se ha propuesto en este manual, es fundamental adquirir conciencia sobre el hecho de que la importancia de las métricas no está en sus valores absolutos, sino más bien en la variación que se presenta ya sea a través del tiempo – diferentes períodos de evaluación - o en la comparación que se puede realizar entre organismos del Ministerio Público o entre estos y cualquier otra entidad pública y/o privada. Los subprocesos asociados a la evaluación se resumen en los cuatro flujogramas y estándares operacionales que se presentan a continuación y que sirven como guía práctica para normalizar las actividades requeridas para asegurar los resultados esperados (ver figura No 7-1).

conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón106 10�conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón106 10�

Fin

inicio

Identificarprogramasaevaluar

Definirlosnivelesaevaluar

Estructuracióndeindicadores

Figura No. 7-1 Subprocesos de Evaluación - Flujograma y Estándares Operacionales

Instituto de Estudios del Ministerio Público ‑ I.E.M.P.Evaluación Programas de Capacitación ‑ Niveles 3, 4 y 5

Estándar OperacionalSubproceso:SELECCIÓNDEMÉTODOSDEEVALUACIÓN

Responsable:JEFEDIVISIÓNCAPACITACIÓNI.E.M.P.

Actividades Críticas

1.Determinarloscambiosesperadosenlascompetencias2.Determinarlarelacióndedichoscambiosconelcumplimientodelasmetasinstitucionales.3.Identificarlosinstrumentosdeevaluacióndeacuerdoconelnivelyconlosindicadores.4.Conseguiry/odiseñarlasinstrumentosdefinidos.5.Validarlosinstrumentosconlasdirectivasy/opersonasresponsablesdelproceso.6.Adaptaryajustarlosinstrumentosseleccionadassiserequiere.

Resultados esperados

-Instrumentosválidosyconfiablesquepermitanhacerunaevaluaciónobjetiva.

Materiales necesarios

-Listadechequeo“Criteriosparadefinirpertinenciaynivelesdeevaluación”.(verAnexo1-1)-Relacióndeprogramasdecapacitaciónaevaluar.-Figuras3-2y4-2yAnexos3-2,3-3,3-4,3-5,3-6-HerramientasdeevaluaciónexistentesenelI.E.M.P.oentidadesdelM.P-Listadeproveedoresdeinstrumentosdeevaluación.

Manejo Especial de Material

LosintrumentosseleccionadosdebenseracordestantoalniveldeEvaluaciónqueseplanearealizaryalosindicadoresqueseesperanmedir.Elmanejoquesedéaestosinstrumentosdebeserdecarácterconfidencial.

Elaboró Revisó Aprobó Código Fecha Hoja


Fin

inicio

Definicióndeinstrumentosde

medición

¿Sonlosinstrumentosapropiados?

Estructuracióndeindicadores

Ajustardiseño


Estándar OperacionalSubproceso:DEFINICIÓNDEPERTINENCIAYNIVELESDEEVALUACIÓN



1.RevisaryalinearlaEstrategiadeCapacitacióndelI.E.M.P.conladelasentidadesdelMinisterioPúblico.2.Revisarlaestrategiadeevaluacióndelosprogramasdecapacitación.3.Identificacióndeprogramasaevaluarapartirdeldiseñocurricular.4.Definirquénivelesdeevaluaciónaplicanencadaunodelosprogramasseleccionados.5.DefinirObjetivosdelaEvaluacióndeacuerdoalnivelseleccionado.6.Estructuracióndeindicadores


1.Programasaevaluarensusrespectivosniveles,alineadosconlaestrategiadelasentidadesdelMinisterioPúblico.2.Indicadoresdefinidos.


-PlanOperativoAnualI.E.M.P.ydelasentidadesusuarias.-Anexo1-1,1-2,1-3,3-1-ActasdelConsejoAcadémico.-Diseñocurriculardelosprogramas.-BalanceScoreCarddelI.E.M.P.ydecadaentidadusuaria.-Planesdecapacitación.


TeneractualizadasenelsistemadeinformaciónlascarpetasderegistrosdeEvaluacióndelaCapacitación.


Consecucióny/odiseño

si no

conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón10� 10�conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón10� 10�

Fin

inicio

Recoleccióndedatos

Procesamientodedatos

Elaboracióndereportesderesultado


Estándar OperacionalSubproceso:REGISTROYCIERREDELPROCESO



1.Garantizarelregistroderealizacióndelaevaluación.2.Archivarlosdocumentossoporteenlacarpetadeevaluacióndelacapacitación.3.ElaborarInformedeGestiónyResultadosmensual,trimestralyanual.


1.Registrosdeevaluacióndelacapacitacióndiligenciados.2.Informesdegestiónmensual,trimestralyanual.


-Registrosdeevaluacióndelacapacitación.-Sistemaparaelregistrodelosdatoseinformación.-Materialdeoficina.


TeneractualizadasenelsistemadeinformaciónlascarpetasderegistrosdeEvaluacióndelaCapacitación.


sino

¿Evaluaciónsatisfactoria?

Ajustes


Fin

inicio

Registarlosresultadosdela

evaluacióndelosprogramasdecapacitación.

Archivarlosregistrosdelasevaluaciones

Elaborarinformesdegestiónyresultados


Estándar OperacionalSubproceso:EJECUCIÓNDELAEVALUACIÓN



1.Recoleccióndelosdatos.2.Sistematizacióndelosdatosenbasesquepermitansuanálisis.3.Análisisdelosdatosrecolectados.4.Elaboracióndereportesderesultados.5.Realizacióndepropuestasdeajustealosprogramasdecapacitacióny/oprocesosmisionales.


1.ReportesdeResultadosdelaEvaluación.2.Sistemadeinformaciónconlosresultadosrecolectados.3.Propuestasdemejoraalosprogramasdecapacitacióny/oprocesosmisionales.


-Instrumentosdeevaluaciónválidados.-Plataformaparasistematizarlosdatosobtenidos.-FormatodeElaboracióndeInformes.-PlanOperativoAnual(POA).


Manejodelodatosenformaconfiable,conelsoportedelsistemadeinformación.


conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón110 111conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón110 111

Finalmenteycomocomplementoalosflujogramasyestándaresoperativos de las páginas anteriores, diez recomendacionesquesintetizanlosaspectosmásrelevantesenlaejecucióndelaestrategiademediciónyevaluación:

DefinirlaEstrategiadeCapacitación,MediciónyEvaluación

PlanificarelNiveldeEvaluaciónylosindicadoresantesdeprocederaprepararcuestionariosdeevaluación.Nosedebenhacerpreguntasquenoesténrelacionadasconunindicador.

Asegurarsequeelprocesodeevaluaciónpuedereplicarseyseaescalable, es decir, que no sea extremadamente exhaustivo nirigurosoyqueseaaplicablealageneralidaddelosprogramas,teniendoencuentalanaturalezadelcontenido.

Diseñar o seleccionar indicadores flexibles, que hagansentido, representen valor, sean comparables tantointernacomoexternamenteyseanflexibles.

Utilizar un enfoque razonable hacia la evaluación que tengareconocimientoyaceptaciónenelMinisterioPúblico,ypartadelhechodequesuobjetivoesmedircambiosenconductasqueocurrencomoresultadodelosprogramasdecapacitación.


Serconscientedequelosresultadosdelaevaluaciónpuedengenerarcambios.Elcambiodebeanticiparseysedebenplanificarescenariosderespuesta.

Asegurarsequelosindicadoresseleccionadosestánbalanceadosyrespondenalosinteresesdelosdiferentesparticipantesenelproceso.

Apoyar el proceso con la tecnología apropiada ensistemas de información que agilice la obtencióndedatosypermita laflexibilidadnecesariaparasuprocesamiento.

Ser consciente de que no todo programa se puede o debeevaluarentodoslosniveles.

Aprenderdelproceso.Iniciaradquiriendomaestríaenlosnivelesinferioreseirescalandohastaelscorecard.Enlasprimeras etapas incluir pocos indicadores y aumentarlosenlamedidaqueseadquiereexperiencia,sinexcederunmáximodecincoporperspectivacuandoseutilizaelBSC.


Yparaconcluir,cuatroreflexionesqueelI.E.M.P.sedebehaceralfinalizarcadaprograma:

¿Quésepretendíalograrconlacapacitación?,¿cuáleraelobjetivo?

1.

¿Qué seobtuvo realmente?Para responderestoesnecesarioponersobrelamesaloshechosreales,losdatosdetodoloqueseevaluó.

2.


¿Por qué se obtuvo lo que se obtuvo? ¿Por quéhubo, si es que sepresentaron, diferencias? Con frecuencia hay diferencias entre losobjetivosylarealidad.

3.

¿Quésedebehacerlapróximavez?a) ¿Quéactividadessemantienen?b) ¿Qué actividades se mejoran o se hacen de manera

diferente?

4.

anexos


Selección programas para la evaluación en cada uno de los Niveles 3, 4 y 5Criteriosparalaseleccióndeprogramas.Selecciónprogramas/intervencionesparaEvaluaciónNiveles4y5.Paso1:Escribaelnombrede10programasenlascasillasquecontienenlosnúmerosdel1al10.Paso2:Utiliceunaescalade1a5paraevaluarcadaprogramaenlosniveles4y5siguiendoloscriterioslistadosdesdelaAhastaF.Paso3:Sumelaspuntuacionesdecadaprograma,paradeterminarcuálessonlosquevaaevaluarenlosniveles4y5

Programa-Intervención

Criterios de Evaluación Nivel 4 y Nivel 5 1 2 3 4 5 6 7 8 9 10

A.Ciclodevidadelprograma.

B.Objetivosymetasestratégicas.

C.Costodelprograma.

D.Tamañodelaaudenciadurantetodoelprograma.

E.Visibilidaddelprograma.

F.Manejodeintereses.

PUNTUACIÓN TOTAL

Criterios para Nivel 4 y Nivel 5 Guía para la evaluación del nivel 4 y niveL 5

A.Ciclodevidadelprograma. 5=ciclodevidaentre12y18mesesomás(programaspermanentes);1=ciclodevidacortoypasajero.

B.Objetivosymetasestratégicas 5=altamenterelacionadosconlaimplementacióndelosobjetivosestratégicosdelacompañía;1=nohayrelaciónconlosobjetivosestratégicos.

C.Costodelprograma 5=muycostoso(20%omásdelpresupuestodecapacitación);1=nocostoso.

D.Tamañodelaaudenciadurantetodoelprograma

5=audienciaobjetivodelprogramamuygrande;1=pocaaudienciaobjetivodelprograma.

E.Visibilidaddelprograma 5=altamentereconocidoporlosprincipalesstakeholders;1=noreconocidoporlosprincipalesstakeholders.

F.Manejodeintereses 5=nivelaltodemanejodeinteresesenelprograma;1=nivelbajodemanejodeinteresesenelprograma.

anexo 1-1 niveles de evaluación


Selección programas para la evaluación en cada uno de los 5 nivelesCriterios para la selección de programas: Selección programas / intervenciones para Evaluación Nivel 3Nombre los programas que cumplan con los criterios a continuación. Determine cuáles merecen ser evaluados en el Nivel 3 durante el presente ejercicio marcando Sí o NoNombre los programasCriterios del

nivel 3

Marque Sí o

No

Programa 1 Programa 2 Programa 3 Programa 4 Programa 5 Programa 6

Cumplimiento del programa

SI NO SI NO SI NO SI NO SI NO SI NO

Programa de servicio al

cliente


Programa de ventas


Programa del call center


Programa de certificación patrocinado

por la organización


Nota: cualquier programa puede ser revisado para la evaluación del nivel 4 y 5. Adicionalmente, un programa que aplique para el nivel 3 de evaluación (que reciba respuesta SI), debe también ser revisado para la evaluación en los demás niveles. Con excepción del “Cumplimiento del Programa”, el cual usualmente no aplica para evaluaciones en niveles superiores.

Fuente: Jack J. Phillips and Ron Drew Stone, HOW TO MEASURE TRAININGRESULTS:ApracticalGuidetoTrackingtheSixKeyIndicators.McGraw-Hill,2002.


anexo 1-2 ejemplo desarrollo de objeTivos

Pasos en el desarrollo de objetivos cuando la capacitación es una

solución apropiadaNivel 5 y 4 Nivel 3 Nivel 2 Nivel 1

PrimerPaso.Identifiquestakeholdersquetienenuninterésenlosresultadosorganizacionalesenmedidascomoproducto,calidad,tiempoahorrado,costos,satisfaccióndelcliente,satisfaccióndelosempleados,disminucióndequejas,etc.

X

SegundoPaso.Consultealosstakeholdersapropiadosparaidentificarlasmedidasorganizacionalesespecíficasqueseveninfluenciadasporelprogramadecapacitación.Sigaelsiguienteejemploderesultadoorganizacional.Ejemplo:Reducirlasquejasdelosclientesenelcallcenterde200amenosde50pormes.Elexcesodequejasestácostando$300porquejaenpromedio.

X

TercerPaso.Consultealosstakeholdersparaidentificarlaconductadelosparticipantesqueinfluiráenlamejoradelosresultadosorganizacionales.

X

Fuente:JackJ.PhillipsandRonDrewStone,How to Measure Training Results: a practical Guide to Tracking the Six Key Indicators.McGraw-Hill,2002


anexo 1-3 expecTaTivas de los sTakeholders

Ejemplo: Preguntas para determinar las expectativas de los stakeholdersNIVEL DIRECTIVOS JEFES PARTICIPANTES

Nivel1.Reacción/Satisfacción

¿Quéesperaustedcomoresponsabledelosparticipantescuándoellosasistenaprogramasdecapacitación?

¿Cuálessonsuspreferencias(tiempo,ubicación,etc.)paraquesuscolaboradoresasistanalosprogramasdecapacitación?

¿Quéesimportanteparaustedcomoparticipantedenuestrosprogramas?¿Quéesperadeestaexperiencia?

Nivel2.Aprendizaje

¿Quéestrategiasapoyaránellogrodelaprendizajeorganizacional?¿Estádispuestoaproporcionarlosrecursosparalacapacitación?

¿Quéniveldeaprendizajeesperausted?¿Cúantotiempodará,tantoparaustedcomoparasucolaborardorparaqueestopase?¿Cómopuedeinvolucrarseustedenelprocesodeaprendizaje?

¿Quénecesitaaprender?¿Cómoestolobeneficiará?¿Cómolegustaríaaprender?¿Cuálessonlosmejoresmétodosdeaprendizajeparausted?

Nivel3.Aplicación/Implementacion

¿Quédeberíanhacerlaspersonasparacontribuiraalcanzarlosobjetivosestratégicos?¿Cómopuedeustedmanifestarsuapoyoparaquehayatransferencia?¿Cómopodemosayudarenesto?¿Estádispuestoaproveeerlosrecursosparaquehayatransferencia?¿luencetransfer?

¿Quédeberíansuscolaboradoressercapacesdehacerdespuésdeasistiranuestrosprogramadecapacitación?¿Cómopuedeustedcomprometerseantesydespuésdelacapacitaciónparaqueesosuceda?

¿Quénecesitaparaaplicarelconocimiento?¿Cómopodemosayudarparaqueustedapliqueelconocimiento?¿Cómodebenayudarleloscapacitadoresparaqueustedapliqueloaprendido?

Nivel4.Impactoenlosresultados

¿Quéproblemasuoportunidadesexistenquepodamosinfluenciarconelentrenamiento?¿Quéindicadoresnecesitalaorganizaciónparainfluirenelentrenamiento?¿Quéevidenciasnecesitaustedparademostrarquelosresultadoshansidologrados?

Sisuscolaboradoresaplicanloquehanaprendido,¿Cómosebeneficialaentidad?¿Quéotrosfactoresinfluyenenlosresultadosesperados?

Cuandoustedaplicalasnuevashabilidadesycomportamientos,¿Cómosebeneficialaentidad?¿Quéresultadosmejorarán?

Fuente:JackJ.PhillipsandRonDrewStone,HOWTOMEASURETRAININGRESULTS:ApracticalGuidetoTrackingtheSixKeyIndicators.McGraw-Hill,2002


anexo 3-1 guía para definición e implemenTación de objeTivos de evaluación nivel 3

Midiendo la aplicación de conocimientos y habilidades en el trabajoLosmejoresobjetivos

Identificancomportamientosquesonobservablesymedibles.Estánbasadosenlaobtenciónderesultados.Redactadosdeformaclarayespecífica.Especifícanlasmejoresquelosempleadostendránapartirdelentrenamiento.Puedentenertrescomponentes:

1.Desempeño:Quétienequecambiar/mejorarelempleadoendeterminadotiempodespuésdelentrenamiento2.Condiciones:circunstanciasbajolascualeslosparticipantesdebencumplirlastareasasignadas3.Criterio:gradooniveldecompetenciarequeridoparadesarrollarlastareasasignadas

DostiposdeobjetivosConocimientodeusogeneraldeconceptos,procesos,etc.Conductasbasadasenlahabilidaddedemostrarelusodeherramientas(almenosenunnivelbásico)

PreguntasClave:

¿Quéconocimiento,nuevoomejorado,seráaplicadoeneltrabajo?¿Cuáleslafrecuenciadeaplicacióndeesteconocimiento/habilidad?¿Quétareasnuevaspuedensercompletadas?¿Quépasosnuevosseránimplementados?¿Quéaccionescríticasseránimplementadas?



anexo 3-2 insTrumenTos de medición para los niveles 3, 4 y 5

a. ¿Cómo construir un cuestionario y una entrevista?

Pordefinición,loscuestionariosylasentrevistassonherramientasquepermitenhacer investigacionessistemáticasderecoleccióndedatosenlasque,utilizandounformularioenelprimercasoo en un encuentro cara a cara en el segundo, se presentanpreguntas estructuradas y formuladas a partir del objetivo delacapacitación,delinterésdelaevaluaciónydeltipodedatosquesepuedenmedir,yenlosquecomúnmenteparticipanlaspersonasbeneficiariasdelprogramaqueseestáevaluando,bienseademaneraindividualogrupal.

Laconstruccióndelosítemsqueseincluyenenloscuestionariosylasentrevistas,sigueunaseriedecriteriosquesemencionanacontinuación:

1. Determinar la Información que se quiere recolectar a partirdelobjetivodelprogramaquesevaaevaluar,identificandodatosoinformaciónsencilladerecopilarrelacionadosconloscambiospropuestos.

2. Definir las fuentes de datos más apropiadas para registrardichoscambios,talescomo,jefes,participantes,compañerosdetrabajo,etc.

3. Asegurar la disponibilidad de las personas implicadas en laevaluaciónconelfindepredecircuáleslaextensiónadecuada


(encuantoanúmerodepreguntasparaloscuestionariosoeltiempodeentrevista)quedichaspersonasestándispuestasaresponder.

4. Determinarel tipodepreguntasquesedebenutilizarenelcuestionario y/o entrevista: preguntas abiertas en las quelos entrevistados responden con sus propias opiniones,preguntasdeopciónmúltipleenlasqueseofreceunaseriederespuestasparaqueelentrevistadoseleccioneuna,preguntasdicotómicasqueserespondenconSIoNO.

5. Identificarenlaconstrucciónyformulacióndelaspreguntas,eltérminoqueespecifiqueconexactitudlainformaciónquesedesearecopilar:qué,cuándo,cómo,dónde,entreotras,asícomoutilizarlenguajesencillo.

6. Decidir el mejor orden para las preguntas y validar lainformaciónconlaspersonasencargadasdelaevaluación.

b. ¿Cómo diseñar una observación?

Lasobservacionesenelpuestodetrabajosonotraherramientade investigación con gran reconocimiento y uso dentro de laevaluaciónde losprogramasde capacitaciónenel nivel 3. Suprincipalpropósitoesobservardetenidamenteelcomportamientoy las actitudes de las personas, para identificar los cambioslogradosapartirdeunprogramadecapacitación.

Lospasosquesedebenseguirparaelaborarunaobservaciónenelpuestodetrabajoson:

1. Determinarelobjetivodelaobservación,loscomportamientosyactitudesquesevanaobservar.


2. Seleccionar los recursos que se utilizarán para registrarla información y diseñarlos o adaptarlos en caso de sernecesario.

3. Seleccionar y entrenar a la persona que realizará laobservación.

4. Planearaspectoscomoladuración,elsitio,elmomentoylafrecuenciadelaobservación.

5. Realizarlaobservación.

6. Registrar losdatosde laobservaciónutilizando los recursosseleccionados.

7. Analizareinterpretarlosdatos.

8. Elaborarconclusiones.

9. Reportar los resultados de la observación mediante uninforme.

Entre los recursos que permiten el registro de los datos sepuedenmencionarlossiguientes:fotografías,listasdechequeo,grabaciones (deaudio y vídeo),fichasde registro, entreotras.Vale la pena mencionar que los recursos que se utilicen, sonseleccionados a partir del tipo de observación que se decidarealizar:Directa(cuandosehaceunaobservaciónconcontactopersonalcon laspersonasqueseobservan)o Indirecta (con lautilizacióndegrabacionesuobservacionesprevias).Sibiendentrodeladescripcióntécnicadelasobservacionescomoherramientasdeinvestigaciónsemencionanotrasclasificaciones,paraefectosde laevaluaciónde la transferencia seconsideraquedebeserestructurada,prácticaysistemática.


anexo 3-3 cuesTionario de evaluación

InstitutodeEstudiosdelMinisterioPúblico-I.E.M.P.EvaluacióndeProgramasdeCapacitación

EjemploCuestionariodeEvaluaciónNiveles3,4y5ProgramadeDesarrollodeLiderazgo

NOTA:EsteejemploesúnicamenteutilizadoparamostrarPosiblespreguntasquepuedenserpreguntadasenuncuestionariodeseguimiento.Noesundocumentoqueestálistoparasuuso.

Instrucciones

1.PorfavorrespondaestecuestionariotanprontocomolorecibayenvíeloderegresoalaDivisióndeCapacitacióndelI.E.M.P.Pararesponder,esnecesarioquereflexionesobreelprogramadeDesarrollodelLiderazgoypiensesobrelasformasespecíficasenlasqueustedhaaplicadoloqueaprendióencadasesión.Serecomiendaquereviselosmaterialesdecadasesión.

2.Tomeeltiemponecesariopararesponderestecuestionario.Dérespuestascompletasyprecisas.Usteddeberesponderelcuestionarioen20minutosaprox.

3.Ustednecesitarásuplandeacciónpararesponderalgunaspreguntas.Porfavorrevíseloyasegúresequecadapáginaestácompletamentediligenciada.Adjunteunacopiadelplandeaccióncuandoregreseestecuestionario.

4.Seaobjetivoalresponder.Enningúncasosunombrenirespuestasserándivulgados.Sucuestionarioyplandeacciónseránrevisadosúnicamenteporsusuperiorinmediato.

5.Susrespuestasayudaránadeterminarelimpactodeesteprograma.Ustedrecibiráunacopiadelresumendelosresultadosendossemanas.

6.Encasodenecesitarmásinformaciónodeteneralgunaduda,nodudeencontactaralapersonaencargadadelaevaluación.

Copyright Jack J. Phillips and Performance Resources Organization.


Nombre:______________________________________________________________

Cargo:_______________________________________________________________

Actualmenteessupervisoroadministrador? Sí No

1.Acontinuaciónencontrarálosobjetivosdelprogramadeliderazgo.Despuésdereflexionarsobreelprograma,indiqueelgradodeéxitoalcanzandodeestosobjetivos.Porfavorverifiquequemarcósurespuestaalladodelítemcorrecto.

Conducta / Habilidad Ningún Éxito Poco Éxito Éxito Limitado

Bastante Éxito

Completo Éxito

A.Aplicarelprocesode11pasosdel proceso de fijación de metas.

B.Aplicarlos12pasosdelprocesodeplaneacióndelliderazgo.

C. Identificar las 12 competencias esencialesdeloslíderes.

D. Identificar 10 formas de obtener altos niveles de lealtad ysatisfacciónenlosempleados.

E. Aplicar el concepto de FalloDiferidoencincoescenarios.

F. Aplicar el proceso de solucióncreativa de problemas para losproblemas identificados.

G.Identificar las 7 mejores manerasparaconstruirrelacionespositivas.

H. Aplicar los cuatro pasos paraenfrentar errores, dada unasituacióneneltrabajo.

I. Practicar las 6 formas paramejorar la efectividad de lascomunicaciones.


2.¿Implementóplanesdeaccióneneltrabajocomopartedelprogramadeliderazgo? Sí No

SisurespuestaesSÍ,completeyenvíesuPlandeAcciónconestecuestionario.SirespondeNO,porfavorexpliqueporquénolohizo.

Completesuplandeacción.__________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

3.Porfavorcalifique,conunaescalade1a5,larelevanciadecadaelementodelprogramaensutrabajo.Marque(1)cuandonosearelevantey(5)cuandoseamuyrelevante.

DiscusionesdeGrupo 1 2 3 4 5

Discusionesenequipos 1 2 3 4 5

Ejerciciosdehabilidades (juegoderoles,etc.) 1 2 3 4 5

Contenidodelprograma 1 2 3 4 5

Acompañamiento y Críticas 1 2 3 4 5

ProyectosEspeciales (Plan de liderazgo, descripción deltrabajo,ahorros,etc.) 1 2 3 4 5

4.¿Hautilizadoelmaterialescritodesdequeustedparticipóenelprograma? Sí No

Porfavor,explique.____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________


5.Enlassiguientesáreasderesultado,porfavorindiqueelniveldemejora,apartirdelaparticipaciónenelprogramadeliderazgo,enlosúltimosmeses.Revisequelarespuestaestáalladodelítemcorrecto.SisurespuestaesSÍ,completeyenvíesuPlandeAcciónconestecuestionario.SirespondeNO,porfavorexpliqueporquénolohizo.

ÁreadeResultadoNo

Oportunidaddeaplicar

NingúnCambio

AlgúnCambio

CambioModerado

CambioSignificativo

CambiomuySignificativo

A.Organización

1)Priorizaractividadesdiarias

2)Aplicartécnicascreativas

3)Organizaractividadesdiarias

4) Incrementar el nivel dedesempeño estándar en el área deresponsabilidad

B.ClimaLaboral

1) Acompañamiento

2) Aplicar técnicas queinfluencien la motivación en el trabajo

3) Implementar acciones queinfluencien la baja rotación de personal

4) Implementar oportunidadesparaenriquecereltrabajo

5) Aplicar técnicas quepromuevanunmejorequipodetrabajo


ÁreadeResultadoNo

Oportunidaddeaplicar

NingúnCambio

AlgúnCambio

CambioModerado

CambioSignificativo

CambiomuySignificativo

C.ResultadosPersonales

1) Mejoras en comunicacionesescritas

2) Mejoras en comunicacionesorales

3)Incrementodelniveldeauto-confianza

4)Creacióndelplanpersonaldeliderazgo

6.Seleccionelastres(3)conductasohabilidades,delasmencionadasanteriormente,quemáshayautilizadocomoresultado del programa (conductas específicas como: incrementar la delegación en los empleados, mejorar lacomunicaciónconlosempleados,participacióndelosempleadosenlatomadedecisionesysolucióndeproblemas,etc.)A)___________________________________________________________________________________________

B)__________________________________________________________________________________________

C)__________________________________________________________________________________________

7.¿Quéhacambiadoenustedysutrabajocomoresultadodesuparticipaciónenesteprograma?(conductasespecíficascomo:incrementarladelegaciónenlosempleados,mejorarlacomunicaciónconlosempleados,participacióndelosempleadosenlatomadedecisionesysolucióndeproblemas,etc.)____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________


8.¿Cómosehabeneficiadolaentidadconsuparticipaciónenelprograma?Porfavoridentifiquelogrosy/omejorasespecíficasqueustedconsiderequeestánrelacionadasconlaparticipaciónenelprograma,(Piensesobrecómolasmejorasrealmenteinfluencianlosresultadosdelnegocio:incrementodeingresos,satisfaccióndelcliente,satisfaccióndelosempleados,ahorrosencostosytiempo,etc.)____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

9. Reflexione sobre sus logros específicos mencionados anteriormente, y piense en posibles maneras en las quepodránconvertirseenvaloresmonetarios.Juntoconelvalormonetario,porfavorindiquelabasequeustedutilizaparasucálculo.

MontoEstimado:$_________________________

Semanal Quincenal Mensual Anual

¿Cuáleslabaseparasuestimación?(Cuáleslainfluenciadelbeneficioycómolaconvirtióenvalormonetario)

__________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

10.¿Quéniveldeconfianzaustedidentificaenlaestimaciónmonetariadada?

_________%Confianza(0%=NoConfianza,100%=MuchaConfianza)

11.¿Quépartedeese%deconfianzafuerealmenteinfluenciadoporlaaplicacióndelconocimientoohabilidadesdesarrolladasenelprogramadeliderazgo?

_________%Mejora(0%=Ninguna,100%=Total)


12.¿CreequeelProgramadeLiderazgorepresentaunabuenainversiónparalaentidad? Sí No

Porfavorexplique.____________________________________________________________________________________________________________________________________________________________________________________________________

13.IndiqueelalcancequeustedconsiderequelaaplicaciónlosconocimientosyhabilidadaprendidosenelprogramadeLiderazgohantenidoenlossiguientesresultadosdelaentidaddesdesupropiotrabajooeldesuunidad.

Resultado Noaplica Aplicaperono Influye

Algunainfluencia

Influencia moderada

Influencia significativa

Influencia muy

significativa

A.Resultadoeneltrabajo

B.Calidad

C.ControldeCostos

D. Eficiencia

E. Tiempo de respuesta aclientes

F.CiclodelosProductos

G.Ventas

H.RotacióndePersonal

I.Ausentismo

J.Satisfaccióndeempleado

K.Quejasdeempleados

L.Satisfaccióndelcliente

M.QuejasdelCliente

N.Otro(¿Cuál?)

Porfavorciteejemplosespecíficosoproveadetalles:_____________________________________________________


14.¿Québeneficiosadicionalessehanderivadodeesteprograma?______________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

15.¿Québarreras,silashay,haencontradoustedqueledificultenusarlosconocimientosyhabilidadesaprendidosenelprogramadeLiderazgo?Marquetodaslasqueapliquen.

NohetenidolaoportunidaddeusarlashabilidadesNohetenidotiemposuficienteparaaplicarlashabilidadesMiambientelaboralnoapoyaelusodeestashabilidadesocomportamientosMisupervisornoapoyaestetipodeprogramasEstematerialnoaplicaparamitrabajoEstematerialnoaplicaparamitrabajoOtro(¿Cuál?):________________________________________________________________

Siseleccionóalguno,porfavorexpliquesiesposible.______________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

16.¿Quécondiciones,silashay,lehanayudadoausarlashabilidadesyconocimientoobtenidoenesteprograma?______________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

17.¿Quéayudaadicionalpodríaserdadaporsusupervisorparaaplicarlashabilidadesyconocimientosaprendidosenelprograma?______________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

18.¿Quésolucionesadicionalesustedrecomiendaparaalcanzarlosmismosresultadosqueelprogramadeliderazgohainfluenciado?______________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________


19.¿Recomendaríaesteprogramaaotraspersonas?Sí No

Porfavorexplique.SiNo,¿porquéNo?;SiSí,¿quégruposyporqué?________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

20.¿Quésugerenciastieneparamejoraresteprograma?________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

21.OtrosComentarios:________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

Fechadelaúltimasesión:___________________________________

Porfavordevuelvaestecuestionario,juntoconsuplandeaccióna:_________________________________________


anexo 3-4 insTrumenTos de medición nivel 3 ejemplo lisTa de cheQueo

Instituto de Estudios del Ministerio Público ‑ I.E.M.P.Evaluación programas de capacitación ‑ Niveles 3, 4 y 5

Lista de chequeo para cuestionario de seguimiento

1 Progresoconlosobjetivos ¿HastaquépuntosecumplieronlosObjetivos?

2 Implementacióndelplandeacción ¿Siseteníaunplandeacción,secumplió?

3 Relevanciadelprograma ¿Quétanrelevantefueelrpograma?

4 Usodelosmateriales ¿Quétanútilesfueronlosmaterialesparaeltrabajo?

5 Mejoradeconocimientos/habilidades ¿Quéhabilidadesmejoraroncomoresultadodelprograma?

6 Utilizacióndelashabilidades ¿Quéhabilidadesseutilizanmás?

7 Cambioseneltrabajo ¿ Qué cambios fueron influenciados por las nuevas habilidades?

8 Mejoras/logros ¿Quémejorasenelnegocioseobtuvieron?

9 Impactomonetario ¿Cuáleselvalormonetariodelasmejoras?

10 Nivel de confianza ¿Cuáleslaprobailidaddeerrordeestosestimativos?

11 Mejorasvinculadasalprograma ¿Quéporcentajedemejorasepuedenatribuiralprograma?

12 Percepciónsobrelainversión ¿ Se justificó el haber invertido en el programa?

13 Vínculosconindicadoresderesultado ¿Quéindicadoresimportantesfueronimpactados?

14 Otros beneficios ¿ Qué beneficios adicionales resultaron del programa?

15 Barreras ¿ Qué impide el desempeño en el ambiente de trabajo?

16 Facilitadores ¿ Qué contribuye al éxito en el desempeño?

17 Apoyodelagerencia ¿Quéapoyoadicionalserequieredelagerencia?

18 Otrassoluciones ¿Quéotracosapuedelograrlosmismosresultados?

19 Recomendacionesparaaudienciasobjetivo ¿ Quién más se puede beneficiar de este programa?

20 Sugerenciaparamejoramiento ¿Quémejorassedebenhaceralprograma?

21 Otroscomentarios Comentariososugerenciasadicionales

Fuente:Phillips,JackJ.yStone,RonDrew.How to Measure Training Results: A practical Guide to Tracking the Six Key Indicators,NewYork,McGrawHill,2002.


ExtremadamenteEndesacuerdo

ExtremadamenteDedesacuerdo

Pregunta 1 2 3 4 5

Yoguardounregistrodelascosasqueacuerdoenlasreunionesalosqueasisto.

Antes

Después

Yopriorizolastareasdemitrabajoquesonmásimportantesyrequierenatenciónytiempo.

Antes

Después

Micomunicacióneneltrabajoesmuyefectiva. Antes

Después

Yocontrolomitrabajo. Antes

Después

Yoplaneoreunionesycitasenuncalendariomensual. Antes

Después

Yoempiezocadadíaconunasesióndeplaneación. Antes

Después

Yoescribounalistadetareasdiarias. Antes

Después

Yocumploconlasreunionesycitasatiempo. Antes

Después

anexo 3-5 ejemplo 1: cuesTionario para anTes y después del enTrenamienTo

Fuente: Phillips, Jack J. y Stone, Ron Drew. How to Measure Training Results: A practical Guide to Tracking the Six Key Indicators,NewYork,McGrawHill,2002.


anexo 3-6 ejemplo 2: cuesTionario para anTes y después del enTrenamienTo

InstitutodeEstudiosdelMinisterioPúblico-I.E.M.P.Evaluaciónprogramasdecapacitación-Nivel3

Ejemplodecuestionario

Nombredelprograma Instructor Instructor

Fechasprograma Horas Lugar

Nombre A=muchísimoB=muchoC=algo

D=muypocoE=casinada/nuncaF=noaplica

1 ¿Hastaquépunto,antesdeestecurso,ustedutilizabalosconocimientosohabilidadesreforzadas/aprendidasantesdeestecurso? A B C D E F

2 ¿Hastaquépunto,despuésdelcurso,ustedha tenidooportunidadesparaaplicar losconocimientos/habilidadesaprendidasenestecurso? A B C D E F

3 ¿Hastaquépuntoaplicarealmentelosconocimientos/habilidadesadquiridasenestecurso? A B C D E F

4 ¿Hasta qué punto ha aumentado su confianza en utilizar los conocimientos / habilidades enseñadas / reforzadas como resultado de este curso? A B C D E F

5 ¿Hastaquépuntoustedrecibiólaayudanecesariaparaparticiparenestecurso? A B C D E F

6 ¿Hasta qué punto el contenido de este curso refleja con bastante precisión lo que ocurre ensutrabajo A B C D E F

7 ¿Hastaquépuntoustedhatenidoaccesoalosrecursonecesarios(equipos,información,etc.)paraaplicarlosconocimientos/habilidadesadquiridasensutrabajo? A B C D E F

8 ¿Hastaquépuntoustedharecibidoayuda(coaching,retroalimentación,etc.)paraaplicarlosconocimientos/habilidadesadquiridasenelcurso? A B C D E F

9 Como resultado de este curso mi desempeño - relacionado con los objetivos del curso -hacambiadoenunXX(%) %

10 Como resultado de este curso mi desempeño general ha cambiado en un XX (%) %

Comentarios:

Fuente:Phillips,JackJ.yStone,RonDrew.How to Measure Training Results: A practical Guide to Tracking the Six Key Indicators,NewYork,McGrawHill,2002.


anexo 4-1 diccionario de indicadoresInstituto de Estudios del Ministerio Público ‑ I.E.M.P.

Evaluación Programa de Capacitación ‑ XYZDiccionario de indicadores ‑ Instructivo

Objetivo Programa

Describirlosobjetivosgeneralesdelprogramadecapacitación,sualcance,aquiénesestá

dirigidoyquéseesperalograr.Describirlasexpectativasdelosdiferentes“stakeholders”ProveedorContenido

NombreEntidadqueproveelaCapacitación/Contenido

Instructor (es) Nombredelapersona(s)responsable(s)pordesarrollarelcontenidodelprograma Inicia dd/mm/aa Finaliza dd/mm/aa

PerspectivaPerspectivadelBSC Objetivo Objetivoacumplir Dueño Dueño del Objetivo

Indicador Nro.N-XX Nombre Indicador NombredelIndicador Dueño Dueño del Indicador

Descripción Indicador

BreveDescripcióndetalladadelindicador.Enquéconsiste,quépretendemedir.

Se pueden obtener datos

que sean evidencia clara del indicador?

Si/No

El programa genera un impacto medible en este indicador?

Si/NoSe pueden aislar los efectos del programa

para medir este indicador?

Si/No

Grado de Complejidad para obtener este

Indicador

Alto Medio Bajo

Probable Relación Causa

EfectoDescripcióndelarelacióncausa-efectoquedebegenerarelindicador.Quédebedeocurrirsisecumpleelindicador?

Tipo de IndicadorPasado/Presente/

Futuro

Frecuencia Frecuenciade

medición

Unidad Unidaddemedicióndelindicador

Polaridad Quétipodevalorsedesea:altoobajo?

Fórmula de Cálculo

Detallarlafórmuladecálculodelindicador

Fuente(s) de los Datos

Cuálessonlasfuentesquevanasuministrarlosdatosnecesariosparaelcálculodelindicador?

Calidad de los Datos

Qué tan confiables son los datos y/o las fuentes que los suministran?

Receptor de los datos:

Quién(es)es(son)el(los)receptor(es)delosdatos?

Metas del Indicador

Proponermetasparaelindicador(valores)segúnconveniencia:anual,semestral,trimestralomensual,otra

Valores Base de Comparación Cuáleselpuntodepartidaparaelindicador?.Datos

previosantesdelprogramadecapacitación

Justificación de las Metas

Explicarlasrazonesquerespaldanlasmetasquesehanestablecido

Notas Supuestos Comentarios

Espaciopararealizarcomentariosconrespectoalindicadorquedebansertenidoencuentaduranteelprocesodeevaluación


Manual de Evaluación de CapacitaciónEjemplos de Indicadores Blandos

Nota: estos indicadores han sido tomados del libro How to Measure Training Results de J. J Phillips y R.D. Stone

Tipo de Indicador / Nombre Indicador Unidad de Medición Observaciones

1 HÁBITOS DE TRABAJO

Ausentismo DíasRetrasos HoraspromedioVisitasalmédico NúmeroViolacióndenormas Número,impactoDescansosexcesivos Horaspromedio

2 CLIMA DE TRABAJO /SATISFACCIÓN

Númerodequejas NúmeroÍndicedesatisfacciónempleados %Volumendetrabajo %deltiempoRotacióndeempleados VecesPercepcióndelasResponsabilidadeseneltrabajo

Calificaciónsubjetiva

CambiospercibidoseneldesemepñoPercepcióndelasResponsabilidadeseneltrabajo


Compromisoorganizacional CalificaciónsubjetivaLealtaddelosempleados CalificaciónsubjetivaConfianzadelosempleados CalificaciónsubjetivaReduccióndeConflictos CalificaciónsubjetivaTrabajoenEquipo Calificaciónsubjetiva

3 SERVICIO AL CLIENTE

Quejasdelosclientes NúmeroSatisfaccióndelosclientesInsatisfaccióndelosclientesExperienciadelosclientes

anexo 4-2 base de daTos de indicadores


LealtaddelosclientesRetencióndeclientes

4 DESARROLLO DE LOS COLABORADORES

Númerodepromociones NúmeroDesarrollodeCompetenciasestratégicas

Númerocompetenciasdesarrolladas

Númerodeincrementosensalarios NúmeroNúmerodeprogramasdeentrenamientoatendidos

Número

Solicitudesdetransferencia NúmeroNúmerodeprogramasdeentrenamientocancelados

Número

Resultadosevaluacionesdedesempeño


Incrementoenlaefectividaddeltrabajo

%

Impactodelaspublicacionesrealizadas


Impactodelasinvestigacionesrealizadas


5 DESARROLLO DE LOS COLABORADORES

Implementacióndenuevasideas Número,Millonesde$Terminaciónexitosadeproyectos %Númerodesugerenciasimplementadas

Número,Millonesde$

Establecimientodemetas CalificaciónsubjetivaNuevosserviciosdesarrollados Número,Millonesde$


EVALUACIÓN DE PROGRAMAS DE CAPACITACIÓNEVALUACIÓN DE IMPACTO – EFECTOS DEL PROGRAMA

Múltiplesfactorescontribuyenamejorareldesempeño.Adicionalmentealprograma(NombredelPrograma)seidentificanotrosfactores.Evalúelosfactoresindicandoquéporcentajeenlasmejorasdesudesempeñoen

losúltimosseismeses,puedeseratribuidoacadafactor.Siustedconsideraquealgún(os)factor(es)notiene(n)influencia,nole(s)asigneningúnporcentaje.Lasumatotaldebeseriguala100%.

Porfavorseleccionelosfactoresqueustedcreequesonapropiadosparasermencionadosensu

estimacióndeporcentajes.

Escribaelporcentajequeustedatribuyeacadafactor.

A) %

B) %

C) %

D) %

E) %

F) %

G) %

H) %

I) %

Lasumatotaldebeser=100% Total 100%

anexo 4-3 formaTo para aislar los efecTos del programa

Nota:Enlaprimeracolumna,elI.E.M.P.oquiénsearesponsableporlaevaluación,debeidentificarlosfactoresqueconmayorprobabilidadinfluyeneneldesempeño.



Instituto de Estudios del Ministerio Público ‑ I.E.M.P.Evaluación Programas de Capacitación

Ejemplo Tablero de Control ‑ Programa XYZPerspectivadeEvaluación/Indicador VALOR

1.ACTIVIDAD

Númerodeparticipantes 117

Númerodesitiosdondeserealizólacapacitación 16

Númerodesesionesdeclasedictadas 66 COMPARACIÓN

2.CALIDAD

% de Satisfacción con el Desempeño General del Programa 78 78% 73%

% de Satisfacción con el Desempeño del Instructor 87% 81%

%deSatisfacciónconelContenidoyconlaMetodología 71% 79%

3.EFECTIVIDAD

% de participantes que experimentaron ganancias significativas en conocimiento yhabilidades

65% 63%

4.IMPACTOPROYECTADO

%departicipantesquetienenplanesdeaplicarelconocimientoylashabilidadesadquiridas

33% 61%

% de participantes que esperan que el desempeño en su trabajo mejoresignificativamente

56& 64%

% particiapntes que proyectaron mejoras en el desempeño debido a la capacitación

4% 6%

5.RESULTADOS

%departicipantesqueesperanqueelprogramaimpacteenlaproductividad 67% 62%

%departicipantesqueesperanqueelprogramaimpactelacalidad 41% 61%

6.VALOR

% que califican la inversión (tiempo y dinero) en el programa como que valió la pena

50% 57%

Proyección Razón costo-beneficio 1.83 3.23

anexo 4-4 ejemplo de Tablero de conTrol


Sistema de Evaluación Programas de CapacitaciónPLAN GENERAL DE RECOLECCIÓN DE DATOS

Nivel Objetivos Generales del

Programa

Método de Recolección deDatos

Tiempo de Recolección deDatos

Responsable

IReacción,Satisfacción

ReacciónfavorabledelosparticipantesSugerenciasdemejora

CuestionarioparaparticipantesCuestionariodeseguimientoparaparticipantesEntrevistasconparticipantesObservacionesEntrevistasconpatrocinadoresCuestionariodeseguimientoparajefes

Alfinaldecadasesiónyalfinaldelprograma60-90díasdespuésdelprograma60-90díasdespuésdelprogramaDiarías60-90díasdespuésdelprograma60-90díasdespuésdelprograma

PROPROPROJefePROPRO

IIAprendizaje Mejorarlosconocimientosyhabilidadesen14áreas

ObservacionesCuestionarioparaparticipantesInstrumentostecnológicosPérfilejecutivoexitosoCuestionariodeseguimientoparaparticipantes

DiaríasAlfinaldecadasesiónyalfinaldelprogramaDuranteelprogramaDuranteelprograma60-90díasdespuésdelprograma

JefePROFacilitadoresFacilitadoresPRO

IIITransferencia

UsodelashabilidadesyconocimientoFrecuenciadelusodelashabilidadesInteracciónentrelagestiónyelcomitédepolíticas(alineación)

ObservacionesCuestionariodeseguimientoparaparticipantesCuestionariodeseguimientoparajefesEntrevistasconparticipantesEntrevistasconpatrocinadores

Duranteelprograma60-90díasdespuésdelprograma60-90díasdespuésdelprograma60-90díasdespuésdelprograma60-90díasdespuésdelprograma

JefePROPROPROPRO

anexo 5-1a recolección de daTos


IVImpactoenelNegocio

Beneficiosdelainvestigación,mejoraspropuestasporgrupos,ahorrosygananciasMejorasenlamedicióndelimpactoenelnegocio,aplicacióndeloaprendidoporcadaparticipanteensuunidaddenegocioMejoraenlacalidaddeltalentoejecutivo

IndicadoresdeldesempeñofinancieroEntrevistasconparticipantesCuestionariodeseguimientoparaparticipantesCuestionariodeseguimientoparajefesRegistros

60-90díasdespuésdelprograma60-90díasdespuésdelprograma60-90díasdespuésdelprograma60-90díasdespuésdelprograma3añosdespuésdelprograma

DirectordelprogramaPROPROPROPRO


anexo 5-1binTegración de daTos recolección de daTos

Sistema de Evaluación Programas de CapacitaciónINTEGRACIÓN DE DATOS Niveles 1 a 5

Método Nivel1Reacciónalprograma

Nivel2Aprendizaje:habilidades,conocimiento,cambiosenpercepciones

Nivel3Aplicación,implementaciónyusoeneltrabajo

Nivel4ImpactoenlaUnidaddeNegocio

TasadeRetorno

Retroalimentaciónalfinaldelasesión

X X

Investigación X X

Entrevistasconparticipantes

X X X X X

Cuestionariosdeparticipantes

X X X X

Cuestionariosdelosjefes

X X X

Entrevistasconpatrocinadores

X

Cuestionariosporequipodesoporte

X

Registrosdelaempresa


Evaluación Programas de Capacitación ‑ Nivel 5Costos Programas de Capacitación

ProgramaFecha HorasObjetivoGeneral-ExpectativasdelPrograma

DescribirelObjetivoGeneraldelProgramadeCapacitaciónylasexpectativasdelosdiferentesinteresados“stakeholders”(Procurador,Delegados,I.E.M.P.,Ciudadanía,etc.).

1.CostosdeAnálisis $/Unidad Unid $Total %Salariosybeneficiosdelosparticipantes GastosdeViaje Alimentación.Refrigeriosyotros SuministrosdeOficinayotrosgastros Imprsionyreproduccióndemateriales Servicosdeterceros Gastosdeequipos:alquiler,etc. GastosdeRegistro Otrosgastosvarios TotalCostosdeAnálisis $0

2.CostosdeDesarrollo Salariosybeneficiosdelosparticipantes GastosdeViaje Alimentación.Refrigeriosyotros SuministrosdeOficinayotrosgastros Artes ManualesyMateriales CDs Software Otros

anexo 5-2valoración cosTos programas de capaciTación


MaterialesySuministrosdelPorgrama Impresiónyreproduccióndemateriales Servicosdeterceros Gastos de equipos: alquiler, etc. Gastos de Registro Otros gastos variosTotalCostosdeDesarrollo $0

3.CostosdeEjecución Costo Particiantes Salarios y beneficios de los participantes Alimentación. Refrigerios y otros Producción no reaqlizada Materiales y Suministros del Programa Costos instructor Salarios y beneficios Alimentación. Refrigerios y otros Otros Costos Instalaciones Alquiler Gastos Asignación gastos equipos Otros gastosTotalCostosdeEjecución $0

4.CostosdeEvaluación Salarios y beneficios de los participantes Alimentación. Refrigerios y otros Costo participantes: entrevistas, focus groups, etc. Suministros de Oficina yotros gastros Impresión y reproducción de materiales Servicos de terceros Gastos de equipos: alquiler, etc. Otros gastos variosTotalCostosdeEvaluación $0

5.CostosDistribuidosotrasáreas $0

COSTOSTOTALESDELPROGRAMA $0 100%


Instituto de Estudios del Ministerio Público - I.E.M.P.Evaluación Programa de Capacitación - XYZ

Balanced Scorecard - Programas de Capacitación

PERSPECTIVA PESO % Código Objetivo Objetivo PESO % Código Indicador

NOMBRE INDICADOR

1.CLIENTES C1 IC1

C2 IC2

C3 IC3

2.PROCESOSINTERNOS

P1 IP1

P2 IP2

P3 IP3

3.APRENDIZAJEY

CRECIMIENTO

A1 IAC1

A2 IAC2

A3 IAC3

4.FINANCIERA F1 IF1

F2 IF2

F3 IF3


DESCRIPCIÓN FÓRMULA UNIDAD TIPO Frecuencia Indicador

Responsable Metas

anexo 6-1 formaTos balanced scorecard

anexosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón14� 14�anexosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón14� 14�

Medición. La medición está relacionada con laobtencióndeinformación–datos–paracompraraunresultadoconunestándar.

Evaluación. La evaluación está relacionada conrealizar juicios– sacarconclusiones–conbaseenlosresultadosdelamedición.

Programa: Evaluación de Programas deEntrenamiento. Consiste en determinar el valoro la importancia que el programa tiene para losdiferentesstakeholders.EvaluacióndeImpacto

Taxonomía.Cienciaqueseocupadelosprincipios,métodos yfinesde clasificación.Clasificaciónquese realiza, en especial la que jerarquiza, ordenay nombra dentro de la biología, los seres vivos(Diccionario de l lengua Española). La taxonomíaeslacategorizaciónoclasificacióndecosasbasadoen un sistema predeterminado. En el Manual lataxonomíaserefierealmodelodeloscinconivelesquedesarrollóDonaldKirkpatrick.Tambiénsepuedereferiralmodelodeloscinconivelesqueseproponeenelmanual.

Stakeholder.Ungrupoounindividuoconinterésparticulareneléxitodeunaorganización,deunainiciativaodeunesfuerzoysinelcuál,laorganización,el esfuerzo o la iniciativa pueden fracasar. Porejemplo:losbancos,lossindicatos,losempleados,

anexo 7 - glosario

etc. En términos generales, los “stakeholders”,invierten algo en la iniciativa, no necesariamentedinero, (porejemplo tiempo)yesperanalgúntipode retribución, no necesariamente monetaria.En el caso particular que nos ocupa, entre los“stakeholders”de losprocesosdecapacitaciónsepuedenmencionar:LaProcuraduría,Ladefensoría,el I.E.M.P.M, los empleados, los ciudadanos, losentrenadores, las empresas que prestan serviciosde capacitación al I.E.M.P., los sindicatos de lasEntidadesdelMinisterioPúblico.

Retorno sobre la Inversión. Es un indicadorfinancieroderesultadoqueconsisteenelcálculodelarelacióncosto-beneficioyseutilizaparamedirelimpactofinancierodeunainversiónenunproyectoo iniciativa. Se expresa en términos porcentuales(%).SedefinecomoelTotaldeBeneficios-TotaldeCostosdivididoentreelTotaldeCostos.Elresultadosemultiplicapor100paraexpresarloen términosporcentuales.

Ciclo de Vida.Serefierealaseriedecambiosenelprocesodedesarrollodeunsistema,desdeeliniciohastasufinalización.EnelManual,elciclodevidadelosprogramasdeCapacitaciónserefierealtiempoquetranscurreentrelaconcepcióndelprogramayladecisióndedarporconcluidoelprograma.Incluyetodoslospasos,deprincipioafin,necesariosparaobtenerlosresultadosdelprograma.

anexosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón14� 14�anexosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón14� 14�

Videoconferencia.Serefiereaunasesiónentiemporealdeunaconferenciaounpaneldeconferencistasenelcualparticipanmásdedosusuariosquepuedenestar localizados en diferentes partes. Se utilizantanto para propósitos de capacitación como parapromoción de productos o servicios. El contenidoesuntemadeinterésespecíficoparaunaaudienciadeterminada. Para optimizar la recepción, losparticipantes requieren de una conexión de bandaancha.Durantelavideoconferencia,normalmentelosparticipantesrecibenlasseñalesdevideoydeaudio.Enalgunoscasos,elproveedordelcontenidopermitela interacciónvíateléfono,vía“chat”,o inclusovíavídeo, de los asistentes, quienes pueden realizarpreguntasalconferencistaopaneldeconferencistas.

Blog. Es una palabra que se deriva de Web yLog y consiste de un sitio Web, generalmentemantenidoporun individuoounaempresa,enelcualseconsignancomentarios,sepresentamaterialgráfico,sobretemasdeinterésespecífico.Losblogspermiten que los lectores coloquen opiniones ocomentarios al contenido, los cuales se muestransiempreenordencronológicoinverso.Usualmentelos blogs son textuales, pero es posible tambiénque contengan audio o video (vídeo blogs). Losblogshacenpartedeloquesedenomina“mediossociales”o“redessociales”.

Wiki. Similares a los blogs, consisten en unacoleccióndepáginasWebquepermitenalusuariomodificar el contenido. Los Wikis se utilizan paraobtenerlacolaboracióndecomunidadesdeusuariosquetienenuninterésespecífico.

Webminar.SonseminariossobretemasespecíficosemitidosatravésdelaWeb.Suduración,comoesel casode lasvideoconferencias,escorta (1hora,incluyendopreguntasyrespuestas).Losparticipantesalaconferenciatienenaccesovisualalasdiapositivasdeltemaqueseestátratando.Concluidoeltema,muchos proveedores de contenido permiten a losparticipantesobtenerunacopiadelapresentación(powerpointopdf).Generalmentelosúltimos10o15minutossereservanparaunasesióndepreguntasyrespuestas,lascualesserealizanvíatelefónica,ovíachat.

Podcast. Similar a un Webminar. Consisten dearchivos digitales a los cuales se tiene acceso víaInternet y pueden ser escuchados en un PC o undispositivodereproducciónapropiado(porejemploiPods,MP3players).Elparticipanterecibesolamentelaseñaldeaudio,similaralcontenidomusical.

Videocast. Similar a “Podcast”, el participanterecibeseñaldevideoydeaudio.

E-learning.(aprendizajevíaelectrónica).Serefiereatodotipodeprogramasdeeducación(capacitación,formación, entrenamiento, etc.) en el cual seutilizan como medio de instrucción alguna formade tecnología basada en computadores. Algunosprogramas de e-learning lo general además delcontenidovirtualtambiénposeenunporcentajedecontenidopresencial.

bibliografía consulTada

Copyright©April1998byDr.JohnSullivanHeadandProfessorof Human Resource Management, College of Business, SanFranciscoStateUniversity.

Diez de Medina y Abdala, Manual para la evaluación deimpactoenprogramasdeformaciónparajóvenes,OrganizaciónInternacionaldelTrabajo,Cinterfor/OIT,2004.

Edmonson,AmyC,“TheCompetitiveImperativeofLearning”,en:HarvardBuisinessReview,July-August2008.

Garvin,DavidA.yEdmondson,AmyC.andFrancescaGino,“IsYoursaLearningOrganization?”,en:HarvardBusinessReview,March2008.

Kaplan,R.SyNorton,D.P,StrategyMaps,Boston,HBS,2004.

Kaplan, R.S y Norton, D.P,“The Balanced Scorecard: Measuresthat Drive Performance”, en: Harvard Business Review, Enero–Febrerode1992.

Kaplan, R.S y D.P and Norton, D.P ,The Balanced Scorecard:TranslatingStrategyintoAction,Boston,HBSPress,1996.

Kaplan, R.S y D.P and Norton, D.P , The Strategy FocusedOrganization,Boston,HBSPress,2001.

DonaldL.KirkpatrickandJamesD.Kirkpatrick,IMPLEMENTINGTHEFOURLEVELS:APracticalGuideforEffectiveEvaluationofTrainingPrograms.Berret-KoehlerPublishers,Inc,2007

Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón1�0

Donald L. Kirkpatrick and James D. Kirkpatrick, EVALUATINGTRAININGPROGRAMS:TheFourLevels.ThirdEdition.WestchesterBookCompany,2006

DonaldL.KirkpatrickandJamesD.Kirkpatrick,TRANSFERRINGLEARNING TO BEHAVIOR: Using the Four Levels to ImprovePerformance.Berret-KoehlerPublishers,Inc,2005

JackJ.PhillipsandRonDrewStone,HOWTOMEASURETRAININGRESULTS: A practical Guide to Tracking the Six Key Indicators.McGraw-Hill,2002

JackJ.PhillipsandRonnieD.Stone,level4evaluation:businessresults.ASTD,2000

JackJ.PhillipsandPatriciaF.Pulliam,level5evaluation:MasteringROI.ASTD,2000

Evaluating Training and Results, por Carter McNamara, MBA,PhD,AuthenticityConsulting,LLC.Copyright1997-2008.

Copyright©April1998byDr.JohnSullivanHeadandProfessorofHumanResourceManagementCollegeofBusiness,SanFranciscoStateUniversity.

http://www.zigonperf.com/resources/pmnews/sullivan_meas_trng_eff.html

Diez de Medina y Abdala. Manual para la evaluación deimpactoenprogramasdeformaciónparajóvenes.OrganizaciónInternacionaldelTrabajo(Cinterfor/OIT),2004.

1�1

cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón1�2 1�3cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón1�2 1�3

Manual para el Diseño Curricular para eventos educativos delI.E.M.P.

Kirkpatrick, Donald L and Kirkpatrick, James D, Implementingthe Four Levels. A Practical Guide for effective Evaluation ofTrainingPrograms,SanFrancisco,CA,Berret-KoehlerPublishing,Inc.,2007.

Kirkpatrick, Donald L and Kirkpatrick, James D, Implementingthe Four Levels. Transferring Learning to Behavior: Using theFourLevels to ImprovePerformance,Berret-KoehlerPublishers,Inc,2005.

McNamara, Carter, MBA, PhD, Authenticity Consulting,LLC. “Evaluating Training and Results”, en http://www.managementhelp.org/trng_dev/evaluate/evaluate.htm.

Manual para el Diseño Curricular para eventos educativos delI.E.M.P.

Nieven,Paul,BalancedScorecard.StepbyStepforGovernmentand Nonprofit Agencies, New Jersey, John Wiley & Sons Inc.,2003.

Nickols,FrederickW“FindingtheBottomlinepayofffortraining”,en: Training and Development Journal del ASTD, diciembre1979,pp.54–63.

Phillips,JackJ.yStone,RonD.,HowtoMeasureTrainingResults:ApracticalGuidetoTrackingtheSixKeyIndicators,NewYork,McGrawHill,2002.

Phillips,JackJ.andStone,RonnieD.,Level4Evaluation:BusinessResults,ASTD,2000

cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón1�2 1�3cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón1�2 1�3

Phillips, Jack J. and Stone, Ronnie D., Level 5Evaluation:MasteringROI,ASTD,2000Phillips, Jack J., Stone, Ron D., Pulliam, P, TheHumanResourcesScorecard:MeasuringtheReturnonInvestment,Butterworth-Heinemann,2001.

Ulrich&Brockbank.LAPROPUESTADEVALORDERECURSOSHUMANOSEd.Deusto,(2006).

Senge, Peter M. la quinta disciplina. CurrencyDoubleday,1990

Senge,P.M.TheFifthDiscipline.Theartandpracticeof the learning organization, London, RandomHouse,1990.

Sullivan,John, “Measuring Training’s Effectivenessand Impact”, en: http://www.zigonperf.com/resources/pmnews/sullivan_meas_trng_eff.html

Transferencia del Aprendizaje. Una Guía parafortalecereldesempeñodelpersonaldelcampodelasalud.ProyectoPRIMEII,PublicacióndeJHPIEGOCorporation,.USAID,Marzodel2002.

Is Yours a Learning Organization? By David A.Garvin, Amy C. Edmondson, and Francesca Gino.HarvardBusinessReview,March2008

TheCompetitiveImperativeofLearningbyAmyC.Edmonson,HarvardBusinessReview,July–August2008

Ulrico,DaveyBrockbank,Wayme,LaPropuestadeValor de Recursos Humanos, Barcelona, EdicionesDeusto,2006.

Watkins, R., Leigh, D., Foshay, R., & Kaufman,R.,Kirkpatrick plus: “Evaluation and continuousimprovement with a community focus”, en:EducationalTechnology,Research,andDevelopment,46,1998.

1�4

Seleccionar formadores

¿Existenfuncionariosque

puedanparticiparcomo

docentes?

AcordardisponibilidadSiquierenSipuedenSilosdejan

¿Huboacuerdoconlos

funcionarios?

Verificarausenciadeexpertoenlaentidad

2

PRODUCTO:Estudio Previo

PrepliegoPliego definitivo

PRODUCTO:Informe

PRODUCTO:Auto comisorio

Viáticos y tiquete

PRODUCTO:ConveniosContratos

RealizarExternamente

Contratación

Contratacióndirecta Licitaciónpública

Estudioprevio

Aperturaycierre

Evaluacióndepropuestas

Adjudicacióndelcontrato

Convenios

Hacerestudioprevio

Elaboraractadecompromiso

LaGuíaDidácticarequiere

ajustes?

SolicitaraldocenteajustarlaGuíade

Aprendizaje

Aplicarevaluaciónfinaldereacciónadocentes

yparticiapntes

PRODUCTOGuía didáctica aprobada

PRODUCTOInforme final

Cumplido a satisfaccióvnActa de liquidación

del contrato

SEGUIMIENTO EVALUACIÓN

6mesesdespúes

Aplicarevaluacióndetransferencia

EJECUCIÓNALISTAMIENTO

Elaboraractadeprogramación

Solicitarpólizas

Efectuarpagoanticipado

Ajustarcontenidos

Solicitarmaterialadocentes

Alistarmaterialparaparticipantes

Concretarcondocentestiemposespaciosyresponsabilidades

Notificarparticipacióndeldocente

Alistamiento

No

No

Sí

DiseñoCurricular

Programarladeteccióndenecesidadesde

capacitación

Asignarcoordinadoracadémico

Seleccionarmetodologíadedeteccióndenecesidadesde

capacitación

Realizarladeteccióndenecesidadesde

capacitación

Realizardiagnóstico

Recibirsolicitudesdecapacitación


¿Serealizalacapacitación

solicitada?

Informaralsolicitante

Asignarcoordinador

Planeación

Cambiosnormativos

Causasquegeneransolicitudes

Identificacióndedebilidadesinstitucionales

Evolucióndeunprogramaquerequiere

avances

DecisiónGerencial

(coyunturapaís)

Evoluciónendesarrollode

funcionesmisionales

Presentar proyección deactividades

Reprogramarplandecapacitación

AsignarrecursosdelPresupuesto

AjustarelPlanTrienaldeCapacitación

FormularPOAdelaDivisióndeCapacitación

¿ElConsejoAcadémicoaprobóel

POA?

AjustarelPOA

DivulgaryejecutarelPOA


Registrarprogramasenelmóduloderegistroy

control

PRODUCTOSÁBANA DEPURADA

(Sólo listado)

PRODUCTOPOA

PLAN TRIENAL

PRODUCTOPROGRAMA: logístico

administrativoCURRÍCULO: parte académica

(propuesta)Guía Didáctica

Visión Panorámica del evento

InicioInicio

Estudiar ofertasacadémicas

Definirparaelprogramaacadémico

Identificarcontenidos

Organizarcontenidos

¿Seapruebalaestructura?

Construirobjetivosespecificos

Identificarcompetencias

Determinarperfildelosdocentes

DesarrollarGuíadeAprendizaje

Seleccionarparticipantes

A

DISEÑO CURRICULARPLANEACIÓNDIAGNÓSTICO DENECESIDADES

Inicio Inicio

�Pertinenciaestratégica Cargadecapacitaciónde

lagente�Poblaciónobjeto(cantidad,

cargo,ubicación)�Priorización�Análisisdeantecedente�Propósito�Frecuenciadesolicitud

Sí

No

�Poráreas�Porniveles�Cobertura(central,

territorial)�Población�Presupuesto�Definirmodalidades

�Visióndeutilidad�Objetivo�Indicadores

Sí

�Justificación�Propósito�Plandeestudios�Poblaciónsujeto�Metodología�No.deeventos�Cronograma

No

No

Sí

Sí

No

Sí

Organizar logística del evento

¿Serequierendesplazamientos

oviáticos?

Inicio

�Informaactividad�Hacerequerimientos

(lugar,ayuda,logística,etc.)

�Solicitahacerlaconvocatoria

�Comité:FinancieraJurídicaTécnica

�VerificarlaausenciadeexpertoenlaEntidad.

�Evaluarhojadevidadealmenos3expertos:Experienciadocente.ExperienciaprofesionalespecíficaEstudios(pregrado-postgrado)Publicaciones

�Gestionarentregadedocumentosporpartedecontratistas.

No

Contextualizar docentes y solicitar desarrollo de

la Guía Didáctica

SeapruebalaGuíaDidáctica?

Inicio

Hacer seguimiento académico

Inicio

Fin

Ajustar la Guía Didáctica

Hacer la convocatoria

Realizar sesión introductoria (aplicar evaluación

diagnóstica)

Desarrollar actividades programadas

Seguimiento y Evaluación

Solicitar comisión para docentes, cooperadores y/o

participantes

Enviar comunicación a ciudad sede de la actividad

Verificar cumplimiento

Ejecución

A

Sí

No

2

1

1

No

�Objetivogeneral�Programas�Presupuesto�SolicitarCDP�Elaborarregitro

presupuestal

�Verificarelcumplimientodelcurrículoenobjetivo,contenido,metodología

�Mediante:EvaluacióndeaprendizajeEvaluacióndereacciónReunionesEntrevistas

�Verificarelcumplimientodelasobligacionesdelcontratoensusaspectosadministrativosyfinancieros.

�Verificar:DesplazamientosPagodeviáticosAsistencia(listados)Logística

�Objetivogeneral�Objetivosespecíficos�Programas

�Realizarestudiodemercado

�Evaluartrayectoria(temática,gradodeprofundizacióndelaofertaeneltemaespecífico)

�Ajustedelprogramaconbaseenelpresupuestodisponibleyelresultadodelestudiodemercado(ajustealPOA)

�Realizarestudioprevioporpartedecadacoordinadoracadémico(análisisdeoportunidadyconvivencia)

INTERNAMENTE�Determinarfactoresde

evaluacióndeoferentes(desdelotécnicoyloeconómico)dentrodelospliegosdecondiciones(metodología,evaluacióndelacapacitaciónpropuesta).

Sí

INICIODELCURSO

Sí

Serequiereseguimiento

administrativoexterno?

Hacerseguimientoadministrativoexterno

Sí

No

Sehancumplidolasobligaciones?

Hacerllamadosdeatención

Elaborarinformeparcial

Elaborarcumplidoparcial

No

Elaboraractafinal

Archivo

Hacerseguimientoadministrativointerno

Prepararcertificaciones

Suscribirdiplomas

Aplicarevaluaciónfinaldereacción

Aplicarevaluacióndeaprendizaje

Solicitarinformaciónfinanciera

Elaborarinformefinal

Elaborar cumplido a satisfacción

Verificar pago final

¿Elprogramaacadémicoserepiteyrequiere

modificaciones?

Incluirinformaciónenelsistema

(Ajustarelcurrículo)DiseñoCurricular

Presentar resultados

Sí

Elaborarinformedegestiónanual

No

A B

A B

Seleccionar formadores

¿Existenfuncionariosque

puedanparticiparcomo

docentes?

AcordardisponibilidadSiquierenSipuedenSilosdejan

¿Huboacuerdoconlos

funcionarios?

Verificarausenciadeexpertoenlaentidad

2

PRODUCTO:Estudio Previo

PrepliegoPliego definitivo

PRODUCTO:Informe

PRODUCTO:Auto comisorio

Viáticos y tiquete

PRODUCTO:ConveniosContratos

RealizarExternamente

Contratación

Contratacióndirecta Licitaciónpública

Estudioprevio

Aperturaycierre

Evaluacióndepropuestas

Adjudicacióndelcontrato

Convenios

Hacerestudioprevio

Elaboraractadecompromiso

LaGuíaDidácticarequiere

ajustes?

SolicitaraldocenteajustarlaGuíade

Aprendizaje

Aplicarevaluaciónfinaldereacciónadocentes

yparticiapntes

PRODUCTOGuía didáctica aprobada

PRODUCTOInforme final

Cumplido a satisfaccióvnActa de liquidación

del contrato

SEGUIMIENTO EVALUACIÓN

6mesesdespúes

Aplicarevaluacióndetransferencia

EJECUCIÓNALISTAMIENTO

Elaboraractadeprogramación

Solicitarpólizas

Efectuarpagoanticipado

Ajustarcontenidos

Solicitarmaterialadocentes

Alistarmaterialparaparticipantes

Concretarcondocentestiemposespaciosyresponsabilidades

Notificarparticipacióndeldocente

Alistamiento

No

No

Sí

DiseñoCurricular

Programarladeteccióndenecesidadesde

capacitación

Asignarcoordinadoracadémico

Seleccionarmetodologíadedeteccióndenecesidadesde

capacitación

Realizarladeteccióndenecesidadesde

capacitación


Recibirsolicitudesdecapacitación


¿Serealizalacapacitación

solicitada?

Informaralsolicitante

Asignarcoordinador

Planeación

Cambiosnormativos

Causasquegeneransolicitudes

Identificacióndedebilidadesinstitucionales

Evolucióndeunprogramaquerequiere

avances

DecisiónGerencial

(coyunturapaís)

Evoluciónendesarrollode

funcionesmisionales

Presentar proyección deactividades

Reprogramarplandecapacitación

AsignarrecursosdelPresupuesto

AjustarelPlanTrienaldeCapacitación

FormularPOAdelaDivisióndeCapacitación

¿ElConsejoAcadémicoaprobóel

POA?

AjustarelPOA



Registrarprogramasenelmóduloderegistroy

control

PRODUCTOSÁBANA DEPURADA

(Sólo listado)

PRODUCTOPOA

PLAN TRIENAL

PRODUCTOPROGRAMA: logístico

administrativoCURRÍCULO: parte académica

(propuesta)Guía Didáctica

Visión Panorámica del evento

InicioInicio

Estudiar ofertasacadémicas

Definirparaelprogramaacadémico

Identificarcontenidos

Organizarcontenidos

¿Seapruebalaestructura?

Construirobjetivosespecificos

Identificarcompetencias

Determinarperfildelosdocentes

DesarrollarGuíadeAprendizaje

Seleccionarparticipantes

A

DISEÑO CURRICULARPLANEACIÓNDIAGNÓSTICO DENECESIDADES

Inicio Inicio

�Pertinenciaestratégica Cargadecapacitaciónde

lagente�Poblaciónobjeto(cantidad,

cargo,ubicación)�Priorización�Análisisdeantecedente�Propósito�Frecuenciadesolicitud

Sí

No

�Poráreas�Porniveles�Cobertura(central,

territorial)�Población�Presupuesto�Definirmodalidades

�Visióndeutilidad�Objetivo�Indicadores

Sí

�Justificación�Propósito�Plandeestudios�Poblaciónsujeto�Metodología�No.deeventos�Cronograma

No

No

Sí

Sí

No

Sí

Organizar logística del evento

¿Serequierendesplazamientos

oviáticos?

Inicio

�Informaactividad�Hacerequerimientos

(lugar,ayuda,logística,etc.)

�Solicitahacerlaconvocatoria

�Comité:FinancieraJurídicaTécnica

�VerificarlaausenciadeexpertoenlaEntidad.

�Evaluarhojadevidadealmenos3expertos:Experienciadocente.ExperienciaprofesionalespecíficaEstudios(pregrado-postgrado)Publicaciones

�Gestionarentregadedocumentosporpartedecontratistas.

No

Contextualizar docentes y solicitar desarrollo de

la Guía Didáctica

SeapruebalaGuíaDidáctica?

Inicio

Hacer seguimiento académico

Inicio

Fin

Ajustar la Guía Didáctica

Hacer la convocatoria

Realizar sesión introductoria (aplicar evaluación

diagnóstica)

Desarrollar actividades programadas

Seguimiento y Evaluación

Solicitar comisión para docentes, cooperadores y/o

participantes

Enviar comunicación a ciudad sede de la actividad

Verificar cumplimiento

Ejecución

A

Sí

No

2

1

1

No

�Objetivogeneral�Programas�Presupuesto�SolicitarCDP�Elaborarregitro

presupuestal

�Verificarelcumplimientodelcurrículoenobjetivo,contenido,metodología

�Mediante:EvaluacióndeaprendizajeEvaluacióndereacciónReunionesEntrevistas

�Verificarelcumplimientodelasobligacionesdelcontratoensusaspectosadministrativosyfinancieros.

�Verificar:DesplazamientosPagodeviáticosAsistencia(listados)Logística

�Objetivogeneral�Objetivosespecíficos�Programas

�Realizarestudiodemercado

�Evaluartrayectoria(temática,gradodeprofundizacióndelaofertaeneltemaespecífico)

�Ajustedelprogramaconbaseenelpresupuestodisponibleyelresultadodelestudiodemercado(ajustealPOA)

�Realizarestudioprevioporpartedecadacoordinadoracadémico(análisisdeoportunidadyconvivencia)

INTERNAMENTE�Determinarfactoresde

evaluacióndeoferentes(desdelotécnicoyloeconómico)dentrodelospliegosdecondiciones(metodología,evaluacióndelacapacitaciónpropuesta).

Sí

INICIODELCURSO

Sí

Serequiereseguimiento

administrativoexterno?

Hacerseguimientoadministrativoexterno

Sí

No

Sehancumplidolasobligaciones?

Hacerllamadosdeatención

Elaborarinformeparcial

Elaborarcumplidoparcial

No

Elaboraractafinal

Archivo

Hacerseguimientoadministrativointerno

Prepararcertificaciones

Suscribirdiplomas

Aplicarevaluaciónfinaldereacción

Aplicarevaluacióndeaprendizaje

Solicitarinformaciónfinanciera

Elaborarinformefinal

Elaborar cumplido a satisfacción

Verificar pago final

¿Elprogramaacadémicoserepiteyrequiere

modificaciones?

Incluirinformaciónenelsistema

(Ajustarelcurrículo)DiseñoCurricular

Presentar resultados

Sí

Elaborarinformedegestiónanual

No

A B

A B

procuradur??a general de la naci??n, rep??blica de colombia - kit de … · de la nación edgardo...

Documents