bagaimana mengevaluasi training

Bagaimana Bagaimana Mengevaluasi TrainingMengevaluasi Training

Training apa yang dikatakan ‘berkualitas’ ?

Training yang memenuhi kebutuhan customerTrainee belajar hal yang harus mereka pelajariTraining mengubah sikap seseorang…..

2

Bagaimana mengukur

hasil training ?

Jumlah budgetJumlah peserta training per batchnyaJumlah training hours…..

Apa sudah cukup ??

TujuanTujuan

• Identifikasi kegunaan & level evaluasi• Mampu mengembangkan evaluasi untuk

mengukur efektivitas training• Mampu mengembangkan evaluasi untuk

mengukur hasil training

ApaApa yang yang dimaksuddimaksud EvaluasiEvaluasi TrainingTraining

5

MengapaMengapa EvaluasiEvaluasi Training Training diperlukandiperlukan ??

• Mengetahui kelemahan & kelebihan program• Mengetahui apakah kita telah mencapai tujuan

training• Menentukan rasio biaya/keuntungan dari program• Mengetahui peserta yang mendapat manfaat

terbesar dari training serta sebaliknya• Menentukan apakah program training merupakan

solusi atas masalah pekerjaan

6

HambatanHambatan dalamdalam MengevaluasiMengevaluasi

• Tidak ada ukuran yang jelas dari training• Tidak tahu data mana yang harus dikumpulkan• Pengukuran hanya efektif untuk bagian produksi &

keuangan• Terdapat faktor lain di luar training yang

mempengaruhi perubahan sikap• Evaluasi menimbulkan kritikan• Evaluasi berbiaya mahal• Komitmen dari top management

7

ProsesProses TrainingTraining

TrainingNeed

Analysis

TujuanTraining

PelaksanaanTraining

EvaluasiTraining

Training apayang dibutuhkanuntuk orang/pekerjaan ini

Tujuan harusterukur

TeknikmeliputiOn the Job Training, Action Plan

Mengukurreaksi, gayapembelajarandan hasil

8

EmpatEmpat Level Level EvaluasiEvaluasi

Level 1Reaction

Level 2Learning

Level 3Behaviour Application

Level 4Business Impact

EvaluasiEfektivitasTraining

EvaluasiHasil

Training

9


Evaluasi reaksi trainee terhadapprogram.

Apakah mereka menyukai training? Apakah mereka menilainya berguna?

Level 1- Reaksi

Tes trainee untuk menentukan apakahmereka mempelajari prinsip, keterampilan dan fakta yang seharusnya mereka pelajari

Level 2- Learning

10


Tanyakan apakah perilaku trainee dalampekerjaan berubah karena program training.Contoh: apakah pegawai di bagian komplainlebih ramah dalam menghadapi pelangganmarah dibanding sebelumnya ?

Level 3- BehaviorApplication

Apakah hasil akhir tercapai mengacu padatujuan training di awal? Apakah jumlah komplain pelangganmenurun? Apakah tingkat turnover berkurang?

Level 4-BusinessImpact

11


Level Nilai Informasi FrekuensiPenggunaan

TingkatKesulitanPenilaian

Reaction Kurangberguna Sering Mudah

Learning

Behaviour

Results Paling berguna Tidak Sering Sulit

12

MengukurMengukur EfektivitasEfektivitas TrainingTraining

13

Level 1Level 1--ReactionReaction

Evaluasi reaksi trainee terhadapprogramApakah mereka menyukai danmenikmati training ?Apakah trainee menilai training sesuai kebutuhan ?

Level 1-Reaction(Smile Sheet)

14

PanduanPanduan EvaluasiEvaluasi ReaksiReaksi

• Putuskan secara jelas apa yang akan diukur• Identifikasi alat evaluasi yang akan digunakan• Putuskan bagaimana menghitung hasilnya• Putuskan apa yang akan dilakukan terhadap hasil

evaluasi

15

PutuskanPutuskan secarasecara jelasjelas apaapa yang yang akanakan diukurdiukur

Seberapa berguna proses materi?Panjang materiMateri yang disediakanEfektivitas instruktur

““MasukanMasukan untukuntuk PerbaikanPerbaikan””Pilih pertanyaan yang memberi informasi paling relevan

16

IdentifikasiIdentifikasi AlatAlat EvaluasiEvaluasi yang yang AkanAkan DigunakanDigunakan

Tipe evaluasi apa yangdigunakan?•Generik•Spesifik

Jenis pertanyaan apa?•Pertanyaan terbuka•Pertanyaan terstruktur dengan

skala•Pertanyaan objective

Hindari penggunaan pertanyaan bias

17

Skala 1-4: Menghindari nilai

tengah

18

TentukanTentukan BagaimanaBagaimana MenggunakanMenggunakan HasilHasil EvaluasiEvaluasi

Identifikasi masalah & tindakan perbaikan•Bagaimana jalannya program?•Perbaikan apa yang bisa dilakukan berikutnya?•Kapan perbaikan akan selesai?•Siapa yang akan bertanggung jawab?•Siapa yang akan memberi persetujuan?

19

Level 2Level 2--LearningLearning

21

Level 2-Learning

Mengukur pembelajaran (learning) berarti menentukan:•Apakah trainee mempelajari apa

yang direncanakan untukdipelajari?

•Apakah pengalaman trainee sesuai dengan apa yang direncanakan?

KomponenKomponen EvaluasiEvaluasi Level 2Level 2

1. Kompetensi Apa yang harus dipelajari untukpekerjaan (Knowledge, Skill, Attitude)

2. Objectives Tujuan sesi yang spesifik & terukur

3. Exercises Aktivitas di sesi training yang akandigunakan untuk tujuan evaluasi

4. Evaluation Alat yang digunakan untuk mengukurkompetensi

22

ContohContoh EvaluasiEvaluasi HasilHasil Pre Test/Post TestPre Test/Post Test

Pertanyaan Pre Test Post Test +/-1 1.5 3.5 2.02 3.5 3.0 (0.5)3 1.7 2.9 1.2

24

MengukurMengukur HasilHasil TrainingTraining

25

Level 3Level 3--Behavior ApplicationBehavior Application

26

Level 3-Behavior Application

•Frekuensi aplikasi Skills / Knowledge/Attitudes baru(dalam pekerjaan)

•Efektivitas Skills / Knowledge / Attitudes (aplikasi dalampekerjaan)

Apa yang Diukur:•Apakah diaplikasikan dalam

pekerjaan•Seberapa sering diaplikasikan?•Seberapa berhasil?

•Form masukan peserta•Form masukan atasan

•Form masukan rekan kerja•Form masukan customer

EvaluasiEvaluasi

360360--derajatderajat

AlatAlat EvaluasiEvaluasi Level 3Level 3

27

PesertaTraining

RekanKerja

AtasanPeserta

28

29

Berikan jeda waktudari selesai training

ke saat evaluasi

Level 4Level 4--Business ResultsBusiness Results

Apakah program training berpengaruh terhadap:

ProduktivitasKualitasCustomer Response TimeKontrol BiayaKepuasan KaryawanKepuasan Pelanggan

Level 4-BusinessResults

30

LangkahLangkah EvaluasiEvaluasi Training Level 4Training Level 4

• Review tujuan• Mengukur progress terhadap tujuan• Mentabulasikan hasil• Menyajikan hasil

31

Performance IndicatorsPerformance Indicators

Hard Data Indicators• Durasi downtime• Jumlah produk rusak• Volume penjualan• Unit produksi• Indeks kepuasan pelanggan• Jumlah kecelakaan kerja• dll

32

Performance IndicatorsPerformance Indicators

Soft Data Indicators (aspek intangible/tidak berwujud)• Kepuasan kerja• Hubungan kerja yang harmonis• Komunikasi yang efektif• Tingkat stress• Kualitas pengambilan keputusan

33

ContohContoh: : MengukurMengukur HasilHasil TrainingTraining

120

80

0

20

40

60

80

100

120

140

Sebelum Training Setelah Training

Jum

lah

Prod

uk R

usakProgram: Training TQM

Hasil 3 bulan setelah training,jumlah produk rusak turunhingga 80 unit/hari

34

ContohContoh: : MengukurMengukur HasilHasil TrainingTraining

20

30

0

10

20

30

40

50

Sebelum Training Setelah Training

Sale

s (U

nit)

Program: Training SalesHasil 3 bulan setelah training,jumlah sales per salesman Meningkat hingga 30 unit/bulan

35

MengukurMengukur Return On Training Investment Return On Training Investment (ROTI)(ROTI)

36

http://www.bread.com/pics/bread_pic1_big.jpg

Level 1-Reaction

Level 2-Learning

Level 3-BehaviourApplication

Level 4-Business Impact

Level 5-Return onInvestment of

Training

37

KriteriaKriteria MemilihMemilih Program Program untukuntukEvaluasiEvaluasi Level 4 Level 4 dandan 55

• Tingkat kepentingan program dalam pencapaiantujuan organisasi

• Biaya program• Jumlah peserta• Tingkat kepentingan dari pihak manajemen

38

KeuntunganKeuntungan ROI TrainingROI Training

• Mengukur kontribusi• Menetapkan prioritas• Berfokus pada hasil• Mengubah pandangan manajemen terhadap

training

39

Model ROI TrainingModel ROI Training

Mengumpulkandata

MengisolasiEfek Training

Mengubah DataKe Satuan Uang

MenghitungROI Training

MentabulasiBiaya Program

MengidentifikasiKeuntunganIntangible

40

MengumpulkanMengumpulkan DataData

•Identifikasi indikator performayang tepat

•Mengembangkan rencanapengumpulan data

MengumpulkanMengumpulkandatadata

41

ContohContoh IndikatorIndikator PerformaPerforma

OutputOutput TimeTime

• Unit produksi• Item terjual• Produktivitas• Account baru

• Downtime perlengkapan

• Overtime• Waktu proses• Waktu perbaikan

42

ContohContoh Hard IndicatorHard Indicator

CostCost QualityQuality

• Biaya/unit• Biaya variabel• Biaya overhead• Biaya operasi

• Scrap• Waste• Reject• Error rate• Rework

43

ContohContoh HasilHasil PerformaPerforma

Beberapa hasil performa setelah program training:• Scrap berkurang dari 11% menjadi 7.4%• Ketidakhadiran berkurang dari 7% menjadi 3.25%• Tingkat turnover berkurang dari 30% menjadi 16%

44

MengisolasiMengisolasi EfekEfek TrainingTraining

Menggunakan ControlGroup

Trend Lines

MetodeMetode IsolasiIsolasiEfekEfek TrainingTraining

Estimasi Peserta

Estimasi Atasan Peserta

45


• Kontrol grup dapat digunakanuntuk mengisolasi dampaktraining

• Dengan strategi ini, satu grupmenerima training, sedangkangrup yang lain tidak menerimatraining

• Perbedaan performa diantarakedua grup merupakan dampakdari program training

MenggunakanMenggunakanKontrolKontrol GrupGrup

46

• Trend lines digunakan untukmemperkirakan suatu hasiljikalau tidak diadakan training

• Perkiraan dibandingkan dengandata aktual setelah training, danperbedaannya dianggap sebagaidampak training


Trend LinesTrend Lines

47

AnalisisAnalisis Trend LinesTrend Lines

Performa PenjualanAktual

Gap melambangkandampak training

Volu

me

Penj

uala

n

Program Training diadakan awal Mei

Proyeksi Trend

Jan Feb Mar Apr Mei Jun Jul Ags

48


• Metode ini berdasar pada asumsipeserta (dan atasannya) mampumemperkirakan seberapa peningkatankinerja terkait program training

• Karena tindakan mereka menghasilkanpeningkatan, peserta (dan atasannya) memiliki input yang akurat mengenaihal ini

• Mereka harus mengetahui berapabesar perubahan yang dihasilkandengan menerapkan apa yang telahdipelajari di program

EstimasiEstimasi DampakDampakTraining Training daridari PesertaPesertaDan Dan AtasanAtasan PesertaPeserta

49


Contoh Pertanyaan:• Berapa % peningkatan yang

dihasilkan dari penerapanskill/teknik/attitude yang diperoleh dari training?

• Seberapa yakin anda mengenaiestimasi tersebut (dalam %)?

• Faktor lain apa saja yang berkontribusi pada peningkatankinerja?

EstimasiEstimasi DampakDampakTraining Training daridari PesertaPesertaDan Dan AtasanAtasan PesertaPeserta

50


Contoh Estimasi Peserta:

No. Faktor yang Mempengaruhi Peningkatan % Peningkatan

% Kepercayaan

1 Program Training 50% 70%

2 Perubahan Prosedur 10% 80%

3 Penyesuaian Standard 10% 50%

4 Perubahan Rencana Insentif 20% 90%

5 Peningkatan Perhatian Manajemen 10% 50%

6 Lain-lain - -

% Kepercayaan dikalikan % Peningkatan (50% x 70%) menghasilkan training factor value 35%

51

Mengisolasi Efek TrainingMengisolasi Efek Training

Contoh Estimasi Peserta:

No. Faktor yang Mempengaruhi Peningkatan % Peningkatan

% Kepercayaan

1 Program Training 50% 70%

2 Perubahan Prosedur 10% 80%

3 Penyesuaian Standard 10% 50%

4 Perubahan Rencana Insentif 20% 90%

5 Peningkatan Perhatian Manajemen 10% 50%

6 Lain-lain - -

52

•% Kepercayaan dikalikan % Peningkatan (50% x 70%) untuk menghasilkan training factor value 35%

•% ini kemudian dikalikan dengan nilai aktual peningkatan (nilai post program dikurangi pre program) untuk mengisolasi porsi training

•Peningkatan (adjusted) ini siap untuk dikonversi menjadi nilai uang dan digunakandalam return on investment

Konversi Data ke Nilai UangKonversi Data ke Nilai Uang

Langkah Mengubah Data ke Nilai Uang:• Fokus dalam unit peningkatan• Tentukan nilai setiap unit• Hitung perubahan kinerja• Tentukan nilai perubahan annual• Hitung nilai peningkatan annual

Konversi Data keKonversi Data keNilai UangNilai Uang

53

Langkah Mengubah Data ke Nilai UangLangkah Mengubah Data ke Nilai Uang

Contoh Ilustrasi Langkah Mengubah Data menjadi Nilai Uang:

Langkah Ilustrasi

Fokus pada unit peningkatan

Jumlah Keluhan Pelanggan

Tentukan Nilai setiap Unit

Biaya rata-rata menangani keluhan diestimasi $6,500

Hitung Perubahan Kinerja

6 bulan setelah training, jumlah keluhan per bulan berkurang sejumlah 107 dari 10 keluhan yang berkurang dinilai atasan terkait dengan hasil training (isolasi dampak training)

Tentukan Nilai Perubahan

Menggunakan nilai 6 bulan, 7 keluhan per bulannya, menghasilkan nilai 6x7x$6,500 = $546,000

54

Tabulasi Biaya ProgramTabulasi Biaya Program

Tabulasi BiayaTabulasi BiayaProgramProgram

• Tabulasi biaya meliputi monitoring semua biaya program untuk menghitung ROI

55


Komponen biaya yang seharusnya dihitung:

• Biaya perjalanan, penginapan, makan peserta

• Gaji peserta training• Biaya administrasi training

Tabulasi BiayaTabulasi BiayaProgramProgram

56


A. Biaya Pengembangan TrainingB. Biaya Gaji Peserta Training

Gaji Annual x Panjang Training x Jumlah PesertaHari Kerja

C. Biaya PerjalananAvg. Biaya + Biaya Akomodasi x Panjang Training x PesertaPerjalanan

D. Biaya Paket Peserta = Jumlah Manual x Jumlah PesertaE. Biaya Trainer

Gaji Annual x Hari Training x Jumlah TrainerHari Kerja/Tahun

F. Biaya Kelas AnnualG. TOTAL BIAYA TRAINING= (A)+(B)+(C)+(D)+(E)+(F)

57

Contoh Analisis ROIContoh Analisis ROI

Minggu Setelah Training Trained Group Control Group

1 US$ 9,723 9,698

2 9,978 9,720

3 10,424 9,812

13 13,690 11,572

14 11,491 9,683

15 11,044 10,092Average untuk minggu 13,14,15 12,075 10,449

58

Contoh Analisis ROIContoh Analisis ROIKeuntungan Program Annual

Data US$

Rata-rata penjualan mingguan

Trained Group 12,075

Control Group 10,449

Peningkatan 1,626

Kontribusi Profit dari Training 2% 32.50

(Dampak Training)Total Peningkatan Mingguan(32.5 x 46 peserta)

1,495

Total Keuntungan Annual($ 1,495 x 48 minggu)

71,760

Cat: 46 peserta tetap di pekerjaan setelah 3 bulan 59

Contoh Analisis ROIContoh Analisis ROI

Biaya US$Fee Fasilitasi 11,250Material program: $35 x 46 1,610Makan: 3 hari x $28 x 46 1,288Gaji peserta (35%) 12,442Koordinasi dan Evaluasi 2,500Total Biaya 29,090

ROI (%):= $71,760-$29,090 X 100

$ 29,090= 146%

60

bagaimana mengevaluasi training

Education