MODEL EVALUASI PROGRAM DIKLAT JABATAN PNS1

Muslihin2

ABSTRAK

Kegiatan evaluasi program diklat jabatan PNS tidak hanya dilaksanakan padaakhir

kegiatan program, tetapi sebaiknya dilakukan sejak awal, yaitu mulai darimelaksanakan need assessement, monitoring proses pelaksanaan, sampai padaevaluasi pasca diklat. Ada berbagai macam model evaluasi program yang dapat

dipilihuntuk mengevaluasi program diklat. Model mana yang akan digunakantergantung pada tujuan maupun kemampuan evaluator. Siapapun yang

ditunjukmenjadi evaluator, agar hasil evaluasi dapat maksimal maka kompetensi

evaluatorharus dipertimbangkan. Kompetensi evaluator meliputi kompetensi manajerial,

kompetensi teknis, kompetensi konseptual dan kompetensi bidang studi.

Kata Kunci : Evaluasi Program dan Diklat

A. PENDAHULUAN

Pendidikan dan Pelatihan (Diklat) merupakan bagian

integral dari pengembangan Sumber Daya Manusia (SDM)

aparatur pemerintah. Pengembangan SDM aparatur di

Indonesia telah diatur melalui suatu kebijakan khusus,

yaitu melalui Peraturan Pemerintah No.101 Tahun 2000

tentang Pendidikan dan Pelatihan Jabatan Pegawai Negeri

Sipil. Pasal 3 peraturan tersebut menegaskan bahwa

sasaran diklat adalah untuk mewujudkan PNS yang memiliki

kompetensi sesuai dengan persyaratan jabatan masing

1 Disampaikan pada seminar KTI widyaiswara pada BKDPP ProvinsiNusa Tenggara Barat yang diselenggarakan pada tanggal 29 Juli sampai dengan 2 Agustus 2003 di Ruangan Widyaiswara BKDPP Provinsi NTB.

2 Widyaiswara Madya pada BKDPP Provinsi Nusa Tenggara Barat.

2

masing, baik untuk diklat kepemimpinan maupun diklat

teknis dan fungsional. Dalam kebijakan tersebut juga

diatur dua jenis diklat bagi peningkatan kompetensi PNS,

yaitu diklat pra-jabatan dan diklat dalam jabatan.

Selanjutnya, diklat dalam jabatan dibagi menjadi diklat

kepemimpinan, diklat fungsional, dan diklat teknis.

Pendidikan dan pelatihan jabatan PNS bertujuan: a)

meningkatkan pengetahuan, keahlian, keterampilan, dan

sikap untuk dapat melaksanakan tugas jabatan secara

professional dengan dilandasi kepribadian dan etika PNS

sesuai dengan kebutuhan; b) menciptakan aparatur yang

mampu berperan sebagai pembaharu dan perekat persatuan

dan kesatuan bangsa; c) memantapkan sikap dan semangat

pengabdian yang berorientasi pada pelayanan, pengayoman,

dan pemberdayaan masyarakat; dan d) menciptakan kesamaan

visi dan dimaksimalkannya pola pikir dalam melaksanakan

tugas pemerintahan umum dan pembangunan demi terwujudnya

kepemerintahan yang baik. Sasaran diklat adalah untuk

mewujudkan PNS yang memiliki kompetensi yang sesuai

dengan persyaratan jabatan masing masing, baik untuk

diklat kepemimpinan maupun teknis dan fungsional.3

Namun demikian, ternyata program-program diklat

tersebut masih dinilai belum mampu mewujudkan tujuan yang

diharapkan, yaitu peningkatan kompetensi SDM aparatur.

Ada berbagai faktor yang menyebabkan hal tersebut, salah

satunya adalah bahwa pengembangan PNS melalui program

kediklatan tidak dilandaskan pada kebutuhan, baik

3 Peraturan Pemerintah Republik Indonesia Nomor 101 Tahun 2000tentang Pendidikan dan Pelatihan Jabatan Pegawai Negeri Sipil,Pasal 2 dan 3

3

kebutuhan individual maupun organisasional (Zulpikar,

2008). Dalam hal ini, Lembaga Administrasi Negara (LAN)

menetapkan diklat sebagai suatu proses “transformasi”

kualitas SDM aparatur negara yang menyentuh 4 dimensi

utama, yaitu dimensi spiritual, intelektual, mental, dan

fisikal yang terarah pada perubahan-perubahan mutu dari

keempat dimensi SDM aparatur pemerintah (Mulyadi, 2008).

Program diklat aparatur PNS tersebut tidak serta

merta berakhir dengan berahirnya kegiatan belajar

mengajar dikelas. Beberapa persoalan bisa saja baru

teridentifikasi, ada banyak pertanyaan yang mungkin

muncul pada saat berakhirnya diklat. Misalnya bagaimana

kualitas program diklat, apakah peserta diklat telah

berhasil dalam kegiatan dimaksud, apakah peserta merasa

puas dengan program diklat yang baru saja selesai, apakah

peserta diklat mau mengikuti diklat lain yang

diselenggarakan, atau apakah peserta dikalt mau

merekomendasikan diklat yang baru diikutinya kepada orang

lain, apakah program diklat telah sesui dengan kebutuhan

peserta diklat, atau apakah dikalt telah sesuai dengan

kebutuhan dari instansi yang mengirimkan peserta diklat,

atau apakah ada hal-hal yang masih perlu atau harus

ditingkatkan berkaitan dengan kualitas pelaksanaan

program diklat. Dan masih ada banyak lagi pertanyaan yang

bisa muncul pada saat pelaksanaan diklat atau pada saat

setelah berakhirnya diklat. Seluruh pertanyaan di atas

hanya dapat dijawab jika penyelenggara diklat melakukan

evaluasi terhadap program diklat tersebut.

4

Evaluasi program diklat dimaksudkan antara lain untuk

mengetahui efektivitas program tersebut. Orang sering

beranggapan bahwa evaluasi program diklat diadakan pada

akhir pelaksanaan diklat. Anggapan yang demikian adalah

kurang tepat, karena evaluasi merupakan salah satu mata

rantai dalam sistem pelatihan yang jika dilihat dari

waktu pelaksanaannya kegiatan penilaian dapat berada di

awal proses perencanaan, di tengah proses pelaksanaan,

dan pada akhir penyelenggaraan, bahkan pada pasca

kegiatan diklat.

Penilaian yang dilaksanakan pada proses perencanaan

disebut dengan analis kebutuhan diklat (training need

assessment) untuk mengumpulkan informasi tentang

kemampuan, ketrampilan maupun keahlian yang akan

dikembangkan dalam pelatihan, karakteristik peserta

pelatihan, kualitas materi pelatihan dilihat dari

relevansi dan kebaharuan, kompetensi

pelatih/instruktur/pengajar, tempat pelatihan beserta

sarana dan prasarana yang dibutuhkan, akomodasi dan

konsumsi serta jadwal kegiatan pelatihan. Penilaian yang

dilaksanakan pada saat proses pelatihan disebut dengan

monitoring yang bertujuan untuk mengumpulkan informasi

tentang sejauh mana program yang telah disusun dapat

diimplementasikan dengan baik. Kegiatan monitoring ini

berusaha untuk menilai kualitas proses diklat, baik dari

aspek kinerja widyaiswara, iklim kelas, sikap dan

motivasi belajar para peserta diklat, dan sebagainya.

Sedangkan penilaian pasca pelatihan bertujuan untuk

5

mengetahui perubahan kinerja peserta setelah kembali ke

tempat kerjanya masing-masing.

Evaluasi program diklat adalah satu kesatuan proses

mulai dari perencanaan sampai pada pelaksanaan program

diklat yang meliputi 10 (sepuluh) tahapan proses, yaitu:

1) menentukan kebutuhan, 2) menetapkan tujuan, 3)

menetapkan isi materi, 4) memilih peserta, 5) menentukan

jadwal, 6) memilih fasilitas/sarana, 7) memilih tenaga

widyaiswara/trainer, 8) memilih dan menyiapkan alat

bantu, 9) koordinasi program, dan 10) evaluasi program

diklat.4 Pelaksanaan evaluasi dapat dilakukan pada

keseluruhan atau beberapa komponen atau program

penyelenggaraan diklat. Hal tersebut akan berpengaruh

terhadap model evaluasi yang digunakan. Penggunaan model

evaluasi program sangat bergantung pada tujuan dan

sasaran evaluasi yang akan dilaksanakan.

B. KONSEP EVALUASI PROGRAM

Secara umum evaluasi adalah suatu proses sistematik

untuk mengetahui tingkat keberhasilan dan efisiensi suatu

program. Fitzpatrick, dkk mendefinisikan evaluasi adalah

mengidentifikasi, mengklarifikasi dan mengaplikasikan

standar kriteria untuk menilai objek-objek yang

dievaluasi (layak atau manfaat) sehubungan dengan

kriteria tersebut.5 Sementara Djaali dan Mulyono

mendefinisikan evaluasi sebagai proses menilai sesuatu

4 Kickpatrik, Evaluating Training Program: The Four Level (San Francisco:Berrett-Koehler; 1998) h.12.

5 Jody L. Fitzpatrick, et al., Program Evaluation: Alternative Approachesand Practical Guidelines (Boston: Pearson Education, Inc, 2004), p. 5.

6

berdasarkan kriteria atau tujuan yang telah ditetapkan,

yang selanjutnya dengan pengambilan keputusan atas objek

yang dievaluasi.6

Berdasarkan pendapat para pakar evaluasi tersebut

dapat dirumuskan bahwa evaluasi merupakan proses yang

sistematis dan berkelanjutan untuk mengumpulkan,

mendeskripsikan, menginterpretaikan dan menyajikan

informasi tentang suatu program untuk dapat digunakan

sebagai dasar membuat keputusan, menyusun kebijakan

maupun menyusun program. Tujuan dilakukan evaluasi adalah

untuk memperoleh informasi yang akurat dan objektif

tentang suatu program.

Secara umum istilah program dapat didefinisikan

sebagai unit kegiatan yang merupakan implementasi dari

suatu kebijakan, berlangsung dalam proses yang

berkesinambungan, dan terjadi dalam suatu organisasi yang

melibatkan sekelompok orang. Menurut Arikunto, ada tiga

pengertian yang perlu ditekankan dalam menentukan

program, yaitu: (1) Realisasi atau implementasi suatu

kebijakan, (2) Terjadi dalam waktu yang relatif lama,

bukan kegiatan tunggal tetapi jamak berkesinambungan, dan

(3) Terjadi dalam organisasi yang melibatkan sekelompok

orang.7 Dengan demikian pelaksanaan program dilakukan

dalam kurung waktu yang berkesinambungan karena

6 Djaali dan Pudji Muljono, Pengukuran dalam bidang Pendidikan(Jakarta: Program Pascasarjana UNJ 2004), p. 1.

7 Suharsimi Arikunto dan Cepi Safrudin Abdul Jabar, EvaluasiProgram Pendidikan, Pedoman Teoritis dan Praktis bagi Mahasiswa dan PraktisiPendidikan (Jakarta: Bumi Aksara, 2008), p. 4.

7

melaksanakan suatu kebijakan dan melibatkan sekelompok

orang.

Menurut Sudjana, evaluasi program adalah kegiatan

sistematis untuk mengumpulkan, mengolah, menganalisis dan

menyajikan data sebagai masukan untuk pengambilan

keputusan.8 Sedangkan Spaulding, mengemukakan program

evaluation examines programs to determine their worth and to make

recommendations for programmatic refinement and success.9 Ini

memberi arti bahwa evaluasi program mengkaji program-

program untuk menentukan nilai dan membuat rekomendasi

untuk perbaikan dan keberhasilan program.

Berdasarkan beberapa definisi evaluasi program

diatas, dapat disimpulkan bahwa evaluasi program

merupakan kegiatan yang sistematis dalam mengumpulkan

informasi, menganalisis, dan memberikan nilai berdasarkan

kriteria atau standar yang ditetapkan untuk pengambilan

keputusan. Berdasarkan batasan evaluasi ini, dipahami

bahwa kegiatan evaluasi mengandung tiga unsur utama,

yaitu: (1) Kegiatan secara sistematis, (2) Berdasarkan

kriteria atau standar, (3) Pengambilan keputusan.

Dengan demikian, maka hasil evaluasi dapat dijadikan

sebagai landasan berpijak dalam menilai suatu program dan

memutuskan apakah program tersebut dapat diteruskan,

dihentikan atau diperbaiki, diterima atau ditolak.

Evaluasi dilakukan dengan tujuan untuk dapat

8 Djuju Sudjana, Evaluasi Program Pendidikan Luar Sekolah Untuk PendidikanNonformal dan Pengembangan Sumber Daya Manusia (Bandung: PT. RemajaRosdakarya 2006)p. 21.

9 Dean T. Spaulding, Program Evaluation in Practice: Core Concepts andExamples for Discussion and Analysis (San Fransisco: Jossey-Bass, 2008),p. 5.

8

memperlihatkan hubungan antara perencanaan program dan

pengembangan program, disisi lain evaluasi juga untuk

menemukan apakah dan bagaimanakah sebaiknya tujuan

program dipenuhi, menentukan alasan kesuksesan dan

kegagalan, menemukan prinsip utama sebuah kesuksesan

program dan meningkatkan efektivitas program.

Evaluasi harus membandingkan apa yang telah dicapai

oleh program dengan apa yang seharusnya dicapai sesuai

standar atau kriteria yang telah ditetapkan. Hal ini

mengindikasikan bahwa evaluasi sebagai alat kontrol suatu

program untuk mengukur bagaimana pencapaian tujuan

program termasuk implikasi-implikasinya. Hal yang umum

terjadi pada evaluasi program adalah bagaimana

meningkatkan suatu program dan bukan untuk membuktikan

program.

C. MODEL EVALUASI PROGRAM DIKLAT

Model evaluasi merupakan desain atau rancangan

evaluasi yang dikembangkan oleh para ahli evaluasi, yang

biasanya dinamakan sama dengan pembuatnya atau tahap

evaluasinya. Selain itu, ada ahli evaluasi yang membagi

evaluasi sesuai dengan misi yang akan dibawakan dan

kepentingan yang diraih serta ada yang menyesuaikan

dengan paham yang dianutnya yang disebut dengan

pendekatan.

Ada banyak model evaluasi yang dikembangkan oleh

para ahli evaluasi yang dapat dipakai dalam mengevaluasi

berbagai program kegiatan. Meskipun antara model yang

satu dengan model yang lainnya berbeda, namun pada

9

dasarnya memiliki tujuan yang sama yaitu melakukan

kegiatan pengumpulan data atau informasi yang berkaitan

dengan objek yang akan dievaluasi. Tujuannya adalah

menyediakan bahan bagi pengambil keputusan dalam

menentukan tindak lanjut suatu program. Pemilihan model

evaluasi yang digunakan dapat ditentukan berdasarkan

tujuan dan pertanyaan yang dikembangkan dalam evaluasi

yang bersangkutan. Beberapa model evaluasi program yang

dapat dan sering digunakan dalam mengevaluasi diklat

jabatan PNS antara lain adalah model CIPP (context, input,

process, product), Kickpatrik training evaluation model, Jack PhillPS”: Five

level ROI Model, Robert Stake’s: Responsive Evaluation Model, CIRO (context,

input, reaction, outcome), dan sebagainya.

1. Evaluasi model CIPP

Konsep evaluasi model CIPP ( Context, Input, Prosess and

Product) pertama kali ditawarkan oleh Stufflebeam pada

tahun 1965 sebagai hasil usahanya mengevaluasi ESEA (the

Elementary and Secondary Education Act) dengan pandangan bahwa

tujuan penting evaluasi adalah bukan membuktikan

(prove) tetapi untuk memperbaiki (improve).10

Evaluasi model CIPP dapat diterapkan dalam

berbagai bidang, seperti pendidikan, manajemen,

perusahaan sebagainya serta dalam berbagai jenjang

baik itu proyek, program maupun institusi. Dalam

bidang pendidikan Stufflebeam menggolongkan sistem

pendidikan atas 4 dimensi, yaitu, kontek, input,

proses, dan produk. 10 Daniel L. Stufflebeam dan Anthony J. Shinkfield, Evaluation

Theory: Models, and Applications (San Francisco: Jossey-Bass, 2007), p. 13

10

a. Kontek yaitu situasi atau latar belakang yang

mempengaruhi jenis-jenis tujuan dan strategi diklat

yang akan dikembangkan dalam sistem yang

bersangkutan, misalnya masalah diklat yang

dirasakan, keadaan ekonomi negara, dan pandangan

hidup masyarakat.

b. Input berupa sarana/modal/bahan dan rencana

strategi yang ditetapkan untuk mencapai tujuan-

tujuan pendidikan.

c. Proses yaitu pelaksanaan strategi dan penggunaan

sarana/modal/ bahan di dalam kegiatan nyata di

lapangan.

d. Produk merupakan hasil yang dicapai baik selama

maupun pada akhir pengembangan sistem pendidikan

yang bersangkutan.

2. Evaluasi model Kirkpatrick

Menurut Kirkpatrick evaluasi terhadap

efektivitas program diklat atau training mencakup

empat level evaluasi, yaitu: level 1 – Reaction, level

2 – Learning, level 3 – Behavior, level 4 – Result.

a. Evaluating Reaction

Mengevaluasi terhadap reaksi peserta diklat berarti

mengukur kepuasan peserta (customer satisfaction).

Program diklat dianggap efektif apabila proses

training dirasa menyenangkan dan memuaskan bagi

peserta training sehingga mereka tertarik

termotivasi untuk belajar dan berlatih. peserta

diklat akan termotivasi apabila proses diklat

11

berjalan secara memuaskan bagi peserta yang pada

akhirnya akan memunculkan reaksi dari peserta yang

menyenangkan. Sebaliknya apabila peserta tidak

merasa puas terhadap proses training yang

diikutinya maka mereka tidak akan termotivasi untuk

mengikuti diklat lebih lanjut. Dengan demikian

dapat dimaknai bahwa keberhasilan proses kegiatan

diklat tidak terlepas dari minat, perhatian dan

motivasi peserta dalam mengikuti jalannya kegiatan

diklat. Orang akan belajar lebih baik manakala

mereka memberi reaksi positif terhadap lingkungan

belajar. Kepuasan peserta diklat dapat dikaji dari

beberapa aspek, yaitu materi yang diberikan,

fasilitas yang tersedia, strategi penyampaian

materi yang digunakan oleh widyaiswara, media

pembelajaran yang tersedia, jadwal kegiatan sampai

menu dan penyajian konsumsi yang disediakan.

b. Evaluating Learning

Menurut Kirkpatrick, ada tiga hal yang dapat

widyaiswara ajarkan dalam program diklat, yaitu

pengetahuan, sikap maupun ketrampilan. Peserta

training dikatakan telah belajar apabila pada

dirinya telah mengalamai perubahan sikap, perbaikan

pengetahuan maupun peningkatan ketrampilan. Oleh

karena itu untuk mengukur efektivitas program

diklat maka ketiga aspek tersebut perlu untuk

diukur. Tanpa adanya perubahan sikap, peningkatan

pengetahuan maupun perbaikan ketrampilan pada

peserta diklat maka program dapat dikatakan gagal.

12

Penilaian evaluating learning ini ada yang menyebut

dengan penilaiah hasil (output) belajar. Oleh karena

itu dalam pengukuran hasil belajar (learning

measurement) berarti penentuan satu atau lebih hal

berikut: a). Pengetahuan apa yang telah

dipelajari ?, b). Sikap apa yang telah berubah? c).

Ketrampilan apa yang telah dikembangkan atau

diperbaiki ?.

c. Evaluating Behavior

Evaluasi pada level ke 3 (evaluasi tingkah laku)

ini berbeda dengan evaluasi terhadap sikap pada

level ke 2. Penilaian sikap pada evaluasi level 2

difokuskan pada perubahan sikap yang terjadi pada

saat kegiatan diklat dilakukan sehingga lebih

bersifat internal, sedangkan penilaian tingkah laku

difokuskan pada perubahan tingkah laku setelah

peserta kembali ke tempat kerja. Apakah perubahan

sikap yang telah terjadi setelah mengikuti diklat

juga akan diimplementasikan setelah peserta kembali

ke tempat kerja, sehingga penilaian tingkah laku

ini lebih bersifat eksternal. Perubahan perilaku

apa yang terjadi di tempat kerja setelah peserta

mengikuti program training. Dengan kata lain yang

perlu dinilai adalah apakah peserta merasa senang

setelah mengikuti training dan kembali ke tempat

kerja?. Bagaimana peserta dapat mentrasfer

pengetahuan, sikap dan ketrampilan yang diperoleh

selama training untuk diimplementasikan di tempat

kerjanya. Karena yang dinilai adalah perubahan

13

perilaku setelah kembali ke tempat kerja maka

evaluasi level 3 ini dapat disebut sebagai evaluasi

terhadap outcomes dari kegiatan diklat.

d. Evaluating Result

Evaluasi hasil dalam level ke 4 ini difokuskan pada

hasil akhir (final result) yang terjadi karena peserta

telah mengikuti suatu program. Termasuk dalam

kategori hasil akhir dari suatu program training di

antaranya adalah kenaikan produksi, peningkatan

kualitas, penurunan biaya, penurunan kuantitas

terjadinya kecelakaan kerja, penurunan turnover dan

kenaikan keuntungan. Beberapa program mempunyai

tujuan meningkatkan moral kerja maupun membangun

teamwork yang lebih baik. Dengan kata lain adalah

evaluasi terhadap impact program.

3. Model ROTI (Return on Training Investment)

Selain model empat level evaluasi dari

Kirkpatrick, Jack J. Philips2 melengkapi menjadi

pengukuran level 5 yaitu melakukan evaluasi diklat

dari sisi tingkat pengembalian diklat biasa dikenal

dengan istilah Return on Training Investment/ROTI yaitu

mengukur manfaat diklat dibandingkan dengan biayanya.

Model ROI yang dikembangkan oleh Jack Phillips

merupakan level evaluasi terakhir untuk melihat cost-

benefit setelah pelatihan dilaksanakan.

Kegunaan model ini agar pihak manajemen melihat

pelatihan bukan sesuatu yang mahal dan hanya merugikan

pihak keuangan, akan tetapi pelatihan merupakan suatu

14

investasi, sehingga dapat dilihat dengan menggunakan

hitungan yang akurat keuntungan yang dapat diperoleh

setelah melaksanakan pelatihan. Hal ini tentunya dapat

memberikan gambaran lebih luas, apabila ternyata dari

hasil yang diperoleh ditemukan bahwa pelatihan

tersebut tidak memberikan keuntungan baik bagi peserta

maupun bagi lembaga. Model evaluasi ini merupakan

tambahan dari model evaluasi Kirkpatrick yaitu adanya

level ROI (level 5), pada level ini ingin melihat

keberhasilan dari suatu program pelatihan dengan

melihat dari Cost-Benefit-nya, sehingga memerlukan data

yang tidak sedikit dan harus akurat untuk menunjang

hasil dari evaluasi pelatihan yang valid.

Tahap ROI paling sulit dilakukan. Tujuannya adalah

untuk mengevaluasi nilai balik modal dari pelaksanaan

diklat. Dibutuhkan waktu, biaya dan analisis data yang

akurat untuk keberhasilan evaluasi ini. Salah satu

cara adalah mengisolasi pengaruh diklat, ada dua

strategi yang dengan mudah diperhitungkan yaitu :

a. Perbandingan antara kelompok peserta dan kelompok

bukan peserta. Kinerja antara kelompok peserta

diklat dapat diperbandingkan dengan kelompok lain

yang setara dan belum mendapatkan pelatihan.

b. Perbandingan antara sebelum dan sesudah diklat.

Kinerja antara sebelum dan sesudah diklat dari

kelompok yang sama diperbandingkan.

4. Evaluasi model Stake (Countenance Model)

15

Stake menekankan adanya dua dasar kegiatan dalam

evaluasi, yaitu description dan judgement kemudian

membedakan adanya tiga tahap dalam program diklat,

yaitu antecedent (context), transaction (process) dan outcomes.

Stake mengatakan bahwa apabila kita menilai suatu

program diklat, kita melakukan perbandingan yang

relatif antara program dengan program yang lain, atau

perbandingan yang absolut yaitu membandingkan suatu

program dengan standar tertentu. Penekanan yang umum

atau hal yang penting dalam model ini adalah bahwa

evaluator yang membuat penilaian tentang program yang

dievaluasi. Stake mengatakan bahwa description di satu

pihak berbeda dengan judgement di lain fihak. Dalam

model ini antecendent (masukan) transaction (proses) dan

outcomes (hasil) data di bandingkan tidak hanya untuk

menentukan apakah ada perbedaan antara tujuan dengan

keadaan yang sebenarnya, tetapi juga dibandingkan

dengan standar yang absolut untuk menilai manfaat

program.

5. Goal Oriented Evaluation Model (Tyler)

Objek pengamatan model ini adalah tujuan program

diklat yang sudah ditetapkan jauh sebelum program

dimulai. Evaluasi ini dilakukan secara

berkesinambungan untuk mengetahui sejauh mana tujuan

tersebut sudah terlaksana di dalam proses

pelaksanaannya. Model ini menggunakan tujuan program

sebagai kriteria untuk menentukan keberhasilan dari

program. Evaluator mencoba mengukur sampai dimana

pencapaian tujuan telah dicapai.

16

6. Goal Free Evaluation Model (Michael Schriven)

Menurut Schriven, dalam pelaksanaan evaluasi

program, evaluator tidak perlu memperhatikan apa yang

menjadi tujuan program, akan tetapi bagaimana

bekerjanya suatu program, dengan cara mengidentifikasi

penampilan-penampilan yang terjadi yang terjadi, baik

hal-hal yang positif maupun hal-hal yang negatif.

Alasannya karena ada kemungkinan evaluator terlalu

rinci mengamati tiap-tiap tujuan khusus. Jika masing-

masing tujuan khusus tercapai artinya terpenuhi dalam

penampilan, tetapi evaluator lupa memperhatikan sejauh

mana masing-masing penampilan tersebut mendukung

penampilan akhir yang diharapkan oleh tujuan umum,

maka akibatnya jumlah penampilan khusus ini tidak

banyak manfaatnya. Maksud dari Evaluasi lepas dari

tujuan ini hanya mempertimbangkan tujuan umum yang

akan dicapai oleh program.

Dalam model ini, evaluator sengaja menghindar

untuk mengetahui tujuan program, berfokus pada hasil

yang sebenarnya bukan hasil yang direncanakan,

hubungan evaluator dengan peserta dibuat seminimal

mungkin, dan tujuan yang telah dirumuskan terlebih

dahulu tidak dibenarkan untuk menyempitkan fokus

evaluasi.

Masing-masing model evaluasi program tersebut

memiliki keunggulan dan keterbatasan. Ketepatan model

evaluasi program yang digunakan berhubungan erat dengan

jenis program yang dievaluasi. Sesuai dengan bentuk

17

kegiatannya, program ini dibedakan menjadi program

pemrosesan, program layanan, dan program umum.

1. Program pemrosesan adalah program yang kegiatan

pokoknya mengubah bahan mentah (input) menjadi bahan

jadi sebagai hasil proses atau keluaran (output).

Contoh: program perpustakaan, program kepramukaan dan

sebagainnya.

2. Program layanan (service) adalah sebuah kesatuan

kegiatan yang bertujuan untuk memenuhi kebutuhan pihak

tertentu sehingga merasa puas sesuai dengan tujuan

program. Sebagai contoh adalah: program bank, program

koperasi dan lain-lain.

3. Program umum yaitu program yang tidak tampak apa yang

menjadi ciri utama. Contohnya adalah: Program makanan

tambahan anak

Sekolah (PMTAS).

D. TAHAPAN EVALUASI PROGRAM DIKLAT

Pelaksanaan evaluasi program diklat secara

sistematis pada umumnya menempuh 4 langkah, yaitu: 1).

penyusunan desain evaluasi, 2). pengembangan instrument

pengumpulan data, 3). pengumpulan data (assessment),

menafsirkan dan membuat judgement, serta 4). menyusun

laporan hasil evaluasi.

1. Menyusunan Desain Evaluasi

Langkah pertama dalam evaluasi adalah menyusun rencana

evaluasi yang menghasilkan desain evaluasi. Pada

langkah ini evaluator mempersiapkan segala sesuatu

18

sesuatu yang berkaitan dengan pelaksanaan evaluasi,

mulai menentukan tujuan evaluasi, model yang akan

digunakan, informasi yang akan dicari serta metode

pengumpulan dan analaisis data. Apabila langkah

pertama dapat menghasilkan desin evaluasi yang cukup

komprehensif dan rinci, maka sudah dapat dijadikan

sebagai acuan kegiatan evaluasi yang akan

dilaksanakan. Rancangan atau desain evaluasi biasanya

disusun oleh evaluator setelah melakukan diskusi dan

ada kesepakatan dengan pihak yang akan membiayai

kegiatan evaluasi atau sponsor. Namun adakalanya

rancaranga disusun oleh evaluator untuk dijadikan

bahan mengadakan negoisasi dengan sponsor.

2. Mengembangkan Instrumen Pengumpulan Data

Setelah metode pengumpulan data ditentukan, langkah

selanjutnya adalah menentukan bentuk instrument yang

akan digunakan serta kepada siapa instrumen

tersebut ditujukan (responden). Kemudian setelah

itu perlu dikembangkan butir- butir dalam

instrument. Berbagai pertimbangan mengenai berapa

banyak informasi yang akan dikumpulkan,

instrument dikembangkan sendiri, mengadopsi ataupun

menggunakan instrument baku dari instrument yang sudah

ada sebelumnya. Untuk memperoleh data yang valid maka

instrument yang digunakan harus memperhatikan masalah

validitas dan reliabilitas. Selain hal tersebut,

masalah efisiensi dan efektivitas harus tetap

diperhatikan. Jenis-jenis instrument yang paling

sering digunakan untuk mengumpulkan data dalam

19

evaluasi program pelatihan adalah dalam bentuk tes,

angket,ceklis pengamatan, wawancara atau evaluator

sendiri sebagai instrument.

3. Mengumpulkan Data, Analisis dan Judgement

Langkah ketiga merupakan tahapan pelaksanaan dari apa

yang telah dirancang pada langkah pertama dan kedua.

Pada langkah ketiga ini evaluator terjun ke “lapangan”

untuk implementasi desain yang telah dibuat, mulai

dari mengumpulkan dan menganalisis data,

menginterpretasikan, dan menyajikan dalam bentuk yang

mudah untuk dipahami dan komunikatif. Pengumpulan data

dapat dari populasi maupun dengan menggunakan sampel.

Apabila menggunakan sampel maka harus representatif

mewakili populasi, oleh karena harus memperhatikan

teknik sampling yang baik. Berdasarkan data yang

dikumpulkan kemudian dianalisis dan dibuat judgement

berdasarkan kriteria maupun standar yang telah

ditetapkan sebelumnya. Dari hasil judgement kemudian

disusun rekomendasi kepada penyelenggara kegiatan

pelatihan maupun fihak-fihak lain yang mempunyai

kepentingan dengan kegiatan pelatihan. Langkah etiga

ini merupakan proses esensial dari kegiatan evaluasi

program pelatihan di mana terjadi dialog antara

evaluator dengan obyek evaluasi. Hal yang harus

diperhatikan oleh evaluator pada tahap ini adalah

masalah etika dan penguasaan ‘setting’ atau latar di

mana evaluasi dilaksanakan.

4. Menyusun Laporan Hasil Evaluasi

20

Menyusun laporan merupakan langkah terakhir kegiatan

evaluasi program pelatihan. Laporan disusun sesuai

dengan kesepakatan kontrak yang ditandatangani.

Misalnya dalam kontrak disepakati bahwa laporan dibuat

dua jenis laporan dengan sasaran atau penerima laporan

yang berbeda. dapat disepakati pula bahwa penyampaian

laporan secara tertulis dan ada kesempatan presentasi.

Langkah terakhir ini erat kaitannya dengan tujuan

diadakannya evaluasi. Oleh karena itu gaya dan format

penyampaian laporan harus disesuaikan dengan penerima

laporan.

Format laporan dapat dikelompokan dalam 3 kelompok

besar yaitu data program pelatihan yang dievaluasi,

data serta bukti-bukti yang diperoleh selama

pelaksanaan evaluasi dan kesimpulan serta tindak

lanjut dari hasil evaluasi diklat ini. Secara

sederhana format laporan evaluasi diklat dapat

disajikan sebagai berikut:

Bagian I – Data Umum Program Diklat

a. Nama Program Diklat

b. Tujuan Program Diklat

c. Karakteristik Program Diklat

d. Peserta Diklat

e. Pihak-pihak yang terkait dengan program diklat

f. Hal lain yang relevan dengan program diklat

Bagian II – Evaluasi Hasil Diklat

a. Tujuan evaluasi dan Hasil yang diharapkan

b. Rancangan evaluasi diklat

21

c. Data dan bukti yang diperoleh selama evaluasi

diklat

d. Analisis terhadap data dan bukti

e. Tanggapan dan diskusi hasil evaluasi

Bagian III – Simpulan dan tindak lanjut

a. Simpulan dan saran

b. Tindak lanjut

E. EVALUATOR PROGRAM DIKLAT

Keberhasilan kegiatan evaluasi program pelatihan

akan sangat ditentukan oleh siapa yang melakukan evaluasi

atau evaluator. Evaluator adalah orang yang dipercaya

oleh pemilik program dan orang-orang yang berkepentingan

dengan program (stakeholder) untuk melaksanakan evaluasi.

Penentuan siapa yang akan menjadi evaluator ini sangat

tergantung kepada pemilik program. Berikut ini disajikan

hal-hal yang berkaitan dengan alternatif evaluator,

pertimbangan penentuan, dan kompetensi evaluator.

1. Alternatif Penentuan Evaluator

Penentuan tentang siapa yang akan berperan

sebagai evaluator sangat penting dan menentukan dalam

kegiatan evaluasi. Membuat keputusan tentang siapa

yang akan mengambil bagian sebagai evaluator terkadang

mengandung konflik pilihan yang dilematis. Pertanyaan-

pertanyaan yang muncul ketika memikirkan siapa yang

akan berperan sebagai evaluato adalah: Apakah

evaluator berasal dari dalam atau dari luar

22

organisasi? Apakah evaluator merupakan sebuah tim atau

individu? Apakah evaluator merupakan tenaga paruh

waktu (part-time) atau bekerja penuh (full-time)? Apakah

evaluator merupakan tenaga professional atau amatir?

Jawaban atas setiap pertanyaan tersebut mengarah

kepada pemilihan dan penentuan evaluator.

2. Pertimbangan dalam Penentuan Evaluator

Berikut ini berbagai pertimbangan yang

dapat dijadikan pedoman sebelum menentukan evaluator.

Pertimbangan ini berkaitan dengan masalah keuntungan

dan kerugian atau kelebihan dan kekurangannya.

a. Pertimbangan antara evaluator orang dalam dan orang

luar

Orang dalam adalah orang yang berasal dari bagian

atau institusi penyelenggaran program pelatihan,

dan biasanya mereka telah ikut dalam proses

pengembangan dan pelaksanaan program pelatihan.

Sedangkan yang dimaksud dengan orang luar adalah

mereka yang berperan sebagai evaluator berasal dari

luar bagian atau institusi penyelenggara program

pelatihan. Kelebihan orang dalam adalah mereka

sudah mengetahui organisasi dengan baik, dapat

mengetahui reputasi, status dan kredibilitas

organisasi tempatnya bekerja. Ia memiliki

hubungan yang baik dengan staf, memahami saluran

komunikasi dalam organisasi. Kelemahan orang dari

dalam adalah terjadinya bias, karena konflik

kepentingan, mungkin evaluator tidak memiliki

ketrampilan evaluasi, atau pekerjaan evaluasi yang

23

dilaksanakannya terganggu oleh tugas lain dan

akibatnya ia tidak dapat menepati waktu.

Sebaliknya apabila evaluator ditentukan dari orang

luar, maka kelebihannya mereka dapat bersikap

netral, dapat bertindak sebagai pengamat

independent, obyektif sebagai pengamat, dan lebih

kompeten dalam teknik evaluasi. Kekurangan

evaluator dari luar adalah mereka kurang akrab

dengan kebiasaan organisasi, tidak mengenal

tatacara yang ada di organisasi yang dimasuki, dan

tidak menutup kemungkinan pemilihannya hanya

berdasarkan rekomendasi.

b. Pertimbangan antara evaluator tim dan individual

Kelebihan evaluator individual atau perorangan

adalah adanya kejelasan tentang siapa yang harus

bertanggungjawab, sedangkan kekurangannya adalah

keberhasilan atau kegagalan evaluasi tergantung

pada satu orang. Sebenarnya hampir mustahil

pekerjaan evaluasi program pelatihan hanya

diselesaikan oleh satu orang tanpa bantuan orang

lain. Apabila evaluator ditentukan oleh tim maka

kelebihannya adalah adanya pembagian tugas dan

tanggung jawab yang jelas. Evaluator terdiri atas

gabungan orang dengan berbagai keahlian sehingga

bisa saling melengkapi. Kelemahan evaluator tim

adalah perlu waktu untuk pembentukan tim,

membutuhkan biaya yang tidak sedikit.

c. Pertimbangan antara evaluator part-time dan full-time

24

Evaluator part-time dan full-time masing-masing memiliki

kelebihan dan kelemahan. Kelebihan apabila

evaluator bekerja penuh waktu (full-time) adalah

pekerjaan terorganisir dengan baik, ketepatan dan

arus informasi tidak tergantung pada evaluator,

sedangkan kelemahannya adalah biaya relatif lebih

mahal, mengurangi kesempatan partisipasi dalam

kegiatan evaluasi. Apabila evaluator bekerja paruh

waktu (part-time) adalah dapat melibatkan berbagai

keahlian dalam waktu yang tidak terlalu lama dan

dimungkinkan penggunaan tenaga ahli dari

luar, sementara kelemahannya adalah waktu kunjungan

singkat tidak memungkinkan untuk mempelajari

permasalahan secara menyeluruah dan perlu biaya dan

peralatan yang banyak untuk penjadwalan.

d. Pertimbangan antara evaluator amatir dan

professional

Pengertian evaluator professional di sini adalah

mereka yang menjadikan pekerjaan evaluasi atau

penelitian sebagai pekerjaan pokok sehari-hari dan

telah menekuni pekerjaan evaluasi dalam waktu yang

lama. Orang-orang di luar kriteria tersebut

dianggap sebagai amatir. Kelebihan evaluator

amatir, terutama yang sudah berpengalaman, meskipun

amatir evaluator biasanya dapat memahami isi dan

obyek evaluasi dengan baik dan dapat memilih

berbagai ketrampilan evaluasi berdasarkan

pengalaman. Kelemahan evaluator amatir adalah

karena kurangnya pengetahuan tentang evaluasi

25

akibatnya dapat menurunkan obyektivitas evaluasi,

kemampuan evaluasinya terbatas dan mereka memiliki

keterbatasan dalam pilihan rancangan evaluasi.

Kelebihan evaluator professional adalah

evaluator dapat melaksanakan evaluasinya

berdasarkan pengalaman dan pengetahuan teknis dan

evaluator memiliki berbagai pilihan model

evaluasi berdasarkan pengetahuan maupun

pengalamannya. Kelemahan evaluator professional

(biasanya orang luar), tidak selamanya dapat

diterima oleh orang dalam, kecenderungan

menggunakan metode tertentu, dan menghalangi

pemilihan metode atau rancangan orang lain.

3. Kompetensi Evaluator

Evaluator haruslah dipilih dari orang yang

benar-benar memiliki kompetensi di bidangnya.

Ketidakbebasan dalam penentuan evaluator harus

dihindari, sebab hal itu akan berpengaruh negatif

terhadap hasil evaluasi. Ketidakbebasan karena konflik

kepentingan atau conflict of interest lebih besar pengaruhnya

terhadap hasil ketimbang ketidakmampuan dalam bidang

teknis. Kompetensi evaluator dapat dikelompokkan

menjadi empat jenis, yaitu: kompetensi manajemerial,

kompetensi teknis, kompetensi koseptual dan kompetensi

bidang studi.

a. Kompetensi Manajerial. Kompetensi manajerial

(magerial skill) merupakan ketrampilan dalam mengelola

dan mengendalikan seluruh kegiatan evaluasi

sehingga dapat berlangsung dengan baik. Ketrampilan

26

manajerial ini meliputi: ketrampilan mengorganisir,

memimpin, mengkoordinir, mengarahkan, mengawasi,

ketrampilan berkomunikasi, ketrampilan

interpersonal, analsis system, membuat perjanjian

atau kontrak, menjelaskan wawasan politik,

ketrampilan menerapkan etika profesi dan

sebagainya.

b. Ketrampilan Teknis. Kompetensi/ketrampilan Teknis

yakni ketrampilan melakukan kegiatan evaluasi

langkah demi langkah, dari perencanaan sampai

pembuatan laporan evaluasi secara tuntas. Termasuk

ketrampilan teknis ini di antaranya adalah:

ketrampilan mengembangkan instrument, melaksanakan

tes dan pengukuran, melakukan analisis statistik,

menguasai berbagi metode pengumpulan data,

menguasai aplikasi komputer, menguasai berbagai soft-

ware seperti excel, SPSS, Amos, Lisrel dan berbagai

soft-ware dalam bidang statistik lainnya, menerapkan

metodolgi penelitian evaluasi, membuat

interpretasi, membuat rekomendasi dan menulis

laporan serta mempresentasikan laporan.

c. Kompetensi Konseptual, yaitu ketrampilan tingkat

tinggi yang berkaitan dengan kemampuan menganalisis

dan pemecahan masalah. Ketrampilan konspetual

(conceptual skill) yang harus dikuasasi evaluator di

antaranya adalah kemampuan menentukan pilihan

(alternative), menyusun rencana awal,

mengklasifikasikan dan menganalisis masalah,

27

melihat dan menunjukkan hubungan antar variabel dan

membuat kesimpulan.

d. Kompetensi bidang studi, yaitu kemampuan di bidang

disiplin ilmu yang terkait dengan kegiatan

evaluasi. Keahlian ini meliputi: pengalaman kerja

di bidang evaluasi, berpengatahuan tentang sumber

literatur yang berkaitan dengan obyek yang

dievaluasi, menguasai konsep-konsep maupun model-

model evaluasi.

F. PENUTUP

Evaluasi diklat adalah sebuah evaluasi yang

komprehensif untuk menilai keberhasilan program diklat,

khususnya berkaitan dengan keberhasilan dalam mencapai

tujuan pembelajaran atau tujuan diklat. Evaluasi diklat,

tidak hanya melakukan evaluasi terhadap data dan informasi

setelah seseorang selesai mengikuti program pelatihan,

evaluasi diklat juga mengumpulkan dan melakukan analisis

terhadap data dan informasi sebelum peserta diklat mengikuti

program diklat, selama mengikuti diklat dan setelah selesai

mengikuti diklat bahkan selama periode –periode selanjutnya

setelah selesai diklat.

Perancangan pelaksanaan evaluasi diklat sangat penting

untuk mencapai keberhasilan evaluasi diklat, apa yang hendak

dievaluasi, bagaimana cara melakukan evaluasi, data dan

informasi apa saja yang dibutuhkan untuk analisis dan

evaluasi serta saran dan rekomendasi yang akan dihasilkan.

Evaluasi diklat ini pada akhirnya digunakan untuk

mengambil keputusan: apakah program pelatihan ini bermanfaat

28

atau tidak?, apakah program pelatihan ini akan dilanjutkan

atau tidak? Hal apa saja yang perlu diperbaiki dari program

pelatihan yang sudah ada jika ingin dilanjutkan kembali? Dan

untuk keputusan terakhir ini bisa saja seluruh program

diklat dirancang ulang mulai dari tahap yang pertama sekali

–menentukan kebutuhan diklat, sampai pada tahapan evaluasi

diklat. Keberhasilan evaluasi diklat akan membantu lembaga

diklat untuk meningkatkan kualitas penyelenggaraan diklat

secara keseluruhan.

DAFTAR PUSTAKA

Arikunto, Suharsimi dan Cepi Safrudin Abdul Jabar. EvaluasiProgram Pendidikan, Pedoman Teoritis dan Praktis bagi Mahasiswa danPraktisi Pendidikan. Jakarta: Bumi Aksara, 2008.

Djaali, dan Pudji Mulyono. Pengukuran dalam Bidang Pendidikan.Jakarta: PT. Grasindo, 2008.

Fitzpatrick, Jody L. Program Evaluation: Alternative Approaches andPractical Guidelines. Boston: Pearson Education, Inc., 2004.

Kirkpatrick, Donald L., Evaluating Training Programs: TheFour Levels, 2ed, Berret-Koehler Publisher,SanFrancisco, 1998

Mulyadi, Deddy. (2008). “Pengembangan SDM BerbasisKompetensi Melalui Manajemen Diklat Sistemik sebagaiParadigma Baru dalam Organisasi dan Manajemen” dalamJurnal Diklat Aparatur, Vol.4, No.1, hlm.1-12

Moskowitz, Michael., Practical Guide To Training andDevelopment: Assess, Design, Deliver, and Evaluate,Pfeifer, San Francisco, 2008

Philips, Jack L., Ron D. Stone, Patricia Pulliam Philips,The Human Resources Scorecard: Measuring the Return OnInvestment, Butterworth-Heinemann, Burlington, 2001

29

Philips, Jack L., Phillips, Patricia Pulliam, Proving thevalue of HR:how and why to measure ROI, The Society ofHuman Resources Management, Alexandria, 2008

Phillips, Patricia Pulliam, Jack J. Phillips, Ron D. Stone,Holly Burkett, The ROI field Book: Strategies forImplementing ROI in HR and training, Elsevier,Burlington, 2007

Spaulding, Dean T. Program Evaluation in Practice: Core Concepts and Examples for Discussion and Analysis. San Fransisco: Jossey-Bass, 2008.

Stufflebeam, Daniel L., dan Anthony J. Shinkfield. EvaluationTheory, Models, and Applications. San Francisco: Jossey-Bass, 2007.

Sudjana, Djuju. Evaluasi Program Pendidikan Luar Sekolah Untuk Pendidikan Nonformal dan Pengembangan Sumber Daya Manusia. Bandung: PT. Remaja Rosdakarya, 2006.

Zulpikar. (2008). “Optimalisasi Penyelenggaraan Diklat Prajabatan dalam Upaya Membentuk Kompetensi Kerja Pegawai Negeri Sipil” dalam Jurnal Diklat Aparatur, Vol.4, No.1, hlm.119-136.