Download - MODEL EVALUASI PROGRAM DIKLAT JABATAN PNS
MODEL EVALUASI PROGRAM DIKLAT JABATAN PNS1
Muslihin2
ABSTRAK
Kegiatan evaluasi program diklat jabatan PNS tidak hanya dilaksanakan padaakhir
kegiatan program, tetapi sebaiknya dilakukan sejak awal, yaitu mulai darimelaksanakan need assessement, monitoring proses pelaksanaan, sampai padaevaluasi pasca diklat. Ada berbagai macam model evaluasi program yang dapat
dipilihuntuk mengevaluasi program diklat. Model mana yang akan digunakantergantung pada tujuan maupun kemampuan evaluator. Siapapun yang
ditunjukmenjadi evaluator, agar hasil evaluasi dapat maksimal maka kompetensi
evaluatorharus dipertimbangkan. Kompetensi evaluator meliputi kompetensi manajerial,
kompetensi teknis, kompetensi konseptual dan kompetensi bidang studi.
Kata Kunci : Evaluasi Program dan Diklat
A. PENDAHULUAN
Pendidikan dan Pelatihan (Diklat) merupakan bagian
integral dari pengembangan Sumber Daya Manusia (SDM)
aparatur pemerintah. Pengembangan SDM aparatur di
Indonesia telah diatur melalui suatu kebijakan khusus,
yaitu melalui Peraturan Pemerintah No.101 Tahun 2000
tentang Pendidikan dan Pelatihan Jabatan Pegawai Negeri
Sipil. Pasal 3 peraturan tersebut menegaskan bahwa
sasaran diklat adalah untuk mewujudkan PNS yang memiliki
kompetensi sesuai dengan persyaratan jabatan masing
1 Disampaikan pada seminar KTI widyaiswara pada BKDPP ProvinsiNusa Tenggara Barat yang diselenggarakan pada tanggal 29 Juli sampai dengan 2 Agustus 2003 di Ruangan Widyaiswara BKDPP Provinsi NTB.
2 Widyaiswara Madya pada BKDPP Provinsi Nusa Tenggara Barat.
2
masing, baik untuk diklat kepemimpinan maupun diklat
teknis dan fungsional. Dalam kebijakan tersebut juga
diatur dua jenis diklat bagi peningkatan kompetensi PNS,
yaitu diklat pra-jabatan dan diklat dalam jabatan.
Selanjutnya, diklat dalam jabatan dibagi menjadi diklat
kepemimpinan, diklat fungsional, dan diklat teknis.
Pendidikan dan pelatihan jabatan PNS bertujuan: a)
meningkatkan pengetahuan, keahlian, keterampilan, dan
sikap untuk dapat melaksanakan tugas jabatan secara
professional dengan dilandasi kepribadian dan etika PNS
sesuai dengan kebutuhan; b) menciptakan aparatur yang
mampu berperan sebagai pembaharu dan perekat persatuan
dan kesatuan bangsa; c) memantapkan sikap dan semangat
pengabdian yang berorientasi pada pelayanan, pengayoman,
dan pemberdayaan masyarakat; dan d) menciptakan kesamaan
visi dan dimaksimalkannya pola pikir dalam melaksanakan
tugas pemerintahan umum dan pembangunan demi terwujudnya
kepemerintahan yang baik. Sasaran diklat adalah untuk
mewujudkan PNS yang memiliki kompetensi yang sesuai
dengan persyaratan jabatan masing masing, baik untuk
diklat kepemimpinan maupun teknis dan fungsional.3
Namun demikian, ternyata program-program diklat
tersebut masih dinilai belum mampu mewujudkan tujuan yang
diharapkan, yaitu peningkatan kompetensi SDM aparatur.
Ada berbagai faktor yang menyebabkan hal tersebut, salah
satunya adalah bahwa pengembangan PNS melalui program
kediklatan tidak dilandaskan pada kebutuhan, baik
3 Peraturan Pemerintah Republik Indonesia Nomor 101 Tahun 2000tentang Pendidikan dan Pelatihan Jabatan Pegawai Negeri Sipil,Pasal 2 dan 3
3
kebutuhan individual maupun organisasional (Zulpikar,
2008). Dalam hal ini, Lembaga Administrasi Negara (LAN)
menetapkan diklat sebagai suatu proses “transformasi”
kualitas SDM aparatur negara yang menyentuh 4 dimensi
utama, yaitu dimensi spiritual, intelektual, mental, dan
fisikal yang terarah pada perubahan-perubahan mutu dari
keempat dimensi SDM aparatur pemerintah (Mulyadi, 2008).
Program diklat aparatur PNS tersebut tidak serta
merta berakhir dengan berahirnya kegiatan belajar
mengajar dikelas. Beberapa persoalan bisa saja baru
teridentifikasi, ada banyak pertanyaan yang mungkin
muncul pada saat berakhirnya diklat. Misalnya bagaimana
kualitas program diklat, apakah peserta diklat telah
berhasil dalam kegiatan dimaksud, apakah peserta merasa
puas dengan program diklat yang baru saja selesai, apakah
peserta diklat mau mengikuti diklat lain yang
diselenggarakan, atau apakah peserta dikalt mau
merekomendasikan diklat yang baru diikutinya kepada orang
lain, apakah program diklat telah sesui dengan kebutuhan
peserta diklat, atau apakah dikalt telah sesuai dengan
kebutuhan dari instansi yang mengirimkan peserta diklat,
atau apakah ada hal-hal yang masih perlu atau harus
ditingkatkan berkaitan dengan kualitas pelaksanaan
program diklat. Dan masih ada banyak lagi pertanyaan yang
bisa muncul pada saat pelaksanaan diklat atau pada saat
setelah berakhirnya diklat. Seluruh pertanyaan di atas
hanya dapat dijawab jika penyelenggara diklat melakukan
evaluasi terhadap program diklat tersebut.
4
Evaluasi program diklat dimaksudkan antara lain untuk
mengetahui efektivitas program tersebut. Orang sering
beranggapan bahwa evaluasi program diklat diadakan pada
akhir pelaksanaan diklat. Anggapan yang demikian adalah
kurang tepat, karena evaluasi merupakan salah satu mata
rantai dalam sistem pelatihan yang jika dilihat dari
waktu pelaksanaannya kegiatan penilaian dapat berada di
awal proses perencanaan, di tengah proses pelaksanaan,
dan pada akhir penyelenggaraan, bahkan pada pasca
kegiatan diklat.
Penilaian yang dilaksanakan pada proses perencanaan
disebut dengan analis kebutuhan diklat (training need
assessment) untuk mengumpulkan informasi tentang
kemampuan, ketrampilan maupun keahlian yang akan
dikembangkan dalam pelatihan, karakteristik peserta
pelatihan, kualitas materi pelatihan dilihat dari
relevansi dan kebaharuan, kompetensi
pelatih/instruktur/pengajar, tempat pelatihan beserta
sarana dan prasarana yang dibutuhkan, akomodasi dan
konsumsi serta jadwal kegiatan pelatihan. Penilaian yang
dilaksanakan pada saat proses pelatihan disebut dengan
monitoring yang bertujuan untuk mengumpulkan informasi
tentang sejauh mana program yang telah disusun dapat
diimplementasikan dengan baik. Kegiatan monitoring ini
berusaha untuk menilai kualitas proses diklat, baik dari
aspek kinerja widyaiswara, iklim kelas, sikap dan
motivasi belajar para peserta diklat, dan sebagainya.
Sedangkan penilaian pasca pelatihan bertujuan untuk
5
mengetahui perubahan kinerja peserta setelah kembali ke
tempat kerjanya masing-masing.
Evaluasi program diklat adalah satu kesatuan proses
mulai dari perencanaan sampai pada pelaksanaan program
diklat yang meliputi 10 (sepuluh) tahapan proses, yaitu:
1) menentukan kebutuhan, 2) menetapkan tujuan, 3)
menetapkan isi materi, 4) memilih peserta, 5) menentukan
jadwal, 6) memilih fasilitas/sarana, 7) memilih tenaga
widyaiswara/trainer, 8) memilih dan menyiapkan alat
bantu, 9) koordinasi program, dan 10) evaluasi program
diklat.4 Pelaksanaan evaluasi dapat dilakukan pada
keseluruhan atau beberapa komponen atau program
penyelenggaraan diklat. Hal tersebut akan berpengaruh
terhadap model evaluasi yang digunakan. Penggunaan model
evaluasi program sangat bergantung pada tujuan dan
sasaran evaluasi yang akan dilaksanakan.
B. KONSEP EVALUASI PROGRAM
Secara umum evaluasi adalah suatu proses sistematik
untuk mengetahui tingkat keberhasilan dan efisiensi suatu
program. Fitzpatrick, dkk mendefinisikan evaluasi adalah
mengidentifikasi, mengklarifikasi dan mengaplikasikan
standar kriteria untuk menilai objek-objek yang
dievaluasi (layak atau manfaat) sehubungan dengan
kriteria tersebut.5 Sementara Djaali dan Mulyono
mendefinisikan evaluasi sebagai proses menilai sesuatu
4 Kickpatrik, Evaluating Training Program: The Four Level (San Francisco:Berrett-Koehler; 1998) h.12.
5 Jody L. Fitzpatrick, et al., Program Evaluation: Alternative Approachesand Practical Guidelines (Boston: Pearson Education, Inc, 2004), p. 5.
6
berdasarkan kriteria atau tujuan yang telah ditetapkan,
yang selanjutnya dengan pengambilan keputusan atas objek
yang dievaluasi.6
Berdasarkan pendapat para pakar evaluasi tersebut
dapat dirumuskan bahwa evaluasi merupakan proses yang
sistematis dan berkelanjutan untuk mengumpulkan,
mendeskripsikan, menginterpretaikan dan menyajikan
informasi tentang suatu program untuk dapat digunakan
sebagai dasar membuat keputusan, menyusun kebijakan
maupun menyusun program. Tujuan dilakukan evaluasi adalah
untuk memperoleh informasi yang akurat dan objektif
tentang suatu program.
Secara umum istilah program dapat didefinisikan
sebagai unit kegiatan yang merupakan implementasi dari
suatu kebijakan, berlangsung dalam proses yang
berkesinambungan, dan terjadi dalam suatu organisasi yang
melibatkan sekelompok orang. Menurut Arikunto, ada tiga
pengertian yang perlu ditekankan dalam menentukan
program, yaitu: (1) Realisasi atau implementasi suatu
kebijakan, (2) Terjadi dalam waktu yang relatif lama,
bukan kegiatan tunggal tetapi jamak berkesinambungan, dan
(3) Terjadi dalam organisasi yang melibatkan sekelompok
orang.7 Dengan demikian pelaksanaan program dilakukan
dalam kurung waktu yang berkesinambungan karena
6 Djaali dan Pudji Muljono, Pengukuran dalam bidang Pendidikan(Jakarta: Program Pascasarjana UNJ 2004), p. 1.
7 Suharsimi Arikunto dan Cepi Safrudin Abdul Jabar, EvaluasiProgram Pendidikan, Pedoman Teoritis dan Praktis bagi Mahasiswa dan PraktisiPendidikan (Jakarta: Bumi Aksara, 2008), p. 4.
7
melaksanakan suatu kebijakan dan melibatkan sekelompok
orang.
Menurut Sudjana, evaluasi program adalah kegiatan
sistematis untuk mengumpulkan, mengolah, menganalisis dan
menyajikan data sebagai masukan untuk pengambilan
keputusan.8 Sedangkan Spaulding, mengemukakan program
evaluation examines programs to determine their worth and to make
recommendations for programmatic refinement and success.9 Ini
memberi arti bahwa evaluasi program mengkaji program-
program untuk menentukan nilai dan membuat rekomendasi
untuk perbaikan dan keberhasilan program.
Berdasarkan beberapa definisi evaluasi program
diatas, dapat disimpulkan bahwa evaluasi program
merupakan kegiatan yang sistematis dalam mengumpulkan
informasi, menganalisis, dan memberikan nilai berdasarkan
kriteria atau standar yang ditetapkan untuk pengambilan
keputusan. Berdasarkan batasan evaluasi ini, dipahami
bahwa kegiatan evaluasi mengandung tiga unsur utama,
yaitu: (1) Kegiatan secara sistematis, (2) Berdasarkan
kriteria atau standar, (3) Pengambilan keputusan.
Dengan demikian, maka hasil evaluasi dapat dijadikan
sebagai landasan berpijak dalam menilai suatu program dan
memutuskan apakah program tersebut dapat diteruskan,
dihentikan atau diperbaiki, diterima atau ditolak.
Evaluasi dilakukan dengan tujuan untuk dapat
8 Djuju Sudjana, Evaluasi Program Pendidikan Luar Sekolah Untuk PendidikanNonformal dan Pengembangan Sumber Daya Manusia (Bandung: PT. RemajaRosdakarya 2006)p. 21.
9 Dean T. Spaulding, Program Evaluation in Practice: Core Concepts andExamples for Discussion and Analysis (San Fransisco: Jossey-Bass, 2008),p. 5.
8
memperlihatkan hubungan antara perencanaan program dan
pengembangan program, disisi lain evaluasi juga untuk
menemukan apakah dan bagaimanakah sebaiknya tujuan
program dipenuhi, menentukan alasan kesuksesan dan
kegagalan, menemukan prinsip utama sebuah kesuksesan
program dan meningkatkan efektivitas program.
Evaluasi harus membandingkan apa yang telah dicapai
oleh program dengan apa yang seharusnya dicapai sesuai
standar atau kriteria yang telah ditetapkan. Hal ini
mengindikasikan bahwa evaluasi sebagai alat kontrol suatu
program untuk mengukur bagaimana pencapaian tujuan
program termasuk implikasi-implikasinya. Hal yang umum
terjadi pada evaluasi program adalah bagaimana
meningkatkan suatu program dan bukan untuk membuktikan
program.
C. MODEL EVALUASI PROGRAM DIKLAT
Model evaluasi merupakan desain atau rancangan
evaluasi yang dikembangkan oleh para ahli evaluasi, yang
biasanya dinamakan sama dengan pembuatnya atau tahap
evaluasinya. Selain itu, ada ahli evaluasi yang membagi
evaluasi sesuai dengan misi yang akan dibawakan dan
kepentingan yang diraih serta ada yang menyesuaikan
dengan paham yang dianutnya yang disebut dengan
pendekatan.
Ada banyak model evaluasi yang dikembangkan oleh
para ahli evaluasi yang dapat dipakai dalam mengevaluasi
berbagai program kegiatan. Meskipun antara model yang
satu dengan model yang lainnya berbeda, namun pada
9
dasarnya memiliki tujuan yang sama yaitu melakukan
kegiatan pengumpulan data atau informasi yang berkaitan
dengan objek yang akan dievaluasi. Tujuannya adalah
menyediakan bahan bagi pengambil keputusan dalam
menentukan tindak lanjut suatu program. Pemilihan model
evaluasi yang digunakan dapat ditentukan berdasarkan
tujuan dan pertanyaan yang dikembangkan dalam evaluasi
yang bersangkutan. Beberapa model evaluasi program yang
dapat dan sering digunakan dalam mengevaluasi diklat
jabatan PNS antara lain adalah model CIPP (context, input,
process, product), Kickpatrik training evaluation model, Jack PhillPS”: Five
level ROI Model, Robert Stake’s: Responsive Evaluation Model, CIRO (context,
input, reaction, outcome), dan sebagainya.
1. Evaluasi model CIPP
Konsep evaluasi model CIPP ( Context, Input, Prosess and
Product) pertama kali ditawarkan oleh Stufflebeam pada
tahun 1965 sebagai hasil usahanya mengevaluasi ESEA (the
Elementary and Secondary Education Act) dengan pandangan bahwa
tujuan penting evaluasi adalah bukan membuktikan
(prove) tetapi untuk memperbaiki (improve).10
Evaluasi model CIPP dapat diterapkan dalam
berbagai bidang, seperti pendidikan, manajemen,
perusahaan sebagainya serta dalam berbagai jenjang
baik itu proyek, program maupun institusi. Dalam
bidang pendidikan Stufflebeam menggolongkan sistem
pendidikan atas 4 dimensi, yaitu, kontek, input,
proses, dan produk. 10 Daniel L. Stufflebeam dan Anthony J. Shinkfield, Evaluation
Theory: Models, and Applications (San Francisco: Jossey-Bass, 2007), p. 13
10
a. Kontek yaitu situasi atau latar belakang yang
mempengaruhi jenis-jenis tujuan dan strategi diklat
yang akan dikembangkan dalam sistem yang
bersangkutan, misalnya masalah diklat yang
dirasakan, keadaan ekonomi negara, dan pandangan
hidup masyarakat.
b. Input berupa sarana/modal/bahan dan rencana
strategi yang ditetapkan untuk mencapai tujuan-
tujuan pendidikan.
c. Proses yaitu pelaksanaan strategi dan penggunaan
sarana/modal/ bahan di dalam kegiatan nyata di
lapangan.
d. Produk merupakan hasil yang dicapai baik selama
maupun pada akhir pengembangan sistem pendidikan
yang bersangkutan.
2. Evaluasi model Kirkpatrick
Menurut Kirkpatrick evaluasi terhadap
efektivitas program diklat atau training mencakup
empat level evaluasi, yaitu: level 1 – Reaction, level
2 – Learning, level 3 – Behavior, level 4 – Result.
a. Evaluating Reaction
Mengevaluasi terhadap reaksi peserta diklat berarti
mengukur kepuasan peserta (customer satisfaction).
Program diklat dianggap efektif apabila proses
training dirasa menyenangkan dan memuaskan bagi
peserta training sehingga mereka tertarik
termotivasi untuk belajar dan berlatih. peserta
diklat akan termotivasi apabila proses diklat
11
berjalan secara memuaskan bagi peserta yang pada
akhirnya akan memunculkan reaksi dari peserta yang
menyenangkan. Sebaliknya apabila peserta tidak
merasa puas terhadap proses training yang
diikutinya maka mereka tidak akan termotivasi untuk
mengikuti diklat lebih lanjut. Dengan demikian
dapat dimaknai bahwa keberhasilan proses kegiatan
diklat tidak terlepas dari minat, perhatian dan
motivasi peserta dalam mengikuti jalannya kegiatan
diklat. Orang akan belajar lebih baik manakala
mereka memberi reaksi positif terhadap lingkungan
belajar. Kepuasan peserta diklat dapat dikaji dari
beberapa aspek, yaitu materi yang diberikan,
fasilitas yang tersedia, strategi penyampaian
materi yang digunakan oleh widyaiswara, media
pembelajaran yang tersedia, jadwal kegiatan sampai
menu dan penyajian konsumsi yang disediakan.
b. Evaluating Learning
Menurut Kirkpatrick, ada tiga hal yang dapat
widyaiswara ajarkan dalam program diklat, yaitu
pengetahuan, sikap maupun ketrampilan. Peserta
training dikatakan telah belajar apabila pada
dirinya telah mengalamai perubahan sikap, perbaikan
pengetahuan maupun peningkatan ketrampilan. Oleh
karena itu untuk mengukur efektivitas program
diklat maka ketiga aspek tersebut perlu untuk
diukur. Tanpa adanya perubahan sikap, peningkatan
pengetahuan maupun perbaikan ketrampilan pada
peserta diklat maka program dapat dikatakan gagal.
12
Penilaian evaluating learning ini ada yang menyebut
dengan penilaiah hasil (output) belajar. Oleh karena
itu dalam pengukuran hasil belajar (learning
measurement) berarti penentuan satu atau lebih hal
berikut: a). Pengetahuan apa yang telah
dipelajari ?, b). Sikap apa yang telah berubah? c).
Ketrampilan apa yang telah dikembangkan atau
diperbaiki ?.
c. Evaluating Behavior
Evaluasi pada level ke 3 (evaluasi tingkah laku)
ini berbeda dengan evaluasi terhadap sikap pada
level ke 2. Penilaian sikap pada evaluasi level 2
difokuskan pada perubahan sikap yang terjadi pada
saat kegiatan diklat dilakukan sehingga lebih
bersifat internal, sedangkan penilaian tingkah laku
difokuskan pada perubahan tingkah laku setelah
peserta kembali ke tempat kerja. Apakah perubahan
sikap yang telah terjadi setelah mengikuti diklat
juga akan diimplementasikan setelah peserta kembali
ke tempat kerja, sehingga penilaian tingkah laku
ini lebih bersifat eksternal. Perubahan perilaku
apa yang terjadi di tempat kerja setelah peserta
mengikuti program training. Dengan kata lain yang
perlu dinilai adalah apakah peserta merasa senang
setelah mengikuti training dan kembali ke tempat
kerja?. Bagaimana peserta dapat mentrasfer
pengetahuan, sikap dan ketrampilan yang diperoleh
selama training untuk diimplementasikan di tempat
kerjanya. Karena yang dinilai adalah perubahan
13
perilaku setelah kembali ke tempat kerja maka
evaluasi level 3 ini dapat disebut sebagai evaluasi
terhadap outcomes dari kegiatan diklat.
d. Evaluating Result
Evaluasi hasil dalam level ke 4 ini difokuskan pada
hasil akhir (final result) yang terjadi karena peserta
telah mengikuti suatu program. Termasuk dalam
kategori hasil akhir dari suatu program training di
antaranya adalah kenaikan produksi, peningkatan
kualitas, penurunan biaya, penurunan kuantitas
terjadinya kecelakaan kerja, penurunan turnover dan
kenaikan keuntungan. Beberapa program mempunyai
tujuan meningkatkan moral kerja maupun membangun
teamwork yang lebih baik. Dengan kata lain adalah
evaluasi terhadap impact program.
3. Model ROTI (Return on Training Investment)
Selain model empat level evaluasi dari
Kirkpatrick, Jack J. Philips2 melengkapi menjadi
pengukuran level 5 yaitu melakukan evaluasi diklat
dari sisi tingkat pengembalian diklat biasa dikenal
dengan istilah Return on Training Investment/ROTI yaitu
mengukur manfaat diklat dibandingkan dengan biayanya.
Model ROI yang dikembangkan oleh Jack Phillips
merupakan level evaluasi terakhir untuk melihat cost-
benefit setelah pelatihan dilaksanakan.
Kegunaan model ini agar pihak manajemen melihat
pelatihan bukan sesuatu yang mahal dan hanya merugikan
pihak keuangan, akan tetapi pelatihan merupakan suatu
14
investasi, sehingga dapat dilihat dengan menggunakan
hitungan yang akurat keuntungan yang dapat diperoleh
setelah melaksanakan pelatihan. Hal ini tentunya dapat
memberikan gambaran lebih luas, apabila ternyata dari
hasil yang diperoleh ditemukan bahwa pelatihan
tersebut tidak memberikan keuntungan baik bagi peserta
maupun bagi lembaga. Model evaluasi ini merupakan
tambahan dari model evaluasi Kirkpatrick yaitu adanya
level ROI (level 5), pada level ini ingin melihat
keberhasilan dari suatu program pelatihan dengan
melihat dari Cost-Benefit-nya, sehingga memerlukan data
yang tidak sedikit dan harus akurat untuk menunjang
hasil dari evaluasi pelatihan yang valid.
Tahap ROI paling sulit dilakukan. Tujuannya adalah
untuk mengevaluasi nilai balik modal dari pelaksanaan
diklat. Dibutuhkan waktu, biaya dan analisis data yang
akurat untuk keberhasilan evaluasi ini. Salah satu
cara adalah mengisolasi pengaruh diklat, ada dua
strategi yang dengan mudah diperhitungkan yaitu :
a. Perbandingan antara kelompok peserta dan kelompok
bukan peserta. Kinerja antara kelompok peserta
diklat dapat diperbandingkan dengan kelompok lain
yang setara dan belum mendapatkan pelatihan.
b. Perbandingan antara sebelum dan sesudah diklat.
Kinerja antara sebelum dan sesudah diklat dari
kelompok yang sama diperbandingkan.
4. Evaluasi model Stake (Countenance Model)
15
Stake menekankan adanya dua dasar kegiatan dalam
evaluasi, yaitu description dan judgement kemudian
membedakan adanya tiga tahap dalam program diklat,
yaitu antecedent (context), transaction (process) dan outcomes.
Stake mengatakan bahwa apabila kita menilai suatu
program diklat, kita melakukan perbandingan yang
relatif antara program dengan program yang lain, atau
perbandingan yang absolut yaitu membandingkan suatu
program dengan standar tertentu. Penekanan yang umum
atau hal yang penting dalam model ini adalah bahwa
evaluator yang membuat penilaian tentang program yang
dievaluasi. Stake mengatakan bahwa description di satu
pihak berbeda dengan judgement di lain fihak. Dalam
model ini antecendent (masukan) transaction (proses) dan
outcomes (hasil) data di bandingkan tidak hanya untuk
menentukan apakah ada perbedaan antara tujuan dengan
keadaan yang sebenarnya, tetapi juga dibandingkan
dengan standar yang absolut untuk menilai manfaat
program.
5. Goal Oriented Evaluation Model (Tyler)
Objek pengamatan model ini adalah tujuan program
diklat yang sudah ditetapkan jauh sebelum program
dimulai. Evaluasi ini dilakukan secara
berkesinambungan untuk mengetahui sejauh mana tujuan
tersebut sudah terlaksana di dalam proses
pelaksanaannya. Model ini menggunakan tujuan program
sebagai kriteria untuk menentukan keberhasilan dari
program. Evaluator mencoba mengukur sampai dimana
pencapaian tujuan telah dicapai.
16
6. Goal Free Evaluation Model (Michael Schriven)
Menurut Schriven, dalam pelaksanaan evaluasi
program, evaluator tidak perlu memperhatikan apa yang
menjadi tujuan program, akan tetapi bagaimana
bekerjanya suatu program, dengan cara mengidentifikasi
penampilan-penampilan yang terjadi yang terjadi, baik
hal-hal yang positif maupun hal-hal yang negatif.
Alasannya karena ada kemungkinan evaluator terlalu
rinci mengamati tiap-tiap tujuan khusus. Jika masing-
masing tujuan khusus tercapai artinya terpenuhi dalam
penampilan, tetapi evaluator lupa memperhatikan sejauh
mana masing-masing penampilan tersebut mendukung
penampilan akhir yang diharapkan oleh tujuan umum,
maka akibatnya jumlah penampilan khusus ini tidak
banyak manfaatnya. Maksud dari Evaluasi lepas dari
tujuan ini hanya mempertimbangkan tujuan umum yang
akan dicapai oleh program.
Dalam model ini, evaluator sengaja menghindar
untuk mengetahui tujuan program, berfokus pada hasil
yang sebenarnya bukan hasil yang direncanakan,
hubungan evaluator dengan peserta dibuat seminimal
mungkin, dan tujuan yang telah dirumuskan terlebih
dahulu tidak dibenarkan untuk menyempitkan fokus
evaluasi.
Masing-masing model evaluasi program tersebut
memiliki keunggulan dan keterbatasan. Ketepatan model
evaluasi program yang digunakan berhubungan erat dengan
jenis program yang dievaluasi. Sesuai dengan bentuk
17
kegiatannya, program ini dibedakan menjadi program
pemrosesan, program layanan, dan program umum.
1. Program pemrosesan adalah program yang kegiatan
pokoknya mengubah bahan mentah (input) menjadi bahan
jadi sebagai hasil proses atau keluaran (output).
Contoh: program perpustakaan, program kepramukaan dan
sebagainnya.
2. Program layanan (service) adalah sebuah kesatuan
kegiatan yang bertujuan untuk memenuhi kebutuhan pihak
tertentu sehingga merasa puas sesuai dengan tujuan
program. Sebagai contoh adalah: program bank, program
koperasi dan lain-lain.
3. Program umum yaitu program yang tidak tampak apa yang
menjadi ciri utama. Contohnya adalah: Program makanan
tambahan anak
Sekolah (PMTAS).
D. TAHAPAN EVALUASI PROGRAM DIKLAT
Pelaksanaan evaluasi program diklat secara
sistematis pada umumnya menempuh 4 langkah, yaitu: 1).
penyusunan desain evaluasi, 2). pengembangan instrument
pengumpulan data, 3). pengumpulan data (assessment),
menafsirkan dan membuat judgement, serta 4). menyusun
laporan hasil evaluasi.
1. Menyusunan Desain Evaluasi
Langkah pertama dalam evaluasi adalah menyusun rencana
evaluasi yang menghasilkan desain evaluasi. Pada
langkah ini evaluator mempersiapkan segala sesuatu
18
sesuatu yang berkaitan dengan pelaksanaan evaluasi,
mulai menentukan tujuan evaluasi, model yang akan
digunakan, informasi yang akan dicari serta metode
pengumpulan dan analaisis data. Apabila langkah
pertama dapat menghasilkan desin evaluasi yang cukup
komprehensif dan rinci, maka sudah dapat dijadikan
sebagai acuan kegiatan evaluasi yang akan
dilaksanakan. Rancangan atau desain evaluasi biasanya
disusun oleh evaluator setelah melakukan diskusi dan
ada kesepakatan dengan pihak yang akan membiayai
kegiatan evaluasi atau sponsor. Namun adakalanya
rancaranga disusun oleh evaluator untuk dijadikan
bahan mengadakan negoisasi dengan sponsor.
2. Mengembangkan Instrumen Pengumpulan Data
Setelah metode pengumpulan data ditentukan, langkah
selanjutnya adalah menentukan bentuk instrument yang
akan digunakan serta kepada siapa instrumen
tersebut ditujukan (responden). Kemudian setelah
itu perlu dikembangkan butir- butir dalam
instrument. Berbagai pertimbangan mengenai berapa
banyak informasi yang akan dikumpulkan,
instrument dikembangkan sendiri, mengadopsi ataupun
menggunakan instrument baku dari instrument yang sudah
ada sebelumnya. Untuk memperoleh data yang valid maka
instrument yang digunakan harus memperhatikan masalah
validitas dan reliabilitas. Selain hal tersebut,
masalah efisiensi dan efektivitas harus tetap
diperhatikan. Jenis-jenis instrument yang paling
sering digunakan untuk mengumpulkan data dalam
19
evaluasi program pelatihan adalah dalam bentuk tes,
angket,ceklis pengamatan, wawancara atau evaluator
sendiri sebagai instrument.
3. Mengumpulkan Data, Analisis dan Judgement
Langkah ketiga merupakan tahapan pelaksanaan dari apa
yang telah dirancang pada langkah pertama dan kedua.
Pada langkah ketiga ini evaluator terjun ke “lapangan”
untuk implementasi desain yang telah dibuat, mulai
dari mengumpulkan dan menganalisis data,
menginterpretasikan, dan menyajikan dalam bentuk yang
mudah untuk dipahami dan komunikatif. Pengumpulan data
dapat dari populasi maupun dengan menggunakan sampel.
Apabila menggunakan sampel maka harus representatif
mewakili populasi, oleh karena harus memperhatikan
teknik sampling yang baik. Berdasarkan data yang
dikumpulkan kemudian dianalisis dan dibuat judgement
berdasarkan kriteria maupun standar yang telah
ditetapkan sebelumnya. Dari hasil judgement kemudian
disusun rekomendasi kepada penyelenggara kegiatan
pelatihan maupun fihak-fihak lain yang mempunyai
kepentingan dengan kegiatan pelatihan. Langkah etiga
ini merupakan proses esensial dari kegiatan evaluasi
program pelatihan di mana terjadi dialog antara
evaluator dengan obyek evaluasi. Hal yang harus
diperhatikan oleh evaluator pada tahap ini adalah
masalah etika dan penguasaan ‘setting’ atau latar di
mana evaluasi dilaksanakan.
4. Menyusun Laporan Hasil Evaluasi
20
Menyusun laporan merupakan langkah terakhir kegiatan
evaluasi program pelatihan. Laporan disusun sesuai
dengan kesepakatan kontrak yang ditandatangani.
Misalnya dalam kontrak disepakati bahwa laporan dibuat
dua jenis laporan dengan sasaran atau penerima laporan
yang berbeda. dapat disepakati pula bahwa penyampaian
laporan secara tertulis dan ada kesempatan presentasi.
Langkah terakhir ini erat kaitannya dengan tujuan
diadakannya evaluasi. Oleh karena itu gaya dan format
penyampaian laporan harus disesuaikan dengan penerima
laporan.
Format laporan dapat dikelompokan dalam 3 kelompok
besar yaitu data program pelatihan yang dievaluasi,
data serta bukti-bukti yang diperoleh selama
pelaksanaan evaluasi dan kesimpulan serta tindak
lanjut dari hasil evaluasi diklat ini. Secara
sederhana format laporan evaluasi diklat dapat
disajikan sebagai berikut:
Bagian I – Data Umum Program Diklat
a. Nama Program Diklat
b. Tujuan Program Diklat
c. Karakteristik Program Diklat
d. Peserta Diklat
e. Pihak-pihak yang terkait dengan program diklat
f. Hal lain yang relevan dengan program diklat
Bagian II – Evaluasi Hasil Diklat
a. Tujuan evaluasi dan Hasil yang diharapkan
b. Rancangan evaluasi diklat
21
c. Data dan bukti yang diperoleh selama evaluasi
diklat
d. Analisis terhadap data dan bukti
e. Tanggapan dan diskusi hasil evaluasi
Bagian III – Simpulan dan tindak lanjut
a. Simpulan dan saran
b. Tindak lanjut
E. EVALUATOR PROGRAM DIKLAT
Keberhasilan kegiatan evaluasi program pelatihan
akan sangat ditentukan oleh siapa yang melakukan evaluasi
atau evaluator. Evaluator adalah orang yang dipercaya
oleh pemilik program dan orang-orang yang berkepentingan
dengan program (stakeholder) untuk melaksanakan evaluasi.
Penentuan siapa yang akan menjadi evaluator ini sangat
tergantung kepada pemilik program. Berikut ini disajikan
hal-hal yang berkaitan dengan alternatif evaluator,
pertimbangan penentuan, dan kompetensi evaluator.
1. Alternatif Penentuan Evaluator
Penentuan tentang siapa yang akan berperan
sebagai evaluator sangat penting dan menentukan dalam
kegiatan evaluasi. Membuat keputusan tentang siapa
yang akan mengambil bagian sebagai evaluator terkadang
mengandung konflik pilihan yang dilematis. Pertanyaan-
pertanyaan yang muncul ketika memikirkan siapa yang
akan berperan sebagai evaluato adalah: Apakah
evaluator berasal dari dalam atau dari luar
22
organisasi? Apakah evaluator merupakan sebuah tim atau
individu? Apakah evaluator merupakan tenaga paruh
waktu (part-time) atau bekerja penuh (full-time)? Apakah
evaluator merupakan tenaga professional atau amatir?
Jawaban atas setiap pertanyaan tersebut mengarah
kepada pemilihan dan penentuan evaluator.
2. Pertimbangan dalam Penentuan Evaluator
Berikut ini berbagai pertimbangan yang
dapat dijadikan pedoman sebelum menentukan evaluator.
Pertimbangan ini berkaitan dengan masalah keuntungan
dan kerugian atau kelebihan dan kekurangannya.
a. Pertimbangan antara evaluator orang dalam dan orang
luar
Orang dalam adalah orang yang berasal dari bagian
atau institusi penyelenggaran program pelatihan,
dan biasanya mereka telah ikut dalam proses
pengembangan dan pelaksanaan program pelatihan.
Sedangkan yang dimaksud dengan orang luar adalah
mereka yang berperan sebagai evaluator berasal dari
luar bagian atau institusi penyelenggara program
pelatihan. Kelebihan orang dalam adalah mereka
sudah mengetahui organisasi dengan baik, dapat
mengetahui reputasi, status dan kredibilitas
organisasi tempatnya bekerja. Ia memiliki
hubungan yang baik dengan staf, memahami saluran
komunikasi dalam organisasi. Kelemahan orang dari
dalam adalah terjadinya bias, karena konflik
kepentingan, mungkin evaluator tidak memiliki
ketrampilan evaluasi, atau pekerjaan evaluasi yang
23
dilaksanakannya terganggu oleh tugas lain dan
akibatnya ia tidak dapat menepati waktu.
Sebaliknya apabila evaluator ditentukan dari orang
luar, maka kelebihannya mereka dapat bersikap
netral, dapat bertindak sebagai pengamat
independent, obyektif sebagai pengamat, dan lebih
kompeten dalam teknik evaluasi. Kekurangan
evaluator dari luar adalah mereka kurang akrab
dengan kebiasaan organisasi, tidak mengenal
tatacara yang ada di organisasi yang dimasuki, dan
tidak menutup kemungkinan pemilihannya hanya
berdasarkan rekomendasi.
b. Pertimbangan antara evaluator tim dan individual
Kelebihan evaluator individual atau perorangan
adalah adanya kejelasan tentang siapa yang harus
bertanggungjawab, sedangkan kekurangannya adalah
keberhasilan atau kegagalan evaluasi tergantung
pada satu orang. Sebenarnya hampir mustahil
pekerjaan evaluasi program pelatihan hanya
diselesaikan oleh satu orang tanpa bantuan orang
lain. Apabila evaluator ditentukan oleh tim maka
kelebihannya adalah adanya pembagian tugas dan
tanggung jawab yang jelas. Evaluator terdiri atas
gabungan orang dengan berbagai keahlian sehingga
bisa saling melengkapi. Kelemahan evaluator tim
adalah perlu waktu untuk pembentukan tim,
membutuhkan biaya yang tidak sedikit.
c. Pertimbangan antara evaluator part-time dan full-time
24
Evaluator part-time dan full-time masing-masing memiliki
kelebihan dan kelemahan. Kelebihan apabila
evaluator bekerja penuh waktu (full-time) adalah
pekerjaan terorganisir dengan baik, ketepatan dan
arus informasi tidak tergantung pada evaluator,
sedangkan kelemahannya adalah biaya relatif lebih
mahal, mengurangi kesempatan partisipasi dalam
kegiatan evaluasi. Apabila evaluator bekerja paruh
waktu (part-time) adalah dapat melibatkan berbagai
keahlian dalam waktu yang tidak terlalu lama dan
dimungkinkan penggunaan tenaga ahli dari
luar, sementara kelemahannya adalah waktu kunjungan
singkat tidak memungkinkan untuk mempelajari
permasalahan secara menyeluruah dan perlu biaya dan
peralatan yang banyak untuk penjadwalan.
d. Pertimbangan antara evaluator amatir dan
professional
Pengertian evaluator professional di sini adalah
mereka yang menjadikan pekerjaan evaluasi atau
penelitian sebagai pekerjaan pokok sehari-hari dan
telah menekuni pekerjaan evaluasi dalam waktu yang
lama. Orang-orang di luar kriteria tersebut
dianggap sebagai amatir. Kelebihan evaluator
amatir, terutama yang sudah berpengalaman, meskipun
amatir evaluator biasanya dapat memahami isi dan
obyek evaluasi dengan baik dan dapat memilih
berbagai ketrampilan evaluasi berdasarkan
pengalaman. Kelemahan evaluator amatir adalah
karena kurangnya pengetahuan tentang evaluasi
25
akibatnya dapat menurunkan obyektivitas evaluasi,
kemampuan evaluasinya terbatas dan mereka memiliki
keterbatasan dalam pilihan rancangan evaluasi.
Kelebihan evaluator professional adalah
evaluator dapat melaksanakan evaluasinya
berdasarkan pengalaman dan pengetahuan teknis dan
evaluator memiliki berbagai pilihan model
evaluasi berdasarkan pengetahuan maupun
pengalamannya. Kelemahan evaluator professional
(biasanya orang luar), tidak selamanya dapat
diterima oleh orang dalam, kecenderungan
menggunakan metode tertentu, dan menghalangi
pemilihan metode atau rancangan orang lain.
3. Kompetensi Evaluator
Evaluator haruslah dipilih dari orang yang
benar-benar memiliki kompetensi di bidangnya.
Ketidakbebasan dalam penentuan evaluator harus
dihindari, sebab hal itu akan berpengaruh negatif
terhadap hasil evaluasi. Ketidakbebasan karena konflik
kepentingan atau conflict of interest lebih besar pengaruhnya
terhadap hasil ketimbang ketidakmampuan dalam bidang
teknis. Kompetensi evaluator dapat dikelompokkan
menjadi empat jenis, yaitu: kompetensi manajemerial,
kompetensi teknis, kompetensi koseptual dan kompetensi
bidang studi.
a. Kompetensi Manajerial. Kompetensi manajerial
(magerial skill) merupakan ketrampilan dalam mengelola
dan mengendalikan seluruh kegiatan evaluasi
sehingga dapat berlangsung dengan baik. Ketrampilan
26
manajerial ini meliputi: ketrampilan mengorganisir,
memimpin, mengkoordinir, mengarahkan, mengawasi,
ketrampilan berkomunikasi, ketrampilan
interpersonal, analsis system, membuat perjanjian
atau kontrak, menjelaskan wawasan politik,
ketrampilan menerapkan etika profesi dan
sebagainya.
b. Ketrampilan Teknis. Kompetensi/ketrampilan Teknis
yakni ketrampilan melakukan kegiatan evaluasi
langkah demi langkah, dari perencanaan sampai
pembuatan laporan evaluasi secara tuntas. Termasuk
ketrampilan teknis ini di antaranya adalah:
ketrampilan mengembangkan instrument, melaksanakan
tes dan pengukuran, melakukan analisis statistik,
menguasai berbagi metode pengumpulan data,
menguasai aplikasi komputer, menguasai berbagai soft-
ware seperti excel, SPSS, Amos, Lisrel dan berbagai
soft-ware dalam bidang statistik lainnya, menerapkan
metodolgi penelitian evaluasi, membuat
interpretasi, membuat rekomendasi dan menulis
laporan serta mempresentasikan laporan.
c. Kompetensi Konseptual, yaitu ketrampilan tingkat
tinggi yang berkaitan dengan kemampuan menganalisis
dan pemecahan masalah. Ketrampilan konspetual
(conceptual skill) yang harus dikuasasi evaluator di
antaranya adalah kemampuan menentukan pilihan
(alternative), menyusun rencana awal,
mengklasifikasikan dan menganalisis masalah,
27
melihat dan menunjukkan hubungan antar variabel dan
membuat kesimpulan.
d. Kompetensi bidang studi, yaitu kemampuan di bidang
disiplin ilmu yang terkait dengan kegiatan
evaluasi. Keahlian ini meliputi: pengalaman kerja
di bidang evaluasi, berpengatahuan tentang sumber
literatur yang berkaitan dengan obyek yang
dievaluasi, menguasai konsep-konsep maupun model-
model evaluasi.
F. PENUTUP
Evaluasi diklat adalah sebuah evaluasi yang
komprehensif untuk menilai keberhasilan program diklat,
khususnya berkaitan dengan keberhasilan dalam mencapai
tujuan pembelajaran atau tujuan diklat. Evaluasi diklat,
tidak hanya melakukan evaluasi terhadap data dan informasi
setelah seseorang selesai mengikuti program pelatihan,
evaluasi diklat juga mengumpulkan dan melakukan analisis
terhadap data dan informasi sebelum peserta diklat mengikuti
program diklat, selama mengikuti diklat dan setelah selesai
mengikuti diklat bahkan selama periode –periode selanjutnya
setelah selesai diklat.
Perancangan pelaksanaan evaluasi diklat sangat penting
untuk mencapai keberhasilan evaluasi diklat, apa yang hendak
dievaluasi, bagaimana cara melakukan evaluasi, data dan
informasi apa saja yang dibutuhkan untuk analisis dan
evaluasi serta saran dan rekomendasi yang akan dihasilkan.
Evaluasi diklat ini pada akhirnya digunakan untuk
mengambil keputusan: apakah program pelatihan ini bermanfaat
28
atau tidak?, apakah program pelatihan ini akan dilanjutkan
atau tidak? Hal apa saja yang perlu diperbaiki dari program
pelatihan yang sudah ada jika ingin dilanjutkan kembali? Dan
untuk keputusan terakhir ini bisa saja seluruh program
diklat dirancang ulang mulai dari tahap yang pertama sekali
–menentukan kebutuhan diklat, sampai pada tahapan evaluasi
diklat. Keberhasilan evaluasi diklat akan membantu lembaga
diklat untuk meningkatkan kualitas penyelenggaraan diklat
secara keseluruhan.
DAFTAR PUSTAKA
Arikunto, Suharsimi dan Cepi Safrudin Abdul Jabar. EvaluasiProgram Pendidikan, Pedoman Teoritis dan Praktis bagi Mahasiswa danPraktisi Pendidikan. Jakarta: Bumi Aksara, 2008.
Djaali, dan Pudji Mulyono. Pengukuran dalam Bidang Pendidikan.Jakarta: PT. Grasindo, 2008.
Fitzpatrick, Jody L. Program Evaluation: Alternative Approaches andPractical Guidelines. Boston: Pearson Education, Inc., 2004.
Kirkpatrick, Donald L., Evaluating Training Programs: TheFour Levels, 2ed, Berret-Koehler Publisher,SanFrancisco, 1998
Mulyadi, Deddy. (2008). “Pengembangan SDM BerbasisKompetensi Melalui Manajemen Diklat Sistemik sebagaiParadigma Baru dalam Organisasi dan Manajemen” dalamJurnal Diklat Aparatur, Vol.4, No.1, hlm.1-12
Moskowitz, Michael., Practical Guide To Training andDevelopment: Assess, Design, Deliver, and Evaluate,Pfeifer, San Francisco, 2008
Philips, Jack L., Ron D. Stone, Patricia Pulliam Philips,The Human Resources Scorecard: Measuring the Return OnInvestment, Butterworth-Heinemann, Burlington, 2001
29
Philips, Jack L., Phillips, Patricia Pulliam, Proving thevalue of HR:how and why to measure ROI, The Society ofHuman Resources Management, Alexandria, 2008
Phillips, Patricia Pulliam, Jack J. Phillips, Ron D. Stone,Holly Burkett, The ROI field Book: Strategies forImplementing ROI in HR and training, Elsevier,Burlington, 2007
Spaulding, Dean T. Program Evaluation in Practice: Core Concepts and Examples for Discussion and Analysis. San Fransisco: Jossey-Bass, 2008.
Stufflebeam, Daniel L., dan Anthony J. Shinkfield. EvaluationTheory, Models, and Applications. San Francisco: Jossey-Bass, 2007.
Sudjana, Djuju. Evaluasi Program Pendidikan Luar Sekolah Untuk Pendidikan Nonformal dan Pengembangan Sumber Daya Manusia. Bandung: PT. Remaja Rosdakarya, 2006.
Zulpikar. (2008). “Optimalisasi Penyelenggaraan Diklat Prajabatan dalam Upaya Membentuk Kompetensi Kerja Pegawai Negeri Sipil” dalam Jurnal Diklat Aparatur, Vol.4, No.1, hlm.119-136.