j-pal sea course in evaluating social programs. about jpal... · • j-pal terdiri dari 92 peneliti...
TRANSCRIPT
Selamat Datang
J-PAL SEA Course in Evaluating
Social Programs
TENTANG J-PAL
Tentang J-PAL
• J-PAL terdiri dari 92 peneliti dari seluruh dunia yang menggunakan evaluasi acak untuk menjawab pertanyaan kebijakan dalam menaggulangi kemiskinan.
• Misi: Untuk mengurangi kemiskinan dengan memastikan bahwa kebijakan berdasarkan bukti nyata dan penelitian and penelitian diterjemahkan ke aksi nyata
– Penelitian: Melakukan Evaluasi Dampak
– Penjangkauan Kebijakan: Menerjemahkan hasil penelitian ke dalam aksi nyata
– Pelatihan: Membangun kapasitas partner dan praktisi untuk melakukan Evaluasi
Dimana saja penelitian J-PAL
dilakukan?
4
502 evaluasi di 57 negara
Topik Penelitian J-PAL
1. Pertanian
2. Pendidikan
3. Lingkungan Hidup & Energi
4. Keuangan
5. Kesehatan
6. Tenaga Kerja
7. Ekonomi Politik & Pemerintahan
Kantor Perwakilan J-PAL
6
J-PAL Southeast Asia
7
• Diresmikan tahun 2013
• Dihadiri oleh Presiden Susilo
Bambang Yudhoyono
• Didanai oleh Departemen Luar
Negeri dan Perdagangan
Australia
• Bernaung dibawah Lembaga
Penyelidikan Ekonomi dan
Masyarakat (LPEM) UI
• Dipimpin oleh Profesor dari MIT
& Harvard
J-PAL memiliki riwayat panjang kolaborasi yang sukses dengan Pemerintah RI
untuk menjawab masalah-masalah kebijakan penting.
Meningkatkan indikator kesehatan dan pendidikan
dengan PNPM Generasi (2007-2009)
• Kolaborasi dengan Kemendagri dan Bank Dunia untuk memahami dampak
pemberian insentif dan partisipasi dana hibah
Meningkatkan penargetan Program Keluarga Harapan
(2008-2010)
• Kolaborasi dengan BPS, Depsos, Bappenas, TNP2K dan Bank Dunia untuk
memahami cara penargetan yang lebih baik bagi rumah tangga miskin
penerima PKH
Meningkatkan distribusi raskin (2012-2013)
• Kolaborasi dengan TNP2K untuk memahami dampak penggunaan kartu
Raskin dan mekanisme distribusi pada penyelewengan raskin.
8
J-PAL di Indonesia
Ikhtisar Pelatihan
1. Apa yang dimaksud dengan evaluasi? Mengapa Mengevaluasi?
2. Mengapa melakukan pengacakan?
3. Cara pengacakan
4. Ukuran Sampel
5. Kendala dan Tantangan
6. Evaluasi dari Awal sampai Akhir
7. Analisis Keefektifan Biaya
Ikhtisar Pelatihan
1. Apa yang dimaksud dengan evaluasi? Mengapa Mengevaluasi?
2. Mengapa melakukan pengacakan?
3. Cara pengacakan
4. Ukuran Sampel
5. Kendala dan Tantangan
6. Evaluasi dari Awal sampai Akhir
7. Analisis Keefektifan Biaya
Evaluasi? Mengapa kita perlu
mengevaluasi?
Héctor Salazar Salame
J-PAL Southeast Asia
Apa yang dimaksud dengan Evaluasi?
Evaluation
Program Evaluation
Impact Evaluation
Evaluasi Program
Evaluation
Program Evaluation
Impact Evaluation
Monitoring dan Evaluasi
Evaluation
Program Evaluation
Impact Evaluation
Monitoring
Monitoring
Fokus Pelatihan: Evaluasi Dampak
Evaluation
Program Evaluation
Impact Evaluation
Bagaimana evaluasi dampak ini dapat
membantu penanggulangan kemiskinan?
• Masih sedikit bukti yang dapat menjelaskan apa yang bekerja
• Dapat melakukan hal lebih banyak dengan anggaran tertentu, dengan bukti yang lebih baik
• Apabila anggaran akan diberikan kepada program yang berhasil, maka akan membantu meningkatkan kantong bagi program-program penanggulangan kemiskinan.
• Pertanyaan bukan tentang “Apakah program penanggulangan kemiskinan berhasil?” melainkan :
– Program mana yang paling berhasil, mengapa dan kapan?
– Konsep mana yang berhasil, mengapa dan kapan?
– Bagaimana kita meningkatkan yang berhasil ini?
• Tambahan ke daftar yang sudah terbukti – Bagian dari strategi evaluasi (riset) yang telah disusun dengan penuh pertimbangan
Komponen Evaluasi Program
• Analisis kebutuhan
• Penilaian Teori Program
• Evaluasi Proses
• Evaluasi Dampak
• Cost Effectiveness
• Apa permasalahnya?
• Bagaimana, secara teoritis, program tersebut dapat menyelesaikan masalah?
• Apakah program berjalan sesuai rencana?
• Apakah tujuan akhir tercapai? Berapa besar dampak?
• Dilihat dari besar dampak dan biaya yang dikeluarkan, apakah terdapat cara lain sebagai alternatif?
MENINGKATKAN KUALITAS
AIR/SANITASI
Sebuah Contoh di Kenya
ANALISIS KEBUTUHAN
Identifikasi masalah
Kebutuhan
• Secara Umum
– Hampir 2 juta anak meninggal per tahun karena
diare
– 20% dari kematian anak (di bawah 5 tahun)
adalah karena diare
• Indonesia
– 36 persen anak terhambat pertumbuhannya
• Diare, kekuranan gizi dilihat sebagai faktor utama
Permasalahan
• 13% dari populasi dunia tidak mempunyai
akses “sumber air yang baik”
• Kurangnya akses terhadap solusi purifikasi air
• Berdasarkan laporan, masyarakat dapat memperoleh akses
air bersih dengan bersedia membayar $1 agar terhindar dari
diare, atau $24 per DALY (Kremer et al 2009)
7/2009 Spring Cleaning - SITE 22
Tujuan Akhir
• MDG: “Mengurangi sampai setengah dari
jumlah populasi penduduk yang tidak
mendapat akses berkelanjutan ke air bersih
untuk minum”
Solusi
Apakah program ini sendiri dapat
menyelesaikan permasalahan?
• Kualitas air hanya sedikit membantu jika tidak higienis
(Esrey, 1996)
– 42% rumah tangga hidup tanpa toilet di dalam rumah
• Masyarakat lebih tertarik membayar air yang bersifat
convenient daripada membayar untuk mendapatkan air bersih
• Kurang dari 10% rumah tangga membeli alat treatment air
– Di Zambia, $0,18 per bulan untuk keluarga dengan enam anggota
keluarga
– Di Kenya, $0,30 per bulan
• 25% kepala rumah tangga dilaporkan merebus air untuk
kebutuhan air minum sehari sebelumnya
Solusi Alternatif?
Mengembangkan Solusi
• Apakah teori yang melandasi solusi Anda?
• Bagaimana memetakannya ke dalam teori
masalah yang dihadapi?
PENILAIAN TEORI PROGRAM
Blueprint untuk Perubahan
Penilaian Teori Program
• Bagaimana program tersebut akan menjawab kebutuhan yang terdapat dalam analisis kebutuhan?
– Apakah pra-syarat yang dibutuhkan untuk memenuhi kebutuhan tersebut?
– Bagaimana dan mengapa kebutuhan tersebut kurang atau gagal dipenuhi saat ini?
– Bagaimana program ini bermaksud untuk mengatasi kekurangan yang ada?
– Layanan apa yang akan ditawarkan?
• Alat
– Teori Perubahan
– Kerangka Logis
Theory of Change
MODIFIKASI SUMBER AIR
(untuk mencegah
kontaminasi)
AIR BERSIH DISIMPAN DI
RUMAH
ANGGOTA RUMAH TANGGA
MENGKONSUMSI AIR
OUTCOME KESEHATAN
DITINGKATKAN (misal. Insiden
diare berkurang)
Asumsi sampel: air ditampung dalam wadah yang bersih, dan wadah dipertahankan agar tetap bersih
Asumsi sampel: Anggota RT mengkonsumsi air dari sumber air yang bersih dan bukan sumber air yang berpotensi terkontaminasi
Asumsi sampel: sumber air dipelihara dengan baik, dan terdapat suplai air yang konsisten
Asumsi sampel: Tingkah laku yang berubah tetap konsisten dari waktu ke waktu
Kerangka Logis Tujuan Indikator Sumber
Verifikasi
Asumsi/
Ancaman
Dampak
(Maksud/
Tujuan
keseluruhan)
Menurunnya
tingkat diare
Tingkat diare Survei di
tingkat rumah
tangga
Penyakit
ditularkan melalui
air adalah sebab
utama diare
Hasil
(Tujuan
Proyek)
Rumah
tangga
meminum air
yang lebih
bersih
(Δ dalam)
sumber air
minum;
E. coli
CFU/100ml
Survei rumah
tangga, uji
kualitas air di
penampungan
air rumah
Beralih dari
sumber air kotor.
Tidak ada
kontaminasi ulang
Output Sumber air
lebih bersih;
keluarga
mendapat air
yg lbh bersih
E. coli
CFU/100ml;
Uji kualitas air
pada sumber
Pemeliharaan
berkelanjutan,
pengetahuan
praktek
pemeliharaan
Input
(Kegiatan)
Proteksi
sumber air
dibangun
Terdapat
proteksi
sumber air,
berfungsi
Kunjungan ke
sumber/ survei
Bahan memadai,
pendanaan,
tenaga
Sumber Roduner, Schlappi (2008) Logical Framework Approach and Outcome Mapping, A constructive Attempt of Synthesis,
Analisa
Kebutuhan
Evaluasi
Proses
Evaluasi
Dampak
EVALUASI PROSES
Menjadikan program berhasil
Evaluasi Proses
• Sisi Suplai
– Logistik
– Manajemen
• Sisi Permintaan
– Asumsi Tanggapan
– Perubahan Perilaku?
Evaluasi Proses: Logistik
• Konstruksi (184/200, $1024/sumber air)
– Membangun perlindungan di sumber air
– Memasang pagar
– Memasang drainase
• Mengatur perawatan pengguna ($35/tahun)
– Menambal beton
– Membersihkan penampungan area
– Membersikan saluran drainase
Evaluasi Proses: Logistik Suplai
Evaluasi Proses: Sisi Permintaan
• Apakah rumah tangga tersebut mendapatkan air
dari sumber yang telah dilindungi?
– Untuk rumah tangga yang mengambil dari berbagai
sumber air, terdapat peningkatan penggunaan sumber
yang telah dilindungi sebanyak 21 persen
• Apakah tempat penampungan terkontaminasi
ulang?
• Apakah masyarakat minum dari air “bersih”?
– Tidak terdapat perubahan yang signifikan dalam cara
menyalurkan, menyimpan atau perilaku treatment.
Prosesnya oke, maka ….
• Apa yang terjadi dengan diare?
EVALUASI DAMPAK
Mengukur sejauh mana keberhasilannya
Apakah tujuan tercapai?
• Hasil utama (dampak): apakah dengan adanya
perlindungan di sumber air mengurangi
diare?
• Juga pertanyaan tambahan: Apakah
dampaknya terhadap rumah tangga dengan
praktek sanitasi yang baik vs yang buruk`?
Bagaimana cara mengukur dampak?
• Apakah yang akan terjadi jika program
tersebut tidak ada?
• Perbedaan antara
apa yang terjadi (dengan adanya program tsb) …dan
- apa yang bisa saja terjadi (tanpa adanya program tsb)
= DAMPAK dari program
Membangun Counterfactual
• Counterfactual sering dibangun dengan memilih kelompok yang tidak terpengaruh oleh program tersebut.
• Metode Acak: – Gunakan pengelompokan acak dari program untuk
membentuk kelompok kontrol yang mewakili counterfactual.
• Tanpa-metode acak – Menyatakan bahwa kelompok tertentu yang tidak
termasuk dalam program mewakili counterfactual.
Bagaimana perbedaan dampak dengan
proses?
• Ketika kita menjawab pertanyaan proses, kita
perlu menjelaskan apa yang terjadi.
• Ketika kita menjawab pertanyaan dampak,
kita perlu membandingkan apa yang terjadi
dengan apa yang bisa terjadi tanpa adanya
program tersebut.
EVALUASI ACAK
“Standar Emas” untuk Evaluasi Dampak
Secara acak
pilih sampel
dari area
yang
dimaksud
Sampel Acak dan Pengelompokan Acak
Secara acak
kelompokkan
ke perlakuan
dan kontrol
Secara acak
pilih sample
Kelompok
perlakuan dan
kontrol
Sampel Acak dan Pengelompokan Acak
Secara acak
pilih sampel
dari area yang
dimaksud
Sampel Sumber air bersih
Target
Populasi
(200)
Tidak
dievaluasi
(0)
Sampel
Evaluasi
(200)
Total Populasi
(562 sumber air)
Pengelom-
pokkan Acak
Tahun 2
(50)
Tahun 3,4
(100)
Tahun 1
(50)
Dampak
• 66% penurunan konsentrasi bakteri E. coli
pada sumber air
• 24% penurunan konsentrasi bakteri E. coli
pada rumah tangga
• 25% penurunan tingkat diare
Menentukan dari beberapa pilihan
Intervensi Dampaknya terhadap Diare
Perlindungan sumber air (Kenya) 25% penurunan penyakit diare pada anak
usia 0-3
Intervensi Dampaknya terhadap diare
Perlindungan sumber air(Kenya) 25% penurunan tingkat diare pada anak
usia 0-3
Dispenser sumber klorin (Kenya) 20-40% penurunan diare
Distribusi klorin ke rumah (Kenya) 20-40% penurunan diare
Cuci tangan (Pakistan) 53% penurunan tingkat diare pada anak
di bawah usia 15 tahun
Masuknya pipa air (pinggiran Maroko) 0.27 penurunan jumlah hari diare pada
anak per bulan
Menentukan dari beberapa pilihan
ANALISIS COST-EFFECTIVENESS
Pembuatan Kebijakan Berbasis Bukti
Diagram Cost-Effectiveness
Kapankah waktu yang tepat untuk
melakukan evaluasi acak….
Kapan evaluasi acak dilakukan?
• Ketika Anda ingin menjawab pertanyaan penting dan ingin tahu jawabannya
• Faktor waktu—tidak terlalu dini dan tidak terlalu terlambat
• Program bersifat representatif, bukan program ‘gold-plated’ semata – Atau menguji konsep dasar yang perlu Anda uji
• Waktu, keahlian, dan uang untuk melakukan hal yang benar
• Mengembangkan sebuah strategi evaluasi untuk menentukan prioritas
Kapan evaluasi acak sebaiknya tidak
dilakukan? • Ketika program masih prematur dan masih perlu
‘perbaikan’ di sana sini agar berhasil
• Ketika proyek masih dalam skala yang terlalu kecil untuk diacak menjadi dua kelompok yang cukup ‘representatif’
• Bila dampak positif telah terbukti dengan menggunakan metodologi yang ketat serta sumber data memadai untuk semua orang
• Setelah program dimulai dan Anda tidak berencana untuk memperluas ke arah lain
Bagaimana evaluasi dampak dapat gagal
• Tidak ada yang mengajukan pertanyaan yang
jawabannya diberikan oleh studi/kajian
tersebut
• Mengukur hasil yang salah
• Meninggalkan terlalu banyak pertanyaan
penting yang tidak terjawab
• Menghasilkan hasil yang bias
Program dan Evaluasinya:
Dimana kita memulainya? Intervensi
• Mulai dengan masalah
• Verifikasi masalah tersebut
memang benar terjadi
• Buatlah sebuah teori
mengapa masalah tersebut
timbul
• Desain program
• Pertimbangkan apakah solusi
tersebut bersifat cost effective
Evaluasi Program
• Mulai dengan pertanyaan
• Verifikasi pertanyaan tersebut
belum terjawab
• Buatlah sebuah hipotesis
• Desain evaluasi
• Pastikan apakah nilai jawaban
setara dengan biaya evaluasi
• Bila Anda menanyakan dengan pertanyaan yang benar, berarti Anda cenderung peduli
Komponen Evaluasi Program
• Analisa kebutuhan
• Penilaian Teori Program
• Evaluasi terhadap proses
• Evaluasi Dampak
• Cost Effectiveness
• Apa masalahnya?
• Bagaimana, secara teoritis, program tersebut dapat menyelesaikan masalah?
• Apakah program berjalan sesuai rencana?
• Apakah tujuan akhirnya tercapai? Signifikankah?
• Dilihat dari signifikansi dan biaya yang dikeluarkan, apakah terdapat cara lain sebagai alternatif?
MENGAPA MELAKUKAN
PENGACAKAN
Selanjutnya …