METODE EVALUASI

PEMBANGUNAN

InHouse Training

Bappeda Provinsi Jawa Barat

22 November 2019

NURROHMAN WIJAYA, S.T., M.T., M.Sc., Ph.D.(c)KK Pengelolaan Pembangunan & Pengembangan Kebijakan

Sekolah Arsitektur, Perencanaan, dan Pengembangan Kebijakan

INSTITUT TEKNOLOGI BANDUNG

Konsep EVALUASI

• Evaluasi adalah proses “penghakiman“ terhadapsesuatu dengan mengkaji dan membuatkeputusan secara hati-hati berdasarkan berbagaifaktor:

– kriteria pertimbangan objektif, seperti standar, aturan, harga, dan bandingan;

– kriteria pertimbangan subjektif, seperti sistem nilai; dan

– asumsi-asumsi yang digunakan.

• Evaluasi adalah penilaian yang sistematis dan objektif atas desain, implementasi dan hasil dari intervensi yang sedang berlangsung atau yang telah selesai (Permen PPN/Bappenas No. 1/2017)

Pertimbangan dalam EvaluasiUntuk melakukan setiap evaluasi, kita perlu:1. Memahami dengan seksama knowledge tentang obyek yang akan

dievaluasi.

2. Menyusun argumen-argumen kriteria pertimbangan obyektif yang akandigunakan.

3. Menyusun argumen-argumen kriteria pertimbangan subyektif yang akandigunakan.

4. Menyusun argumen-argumen asumsi yang akan digunakan.

5. Mengumpulkan data dan informasi yang dibutuhkan untuk membuatkeputusan.

6. Melakukan klarifikasi dan verifikasi data dan informasi, seperti standar, aturan, harga, bandingan, dan sistem nilai supaya bisa membuatkeputusan.

7. Melakukan analisis dengan teknik yang dipilih menggunakan data daninformasi yang sudah diklarifikasi (jelas) dan diverifikasi (verified) untukproses menghakimi sesuatu yang dievaluasi.

8. Membuat keputusan penghakiman sebagai hasil evaluasi.

Note: Gabungan butir 2, 3, dan 4 adalah “conditionality for reading and understanding the process and result of the evaluation.” Yang dimaksud “sesuatu” dalam konteks ini adalah kebijakan, rencana, program, kegiatan, proyek.

Pemahaman Knowledge

tentang Obyek yang Akan Dievaluasi

• Mengetahui fakta, ide dan gagasan yang adadi obyek yang akan dievaluasi.

• Mengenal dengan baik, peduli, dan mengertiatas pengetahuan yang sudah diperoleh daripengalaman dan studi sendiri atau orang lain.

• Memahami secara keseluruhan apa yang sudah diketahui dari obyek yang akandievaluasi.

Kriteria Evaluasi

• Suatu kriteria evaluasi adalah suatu standar, aturan, atautes yang digunakan sebagai dasar dalam proses penghakiman terhadap sesuatu.

• Kriteria evaluasi diturunkan dari teori-teori dasar(fundamental theories) dari sesuatu yang akan dievaluasi, dan sistem nilai (ethics and values) dari sesuatu yang akandievaluasi.

• Kriteria evaluasi yang diturunkan tersebut berdasarkan satuset asumsi yang digunakan meliputi asumsi eksplisit danasumsi intrinsik.

• Kriteria evaluasi yang diturunkan dari fundamental theories akan menjadi kriteria obyektif.

• Kriteria evaluasi yang diturunkan dari sistem nilai akanmenjadi kriteria subyektif.

• Kriteria yang akan digunakan untuk mengevaluasi sesuatumencakup kriteria obyektif, kriteria subyektif, dan asumsi-asumsi yang digunakan.

Efficiency, Equity, Justice

• Pada kebijakan, rencana, program, kegiatan, danproyek yang bersifat publik, kriteria standar yang digunakan dalam setiap evaluasi adalah kriteriaefficiency, equity, dan justice.

• Engineering efficiency is: Output >>> Input

• Economic efficiency is: Engineering Efficiency + preference

• Equity is equal outcome vs equal opportunity

• Absolute justice vs relative/comparative justice

Klarifikasi dan Verifikasi

• Klarifikasi data dan informasi dibutuhkanuntuk membuat data dan informasi menjadijelas dan mudah dimengerti, tidakmembingungkan, serta bebas dari ketidak-pastian, sehingga memudahkan proses penghakiman.

• Verifikasi dibutuhkan untuk memastikan/ konfirmasi kebenaran data dan informasi, sehingga proses penghakiman akanmenghasilkan keputusan yang dapatdipercaya (reliable).

Asumsi

• Asumsi adalah tindakan menerima kondisi sepertidiberikan apa adanya atau tindakan menerimakondisi sebagai suatu kebenaran.

• Asumsi eksplisit adalah asumsi yang dituliskansecara eksplisit dalam dokumen suatu kebijakan, rencana, program, kegiatan, proyek.

• Asumsi intrinsik adalah asumsi yang tidakdituliskan, namun diyakini sudah diketahui dandimengerti atas kesadaran pembaca/pengguna.

• Semua asumsi eksplisit dan intrinsik harusdituliskan di awal sebelum melakukan evaluasi.

Implementasi Evaluasi (1)

• Pelaksanaan evaluasi dapat dilakukan pada saatpenyusunan rencana, pelaksanaan rencana, maupun setelah kebijakan/program/kegiatanselesai dilaksanakan.

• Pada saat penyusunan rencana, evaluasidilakukan untuk memilih alternatif kebijakan yang tepat dari berbagai alternatif yang ada.

• Selain itu, juga digunakan untuk menilai strukturdan sistematika penyusunan sasaran, arahkebijakan dan strategi pembangunan.

Implementasi Evaluasi (2)

• Pada saat pelaksanaan, evaluasi

dilakukan untuk menilai proses

pelaksanaan rencana.

• Sedangkan, setelah berakhirnya rencana,

evaluasi dilakukan dalam rangka menilai

capaian kinerja atas pelaksanaan rencana

dan mengindentifikasi permasalahan yang

ada.

Tujuan Evaluasi

• Hasil evaluasi dituntut agar dapat memberikan

data dan informasi mengenai berhasil tidaknya

pelaksanaan kebijakan/program/kegiatan,

serta

• Menilai efisiensi, efektivitas, relevansi, dampak

dan keberlanjutan kebijakan/program/kegiatan

terhadap masyarakat.

• Informasi tersebut dapat digunakan sebagai

dasar dalam pengambilan keputusan atas

kondisi yang ada.

Kerangka Evaluasi Pembangunan Nasional

Sumber: Permen PPN/Bappenas No. 1/2017 tentang Pedoman Evaluasi Pembangunan

Nasional

Evaluasi Pembangunan

• Dalam rangka menjamin pelaksanaan

evaluasi dilakukan secara tepat dan lebih

terukur, maka proses penyusunan

kebijakan/program/kegiatan harus

memenuhi kaidah-kaidah logical

framework atau Kerangka Kerja Logis

(KKL).

Contoh KKL pada level

Kebijakan Nasional

Jenis dan Metoda Evaluasi

• Evaluasi Ex-ante

• Evaluasi Pengukuran Kinerja

• Evaluasi Proses Pelaksanaan

• Evaluasi Kebijakan Strategis/Program

Besar

Evaluasi Ex-ante

• Evaluasi Ex-ante dilakukan sebelum dokumen perencanaan ditetapkan.

• Tujuan Evaluasi Ex-ante:– memilih alternatif kebijakan terbaik dari berbagai

alternatif yang ada; dan

– memastikan dokumen perencanaan disusun secara terstruktur, koheren dan sistematis, antara lain dengan cara menelaah konsistensi antar dokumen perencanaan dan menelaah penyusunan kebijakan/program/kegiatan dengan mengkaji permasalahan, formulasi sasaran, konsistensi arah kebijakan dan strategi pembangunan dengan sasaran, dan ketepatan indikator kinerja yang digunakan.

Evaluasi Pengukuran Kinerja

• Evaluasi pengukuran kinerja dilakukan untuk melihat capaian kinerja kebijakan/program/kegiatan dengan membandingkan antara target dengan capaian.

• Evaluasi pengukuran kinerja dilakukan dengan menggunakan metode Gap Analysis.

• Evaluasi pengukuran kinerja dapat dilakukan terhadap keseluruhan dokumen perencanaan.

Evaluasi Proses Pelaksanaan

• Evaluasi proses pelaksanaan rencana pembangunan dilakukan untuk mendeskripsikan proses pelaksanaan kebijakan/program/kegiatan secara mendalam.

• Deskripsi proses pelaksanaan, meliputi deskripsi pelaksanaan (siapa, apa, kapan, dimana, bagaimana), deskripsi latar belakang, deskripsi organisasi, deskripsi input, output dan aktivitas pelaksanaan dan hal lain yang diperlukan.

• Evaluasi proses pelaksanaan rencana pembangunan dilakukan terhadap kebijakan/program/kegiatan terpilih, antara lain untuk memahami fungsi-fungsi pelaksanaan agar diketahui fungsi mana yang berjalan dengan baik dan mana yang tidak, serta mengidentifikasi permasalahan dalam pelaksanaan untuk mencegah kegagalan pelaksanaan maupun perbaikan pelaksanaan di masa yang akan datang.

Mekanisme Evaluasi Proses Pelaksanaan

Evaluasi Kebijakan

Strategis/Program Besar• Evaluasi kebijakan strategis/program besar

merupakan penilaian secara menyeluruh, sistematis dan obyektif terkait aspek relevansi, efisiensi, efektivitas, dampak, dan keberlanjutan dari pelaksanaan kebijakan/program dengan menunjukkan hubungan sebab akibat akan kegagalan atau keberhasilan pelaksanaan kebijakan/ program.

• Kriteria kebijakan strategis/program besar meliputi:– memiliki dampak langsung dan besar kepada masyarakat;

– memiliki anggaran besar;

– mendukung secara langsung pencapaian agenda pembangunan nasional;

– mendukung pencapaian prioritas nasional; dan

– merupakan arahan direktif presiden dan pertimbangan lain.

KERANGKA PERENCANAAN PEMBANGUNAN NASIONAL

Sistem Perencanaan

Pembangunan Nasional

adalah satu kesatuan

tata cara perencanaan

pembangunan untuk

menghasilkan rencana-

rencana pembangunan

dalam jangka panjang,

jangka menengah, dan

tahunan yang

dilaksanakan oleh

unsur penyelenggara

negara dan masyarakat

di tingkat Pusat dan

Daerah

UU No. 25 Tahun 2004 Tentang Sistem Perencanaan

Pembangunan Nasional

RPJP Daerah memuat visi, misi, dan arah pembangunan Daerah yang mengacu pada RPJP Nasional.

RPJM Daerah merupakan penjabaran dari visi, misi, dan program Kepala Daerah yang

penyusunannya berpedoman pada RPJP Daerah dan memperhatikan RPJM Nasional, memuat arah

kebijakan keuangan Daerah, strategi pembangunan Daerah, kebijakan umum, dan program Satuan Kerja

Perangkat Daerah, lintas Satuan Kerja Perangkat Daerah, dan program kewilayahan disertai dengan

rencana-rencana kerja dalam kerangka regulasi dan kerangka pendanaan yang bersifat indikatif.

RKPD merupakan penjabaran dari RPJM Daerah dan mengacu pada RKP, memuat rancangan kerangka

ekonomi Daerah, prioritas pembangunan Daerah, rencana kerja, dan pendanaannya, baik yang

dilaksanakan langsung oleh pemerintah maupun yang ditempuh dengan mendorong partisipasi

masyarakat.

Renstra-SKPD memuat visi, misi, tujuan, strategi, kebijakan, program, dan kegiatan

pembangunan yang disusun sesuai dengan tugas dan fungsi Satuan Kerja Perangkat Daerah serta

berpedoman kepada RPJM Daerah dan bersifat indikatif.

Renja-SKPD disusun dengan berpedoman kepada Renstra SKPD dan mengacu kepada RKP, memuat

kebijakan, program, dan kegiatan pembangunan baik yang dilaksanakan langsung oleh Pemerintah

Daerah maupun yang ditempuh dengan mendorong partisipasi masyarakat.

HUBUNGAN RPJMD DAN RENSTRA PERANGKAT DAERAH

Sumber: Permendagri No. 86 Tahun 2017

RANTAI HASIL RESULT-BASED MANAGEMENT

Source: UNDP, 2009; Permendagri No. 86/2017

RANTAI HASIL RESULT-BASED MANAGEMENT

Source: UNDP, 2009; Permendagri No. 86/2017

Pohon masalah dapat dikonversi menjadi pohon tujuan, dengan mengubah pernyataan masalah menjadi pernyataan tujuan berupa pernyataan yang bersifat positif dan konstruktif.

POHON MASALAH vs POHON TUJUAN

Pernyataan tujuan harus:

• Merupakan hasil yang paling langsung terlebih dahulu (most direct result)• Fokus pada yang harus ada terlebih dahulu untuk memperbaiki kehidupan masyarakat

• Dapat dicapai dalam waktu implementasi rencana• Sesuai dengan kewenangan atau tupoksi penanggungjawab

Kegiatan/Proyek (Output)

Program (Outcome)

Tujuan/Sasaran (Impact)

Visi/Misi (Impact)

Apabila sumber daya finansial ataupun institusional tidak memadai untuk menangani seluruh permasalahan, kita perlu membuat klaster permasalahan.

ANALISIS STRATEGI: POHON ALTERNATIF

TABEL KERANGKA LOGIS

Source: UNDP, 2009

PERNYATAAN INDIKATOR HASIL

Impact

Manfaat akhir yang akan dirasakan dalam jangka panjang oleh masyarakat

Outcome

Perubahan yang terjadi dalam jangkamenengah ataupendek; diperlukantercapainya lebih darisatu outcome untukmenghasilkan impact

Output

Produk dan layanan baik tangible/intangible yang dihasilkan atau disediakan

Activities

Tugas/kegiatan yang

harus dilaksanakan

untuk menghasilkan

output

PERFORMANCE INDICATORS

• Indicators are signposts of change along the path to development.

• Tanda yang berfungsi sebagai alat ukur pencapaian kinerja suatu kegiatan, program, atau sasaran dan tujuan dalam bentuk keluaran (output), hasil (outcome), dampak (impact)

• Critical for monitoring and evaluation.

• Indicators help to:

• Inform decision making for ongoing programme or project management

• Measure progress and achievements, as understood by the different stakeholders

• Clarify consistency between activities, outputs, outcomes, and impacts

• Ensure legitimacy and accountability to all stakeholders by demonstrating progress

• Assess project and staff performance Source: UNDP, 2009; Permendagri No. 86/2017

Source: UNDP, 2009

Quantitative

Ukuran statistik

• Proporsi

• Kecenderungan memusat (rata-rata, median, modus)

Qualitative

• Compliance with (kesesuaian)

• Quality of (kualitas)

• Extent of (sejauh mana)

• Level of (tingkat)

Proxy

Cara yang tidak langsung dalam mengukur kemajuan ketercapaian hasil

Contoh: bagaimana mengukur perbaikan kapasitas aparat pemerintah dalam menyediakan layanan persampahan?

TYPES OF INDICATORS

• Direct:– Hours of down time (out-of-service time) of solid waste vehicle

fleet due to O&M and other problems;

– Percentage change in number of households serviced weekly;

– Percentage change in number of commercial properties serviced weekly; etc.

• Proxy:– Percentage of clients satisfied with the quality and timeliness of

services provided by the solid waste management service.

Source: UNDP, 2009

DIRECT VS PROXY INDICATORS

• Impact indicators: kondisi yang ingin diubah– Improved educational performance of students in region:

percentage of students completing primary schooling; pass rates in standardized student test.

• Outcome indicators: keadaan yang ingindicapai/dipertahankan– Percentage of teachers trained that were rated as more

effective in doing their jobs one year later.

• Output indicators: produk akhir berupa barang ataujasa– District school teachers trained: number of teachers

trained by the end of 2010.

Source: UNDP, 2009

LEVEL OF INDICATORS

• Baseline data establishes a foundation

from which to measure change.

• Target will normally depend on the

programme period and the duration of

the interventions and activities (normally 5

– 10 years).

Source: UNDP, 2009

BASELINE AND TARGETS

• Results statements and indicators should

be SMART.

• “M” here stands for measurable, which

implies that the data should be readily

available in order to ascertain the

progress made in achieving results.

Source: UNDP, 2009

MEANS OF VERIFICATIONS

SYARAT INDIKATOR DAMPAK DAN HASIL

Source: UNDP, 2009; Permendagri No. 86/2017

SMART-C plus C: continuously improve (kualitas target terus

berkembang dan disempurnakan)

tidak bermakna ganda

dapat diukur

dapat dicapai dan disepakati

oleh semua stakeholder

dapat berkontribusi pada

pencapaian target pemb.

memiliki batas waktu pencapaian

TERIMAKASIH

Nurrohman Wijaya

nurrohman.wijaya@sappk.itb.ac.id