Terjemahan strategi

Click here to load reader

  • date post

    05-Nov-2015
  • Category

    Documents

  • view

    235
  • download

    0

Embed Size (px)

description

penjelasan long recion

Transcript of Terjemahan strategi

Tahap Uji Coba pada Penilaian Sumatif

Analisis hasil. Tahap kedua dari penilaian sumatif adalah uji coba lapangan. Selama persidangan instruksi diimplementasikan sebagaimana dimaksud, dalam organisasi, dan dengan sasaran peserta didik yang dipilih. uji coba lapangan untuk pelaksanaan, melaksanakan instruksi dan mengumpulkan data, meringkas dan menganalisis data, dan pelaporan hasil.Tabel 12.1 berisi matriks yang merangkum kegiatan yang berhubungan dengan setiap bagian dari evaluasi. Setiap kolom dipimpin oleh salah satu bagian utama, dan kegiatan yang berkaitan dengan masing-masing tercantum di bawah. Semua kegiatan di kolom pertama, "Perencanaan," harus diselesaikan dari atas ke bawah sebelum memulai kegiatan pada kolom kedua, "Mempersiapkan." Demikian pula, kegiatan di kolom kedua harus diurutkan dari atas ke bawah, dan mereka harus diselesaikan sebelum pindah ke kolom ketiga, "Pelaksana / Pengumpulan Data." Pada titik pelaksanaan instruksi dan pengumpulan data, namun, pola sequencing ini dari atas ke bawah dalam setiap bagian berhenti. Data yang terkait dengan masing-masing daerah (di baris) harus dikumpulkan menggunakan waktu-dan jadwal paling hemat biaya. Hal ini berlaku untuk urutan ringkasan data dan laporan bagian, juga. Kegiatan dalam tiga kolom terakhir disajikan dalam urutan ini hanya untuk menggambarkan hubungan mereka dengan kegiatan yang disebutkan dalam dua kolom pertama. Paragraf berikut menjelaskan masing-masing sumatif kegiatan uji coba lapangan lebih jelas atau detail.Perencanaan Kegiatan perencanaan pertama adalah desain percobaan lapangan Anda. Sifat dari desain tergantung pada beberapa faktor, termasuk penilaian kebutuhan, sifat bahan, dan apakah bahan bersaing dan termasuk. Anda mungkin perlu mengevaluasi satu set bahan menggunakan satu kelompok, satu set matrials menggunakan beberapa kelompok dengan karakteristik yang berbeda atau dalam pengaturan yang berbeda, atau bersaing set bahan menggunakan kelompok sebanding dan pengaturan.Kegiatan desain lain adalah untuk menggambarkan dengan jelas pertanyaan yang harus dijawab selama penelitian. Pada dasarnya, pertanyaan Anda harus menghasilkan informasi bagi analisis hasil (dampak pada pelajar, pekerjaan, dan organisasi) dan analisis manajemen. Pertanyaan pasti akan berhubungan dengan masuknya 'pembelajar' - tingkat perilaku, pretest dan posttest kinerja pada tujuan, dan sikap mereka. Mereka juga dapat berhubungan dengan sumber daya, peralatan, atau fasilitas yang diperlukan. Mereka bisa berhubungan dengan keterampilan dan sikap mereka yang bertanggung jawab untuk melaksanakan instruksi. Orang lain mungkin berhubungan dengan prosedur pelaksanaan dan jadwal. Daerah yang tepat dari pertanyaan Anda termasuk akan tergantung pada sifat dan sumber daya untuk penelitian.

Selain pertanyaan yang berkaitan dengan kinerja dalam konteks pembelajaran, ada seluruh rangkaian pertanyaan tentang kinerja dalam konteks transfer. Rencana harus dibuat untuk melakukan tindak - melalui kegiatan dengan beberapa atau semua peserta dalam instruksi. Wawancara, kuesioner, dan observastions dapat digunakan dengan baik peserta didik dan manajer, rekan, dan bawahan untuk menentukan dampak dalam konteks kinerja. Jenis yang sama pertanyaan yang berada di harus direncanakan untuk baik sebelum penelitian.

Dengan bahan ajar dan kerangka dari desain evaluasi di tangan, Anda dapat menggambarkan sumber daya, fasilitas, dan peralatan yang sesuai untuk penelitian. Kegiatan ini termasuk sebelum berencana untuk sampel, karena setiapKeterbatasan Anda temui di daerah ini pasti akan mempengaruhi sifat dari kelompok dapat Anda gunakan. Rencana awalnya untuk kebutuhan ideal dan kemudian bernegosiasi untuk menentukan kelayakan permintaan ini.Dengan masalah sumber daya yang tersedia diselesaikan, Anda dapat mengalihkan perhatian Anda untuk menggambarkan peserta didik target ideal. Resep Anda harus mencakup perilaku mereka masuk dan karakteristik lainnya yang relevan untuk bahan (misalnya, pengalaman sebelumnya, posisi sekarang, dan tujuan pribadi). Anda juga perlu menentukan jumlah peserta didik Anda akan perlu (atau mampu) dan berapa banyak kelompok yang Anda butuhkan. Dalam membuat keputusan ini, Anda harus memperkirakan secara konservatif, karena kualitas dan bukan kuantitas data kriteria. Seringkali dua puluh tiga puluh orang yang dipilih dengan hati-hati yang benar-benar mewakili kelompok sasaran akan cukup. Kelompok istilah ini tidak dimaksudkan untuk menyimpulkan kelompok - serba instruksi; mengacu pada jumlah individu dari siapa data akan dikumpulkan.

Setelah Anda tahu berapa banyak peserta didik akan dimasukkan dalam penelitian ini, Anda dapat memutuskan berapa banyak instruktur atau manajer Anda perlu. Selain jumlah yang ideal untuk memasukkan, Anda harus menjelaskan keterampilan yang mereka butuhkan untuk melaksanakan instruksi. Ketersediaan instruktur yang tepat dapat menyebabkan Anda untuk mengubah jumlah peserta didik dalam desain. Jika membatasi peserta didik tidak layak, maka Anda mungkin perlu untuk merencanakan untuk melatih beberapa instruktur.

Kegiatan perencanaan akhir adalah untuk mengembangkan orientasi dan mungkin pelatihan untuk instruktur. Evaluasi sumatif yang baik akan membutuhkan kerja sama dari orang-orang yang melaksanakan instruksi. Mereka harus merasa bahwa mereka adalah bagian penting dari penelitian ini, bahwa mereka diberitahu, dan bahwa pendapat mereka menghitung. Mengembangkan hubungan awal dengan kelompoknya dan memelihara hubungan kerjasama selama penelitian akan meningkatkan kualitas uji coba lapangan dan data yang Anda dapat memperoleh. Satu peringatan terakhir : instruktur harus percaya bahwa Anda tidak mengevaluasi baik mereka atau peserta didik. Dari awal fokus harus pada evaluasi instruksi. Membangun kepercayaan dan menjadi sensitif terhadap peserta didik perlu akan membantu memastikan akses Anda ke pengaturan dan data. Bahkan, mungkin ide yang baik untuk merujuk kepada mereka sebagai pelaksana / evaluator selama penelitian.

Mempersiapkan Kegiatan dalam aliran tahap persiapan dari keputusan yang dibuat selama tahap perencanaan. Mereka melibatkan memperoleh semua bahan, alat, sumber daya, dan orang-orang yang ditentukan. Ketika tarik ulur harus dibuat antara apa yang diresepkan dan apa yang tersedia, Anda mungkin perlu diperhatikan perubahan-perubahan dalam keterbatasan bagian dari laporan Anda.Melaksanakan / Pengumpulan data Selama pelaksanaan instruksi Anda akan perlu untuk mengumpulkan semua jenis data yang ditentukan. Anda mungkin termasuk ukuran kinerja, observasi, wawancara, dan kuesioner. Kepadatan pengumpulan data Anda akan tergantung baik pada pertanyaan Anda dan sumber daya Anda. Minimal Anda akan ingin pretest - posttest Data dan informasi tentang peserta didik persepsi bahan dan prosedur. Informasi ini biasanya dapat diperoleh murah dan diam-diam oleh instruktur. Setelah jumlah yang tepat waktu telah berlalu, melakukan tindak lanjut evaluasi dalam konteks kinerja.Meringkas dan menganalisis data Teknik/ cara meringkasan data dijelaskan untuk uji coba lapangan evaluasi formatif yang sesuai.

uji coba lapangan. Minimal Anda akan ingin menghasilkan objektif dengan meja barang dan untuk meringkas kinerja peserta didik dengan kelompok dan individu. Anda juga akan ingin membuat tabel untuk membandingkan kemajuan individu dan kelompok dari pretest ke posttest sebuah menggambarkan penggunaannya dalam konteks kinerja.Dalam menganalisis data, Anda akan ingin untuk mendokumentasikan wilayah instruksi yang tidak efektif dan kemungkinan alasan untuk kelemahan. Anda juga akan ingin mendokumentasikan wilayah instruksi yang efektif. Selama uji coba lapangan evaluasi sumatif, penting untuk memberikan analisis yang seimbang dari kedua kekuatan dan kelemahan dari bahan. Fokus hanya pada kelemahan akan menghasilkan laporan yang berat sebelah dari nilai bahan.Pelaporan Hasil Sifat laporan evaluasi sumatif Anda tergantung pada desain Anda. Jika Anda termasuk kedua penilaian ahli dan fase uji coba lapangan, maka keduanya harus didokumentasikan dalam laporan. Untuk masing-masing Anda harus menjelaskan tujuan umum, pertanyaan-pertanyaan yang spesifik, desain dan prosedur, hasil, dan rekomendasi dan pemikiran. Alasan untuk rekomendasi Anda harus berlabuh pada data Anda hadir di bagian hasil.Anda harus selalu mempertimbangkan pembaca Anda merancang dan memproduksi laporan Anda. Setelah menganalisis beberapa laporan evaluasi program, Fitzpatrick, Worthen, dan Sanders (2004) menyimpulkan bahwa, meskipun laporan yang informatif, mereka juga arsenik di cetak! Anda mungkin ingin mengikuti saran format mereka untuk menanggulangi masalah ini. Mereka menyarankan mulai laporan dengan ringkasan eksekutif atau abstrak yang menyoroti rekomendasi akhir dan rasional. Pembaca kemudian dapat selektif membaca sisa dokumentasi teknis untuk memverifikasi kualitas prosedur atau validitas kesimpulan Anda. (Anda secara formatif dapat mengevaluasi laporan teknis seperti yang Anda akan formatif mengevaluasi instruksi.)

Perbandingan Formatif dan Sumatif Evaluasi

Evaluasi formatif dan sumatif berbeda dalam beberapa aspek. Perbedaan ada pada Tabel 12.2. Perbedaan pertama berkaitan dengan tujuan untuk melakukan setiap jenis evaluasi. Evaluasi formatif yang dilakukan untuk mencari kelemahan dan masalah dalam instruksi untuk merevisinya. Evaluasi sumatif yang dilakukan untuk menemukan kekuatan dan kelemahan dalam pengajaran dan mendokumentasikan temuan bagi para pengambil keputusan yang harus memutuskan apakah akan mempertahankan atau mengadopsi bahan.

Perbedaan kedua melibatkan tahapan evaluasi. Evaluasi formatif meliputi tiga tahap - yang satu sampai - satu, kelompok kecil, dan uji coba lapangan semua dilakukan secara langsung dengan peserta didik sasaran. Selama setiap tahap, banyak waktu yang dihabiskan mengamati dan mewawancarai peserta didik untuk memahami sifat dari masalah yang mereka hadapi dengan instruksi. Evaluasi sumatif, sebaliknya, hanya dua tahap: penilaian ahli dan uji coba lapangan. Tahap penilaian ahli menyerupai keputusan evaluatif yang dibuat oleh desainer dan konteks ahli selama desain pengembangan bahan. Peserta didik Target tidak terlibat dalam tahap evaluasi sumatif. Tahap uji coba lapangan dilakukan dengan peserta didik sasaran, tapi sedikit jika ada waktu yang dihabiskan mewawancarai peserta didik untuk deterime mengapa mereka melakukan atau tidak berhasil dengan tujuan tertentu dalam instruksi. Data biasanya diperoleh melalui pengamatan yang tidak menampakkan diri,instruksi, dan (5) menentukan kepuasan pengguna saat ini dengan instruksi. Ketika instruksi telah disesuaikan dengan kebutuhan yang ditetapkan organisasi, yang dirancang secara sistematis dan dikembangkan, dan formatif dievaluasi sebelum evaluasi sumatif, maka tahap penilaian ahli telah dicapai. Tahap penilaian ahli sangat penting ketika organisasi tidak familiar dengan instruksi dan sejarah perkembangannya.Tahap uji coba lapangan memiliki dua komponen. Yang pertama adalah analisis hasil, yang meliputi penentuan pengaruh instruksi pada keterampilan peserta didik, pada pekerjaan (transfer), dan organisasi (perlu resolusi). Komponen kedua, yang disebut analisis manajemen, meliputi penilaian instruktur dan pengawas sikap yang berkaitan dengan kinerja peserta didik, pelaksanaan kelayakan, dan biaya.Uji coba lapangan untuk evaluasi sumatif termasuk mendokumentasikan kinerja pelajar dan sikap, mendokumentasikan sikap instruktur / pelaksana, dan prosedur dan sumber daya yang diperlukan untuk melaksanakan instruksi mendokumentasikan. Tujuan utama dari percobaan lapangan adalah untuk menemukan baik kekuatan/kelebihan dan kelemahan dari instruksi, untuk menentukan penyebabnya, dan untuk mendokumentasikan kekuatan/kelebihan dan masalah.Baik penilaian ahli dan uji coba lapangan dapat difokuskan pada satu set bahan ajar atau set bersaing materials.Khususnya tahap penilaian ahli digunakan untuk memilih di antara instruksi yang tersedia dalam rangka untuk memilih atau dua set bahan yang muncul paling menjanjikan untuk uji coba lapangan. Kedua fase dijelaskan secara lebih rinci dalam bagian berikut. Dalam membaca materi pada tahap penilaian ahli, menganggap bahwa instruksi untuk dievaluasi adalah asing bagi Anda dan bahwa Anda dihadapkan dengan keputusan apakah akan merekomendasikan pengeluaran upaya tambahan dan biaya untuk uji coba lapangan.

Tahap Keputusan Ahli Evaluasi sumatif

Analisis kesesuaianKebutuhan organisasi Terlepas dari apakah evaluasi sumatif melibatkan bahan perbandingan atau difokuskan pada satu set bahan ajar, evaluator harus menentukan kesesuaian antara kebutuhan organisasi, karakteristik sasaran didik mereka, dan kebutuhan dan karakteristik bahan calon dirancang untuk alamat. Untuk melakukan analisis kesesuaian, Anda harus terlebih dahulu memperoleh gambaran yang jelas tentang kebutuhan organisasi, yang mencakup deskripsi akurat tentang perilaku masuknya karakteristik peserta didik sasaran. Setelah mendapatkan informasi ini, Anda harus mencari bahan ajar yang memiliki potensi untuk memenuhi kebutuhan organisasi. Untuk setiap set bahan kandidat diidentifikasi, Anda harus mendapatkan gambaran yang jelas tentang tujuan dan sasaran dari instruksi dan target audiens yang dimaksudkan. Informasi ini kadang-kadang dapat ditemukan dalam kata pengantar atau pengantar dalam bahan sendiri atau dalam manual instruktur. Jika penjelasan ini terlalu umum, maka Anda mungkin ingin menghubungi penerbit bahan untuk informasi lebih lanjut.Sumber daya Anda juga harus menganalisis kesesuaian antara sumber daya organisasi telah tersedia untuk pembelian dan menerapkan bahan ajar dan biaya memperoleh dan menginstal bahan calon. Bahan yang terlalu mahal, namun efektif, sering tidak dapat dipertimbangkan oleh sebuah organisasi. Fasilitas dan peralatan yang tersedia dalam organisasi dan yang dibutuhkan untuk melaksanakan instruksi juga harus kontras.

Setelah deskripsi yang memadai diperoleh, Anda harus membandingkan (1) kebutuhan organisasi terhadap kebutuhan dibahas dalam materi, (2) kelompok organisasi sasaran dibandingkan kelompok sasaran untuk bahan, dan (3) sumber daya organisasi terhadap persyaratan untuk memperoleh dan melaksanakan instruksi informasi dari analisis kesesuaian Anda harus dibagi dengan para pengambil keputusan yang tepat. Meskipun Anda mungkin akan diminta untuk membuat rekomendasi, orang-orang yang membuat keputusan akhir tentang mana dari bahan kandidat untuk disertakan dalam evaluasi sumatif, atau apakah bahkan terus evaluasi, akan sangat bervariasi dari satu organisasi ke yang lain.

Beberapa kelompok pertanyaan yang berkaitan dengan desain bahan berkualitas harus ditangani untuk setiap instruksi yang dipilih untuk evaluasi sumatif. Pertanyaan-pertanyaan ini harus dijawab sebelum terlibat dalam uji coba lapangan bahan dengan peserta didik.1. Apakah materi dan setiap penilaian yang menyertainya akurat dan lengkap?2. Apakah strategi pembelajaran yang memadai untuk jenis diantisipasi hasil belajar?3. Dapatkah bahan digunakan secara efektif?4. Apakah pengguna saat ini bahan puas?Jika beberapa atau semua bahan calon yang dinilai tidak sehat dalam aspek-aspek penting, maka melanjutkan evaluasi sumatif akan sia-sia. Pengawas harus diberitahu tentang keputusan Anda mengikuti fase evaluasi sumatif, dan lagi mereka harus ditanya apakah mereka ingin melanjutkan evaluasi sumatif.Cara di mana kita merancang dan melakukan tahap ini evaluasi sumatif mirip dengan beberapa strategi yang digunakan dari satu ke satu dalam evaluasi formatif, tetapi memiliki beberapa fitur khas juga. Mari kita mempertimbangkan setiap cluster pertanyaan pada gilirannya.

Analisis konten Karena Anda mungkin tidak menjadi ahli kandungan dalam bahan Anda mengevaluasi, mungkin perlu untuk melibatkan ahli konten sebagai konsultan. Apa yang harus dipertimbangkan adalah cara terbaik untuk menggunakan ahli ini. Salah satu strategi akan memberikan para ahli salinan dari semua bahan calon dan meminta mereka untuk menilai akurasi dan kelengkapan materi untuk menyatakan goals. Sebuah organisasi yang lebih baik, biaya lebih efektif strategi akan bekerja dengan para ahli untuk menghasilkan instruksional analisis tujuan yang dinyatakan. Dokumen para ahli menghasilkan harus mencakup analisis tujuan dan analisis keterampilan bawahan. Sebuah kerangka kerja yang mengidentifikasi dan sekuens langkah-langkah utama dan keterampilan bawahan dalam tujuan akan menjadi standar yang berharga terhadap yang Anda dapat mengevaluasi akurasi dan kelengkapan bahan kandidat.

Bagaimana kerangka digunakan? Keterampilan termasuk dalam kerangka dapat diubah menjadi daftar atau penilaian skala evaluator menggunakan untuk meninjau dan menilai kualitas bahan calon dan setiap tes yang menyertainya.

Analisis Desain Mirip dengan evaluasi perkembangan satu-ke-satu, Anda perlu mengevaluasi kecukupan komponen dari strategi pembelajaran termasuk dalam bahan calon. Sebagai evaluator eksternal, Anda mungkin tidak tahu apakah komponen tertentu dari strategi hadir, dan jika ada, apakah mereka memiliki potensi untuk mendapatkan dan mempertahankan perhatian peserta didik. Sekali lagi, checklist yang

dapat digunakan untuk mengkaji dan membandingkan bahan calon yang akan menjadi pendekatan tabungan yang paling menyeluruh dan waktu.Dalam mengembangkan checklist/ memeriksa data, Anda harus daftar komponen dari strategi pembelajaran di kolom paling kiri dan menggunakan kolom yang tersisa untuk merekam informasi terkait tentang bahan calon. Meskipun komponen dasar dari strategi tidak berubah, Anda mungkin ingin mengadopsi kriteria yang berhubungan dengan masing-masing komponen berdasarkan jenis hasil belajar dibahas dalam materi. Format respon evaluator juga dapat diharapkan untuk bervariasi berdasarkan pada sifat instruksi.

Utilitas/Kegunaan dan Analisis Kelayakan Luas ketiga pertanyaan tentang materi pembelajaran berkaitan dengan utilitas dari bahan calon. Untuk setiap set, Anda harus mempertimbangkan faktor-faktor seperti ketersediaan pembelajar panduan atau silabus dan manual instruktur ini. Faktor yang berhubungan dengan daya tahan bahan yang pertimbangan lain. Lain adalah sumber daya khusus, seperti kemampuan instruktur, peralatan, atau sekitar(lingkungan) (misalnya, pusat belajar) yang diperlukan. Perhatian utilitas adalah apakah bahan membutuhkan kelompok atau individu mondar-mandir. Anda juga mungkin ingin meninjau kembali masalah biaya relatie memperoleh dan implementin bahan. Bahkan, faktor apa saja yang mungkin meningkatkan atau membatasi utilitas dari bahan bagi organisasi harus dipertimbangkan.Untuk desain ini bagian dari evaluasi sumatif, Anda mungkin perlu untuk mewawancarai orang-orang dalam organisasi yang meminta evaluasi. Melalui discussiions dengan mereka Anda dapat memastikan bahwa Anda telah etermined kebutuhan mereka, sumber daya, dan kendala. Mereka dapat membantu untuk mengidentifikasi pertanyaan utilitas yang Anda mungkin tidak dipertimbangkan.Menggunakan pertanyaan utilitas/berguna yang Anda pilih, Anda dapat merancang bentuk ringkasan untuk memfokuskan perhatian Anda pada setiap pertanyaan yang Anda mengevaluasi kembali semua bahan calon. Seperti pada contoh sebelumnya, pertanyaan-pertanyaan penting dapat tercantum dalam kolom kiri daftar dan kolom respon yang terpisah disediakan untuk setiap set bahan. Satu perbedaan yang mungkin antara daftar ini dan yang sebelumnya adalah bahwa Anda mungkin perlu untuk memasukkan informasi deskriptif yang terkait dengan setiap set bahan bukan yang hanya menilai ada atau tidaknya kriteria yang dipilih. Secara singkat meringkas informasi deskriptif dalam bentuk tabel akan membantu Anda dalam membuat perbandingan yang tepat di bahan dan merumuskan rekomendasi Anda.Analisis Pengguna Saat Ini Ada satu analisis yang Anda mungkin ingin untuk memasukkan dalam desain Anda. Hal ini untuk mencari informasi tambahan tentang bahan calon dari organisasi yang berpengalaman dalam menggunakan mereka. Nama-nama pengguna saat ini sering dapat diperoleh dari penerbit bahan.Apa jenis informasi yang harus Anda mencari dari pengguna? Salah satu jenis informasi melibatkan data tentang peserta didik target dalam pengaturan lainnya. Sebagai contoh. apa perilaku mereka masuk dan motivasi untuk mempelajari bahan? Apa tingkat kinerja pretest dan posttes mereka menggunakan instruksi? Akhirnya, apa sikap mereka tentang bahan?Tipe lain dari informasi berkaitan dengan persepsi instruktur bahan. Sebagai contoh, adalah bahan mudah untuk digunakan? Masalah apa yang telah mereka alami di impelementing bahan? Sumber daya apa yang diperlukan untuk menggunakannya? Apakah mereka berencana untuk terus menggunakan bahan, dan jika tidak, mengapa?Tergantung pada logistik yang terlibat, Anda mungkin ingin melakukan perjalanan ke organisasi lain, atau Anda dapat memutuskan untuk mengumpulkan informasi melalui kuesioner.

Melakukan analisis kesesuaian bagi organisasi dan instruksimelakukan analisis isi pada instruksi/ aturan yang samaMengeliminasi atau menyingkirkan dari pertimbangan lebih lanjutLakukan analisis desain pada, akurat, lengkap dengan aturan yang samaLakukan analisis kelayakan instruksi yang dirancang dengan baikLakukan analisis pengguna saat iniMelakukan uji coba lapangan untuk bahan-bahan dinilai sebagai yang paling menjanjikan selama fase penilaian ahli evaluasi sumatifdan wawancara telepon. Entah cara Anda harus merencanakan dengan hati-hati sebelum memperoleh informasi.Pada titik ini Anda telah menyimpulkan tahap penilaian ahli dari evaluasi sumatif. Berdasarkan data yang telah dikumpulkan, Anda harus dapat menentukan apakah fase uji coba lapangan dari evaluasi sumatif dijamin dan direkomendasikan set paling menjanjikan atau set bahan untuk tahap uji coba lapangan .The desain evaluasi dan prosedur yang digunakan untuk melakukan ini bagian dari evaluasi harus didokumentasikan dalam laporan evaluasi Anda, bersama-sama dengan rekomendasi dan pemikiran. Gambar 12.2 menggambarkan urutan tugas yang terlibat dalam tahap penilaian ahli dan keputusan evaluator sumatif membuat mereka maju menuju uji coba lapangan dari instruksi yang diberikan.Melakukan analisis kesesuaian bagi organisasi dan instruksimelakukan analisis isi pada instruksi/ aturan yang samaMengeliminasi atau menyingkirkan dari pertimbangan lebih lanjutLakukan analisis desain pada, akurat, lengkap dengan aturan yang samaLakukan analisis kelayakan instruksi yang dirancang dengan baikMelakukan uji coba lapangan untuk bahan-bahan dinilai sebagai yang paling menjanjikan selama fase penilaian ahli evaluasi sumatifLakukan analisis pengguna saat ini