UNIVERSITATEA DIN BUCUREŞTIFACULTATEA DE PSIHOLOGIE ȘI ȘTIINȚELE EDUCAȚIEI

Master: Managementul și evaluarea organizațiilor și programelor educaționale

Modelul CIPP de evaluarea -microeseu-

BUCUREŞTI2013

Cuprins

I. Evaluarea programelor- delimitare conceptuală și importanță......................................3

II. Ce este un model de evaluare?....................................................................................5

III. Modelul de evaluare CIPP.......................................................................................6

IV. Avantaje și dezavantaje ale modelului CIPP..........................................................10

V. Concluzii..................................................................................................................11

Anexe............................................................................................................................12

Bibliografie....................................................................................................................13

2

I. Evaluarea programelor- delimitare conceptuală și importanță

Evaluarea este un exercițiu selectiv care își propune să aprecieze sistematic și obiectiv

progresul în atingerea unui rezultat. A evalua înseamnă a aprecia sau a judeca valoarea sau

meritul unui activități desfășurate.

Evaluarea reprezintă o secvență fundamentală în ciclul de viață al oricărui program,

proiect sau politici.

Etapa de evaluare din cadrul ciclului de viață al unui program/ proiect poate fi

interpretată, atât ca etapă finală- care succede implementării proiectului, cât și ca etapă

inițială- de debut a programului/proiectului. Privită ca etapă finală a procesului, evaluarea ar

trebui să ne readucă la problema de la care am pornit, pentru a vedea în ce măsură aceasta a

fost ameliorată/ rezolvată și pentru a configura intervențiile viitoare, cu referire la acea

problemă sau la altele, identificate de-a lungul procesului (caracterul spiralic al evaluării).

Înțelegerea evaluării ca etapă inițială se referă la faptul că acest proces este reversibil și supus

îmbunătățirii continue: informațiile și feedback-ul oferite de o anumită etapă pot genera

reveniri la etapa anterioară cu scopul de a realiza ajustări și calibrări pentru o mai bună

atingere a obiectivelor (caracterul iteratv al evaluării).

„Evaluarea programelor este procesul prin care sunt determinate eficienţa şi

eficacitatea programului, implicând colectarea, analiza şi interpretarea datelor despre

îndeplinirea obiectivelor programului.”1.Ea „este, în primul rând, un proces de învățare despre

succesele și aspectele critice / problematice ale programului / politicii. Colectarea, analiza și

1 Epstein şi Tripoldi, Reserch Tehniques for Program Planning, 1977

3

interpretarea datelor referitoare la politica sau programul în cauză, completate de reflecția

critică asupra activităților derulate, constituie un instrument eficace la nivel de management

direct.”2

Evaluarea este aprecierea periodică a relevanței, performanței, eficienței și impactului

(așteptat și neașteptat) proiectului în raport cu obiectivele stabilite.3

Conform lui Michael Quinn Patton, “Evaluarea este colectarea sistematică de

informaţii despre activităţile, caracteristicile şi rezultatele programelor pentru a fi utilizate de

anumite persoane cu scopul de a reduce nesiguranţele, pentru a spori eficacitatea şi a lua

deciziile oportune în legătură cu programele respective”4

Evaluarea proiectelor şi programelor este o etapă specifică, extrem de utilă în

planificarea şi managementul proiectelor, o tehnică de cercetare şi un instrument pentru

realizarea obiectivelor urmărite, utilizată cu succes de către responsabilii de managementul

instituţiilor şi al organizaţiilor, de către echipa de coordonare a respectivelor proiecte şi

programe.

Sunt utilizate diferite modele de evaluare pentru a sesiza, în timp util, efectele

intervenţiilor care se implementează sau se intenţionează să fie implementate. Scopul este de

a sesiza şi a contracara la timp efectele nedorite asupra grupurilor de oameni, comunităţilor şi

societăţii, precum şi pentru a încuraja elementele pozitive ale programelor şi proiectelor. De

asemenea, evaluarea ajută la colectarea sistematică de informaţii despre rezultate, output și

despre administrarea proiectelor pentru îmbunătăţirea implementării şi generarea unor decizii

performante în viitor. În concluzie, diferitele modele de evaluare sunt utilizate pentru a

minimiza pierderile şi a maximiza beneficiile intervenţiilor asupra grupurilor sociale de mici

sau mari dimensiuni.

2 Ciolan Lucian, Hibbert Noel, Munteanu Radu, Ulrich Cătălina, Manual pentru evaluarea ex-ante a impactului politicilor educaționale ,vezi http://www.sgg.ro/docs/File/UPP/doc/manual%20pentru%20evaluarea%20ex-ante%20a%20impactului%20politicilor%20educationale.pdf3 OD 10.70 - Project Monitoring and Evaluation Operational Directive, World Bank, 1989.4 Patton Michael Quinn, Utilization-focused evaluation, ediţia a doua, Newbury Park, CA, SAGE Publications, 1986, citat de Jenny Hughes în Project Manager’s Guide of Evaluation, p. 3, www.evaluate/europe.net/handbook/ handbook.pdf

4

II. Ce este un model de evaluare?

Cercetarea privind modelele de evaluare a programelor şi proiectelor a cunoscut o

dezvoltare deosebită în ultimii ani, însă a fost mereu în atenţia cercetătorilor şi practicienilor.

Designul modelelor de evaluare şi selectarea modelului potrivit pentru evaluarea unui anumit

proiect sau program au devenit scopul a numeroase investigaţii. Demersul este specific

autorilor clasici în domeniul evaluării (Michael Quinn Patton, Michel Scriven, Peter H.

Rossi), cărora li s-au alaturat o serie de autori proveniţi mai ales din mediul academic (Daniel

Stufflebeam, Egon Guba, Yvonna Lincoln, Ernest R. House, Kenneth R. Howe, Hanne Foss

Hansen etc.).

Instrumentarul este vast: evaluarea formativă, evaluarea sumativă, cea care pune un

accent pe beneficiari, pe experţi sau pe diverşi participanţi în proiect, evaluarea realistă, cea

bazată pe teorie sau orientată pe utilizarea practică sunt doar câteva exemple.

Un model de evaluare „ stipulează întrebarea la care un anumit tip de evaluare

încearcă să răspundă şi stabileşte criteriile luate în considerare pentru evaluare”.5

Potrivit lui Scriven modelul de evaluare este: „un termen vag folosit pentru a desemna

o concepție sau o abordare, uneori, chiar o metodă de a face evaluări .... Modele sunt pentru

paradigme ceea ce sunt ipoteze pentru teorii, adică realități mai puțin generale, dar care

presupun unele suprapuneri.”

Căutând definții corespunzătoare conceptului de „model” întrebuințat în domeniul

evaluării programelor, Stufflebeam face referire la definițiile termenului din dicționarul

englezesc, numind modelul de evaluare „un rezumat al felului particular în care evaluatorul

conceptualizează și descrie procesul de evaluare”, „un ansamblu de sfaturi și prescrieri oferite

de cercetători care servesc la organizarea unui program de evaluare” sau „ un mod de a da

formă felului în care este descrisă și făcută o evaluare”

Modelele de evaluare „nu sunt modele în sensul de modele matematice folosite să

verifice teorii date, ci în sensul că fiecare caracterizează punctele de vedere ale autorilor lor în

legătură cu principalele concepte și structuri ale muncii de evaluare, servind în același timp ca

funcție exemplară ce oferă linii directoare pentru utilizarea acestor concepte în vederea

ajungerii la descrieri, judecăți și recomandări susținute.”6 Acestea exprimă credințe, opinii,

5 Hansen H.Fo.,Choosing Evaluation Models, A Discussion on Evaluation Design, 2005, Evaluation, vol. 11, nr. 4, pp. 447-462.6 Stufflebeam D.L., Madaus George F., Kellaghan T., Evaluation Models: Viewpoints on Educational and Human Services Evaluation- vezi http://books.google.ro/books?id=5679vdyleZMC&printsec=frontcover&dq=evaluation+models&hl=ro&sa=X&ei=vDEIUYn_K4nUswb__YHoCA&ved=0CC4Q6AEwAA#v=onepage&q=evaluation%20models&f=false

5

perspective alternative ale specialiștilor în legatură cu evaluarea și cu modalitățile de

rezolvare a problemelor ce intrevin în procesul evaluativ.

III. Modelul de evaluare CIPP

Modelul de evaluare CIPP este un cadru global pentru orientarea evaluărilor de

programe, proiecte, instituții și sisteme. El a fost dezvoltat în anul 1960 de Sufflebeam și

colaboratorii lui pentru a ajuta la îmbunătățirea și creșterea responsabilității față de

programele educaționale din Statele Unite. Peste ani, modelul a fost preluat și aplicat în

programele educaționale desfățurate în America și în afara acesteia și, de asemenea, fost

adaptat altor domenii precum: psihoterapiea, afacerile, armata, programele sociale și de

sănătate, etc.

Acest model de evaluare a rezultat din observația că abordările tradiționale ale

modelelor de evaluare s-au dovedit a fi limitate și adesea prea rigide pentru evaluarea unor

contexte sociale dinamice. CIPP se concentrează pe furnizarea de informație elementară

pentru obținerea și validarea anumitor criterii evaluative și se bazează pe o relație interactivă

între evaluator și client. CIPP a fost fondat pe o abordare constructivistă, care necesită ca

evaluările să funcționeze pe o fundație de încredere, oferind informații pentru toate părțile

interesate, indiferent de putere, gen sau mediu cultural. Evaluarea bazată pe acest model

poate fi internă desfășurată de organizații, poate îmbrăca forma autoevaluării sau poate fi

contractată din exterior.

„Modelul CIPP transpune evaluarea bazată pe rezultate într-o evaluare a eficacităţii şi

sustenabilităţii, facilitând în acelaşi timp metaevaluarea şi sinteza. Întrebării de la care

porneşte acest tip de evaluare, «Este programul un succes?» îi sunt subsumate întrebări care

verifică impactul, eficacitatea şi sustenabilitatea: «A fost atins grupul ţintă?», «Au fost

acoperite nevoile grupului ţintă?», «Beneficiile obţinute în urma proiectului sunt

sustenabile?», «Procesul prin care au fost obţinute aceste beneficii este adaptabil pentru alte

contexte?» etc. Criteriile de evaluare sunt derivate din scopul şi obiectivele programului.”7

Modelul de evaluare CIPP se concentrează pe colectarea a patru tipuri diferite de date

necesare pentru a orienta deciziile evaluatorului în raport cu proiectul /programul care face

obiectul evaluării: date de context (C), informații privind intrarea (I), date de proces (P) și

date de produs (P).(vezi Anexa 1). Evaluarea de context, este similară cu analiza problemei, în

7 Mike Karoly, Şandor Dan Sorin, Gârboan Raluca, Cobârzan Bianca, Analiza politicilor publice şi evaluarea programelor în administraţia publică-suport de curs, vezi http://www.apubb.ro/wp-content/uploads/2011/03/Analiza_politicilor_publice_si-_evaluarea_programelor_in_AP.pdf

6

sensul că servește la „planificarea” de informații, identificarea problemelor, nevoilor și

oportunităților, în scopul de a dezvolta obiectivele programului. Evaluarea de intrare oferă

informații cu privire la resursele care sunt disponibile și necesare, în scopul atingerii

obiectivelor. Evaluarea de proces determină dacă sunt necesare schimbări în cadrul mediului

de lucru. Evaluarea produselor se concentrează pe rezultatele unui program și definesc liniile

viitoare de acțiune: continuarea, rezilierea, modificarea sau reorientarea.

Fiecare dintre aceste componente ale modelului CIPP pune întrebări specifice prin

care determină stadiul actual de dezvoltare al programului supus evaluării. În plus, furnizează

și un cadru propice pentru metaevaluare. Prin aceste întrebări, CIPP poate informa o serie de

decizii, cum ar fi scopurile sau obiectivele urmărite prin efectuarea unui proiect, care sunt

planurile sau strategiile care vor fi implementate, ce acțiuni sau activități au nevoie de

prioritate sau de mai multă atenție, și cum să ajungem la rezultate care corespund obiectivelor.

Modelul CIPP poate fi reprezentat schematic astfel:

Fig 2: Elementele componente ale Modelului CIPP și relațiile dintre acestea

(Stufflebeam 2003)

7

Constituită din trei cercuri concentrice, reprezentarea grafică surprinde, atât elementele

componente ale modelului de evaluare, cât și interacțiunile existente în cadrul modelului.

Potrivit interpretării realizată de Sufflebeam în lucrarea „Evaluation Models: Viewpoints on

Educational and Human Services”, cercul din interior schițează valorile de bază care sunt

furnizate de procesul evaluativ; cercul median divide valorile în patru centre evaluative

asociate elementelor orcărui program: finalități, planuri, acțiuni și rezultate; iar cercul extern

denotă tipurile de evaluare folosite pentru fiecare centru evaluativ în parte, respectiv evaluarea

contextului, evaluarea intrărilor, evaluarea procesului și evaluarea produsului. Săgețiile duble

arată relațiile bilaterale stabilite între fiecare centru particular de evaluare și tipul de evaluare

corespunzător. Sarcina formulării unor obiective ridică întrebări legate de contextul evaluarii,

iar analiza contextului oferă informații care ajută la validarea și îmbunătățirea obiectivelor.

Planificarea eforturilor de implementare generează întrebări legate de evaluarea intrărilor,

care la rândul lor furnizează direcții pentru formularea planurilor strategice. Activitățile de

îmbunătățire implică interogări în legătură cu procesul evaluativ, care, la rândul său,

determină hotărâri privind acțiunile ce urmează a fi întreprinse și oferă un feedback care

întărește aceste hotărâri. Relizările, nerealizările și efectele colaterale rezultate ne îndreaptă

atenția spre evaluarea produsului, prin intermediul căreia sunt judecate ieșirile și sunt

identificate nevoi de a obține rezultate mai bune.

Ca orice demers evaluativ, modelul CIPP presupune acțiuni care corespund fie

evaluării formative, fie celei sumative.(vezi Anexa 2). Evaluările formative sunt, în general,

rapoarte intermediare trimise în diferite etape ale unui studiu de evaluare pentru a informa

părțile interesate și clienților. Aceste rapoarte oferă îndrumare pentru factorii de decizie prin

evaluarea și potrivirea cu obiectivele și prioritățile. Evaluări sumative sunt, în general,

evaluări retroactive cu privire la proiecte finalizate. Un evaluator trebuie să fie conștient, atât

de rapoartele evaluării formative, cât și a celei sumative când efactuează un studiu de

evaluare. Tabelul următor, citat, de Stella Tan, Nicolette Lee și David Hall în lucrarea „CIPP

as a model for evaluating learning spaces”, ca adaptare a lui Stufflebeam și Shinkfield, oferă

o imagine de ansamblu a modului în care rapoartele formative și sumative pot fi folosite

într-un studiu de evaluare, bazat pe modelul CIPP.

Rolurile evaluării Contextul Intrările Procesul ProdusulEvaluarea formativă: Aplicații prospective care ghidează procesul decizional și asigurarea calității

Ghidează identificarea nevoilor, regizarea obiectivelor(în funcție de nevoile de evaluare, problemelor, activelor și oportunităților).

Ghidează alegerea strategiei și examinarea planurilor de muncă (în funcție de strategiile alternative de evaluare și de planul de asigurare al resurselor).

Ghidează planul de implementare (în baza monitorizării și judecării programului de activități)

Ghidează continuarea sau terminarea proiectului (în baza rezultatelor evaluării și ale efectelor laterale)

Evaluarea sumativă: Compară obiectivele și Compară strategia, Compară planificarea Compară rezultatele și

8

Comparații retrospective și analize ale meritului programului.

prioritățile pentru a evalua nevoile, problemele, activele și oportunitățile.

modul de planificare și bugetul programului pentru atingerea obiectivelor.

inițială cu actualul proces și cu costurile.

efectele colaterale cu nevoile îndeplinite.

Fig. 3: Diferența dintre evaluarea formativă și evaluarea sumativă în diferitele etape ale modelului CIPP8

Acest tabel arată faptul că evaluatorii pot utiliza modelul CIPP în două moduri: pentru

a ghida dezvoltarea și îmbunătățirea programelor, proiectelor sau materialelor (rolul formativ)

și pentru a furniza informații în legătură cu îndeplinirea dezideratelor (rolul sumativ).

IV. Avantaje și dezavantaje ale modelului CIPP

În condițiile în care nu există o formulă stabilă de proiectare a unui studiu de evaluare

a programelor, CIPP ne oferă un cadru orientativ. Combinat cu instrucțiuni riguroase acest

model de evaluare, permite evaluatorului să planifice itinerariul demersului evaluativ. Prin

intermediul lui nu se urmărește dovedirea finalității programului, ci îmbunătățirea continuă a

acestuia.

Modelul CIPP este un model adaptabil putând fi utilizat pentru evaluarea programelor

din diferite domenii. El oferă un cadru cuprinzător pentru orientarea evaluării formative și

sumative a programelor și proiectelor. Acest model presupune o abordare holistică a ceea ce

se evaluează și a celor ce sunt implicați în evaluare. Participarea stakeholderilor în evaluare

este una activă, ei oferind și primind, în același timp, informații.

Pe lângă aceste puncte tari, modelul CIPP, cunoaște și anumite limitări: este un model

riguros, care poate presupune o abordare lentă și costisitoare.

Așadar modelul CIPP nu este un sistem infailibil, ci mai degrabă un model care

urmează să fie utilizat de către un evaluator. Responsabilitatea și corectitudinea oricărei

evaluari este determinată de deciziile organizației care o desfășurarea, nu de modelul în sine.

CIPP oferă o modalitate de a obține date bazate pe dovezi cu care se validează rezultatele și

de a dezvolta o înțelegere mai clară a programului.

8 Tan Stella, Lee Nicolette și Hall David „CIPP as a model for evaluating learning spaces”, 2010, vezi http://creativecommons.org/licenses/by/2.5/au/

9

V. Concluzii

Există proiecte și programe de mari dimensiuni care implică numeroși stakeholderi

și, indirect, cerința de a satisface nevoile acestora. Natura complexă și dinamică a acestor

programe solicită un model de evaluare care poate să operaționalizeze și să ofere o

orientare sistematică procesului evaluativ.

Modelul CIPP de evaluare al programelor, vine să răspundă acestor cerințe.

Presupunând ghidarea permanentă în funcție de variabilele contextului, ale intrărilor, ale

procesului și ale produsului, el supraveghează evoluția programului, eliminând riscul

apariției eșecului în orice etapă de derulare a lui. Însă, eficiența aplicării lui depinde în cea

mai mare parte de deciziile evaluatorului sau echipei de evaluare.

10

Anexe

Anexa 1:

Anexa 2:

11

Bibliografie

1. Ciolan Lucian, Hibbert Noel, Munteanu Radu, Ulrich Cătălina, Manual pentru evaluarea ex-ante a impactului politicilor educaționale ,vezi http://www.sgg.ro/docs/File/UPP/doc/manual%20pentru%20evaluarea%20ex-ante%20a%20impactului%20politicilor%20educationale.pdf

2. Epstein şi Tripoldi, Reserch Tehniques for Program Planning, 1977

3. Hansen H.Fo.,Choosing Evaluation Models, A Discussion on Evaluation Design, 2005, Evaluation, vol. 11, nr. 4, pp. 447-462.

4. Mike Karoly, Şandor Dan Sorin, Gârboan Raluca, Cobârzan Bianca, Analiza politicilor publice şi evaluarea programelor în administraţia publică-suport de curs, vezi http://www.apubb.ro/wp-content/uploads/2011/03/Analiza_politicilor_publice_si_evaluarea_programelor_in_AP.pdf

5. Mathison Sandra, Encyclopedia of Evaluation, pp.60-65, vezi: http://books.google.ro/books?id=nmv5mSHlXKQC&pg=PA65&dq=cipp+model&hl=ro&sa=X&ei=ixUJUavPAdCKswaixgE&ved=0CEcQ6AEwAw#v=onepage&q=cipp%20model&f=false

6. OD 10.70 - Project Monitoring and Evaluation Operational Directive, World Bank, 1989.

7. Patton Michael Quinn - Utilization-focused evaluation, ediţia a doua, Newbury Park, CA, SAGE Publications, 1986, citat de Jenny Hughes în Project Manager’s Guide of Evaluation, p. 3, www.evaluate/europe.net/handbook/ handbook.pdf

8. Payne D.A. (1994). Designing educational project and program evaluations: A practical overview based on research and experience. Boston: Kluwer Academic Publishers.

9. Stufflebeam D.L., Madaus George F., Kellaghan T., Evaluation Models: Viewpoints on Educational and Human Services Evaluation- vezi http://books.google.ro/books?id=5679vdyleZMC&printsec=frontcover&dq=evaluation+models&hl=ro&sa=X&ei=vDEIUYn_K4nUswb__YHoCA&ved=0CC4Q6AEwAA#v=onepage&q=evaluation%20models&f=false

10. Stufflebeam Daniel L., Shinkfield Anthony J., Evaluation Theory, Models, and Applications, 2007,vezi:http://books.google.ro/books?id=xx6UgC6UdFMC&pg=PA63&dq=evaluation+models&hl=ro&sa=X&ei=lFQIUfLiOMSE4AS1yYGwDQ&ved=0CEQQ6AewBA

11. Tan Stella, Lee Nicolette și Hall David „CIPP as a model for evaluating learning spaces”, 2010, vezi http://creativecommons.org/licenses/by/2.5/au/

12