Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y...
-
Upload
nguyenkhanh -
Category
Documents
-
view
213 -
download
0
Transcript of Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y...
3Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
Observación
Interpret.
Valoración
Diseño de la
Ejecución Acción
Evaluación
4Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
Ejercicio práctico:
Pensar en dos minutos la respuesta a estas tres preguntas:
• ¿Qué es evaluar?• ¿Para qué sirve?• ¿Cómo se hace?
5Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
• Consumidor• Estudiante (evaluamos – nos evalúan)• Amigo/a• Ciudadano
LA EVALUACIÓN EN LA VIDA COTIDIANA
6Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
• Reflexión• Conocimiento• Valoración• Proceso• Rendir cuentas• Mejora
• Participación• Utilidad• Sensibilidad• Credibilidad• Rigor• Honradez
VALORES CLAVE:
7Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
II.1.Concepto, objeto y objetivos.II.2. Tipos, enfoques y modelos.II.3. El proceso de evaluación.II.4. Cuestiones básicas en evaluación de programas sociales.
8Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
QUÉ NO ES EVALUAR:
• Medir• Controlar• Investigar - estudiar
Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid 9
La evaluación es…
Valorar
Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid 10
• Dar valor
• Visibilizar
• Justificar – rendir cuentas
• Revisar – mejorar - aprender
• …
La evaluación … ¿para qué sirve…?
11Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
Reflexión respecto del valor/mérito dedeterminados elementos comprendidos enun proceso de intervención, en base a
evidencias obtenidas de forma sistemática,
con el propósito de contribuir a la mejoradel proceso y, con ello, a la satisfacción denecesidades de todos los implicados.
12Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
CON QUÉ PROPÓSITOS:
Control, fiscalización, rendición de cuentas… SUMATIVA
Aprendizaje, mejora… FORMATIVA
13Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
2. Tipos, enfoques y modelos.
14Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
TIPOS…
SEGÚN EL MOMENTO:
Antes (ex - ante) Durante (monitorización) Después (ex -post)
De la implementación
15Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
TIPOS…
SEGÚN QUIÉN LA REALIZA:
Interna (auto-evaluación) Externa Mixta
AutoevaluaciónEvaluación
externa
VentajasEvalúan los que mejor conocen el programa y los que tienen más interés por los resultados de la evaluación.
No están condicionados por los efectos de la evaluación
Inconvenientes Falta de objetividad
Dedican gran parte del tiempo a conocer el programa por vías indirectas: documentación, implicados...
Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid 16
17Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
TIPOS…
SEGÚN LA METODOLOGÍA:
Cuantitativa Cualitativa
18Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
OTROS TIPOS…
Metaevaluación De la calidad
19
8. Satisf. del cliente
9. Impacto social
10. Innovación
11. Resp. medio amb.
12. Igualdad género
13. Visibilidad
14. Generación sinergias
1. Participación2. No fallos3. Mejora continuada4. Comunicación5. Documentación6. Flexibilidad -
seguridad7. Liderazgo
Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
20
▪ Efectividad (efectos) ▪ Económico (coste/producto)▪ Procedimental (previsiones-realizaciones)▪ Toma de decisiones▪ Profesional - técnico▪ Cuasi – judicial (contraste)▪ Certificación – acreditación (estándares)
Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
21Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
EFECTIVIDAD… atendiendo a :
• Metas• Todos los resultados (sin tener en cuenta las metas)
• Según clientes - beneficiarios• Según todos los implicados
22
Interesados en las cifras
Interesados en la gestión
y el aprendizaje
Interesados en lo que opina la
gente
Interesados en la utilidad
social
(perspectiva política)
Jen
nif
er
Gre
en
e
Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
IR
23
Positivista Pragmático
Interpretativo Crítico
Jen
nif
er
Gre
en
e
Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
IR
24
• ¿Se consiguen los resultadosprevistos?
• ¿Son atribuibles al programa?
• ¿El programa es la opción máseficaz?
Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
25
• ¿Qué partes del programa funcionanbien?
• ¿Qué partes funcionan mal?
• ¿Qué se puede mejorar?
• ¿Cómo contribuye el programa a losobjetivos de la organización?
• ¿Cómo afecta a las necesidades de losbeneficiarios?
Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
26
• ¿Qué imagen tienen los distintos implicados (stakeholders) del programa?
Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
27
• ¿De qué forma el programa contribuye ahacer una sociedad más justa?
• ¿El programa contribuye a hacer a losbeneficiarios más libres?
• ¿El programa contribuye a reducir lasdesigualdades?
• ¿El programa ayuda al empoderamientode los usuarios?
Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
28Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
Un ejemplo:
Evaluación de un programa de atención en domicilio a personas en situación de dependencia.
- Aplicar distintos enfoques (determinar algunos asuntos de interés)
Evaluación de un programa de atención en domicilio a personas en situación de dependencia.
Personas atendidas: número y perfiles
Impacto de las atenciones en la autonomía personal
Coste/servicio/domicilio-persona atendida
Comparación con atenciones alternativas (centro de día-residencias)
Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid 29
Enfoque Positivista
Evaluación de un programa de atención en domicilio a personas en situación de dependencia.
¿El programa se ha ejecutado según las previsiones?
Incidencias detectadas y soluciones implementadas
¿Qué aspectos de la calidad de vida de los mayores han mejorado, permanecido igual o empeorado?
Mejora de la autonomía en las personas atendidas
¿Qué apoyos, actividades, dispositivos… han resultado más eficaces?
Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid 30
Enfoque Pragmático
Evaluación de un programa de atención en domicilio a personas en situación de dependencia.
Satisfacción con el programa de las personas atendidas … y sus familias
Los trabajadores implicados han desarrollado sus tareas con satisfacción
El programa tiene buena imagen interna y externa
Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid 31
Enfoque Interpretativo
Evaluación de un programa de atención en domicilio a personas en situación de dependencia.
Las personas atendidas son ahora más libres Se ha tenido en cuenta a las personas atendidas (intereses,
preferencias, gustos…) Es un modelo de atención sostenible El modelo de atención se puede extender a toda la
población Se ha aplicado a una muestra representativa de las
personas en situación de dependencia Las personas atendidas tienen ahora más posibilidades de
incrementar y/o usar sus capacidades
Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid 32
Enfoque Crítico
33Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
II.1.Concepto, objeto y objetivos.II.2. Tipos, enfoques y modelos.
II.3. El proceso de evaluación.II.4. Cuestiones básicas en evaluación de programas sociales.
34Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
Decisión de evaluar
Determinación de
responsables
Determinación del uso
Planteamiento
TécnicoPolítico - organizativo
35Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
• Objeto• Objetivos• Criterios• Metodología• Productos (informes)• Difusión• Devolución información
PLANTEAMIENTO:
36Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
• Pertinencia• Suficiencia• Progreso• Eficacia• Eficiencia• Impacto• Viabilidad futura (sostenibilidad)• Satisfacción beneficiarios – implicados• Calidad
PRINCIPALES CRITERIOS:
37Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
OTROS CRITERIOS…
• Justicia• Igualdad (p.e. género)• Respeto medio ambiente• Empoderamiento - capacitación• Innovación• Cooperación – complementariedad• …
38Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
TÉCNICAS RECOGIDA DE INFORMACIÓN:
Análisis documental
Informes –memorias de
ejecución
Fichas actividades
Audiencias (informantes
clave)Encuestas Entrevistas
FormulariosObservación
directaEntrevistas
grupales
39Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
II.1.Concepto, objeto y objetivos.II.2. Tipos, enfoques y modelos.II.3. El proceso de evaluación.
II.4. Cuestiones básicas en evaluación de programas sociales (10).
40Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
1. EL PROPÓSITO
• Tiene que estar claro.• Conocido por todos.• Debe relacionarse con el uso que se quiera dar.
41Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
2. EL OBJETO
• Se pueden evaluar muchas cosas.• Importante elegir bien.• Determina el método.• Es muy importante de cara a la utilidad de la
evaluación.
42Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
3. DETERMINACIÓN Y
EXPLICACIÓN DE RESULTADOS
• Es lo más complicado de la evaluación.• La comparación es una de las estrategias más
útiles (grupo control).
43Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
4. EL MOMENTO -LOS MOMENTOS
• Muy importante. Depende de la finalidad.• La evaluación ex – post es interesante hacerla
en diferentes momentos.
44Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
5. LOS CRITERIOS
• Determinan los resultados.• Es importante elegirlos y justificarlos bien.• Los criterios deben operacionalizarse hasta
convertirlos en indicadores
45Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
6. LAS EVIDENCIAS
• Son las pruebas sobre las que se aplican los criterios y la base empírica de las conclusiones.
• Deben ser suficientes, válidas y fiables.• Es interesantes que sean de distinta naturaleza.• En evaluación, las evidencias se ordenan en una
narración que explica y valora qué ha pasado
46Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
7. LAS AUDIENCIAS
• En evaluación es muy importante la información y los relatos.
• Es muy importante escuchar a todos los implicados (son los que (+) saben).
47Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
8. LA RELACIÓN CLIENTE -EVALUADOR
• Relación complicada.• Suscita reticencias entre los responsables del
asunto objeto de evaluación.• Importancia del contrato.
48Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
9. LA PRESENTACIÓN DE
RESULTADOS
• Los informes no siempre se leen.• Sirve para reforzar la utilidad de la evaluación.• Puede servir de contraste.• La publicidad a veces es un problema.
49Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
10. LOS VALORES:
• La evaluación, como proceso, está dominada por tres tipos de valores:• Científicos… relativos a la información• Éticos… relativos a los valores• Políticos… relativos al uso
50Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
ERNEST R. HOUSE (2000): EVALUACIÓN ÉTICA Y PODER
La evaluación…
No puede/debe:
• Convencer• Demostrar• Presentarse
como cierta
Sí puede/debe:
• Persuadir• Argumentar• Ser creible
51Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
• Se focalizan en tener un impacto• Dan voz a los sin voz• Proporcionan evidencia creíble• Utilizan un enfoque positivo• Aseguran que los usuarios y los destinatarios de
los programas participan activamente en la evaluación
• Insertan e inscriben el ejercicio de la evaluación dentro del programa
• Son reconocidas como importantes• Cuentan con un paladín dentro del programa
Evaluaciones que marcan la diferencia(al borde del caos)
Las evaluaciones más interesantes…
https://evaluationstories.files.wordpress.com/2015/09/evaluaciones-que-marcan-la-diferencia_2015.pdf
Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid 52
https://albordedelcaos.com/
53Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
NIRENBERG, O., BRAWERMAN, J. Y RUIZ, V. (2000):
Evaluar para la transformación.
Paidós. Buenos Aires.
16/04/2018 54
Enlace Editorial
FERNÁNDEZ GARCÍA, Tomás y PONCE DE LEÓN ROMERO (dirs)(2016): Elaboración, gestión y evaluación de proyectos sociales. Pirámide. Madrid.
Diseño, gestión y evaluación de programas sociales. Grado en Trabajo Social. Prof. Pablo de la Rosa. Departamento de Sociología y Trabajo Social. Universidad de Valladolid.
55Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
REBOLLOSO, E., FERNÁNDEZ-RAMÍREZ Y CANTÓN, P. (2008):
Evaluación de programas de intervención social. Síntesis. Madrid
Editorial
56Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
STAKE, R. (2006): Evaluación comprensiva y evaluación basada en estándares. Graó. Barcelona
Síntesis
57Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
Pablo de la Rosa GimenoFundamentos para un modelo de evaluación de programas sociales basado en el aprendizajeAtlántida. Revista Canaria de Ciencias Sociales. Págs.: 73 a 89.Edita: Universidad de La LagunaAño 2012.Ver
58Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
Pablo de la Rosa Gimeno.Título: La evaluación de programas de intervención socialRevista de Servicios Sociales y Política Social nº 83. Septiembre 2008. ISSN: 1130-7633Edita: Consejo General de Colegios Oficiales de Diplomados en Trabajo Social y Asistentes Sociales de EspañaMadrid. Págs. 16. 69 a 84.Ver
59Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid
12. La evaluación: valores clave13. La evaluación: concepto, objeto y objetivos14. La evaluación: tipos y enfoques15. La evaluación: modelos básicos16. La evaluación: modelos según Jennifer Greene17. El proceso de evaluación18. Principales criterios de evaluación19. Técnicas de recogida de información para la
evaluación20. Cuestiones básicas en evaluación de programas