metodo scriven

Universidad Nacional Abierta Dirección de Investigaciones y Postgrado

CAPÍTULO 10 EL MÉTODO EVALUATIVO DE SCRIVEN ORIENTADO HACIA EL CONSUMIDOR

Stufflebeam, D. y Schinkfield, A. (1985). Evaluación Sistemática. Guía teórica y práctica. Colección Temas de Educación. Barcelona: Paidos. (Compilación con fines instruccionales)

El método evaluativo de Scriven 341

10 EL METODO EVALUATIVO DE SCRIVEN ORIENTADO HACIA EL CONSUMIDOR

El verdadero papel del evaluador, según Michael Scriven, es el de un “sustituto informado del consumidor”. Provisto de técnicas para obtener una información pertinente y exacta, y con un punto de vista profundamente razonado acerca de la ética y el bien común, el evaluador debe ayudar a los profesionales a proporcionar productos y servicios de alta calidad y gran utilidad para los consumidores. Y lo que es aún más importante, el evaluador debe ayudar a los consumidores a identificar y valorar los bienes y servicios alternativos. Scriven ha sido muy crítico con las ideologías evaluativas que se centran en alcanzar los objetivos de los participantes en lugar de satisfacer las necesidades de los consumidores. Por ello ha propuesto ciertos conceptos y métodos destinados a desplazar a la evaluación desde los objetivos hasta las necesidades.

La evaluación sumativa puede servir para que los administradores decidan si el currículo completo, terminado, pulido por la utilización del proceso evaluativo en su primera forma (formativa), representa un avance lo suficientemente significativo sobre las alternativas disponibles, como para justificar las necesidades.

La evaluación sumativa puede servir para que los administradores decidan si el currículo completo, terminado, pulido por la utilización del proceso evaluativo en su primera forma (formativa), representa un avance lo suficientemente significativo sobre las alternativas disponibles, como para justificar los gastos de su adopción por parte de un sistema escolar.

Michael Scriven es un filósofo científico que ha contribuido ampliamente al

desarrollo de la profesión evaluativa. Ha criticado duramente tanto las clásicas como las más recientes conceptualizaciones de la evaluación. Desarrolló su concepción de la evaluación sobre una postura filosófica básica y ha desarrollado conceptos y métodos para ayudar a articular y aplicar sus conceptos. También ha sido uno de los pioneros en el esfuerzo de profesionalizar el trabajo evaluativo.

Nació y creció en Victoria (Australia). Se licenció en matemáticas aplicadas

Evaluación sistemática 342

y lógico simbólica en la Universidad de Melbourne y completó su doctorado en Filosofía de la Ciencia en la Universidad de Oxford. Desempeñó funciones profesionales en la Universidad de Minnesota desde 1952 a 1956, en el Swarthamore College de 1956 a 1960, en la Universidad de Indiana desde 1960 a 1965, en la Universidad de California en Berkeley de 1965 a 1975 y en la Universidad de San Francisco desde 1975 a 1982. En el momento de escribir estas páginas es profesor titular en la Universidad de Western Australia, en Perth.

Hemos decidido designar el método del doctor Scriven como “evaluación orientada hacia el consumidor” con el fin de caracterizar su método filosófico básico. Ha definido la evaluación como la valoración sistemática del valor o el mérito de las cosas, y ha subrayado que los evaluadores deben ser capaces de llegar a juicios de valor justificables más que de medir cosas o determinar si las metas han sido alcanzadas. En lugar de aceptar las metas propuestas, un evaluador, según Scriven, debe juzgar si el hecho de alcanzar las metas puede contribuir al bienestar de los consumidores. Independientemente de las metas, el evaluador debe identificar los resultados reales y calcular su valor desde el punto de vista de las necesidades del consumidor. Para Scriven, la función profesional del evaluador es la de un “sustituto informado del consumidor”, y la “piedra angular de la ética profesional en el trabajo evaluativo” es funcionar como una conciencia social informada. Su método evaluativo práctico, por lo general, consiste en identificar y ordenar los programas y productos opcionales disponibles para los consumidores, basándose en su coste relativo y en la consideración de las necesidades de los consumidores. A menudo ha declarado que la revista Consumer Reports es un ejemplo de lo que debe hacer la evaluación profesional.

En esta unidad, resumimos y comentamos las contribuciones teóricas, metodológicas y profesionales del doctor Scriven. Su valoración crítica de los métodos alternativos también se define y comenta. Hablamos de su conceptualización formativa-sumativa y definimos sus principales conceptos de trabajo. Su ataque de 1983 a las ideologías evaluativas establecidas y algunas de sus sugerencias metodológicas también son comentados aquí. Concluimos el capítulo mencionado sus logros mediante la fundación de la Evaluation Network y de Evaluation News.

Ahora reseñaremos los objetivos de la unidad. Por favor, revíselos, lea el texto correspondiente, y realice el test de conocimientos y los ejercicios prácticos que aparecen al final de la unidad. Valore sus respuestas comparándolas con las correctas y, si alguna de ellas es incorrecta, revise las secciones pertinentes de la unidad. Quizá desee investigar por su cuenta realizando las “Preguntas sin respuesta” (o discutiéndolas con sus estudiantes o colegas) y consultando las fuentes de información acerca del trabajo del doctor Scriven que proporcionamos al final de la unidad.


Objetivos Esta unidad pretende ayudarle a alcanzar los siguientes objetivos:

1. Identificar y explicar la definición de evaluación de Scriven. 2. Identificar y valorar sus críticas sobre los conceptos evaluativos de Tyler y

Cronbach. 3. Explicar su postura acerca del papel del juicio en la evaluación. 4. Explicar la función de la valoración de las necesidades en su método. 5. Explicar sus diferenciaciones entre evaluación y estimación del logro de las

metas, la meta y las funciones de la evaluación, la evaluación formativa y la sumativa, la evaluación intrínseca y la decisiva, la evaluación basada en las metas y la evaluación sin metas, y la evaluación y la meta-evaluación.

6. Comentar la lista de control de los indicadores de la evaluación identificando la base lógica que le sirve de guía, enumerando y definiendo sus etapas, y explicando cómo se relaciona la concepción formativa- sumativa con la lista de control de los indicadores de la evaluación.

7. Explicar sus valoraciones de las ideologías valorativas denominadas separatismo, positivismo, administración y relativismo.

8. Definir su papel y sus principales contribuciones en la profesionalización de la evaluación.

Pueden alcanzarse estos objetivos con la simple lectura del material de esta

unidad. Para enriquecer su comprensión de las ideas de Scriven, sin embargo, estudie sus escritos originales, especialmente los que mencionamos al final de esta unidad. Buena parte del material que publicamos aquí no está disponible en la literatura publicada y refleja la relación laboral que el autor mantuvo con el doctor Scriven durante más de diez años.

La definición de evaluación

A lo largo de los años, el doctor Scriven ha ido desarrollando su definición de

evaluación, pero su mensaje básico sigue siendo el mismo. En un artículo ya clásico (1967), definía la evaluación como una actividad metodológica que “consiste simplemente en la recopilación y combinación de datos de trabajo mediante la definición de unas metas que proporcionen escalas comparativas o numéricas, con el fin de justificar 1) los instrumentos de recopilación de datos, 2) las valoraciones y 3) la selección de las metas”. Al discutir la evolución de su definición de evaluación, le hemos oído decir a menudo que la evaluación, esencialmente, es la determinación sistemática y objetiva del valor o


el mérito de algún objeto, y que las evaluaciones se realizarán mejor contratando a un evaluador independiente para que emita un juicio sobre algún objeto basándose en pruebas acumuladas procedentes de su comparación con otros objetos distintos a la hora de satisfacer las necesidades del consumidor. Según este punto de vista, la evaluación es preferentemente comparativa: de ahí que atienda tanto a los costes comparativos como a los beneficios, se preocupe de cómo satisfacer mejor las necesidades de los consumidores, sea – en el mejor de los casos – una actividad profesional que incluye procedimientos sistemáticos, deba ser realizada tan objetivamente como sea posible y deba culminar en juicios y recomendaciones.

Crítica de otras tendencias

Teniendo en cuenta la definición precedente, Scriven ha criticado duramente otros conceptos de evaluación y ha utilizado su análisis crítico para ampliar su propia postura. Ha afirmado que la tradición tyleriana – que considera que la evaluación debe determinar si los objetivos han sido alcanzados – es fundamentalmente imperfecta, porque esencialmente no tiene valor. Cree que las evaluaciones basadas en este método son potencialmente inútiles, puesto que las metas propuestas pueden ser inmorales, poco realistas, no representativas de las necesidades de los consumidores o demasiado limitadas como para prever efectos secundarios posiblemente cruciales. En lugar de utilizar las metas para guiar y juzgar los efectos, Scriven afirma que los evaluadores deben juzgar las metas y no dejarse limitar por ellas en su búsqueda de resultados. Si el programa está guiado por metas meritorias, según él, los evaluadores deben juzgar las metas y no dejarse limitar por ellas en su búsqueda de resultados. Si el programa está guiado por metas meritorias, según él, los evaluadores deben identificar todos los resultados de un programa, valorar las necesidades de los consumidores y utilizar series de valoraciones para llegar a conclusiones acerca del mérito y el valor de los programas.

Scriven también se enfrenta al plan ofrecido por CRONBACH (1963). Cronbach criticó la práctica predominante de la evaluación de programas utilizando tests tipificados para comparar el trabajo de los grupos de control y experimentales, y aconsejó el uso de un método más orientado hacia el desarrollo. Cronbach advertía en contra de la utilización exclusiva de las planificaciones experimentales comparativas y sugería que debían utilizarse distintas valoraciones para estudiar un programa concreto en profundidad mientras se iba desarrollando, y que los resultados debían ser utilizados como guía para el desarrollo . Scriven dice que este plan de Cronbach olvida la importante distinción entre la meta y las funciones de la evaluación, y, de hecho, identifica la evaluación con una sola de sus funciones, lo que Scriven denomina “evaluación formativa”. Apoyándose en su crítica, SCRIVEN amplió el concepto de


evaluación en otro de sus artículos clásicos, “The Methology of Evaluation” (1967).

Evaluación formativa y sumativa En este sentido, Scriven afirma que la principal responsabilidad de evaluador

es emitir juicios bien informados. Insiste en que la meta de la evaluación es siempre la misma: juzgar el valor. Pero, continúa, las funciones de la evaluación son enormemente variadas. Puedes “formar parte de la actividad de la enseñanza, del proceso de elaboración de currículos, de algún experimento relacionado con el perfeccionamiento de la teoría del aprendizaje, de una investigación preliminar a la decisión acerca de la compra o rechazo de los materiales...”, etc. Dice que el fracaso de distinguir entre la meta de la evaluación (juzgar el valor de algo) y sus funciones (utilizaciones constructivas de los datos evaluativos) ha conducido a la adulteración de lo que se ha dado en llamar evaluación, para que ya no vuelva a alcanzar la meta de calcular el valor. En otras palabras, dice que, demasiado a menudo, los evaluadores, al intentar ayudar a los educadores a mejorar sus programas. Para Scriven, una valoración objetiva del valor es la condición sine qua on de la evaluación. Concluye que existen dos funciones principales: la formativa, que ayuda a desarrollar programas y otros objetos; y la sumativa, que calcula el valor del objeto una vez que ha sido desarrollado y puesto en el mercado.

La evaluación formativa es una parte integrante del proceso de desarrollo. Proporciona información continua para ayudar a planificar y luego producir algún objeto. En la elaboración de currículos soluciona ciertos problemas acerca de la validez del contenido, el nivel del vocabulario, la utilidad, la propiedad de los medios, la durabilidad de los materiales, la eficiencia, la elección del personal y otras cuestiones. En general, la evaluación formativa se realiza para ayudar al personal a perfeccionar cualquier cosa que esté operando o desarrollando.

En su función sumativa, la evaluación “puede servir para ayudar a los administradores a decidir si todo el currículo ya finalizado, pulido mediante la utilización del proceso evaluativo en su primera forma (formativa), representa un avance sobre las otras alternativas disponibles lo suficientemente significativo como para justificar los gastos de su adopción por parte de un sistema escolar”. La evaluación sumativa, por lo general, debe ser realizada por un evaluador externo para que aumente la objetividad, y los resultados deben hacerse públicos. Este tipo de evaluación investiga todos los efectos de los objetos y los examina comparándolos con las necesidades de los consumidores.


Compara los costes y efectos del objeto con los de aquellos que Scriven ha llamado competidores críticos, especialmente las alternativas más económicas. En caso de que la audiencia esté predispuesta a juzgar sólo los resultados comparándolos con las metas propuestas, la evaluación sumativa proporciona juicios acerca de hasta qué punto las metas reflejan, de una manera válida, las necesidades valoradas. En conjunto, la evaluación sumativa sirve a los consumidores proporcionándoles valoraciones independientes que comparan los costes, los méritos y los valores de los distintos programas o productos.

Evaluación amateur contra evaluación profesional

En las primeras etapas de la elaboración de un currículo, Scriven prefiere la

“evaluación amateur” (autoevaluación) a la “evaluación profesional”. Quienes han desarrollado un programa, cuando actúan como sus propios evaluadores, pueden ser un poco sistemáticos y subjetivos, pero también son solventes, tranquilizantes, dedicados a la consecución del éxito y tolerantes con los objetivos vagos y los procedimientos de desarrollo investigativo. Los evaluadores profesionales, si intervienen demasiado pronto, pueden “ahogar los fuegos creativos de un grupo productivo”, retardar el proceso de desarrollo urgiendo a la clarificación de los objetivos o perder su punto de vista objetivo alineándolo demasiado con el esfuerzo productivo, entre otras cosas. Los evaluadores profesionales son necesarios, sin embargo, para llevar a cabo las evaluaciones formativa y sumativa durante las últimas etapas del desarrollo. Ambos tipos de evaluación requieren un alto nivel de habilidad técnica y una objetividad que raramente posee el personal que interviene en el desarrollo, pues no está especialmente preparado en la teoría y metodología evaluativas. Scriven recomienda que un evaluador profesional sea incluido en el personal que interviene en el desarrollo para llevar a cabo la evaluación formativa, y aconseja muy a menudo que los evaluadores profesionales externos sean los encargados de realizar y presentar las evaluaciones sumativas.

Evaluación intrínseca y evaluación final

Scriven también distingue entre evaluación intrínseca y evaluación final. La

evaluación intrínseca valora las cualidades de una mediación, sin tener en cuenta los efectos sobre los clientes, juzgando ciertas características como las metas, la estructura, la metodología, las calificaciones y las actitudes del personal, las facilidades, la credibilidad pública y los informes previos. La evaluación final no se preocupa de la naturaleza del programa, de los libros de texto, de la teoría o de cualquier otro objeto, sino más bien de sus efectos sobre los clientes. Estos efectos pueden incluir escalas de tests, rendimiento


en el trabajo o el estado de salud. Scriven reconoce la importancia de la evaluación intrínseca, pero destaca que también deben determinarse y juzgarse los resultados, puesto que las relaciones causales entre las variables del proceso y las de los resultados es rara, o ninguna, la vez en que se conocen a ciencia cierta. Explica que ambos tipos pueden contribuir tanto a la evaluación formativa como a la sumativa. Es particularmente crítico con las juntas acreditadas, a causa de su preocupación por los criterios intrínsecos, como el número de libros de una biblioteca, y su fracaso al valorar el trabajo de los graduados.

La evaluación sin metas

Dando un paso más en su amplia preocupación por la evaluación basada en

las metas, Scriven presenta una propuesta contraria bajo la denominación de “evaluación sin metas”. Según este método, el evaluador permanece a propósito ignorante de las metas fijadas para el programa e investiga todos los efectos secundarios que examinar, puesto que los datos acerca de todos los efectos, cualquiera que sea el propósito del programa, son igualmente admisibles. Si un programa se realiza como se supone que debe realizarse, la evaluación debe confirmar esto, pero el evaluador, a la vez, podrá descubrir los efectos inesperados que los evaluadores que se basan en las metas pueden olvidar a causa de su preocupación por las metas prefijadas. En cualquier caso, Scriven dice que la evaluación sin metas es reversible y complementaria: se puede empezar sin metas, con el fin de investigar todos los efectos, y luego cambiar el método basado en las metas es reversible y complementaria: se puede empezar sin metas, con el fin de investigar todos los efectos, y luego cambiar el método basado en las metas para asegurar que la evaluación determinará si las metas han sido alcanzadas. O incluso pueden realizarse simultáneamente ambos tipos de evaluación por diferentes evaluadores. Las ventajas de la evaluación sin metas, según Scriven, consisten en que es menos instructiva que la evaluación basada en metas; más adaptable a los cambios de metas repentinos; más solvente a la hora de encontrar efectos secundarios; menos propensa a la tendenciosidad social, perceptiva o cognitiva; más estimulante profesionalmente; y más equitativa a la hora de tener en cuenta una amplia gama de valores. En general, nosotros creemos que la evaluación sin metas es una técnica renovadora – no un modelo – que puede ayudar a llevar a cabo el método evaluativo orientativo hacia el consumidor.

Valoración de las necesidades

Una de las dificultades de utilizar la evaluación sin metas se refiere a cómo asignar un significado valorativo a los resultados. Si los objetivos se identifican


sin hacer caso de lo que se está tratando de lograr, ¿cómo se pueden separar las consecuencias deseadas de las indeseadas? La respuesta se Scriven es que deben compararse los resultados observados con las necesidades valoradas de los consumidores. Pero si una necesidad es una discrepancia entre algo real y algo ideal, y si un ideal es una meta, ¿no están las valoraciones de las necesidades basadas en metas, y, por lo tanto, no están también las evaluaciones sin metas basadas en metas? Scriven dice que no. Para empezar, las metas no deben coincidir necesariamente con cualquier grupo de ideales como los incluidos en una democracia. En cualquier caso, afirma que la concepción clásica de la necesidad, como discrepancia entre algo real y algo ideal, es errónea, puesto que los ideales a menudo son ilusorios. Dado que las necesidades de los consumidores son un concepto fundamental en este método, sus estudiantes y él conceptualizaron ampliamente e investigaron este concepto.

Para Scriven, una necesidad es “cualquier cosa que sea esencial para un modo satisfactorio de existencia, cualquier cosa sin la cual este modo de existencia o nivel de trabajo no puede alcanzar un grupo satisfactorio”. Los ejemplos que utiliza, por lo general, son la vitamina C y la alfabetización. Cuando no dispone de esto, una persona puede estar físicamente enferma o social e intelectualmente debilitada; de ahí que la persona lo necesite. Para Scriven, la valoración de las necesidades es un proceso para descubrir hechos acerca de si no proporcionar o arrebatar ciertas cosas puede tener funestas consecuencias, todo ello basado en normas razonables sobre lo que es bueno y lo que es malo. Dados los resultados de una valoración de necesidades, pueden juzgarse los resultados de un programa concreto como buenos, malos o indiferentes, dependiendo de si contribuyen o no a satisfacer las necesidades identificadas. Según nuestra experiencia, este argumento es, actualmente, más convincente en el terreno filosófico que en el práctico. Se necesita un alto grado de desarrollo en el nivel técnico antes de que la valoración de las necesidades pueda producir significados factibles y apropiados para juzgar los resultados.

La lista de control de indicadores de la evaluación

La lista de control de indicadores sintetiza las primeras ideas de Scriven. Refleja su concepto de que la evaluación supone múltiples dimensiones, debe emplear múltiples perspectivas, introducir múltiples niveles de valoración y utilizar múltiples métodos. De ahí que se haya referido a veces a la lista de control de indicadores como el multimodelo de evaluación. Sus dieciocho puntos son los siguientes:


1. Descripción. ¿Qué hay que evaluar? El evaluado, descrito tan objetivamente como sea posible. ¿Cuáles son sus componentes? ¿Cuáles son sus relaciones?

2. El cliente. ¿Quién ha encargado la evaluación? El cliente evaluativo, que puede o no ser el iniciador de la investigación evaluativa, puede o no ser el instigador del evaluando – por ejemplo, su fabricante, o la agencia subvencionadora, o su padrino legislativo – y puede o no ser su inventor –por ejemplo, el planificador de un producto o programa.

3. Antecedentes y contexto de a) el evaluando y b) la evaluación. Incluye la identificación de los mantenedores (incluyendo los no-clientes enumerados en el punto 2, el patrocinador, los representantes de la comunidad, etc); la presunta naturaleza del evaluando; las expectativas acerca de la evaluación; el tipo deseado de evaluación (formativa o sumativa; esquemas organizativos; esfuerzos prioritarios, etc.).

4. Recursos (“sistemas de ayudas” o “valoración de los efectivos”) a) disponibles para la utilización del evaluando, b) disponibles para la utilización de los evaluadores. No se trata de lo que se utiliza, por ejemplo, en las compras o el mantenimiento, sino de lo que puede utilizarse. Incluye el dinero, la habilidad, la experiencia previa, la tecnología y las consideraciones sobre la flexibilidad. Esto es lo que define el nivel de viabilidad.

5. Función. ¿Qué hace el evaluando? Distinguir entre lo que se supone que hace – función o papel propuesta o declarada- y lo que de hecho hace (función real, tanto para el evaluador como para el consumidor); ambas cosas pueden incluirse en la descripción, pero, por lo general, es mejor tratarlas aparte. ¿Existen dimensiones, aspectos o componentes obvios de estas funciones?

6. Sistemas de distribución. ¿Cómo llega al mercado el evaluando? ¿Cómo se mantiene (en servicio)? ¿Cómo se perfecciona (se pone al día)? ¿Cómo son sus usuarios? ¿Cómo se lleva a cabo su realización, control y perfeccionamiento? ¿Quién hace todo esto?

7. El consumidor. ¿Quién utiliza o recibe (los efectos de) el evaluando? Distinguir las poblaciones o consumidores escogidos- mercado deseado – de las poblaciones de consumidores directamente afectadas de una manera real o potencial – el verdadero mercado- o consumidores o receptores (o clientes del evaluando, a menudo llamados clientela); esto debe distinguirse de la población receptora total directa o indirectamente afectada, que constituyen los verdaderos consumidores. Advierte que el instigador y otras figuras de los puntos 2 y 3 también resultan afectados, por ejemplo, por tener un trabajo, pero eso nos les convierte en consumidores en el sentido estricto. Sin embargo, debemos considerarlos a la hora de investigar los efectos totales y podemos describirlos como parte de los afectados, impactados o implicados.


8. Las necesidades y valores de los afectados y potencialmente, impactados. Esto incluye tanto los deseos como las necesidades, y también los valores como las normas sobre el mérito y los ideales juzgados o supuestos (véase punto 9); las metas definidas del programa, cuando se lleve a cabo una evaluación basada en metas; y las necesidades, y otras cosas, del instigador, el controlador, el inventor, etc., puesto que están indirectamente afectados. La importancia relativa de estas consideraciones, a menudo opuestas, depende de las consideraciones éticas y funcionales.

9. Normas. ¿Existen normas preexistentes y objetivamente valoradas, acerca del mérito o el valor, que deban aplicarse? ¿Procede alguna de ellas del cliente y el consumidor, de la función y de las necesidades/valores? (Esto incluye los ideales asignados; véanse los ideales del punto 8.) Si se tienen en cuenta las metas, y si pueden ser valoradas como apropiadas (por ejemplo, por una valoración de las necesidades), legales/ éticas y todo lo demás, debe comprobarse si han aparecido en el número 8 para ser aceptadas, como una norma relevante, aquí en el punto 9.

10. El proceso. ¿Qué limitaciones /costes /beneficios se aplican a la operación normal del evaluando (no a sus efectos o resultados del punto 11)? En particular: legales/ético- morales /políticas/administrativas/estéticas / hedónicas /científicas. Un proceso administrativo tiene limitaciones especialmente significativas en lo que se refiere al “grado de realización”, esto es, hasta qué punto la operación real cumple las estipulaciones del programa o las suposiciones del patrocinador acerca de su operación. Un proceso científico debe utilizar indicadores de los resultados finales científicamente reconocidos; también material científicamente (o históricamente...) solvente de un libro de texto o curso. Puede constituir un problema ético la relativa importancia concedida a la satisfacción de las necesidades de la población escogida y las necesidades de carrera o condición de otra gente afectada, como por ejemplo del programa.

11. Resultados. ¿Qué efectos ha producido el evaluando (deseados o indeseados)? Resulta útil una matriz de efectos: población afectada X tipo de efecto (cognitivo / afectivo /psicomotor / sanitario / social / ambiental) X por la puntuación de las Z de tiempo de reacción (inmediata /al final del tratamiento / más tarde) X duración X cada componente o dimensión (si se requiere la evaluación analítica). Para algunos propósitos, los deseados (por ejemplo, control del programa, responsabilidad legal), para otros, no debe hacerse distinción (la evaluación del producto orientada hacia el consumidor):

12. Posibilidad de generalización a otras personas / lugares /tiempos / versiones. “Personas” significa tanto el personal como los receptores. Esto también puede denominarse posibilidad de distribución, posibilidad de venta / exportación / duración / modificación.


13. Costes. En dólares –psicológico – de personal; inicial –repeticiones (incluyendo preparación, mantenimiento y perfeccionamiento); directo / indirecto- inmediato /retardado / rebajado; si conviene, por componentes.

14. Comparaciones con opciones alternativas, incluyendo las opciones reconocidas y las no reconocidas, las disponibles y las que se pueden crear. Los principales contendientes en este campo son los “competidores críticos” y se identifican en términos de coste más efectividad. Normalmente incluyen a aquellos que producen efectos similares o mejores por un precio menor, y mejores efectos por un coste extra razonable (recursos).

15. Significado. Una síntesis de todo lo anterior. La validación del procedimiento sintético es, a menudo, una de las tareas evaluativas más dificultosas. Normalmente, no puede dejarse al cliente que, por lo general, está mal equipado en experiencia y objetividad; y las fórmulas – por ejemplo, los cálculos de coste-beneficio- rara vez resultan adecuadas. Lo más útil es una flexible suma ponderada.

16. Recomendaciones. Esto puede o no ser requerido, y puede o no desprenderse de la evaluación; aunque sean requeridas, puede que no sea posible proporcionar ninguna puesto que los únicos tipos que pueden resultar apropiados no disponen de pruebas científicas específicas en el campo de la investigación. (Los recursos disponibles para la evaluación resultan cruciales aquí).

17. El informe. El vocabulario, la extensión, el diseño, el medio, la localización y el personal para su presentación necesitan un cuidadoso examen, igual que la protección /privacidad / publicidad y la investigación previa o la circulación de los borradores finales o preliminares.

18. la metaevaluación. La evaluación debe ser evaluada preferiblemente antes de a) su realización, b) la difusión final del informe. La evaluación externa es deseable, pero primero del evaluador principal debe aplicar la lista de control de indicadores a la propia evaluación. Los resultados de la metaevaluación deben ser utilizados formativamente pero también pueden ser incorporados al informe o trasmitidos (resumidamente) al cliente y otras audiencias adecuadas. (Las “audiencias” aparecen en el metapunto 7, puesto que son el “mercado” y los “consumidores” de la evaluación.)

Estas etapas no están concebidas para ser aplicadas en una secuencia

concreta, pero deben ser planteadas antes de que se lleve a cabo la lista de control de indicadores. Igualmente, un evaluador puede recorrer la lista de control muchas veces durante la evaluación de un programa. Los primeros recorridos constituyen la evaluación formativa; los últimos son lo que Scriven llama “evaluación sumativa”.

La base lógica de la lista de control de indicadores es que la evaluación es esencialmente un proceso de reducción de datos en el que se obtienen grandes


cantidades de datos para luego valorarlos y sintetizarlos en un juicio de valor global. Al describir este proceso de reducción de datos, Scriven sugiere que las primeras etapas ayuden a caracterizar un programa o producto, mientras que las últimas pueden ayudar a valorara su validez.

La metaevaluación

El punto final de la lista de control de indicadores pide la evaluación de la evaluación. Scriven introdujo este concepto en 1968, cuando publicó un artículo respondiendo a las preguntas de cómo se evaluaban los instrumentos de la evaluación. Dice que ésta es una de las muchas preocupaciones de la evaluación y destaca que los evaluadores tienen la obligación profesional de que las evaluaciones propuestas o finalizadas estén sujetas a una evaluación competente. Su base racional es que la “evaluación es un tema particularmente autorreferente puesto que se aplica a todos los esfuerzos humanos serios y, en consecuencia, a la propia evaluación”. Advierte que la metaevaluación puede ser formativa, si ayuda al evaluador a planificar y realizar una evaluación solvente, o sumativa, si proporciona al cliente pruebas independientes acerca de la competencia técnica del evaluador principal y de la solvencia de sus informes. Las sugerencias metodológicas de Scriven para la realización de metaevaluaciones incluyen la utilización de su lista de control de indicadores de la evaluación, para valorar una evaluación como producto, de otras listas de control o de otras normas evaluativas profesionales.

Ideologías evaluativas

Como se ha visto en el material precedente, Scriven es uno de los críticos más reflexivos y expresivos de los conceptos evaluativos predominantes. En coherencia con esta postura crítica, ha destacado que la evaluación es un tema particularmente autorreferente, lo cual está de acuerdo con su recomendación de la metaevaluación. En un texto reciente, clasifica los conceptos evaluativos establecidos en cuatro grupos y critica cada uno de ellos extensamente, con la esperanza de convencer a los evaluadores de que reconozcan y renuncien a ciertas tendencias que, según él, han debilitado el trabajo evaluativo. Luego utiliza su análisis de las virtudes y defectos de cada método para perfeccionar la base lógica de su lista de control. Describe este modelo como algo que abarca las mejores características de las demás proposiciones serias acerca de cómo hacer una evaluación, evitando al mismo tiempo las imperfecciones que él identifica en las otras propuestas. Creemos que esto puede ayudarle a conocer más a fondo la filosofía evaluativa de Scriven, en general, y la lista de control de indicadores de la evaluación en particular, si examina con cuidado


su análisis de las ideologías alternativas. Por lo tanto, vamos a intentar definir sus aspectos más sobresalientes con relación a las cuatro ideologías. Estas ideologías son la separatista, la positivista, la administrativa y la relativista. La ideología separatista

Scriven contempla la ideología separatista como enraizada en la negación o el rechazo de la proposición que asegura que la evaluación es una actividad autorreferente. Esta ideología está perfectamente reflejada en las propuestas evaluativas que requieren la participación de evaluadores totalmente independientes de lo que se está evaluando. El establecimiento y mantenimiento de esta independencia del evaluador respecto al evaluando es, a menudo, esencial para asegurar que los informes evaluativos no van a ser tendenciosos. Además, los evaluadores que practican esta ideología, según Scriven, no reconocen casi nunca la necesidad de evaluar su propio trabajo. Muy posiblemente, muchos de ellos, en cualquier caso, contemplan esta metaevaluación como un asunto ajeno, puesto que los evaluadores, según su concepción separatista, no pueden ser objetivos al evaluar su propio trabajo. De ahí que Scriven exponga la paradoja de que un evaluador puede tener derecho a evaluar el trabajo de otros, pero no interesarse por evaluar sus propios servicios, e incluso resistirse a ello.

En esta especie de parasitismo profesional, Scriven ve una imperfección humana básica: “la valorfobia, un intensísimo miedo a ser evaluado”. Se manifiesta cuando los evaluadores, que están en estrecho contacto con las personas cuyo trabajo están evaluando, se convierten en cooperantes, pierden su perspectiva crítica y elogian lo que quizá deberían criticar si se mantuvieran a mayor distancia del evaluando. La valorfobia puede también presentarse cuando los evaluadores se resisten, o por lo menos evitan, evaluar sus evaluaciones. Y también cuando los evaluadores, al valorar los programas, tienen cuidado de no evaluar al personal del programa.

En oposición a esta postura separatista, Scriven afirma que los profesionales, incluyendo a los evaluadores profesionales, necesitan reconocer y tratar honradamente con la naturaleza autorreferente de la evaluación. La marca de fábrica de un profesional es someter su propio trabajo a evaluación. El hecho de que todas las evaluaciones sean propensas a la tendenciosidad no debe desalentar a nadie en la evaluación de su propio trabajo o de encargar a otro que haga el trabajo. En cambio, se debe responder realizando la evaluación lo menos tendenciosamente posible y sometiéndola a un examen, mediante su comparación con normas reconocidas para una evaluación solvente. En las llamadas evaluaciones de un programa se debe examinar de un modo realista tanto el personal como otros aspectos del programa, puesto que, invariablemente, el éxito y el fracaso son inseparables del trabajo del personal y porque


habrá pocas posibilidades de perfeccionamiento a través de la evaluación si no se proporciona una guía para el perfeccionamiento del personal.

La ideología positivista

Scriven contempla una segunda ideología, la el positivismo lógico, como otra

reacción exagerada ante la valorfobia. En sus intentos de alejar la tendenciosidad de los trabajos científicos, Scriven piensa que los positivistas reaccionan exageradamente hasta el punto de intentar convertir la ciencia del siglo XX, en general, y la evaluación, en particular, en algo sin valores. Mientras los separatistas rechazan la naturaleza evaluativa de la ciencia. Scriven aporta una serie de casos contradictorios. Por ejemplo, los psicológicos educativos que aseguran que no pueden hacerse juicios evaluativos con objetividad, producen, sin embargo, juicios evaluativos acerca del trabajo de los estudiantes. Desde luego, la respuesta de Scriven a las imperfecciones del positivismo consiste en conceder una importancia central a la práctica de asignar significados de valor a los resultados obtenidos en los estudios evaluativos.

La ideología administrativa

Para Michael Scriven, la “evaluación bien administrada” va mucho más allá de la que simplemente se guía por un administrador competente. Puede, en cambio, esta última, suponer “una verdadera indulgencia hacia la valorfobia” tanto por parte de los administradores del programa como de los evaluadores. Los administradores del programa pueden imponer controles rígidos sobre la evaluación que han encargado para que así no hayan sorpresas. Pueden desear que sólo se evalúe su programa y no el personal que participa en él ni, especialmente, el administrador. Y pueden insistir en que la evaluación se limite a determinar si han sido alcanzadas las metas fijadas para el programa y a juzgar su trabajo basándose en los deseos de otro acerca del programa.

Para el punto de vista del administrador, esta ideología administrativa incluye claramente una tendencia a producir informes favorables. Según Scriven, muchos evaluadores están dispuestos a cumplir los deseos del administrador acerca de unos informes favorables y predecibles a causa de una serie paralela de razones autosatisfactorias. Necesitan futuros contratos o conservar su posición evaluativa en la institución, y proporcionar un informe favorable, o al menos uno que no ponga nervioso al cliente o al patrocinador, es lo mejor que pueden hacer para obtener más trabajo. A menudo están incluso dispuestos a evitar cualquier interés por la evaluación del personal porque esto ayuda


a hacer que la evaluación sea más independiente de las distintas y, a menudo, opuestas posturas de valor que puedan mantener las diferentes personas implicadas en el programa. Y la petición del administrador de limitar la valoración a lo que se ha fijado es especialmente simpática, puesto que entonces los evaluadores no sólo evitarán valorar la aplicación de un programa y especialmente la actuación de los miembros del personal, sino también tratar con valores, ya que presumen que están incluidos en las metas del programa fijadas por el administrador.

En la ideología administrativa podemos, entonces, ver la posibilidad de una confluencia de las ideologías separatistas, positivistas y administrativas, todo ello con efectos negativos. Evitando la evaluación del administrador y del personal (lo cual coincide con la ideología separatista), considerando la evaluación como un servicio técnico desprovisto de determinaciones de valor (método positivista) y ayudando a los administradores a conseguir el buen informe que necesitan sobre el logro de sus metas (ideología administrativa), el evaluador convierte, efectivamente, la evaluación en un perjuicio y no en una contribución a la sociedad.

Con lo esbozado hasta ahora, el estudio, según Stake, excluye muchos de los aspectos vitales de una evaluación solvente. Puede desalentar, más que ayudar, a los clientes, a la hora de examinar críticamente sus metas y servicios. Concentrándose en las metas prefijadas, no puede asegurar que el servicio tenga valor para satisfacer las necesidades de los consumidores. Puede también ser miope y no tener en cuenta si el servicio, el programa o el producto son la “mejor compra”, cuando podría servir para que los clientes identificaran y compararan mejor las alternativas. Y puede también evitar problemas relativos a la ética y a la prudente utilización de los escasos recursos. Para Scriven, un amplio éxito de la ideología administrativa y sus relaciones con otras malas prácticas evaluativas supondría un engaño para la sociedad y para la profesión evaluativa. Utiliza su análisis crítico de esta postura como plataforma para recomendar una serie de reformas, incluidas en su lista de control de indicadores. Son las siguientes:

1. Realizar las valoraciones de las necesidades como base para juzgar si un

programa ha producido resultados beneficiosos. 2. Evaluar “sin metas” para no preocuparse de las metas prefijadas y de ese modo

perder resultados importantes pero inesperados, buenos o malos. 3. Comparar lo que se está evaluando con otras alternativas viables. 4. Examinar los servicios según su coste y efectividad 5. combinar la evaluación del personal con la del programa.


La ideología relativista Otra ideología que Scriven considera imperfecta y de influencia nociva para el

trabajo evaluativo es la ideología relativista. Scriven la contempla como una reacción exagerada a los problemas relacionados con la ideología positivista. Mientras los positivistas, a menudo, han empleado la concepción de que existe una realidad objetiva que puede conocer cualquiera que pueda y quiera utilizar procedimientos valorativos no tendenciosos, los relativistas afirman que esto es totalmente simplista y sólo puede conducir a valoraciones limitadas que den una importancia exclusiva e inmerecida al punto de vista de algún grupo poderoso, con la errónea concepción de que su punto de vista y sus valoraciones son objetivos. En respuesta a los riesgos del positivismo, los relativistas afirman que todo es relativo, que no hay una verdad objetiva. Por lo tanto, abogan por perspectivas múltiples, criterios múltiples, valoraciones múltiples y respuestas múltiples.

Scriven considera que buena parte de este movimiento evaluativo es una respuesta exagerada que a veces niega la posibilidad de las determinaciones objetivas del valor o incluso de descripciones objetivamente correctas de los programas. Aunque también rechaza la existencia de una sola descripción correcta, nos aconseja que no abandonemos la idea de que existe una realidad objetiva. Aunque puede haber una compleja realidad más allá de nuestra capacidad presente de comprender y describir a fondo, sólo nos engañaremos a nosotros mismos si creemos que no existe. Aconseja, en cambio, que relativicemos nuestras descripciones para las distintas audiencias. Pero nos advierte que no aceptemos todas las descripciones opuestas como concretas, como, según creemos, son propensos a hacer algunos de los relativistas más obtusos. En lugar de eso, estamos obligados, como evaluadores, a buscar lo “mejor”, lo “perfecto”, lo “ideal”.

La profesionalización de la evaluación

En coherencia con su preocupación por evaluar las ideas y trabajos de sus colegas evaluadores, Scriven ha hecho un gran esfuerzo por profesionalizar la evaluación. Fue uno de los primeros que recomendó el desarrollo y utilización de las Standards for Evaluations of Educational Programs (Joint Comité, 1981). Ayudó a establecer y desarrollar el Evaluation Network, una organización profesional para evaluadores de programas educativos, sanitarios, gubernamentales y sociales. Y convirtió la hoja informativa de esta organización es una muy respetable publicación, Evaluation News.

Este ha sido un breve resumen de algunas de las contribuciones de Michael Scriven a la evaluación. Estas contribuciones se extienden a lo largo de dos


décadas y han influido sustancialmente en la práctica evaluativa. Los estudiantes que se tomen en serio la evaluación deben estudiar sus escritos originales y estar al corriente de sus futuras contribuciones.

Test de conocimiento sobre la unidad 10 Ahora proporcionamos dieciséis preguntas con muchas posibles respuestas y

cinco afirmaciones para cotejar. Cada una de ellas va seguida de una explicación de las respuestas alternativas correctas e incorrectas. Estas preguntas y explicaciones están concebidas para ayudarle a determinar si ha alcanzado los objetivos de conocimiento de esta unidad. En cada pregunta, seleccione la respuesta que considere la mejor. Cuando haya seleccionado una respuesta, evalúe su elección comparándola con las indicaciones y el material interpretativo que siguen a cada pregunta.

Cuando haya contestado a todas las preguntas, deberán calificar e interpretar (y, si es necesario, perfeccionar) su trabajo. Luego deberá enfrentarse a unos cuantos ejercicios prácticos. La sección final de esta unidad propone “Preguntas sin respuesta” y recomienda lecturas complementarias.

PREGUNTA 1. Según Scriven, la evaluación es a) el proceso de determinar hasta qué punto han sido alcanzadas las metas; b) el proceso de delinear, obtener y proporcionar información útil para el cliente a la

hora de juzgar opciones de decisión; c) el proceso de determinar las discrepancias entre la realización del trabajo y las

normas establecidas; d) el cálculo del valor.

Respuesta correcta. Debe usted haber seleccionado la “d”. Según Scriven, la evaluación es el cálculo del valor. Es coherente con la definición formal de evaluación que él mismo presenta en “The Methologogy of Evaluation”. (“La evaluación es... una actividad metodológica que... consiste simplemente en la recopilación y combinación de datos de trabajo con una serie de metas que dan como resultado escalas comparativas o numéricas, y en la justificación de a) los instrumentos de recopilación de datos; b) las valoraciones; y c) la selección de las metas.”)


Respuestas incorrectas a) Es incorrecta porque Scriven cree que la evaluación guiada por una determinada

serie de metas puede olvidarse de efectos importantes, y cree que las metas también deben ser evaluadas.

b) Es incorrecta porque destaca que el evaluador debe proporcionar información para la toma de decisiones pero no tomar la decisión, mientras que Scriven cree que el evaluador debe juzgar las opciones del programa y así tomar decisiones acerca del programa que se está evaluando.

c) Es incorrecta porque es una variante de “a”. Scriven no puede aceptar como suficiente una definición de evaluación que determina sólo las discrepancias entre las normas dadas y la realización del trabajo. Insiste en que las normas deben ser valoradas y no deben ser la única base para la valoración del trabajo.

PREGUNTA 2. A lo largo de los años, Michael Scriven y Lee Cronbach han

mantenido opiniones encontradas acerca de los evaluadores. ¿Cuál de las siguientes afirmaciones representa mejor su desacuerdo esencial? a) Cronbach recomienda a los evaluadores que utilicen múltiples valoraciones en

cada estudio, mientras que Scriven advierte que una práctica de este tipo es inútil y recomienda, en cambio, la utilización de una simple valoración sumativa.

b) Cronbach destaca que la principal obligación de los evaluadores es plantear cuestiones fundamentales relativas a la decisión acerca de si un programa o producto es la “mejor compra” para los consumidores, mientras que Scriven insiste en que la función más importante del evaluador es ser “el artesano de quien ha desarrollado el programa”.

c) Scriven afirma que la preferencia de Cronbach por la evaluación formativa como opuesta a la evaluación sumativa es fundamentalmente errónea.

d) Cronbach insiste en la necesidad de las evaluaciones comparativas, mientras que Scriven afirma que esta práctica puede conducir a resultados superficiales y no proporciona el nivel necesario de información que puede obtenerse del estudio profundo de un caso de un solo programa.

Respuesta correcta. Debe usted haber seleccionado la opción “c”. Cronbach recomienda la evaluación formativa por encima de la evaluación sumativa, y Scriven dice que esta recomendación oscurece el hecho de que, esencial y fundamentalmente, cada evaluación debe producir una valoración sumativa del valor y el mérito de un objeto.


Respuestas incorrectas a) Es incorrecta porque ambos autores aconsejan a los evaluadores la utilización de

múltiples valoraciones. b) Es incorrecta porque lo opuesto está más cerca de la verdad. d) Es incorrecta porque lo opuesto está más cerca de la verdad.

PREGUNTA 3. ¿Con cuál de las siguientes afirmaciones estaría más de acuerdo

Scriven? a) Los evaluadores deben decidir si juzgar o no juzgar las prácticas evaluativas de

acuerdo con la función que debe desempeñar un estudio evaluativo. b) Los evaluadores deben obviar la necesidad de un juicio subjetivo mediante el

empleo de planificaciones con un alto grado de validez interna y externa y con reglas relativas a la decisión.

c) Los evaluadores deben juzgar el valor de las prácticas educativas que evalúan. d) Los evaluadores deben describir totalmente las prácticas educativas, pero deben

evitar emitir juicios sobre esas prácticas. Repuesta correcta. Debe usted haber seleccionado la “c”. Scriven afirma que

los evaluadores deben formular y presentar juicios acerca de cualquier cosa que evalúen. Respuestas incorrectas a) Es incorrecta porque Scriven ha afirmado que los evaluadores deben emitir

juicios tanto en la evaluación formativa como en la sumativa. b) Es incorrecta porque Scriven ha advertido que el evaluador, por lo general, debe

operar en situaciones ambiguas e incontroladas. Dice que los evaluadores deben esperar y no alejarse de estos trabajos. De ahí que los evaluadores no puedan depender de reglas sobre las decisiones o de información terminal. Por lo tanto, deben generalmente llevar a cabo la más profesional de las funciones evaluativas: formular juicios y hacerlos públicos en presencia de una información inadecuada e insuficiente. Scriven ha ofrecido el consuelo de que incluso aunque los juicios de los evaluadores sean a veces erróneos, serán a menudo más acertados que los de cualquier otro grupo.

d) Es incorrecta porque Scriven ha advertido que los evaluadores que fracasan al emitir juicios fracasan también a la hora de cumplir todas sus responsabilidades como evaluadores.


PREGUNTA 4. ¿Cuál de las siguientes afirmaciones no es coherente con la postura de Scriven relativa a la función de la valoración de las necesidades en la evaluación? a) Las metas proporcionan la mejor base para juzgar los resultados sólo si los

resultados han sido desarrollados como respuestas a las necesidades valoradas. b) No es necesario considerar las necesidades de los consumidores como una base

para la valoración de productos y servicios, puesto que, fundamentalmente, el juicio profesional del evaluador es el determinante del valor o el mérito de un objeto.

c) Debidamente concebidas, las valoraciones de las necesidades determinan los huecos existentes entre los ideales y las realidades en la sociedad, y consecuentemente son indistinguibles de cualquier otro estudio evaluativo verdadero.

d) Las valoraciones de las necesidades deben determinar qué cosas, si no se proporcionan o se olvidan, pueden demostrar ser perjudiciales, y proporcionar así un criterio para determinar si una contribución concreta es válida.

Respuesta correcta. Debe usted haber seleccionado la opción “d”. Scriven, que recomienda una amplia búsqueda de resultados en una evaluación, afirma que los resultados identificados deben ser juzgados buenos o malos, dependiendo de hasta qué punto contribuyan, no a alcanzar las metas prefijadas o a rellenar los huecos entre las realidades y los ideales (que él a menudo considera “prometer la luna”), sino a eliminar o prevenir fuerzas que, de otro modo, pondrán al cliente en una situación insatisfactoria. Respuestas incorrectas a) Es incorrecta porque Scriven dice que las metas pueden ser demasiado limitadas

y reflejar sólo la selección de ciertas necesidades de quien ha desarrollado el programa y pueden también haber perdido actualidad, puesto que al final de un proyecto las necesidades que formaban la base para elegir las metas del proyecto pueden haber cambiado sustancialmente.

b) Es incorrecta porque aunque Scriven contempla al evaluador como el responsable de emitir los juicios y hacer recomendaciones, también destaca que estos juicios y recomendaciones deben derivarse de la comparación de los resultados con las necesidades valoradas.

c) Es incorrecta porque Scriven afirma explícitamente que no es conveniente una concepción de las necesidades referida a los ideales, puesto que a menudo son tan poco realistas que no pueden ayudar a desarrollar recomendaciones prácticas.


PREGUNTA 5. ¿Cuál de las siguientes afirmaciones ejemplifica mejor la diferenciación de Scriven entre la función y la meta de la evaluación? a) La meta de la evaluación puede variar enormemente, puesto que cualquier

estudio puede plantear una amplia gama de cuestiones; la función de la evaluación es siempre, sin embargo, la misma: facilitar la toma de decisiones.

b) Insistiendo en el papel constructivo que puede desempeñar la evaluación en las actividades (roles) pacificadoras desatendemos el hecho de que su meta siempre incluye la estimación del valor.

c) Las metas de cualquier evaluación deben ser moderadas según la relativa sensibilidad de las funciones que debe desempeñar el estudio.

d) La meta de cualquier estudio evaluativo es sumativa, mientras que su función es, por lo general, formativa.

Respuesta correcta. Debe usted haber seleccionado la respuesta “b”. Aunque la evaluación puede desempeñar muchas funciones (tanto constructivas como destructivas), su meta es siempre la misma: juzgar el valor. Este es el principal argumento de Scriven, y le permite insistir en que los evaluadores hacen juicios. Respuestas incorrectas a) Es errónea porque Scriven sólo ve una meta para la evaluación (el juicio del

valor), pero muchas funciones (relaciones públicas, informes, directrices para el desarrollo, consejos para contratar un servicio, etc.).

c) Es lo opuesto a la postura de Scriven. El cree que los evaluadores eluden su responsabilidad cuando no formulan y presentan juicios acerca de los programas que evalúan.

d) Es errónea porque las evaluaciones formativa y sumativa son funciones que debe desempeñar la evaluación.

PREGUNTA 6. ¿Cuál de las siguientes informaciones ejemplifica mejor la utilización de la evaluación formativa? a) Formular juicios acerca del valor global de un nuevo libro de texto b) Asignar credibilidad o negársela a los resultados de un proyecto ya terminado. c) Valorar la realización de un plan de trabajo. d) Determinar los efectos finales de una inversión previa.


Respuesta correcta. Debe usted haber seleccionado la opción “c”. La evaluación formativa ayuda al personal del programa a llevar a cabo los esfuerzos del desarrollo.

Respuestas incorrectas

a) Es incorrecta porque el libro de texto ya ha sido publicado y la evaluación formativa debe llevarse a cabo durante su desarrollo.

b) Es incorrecta por una razón similar. d) Es incorrecta porque el proceso de inversión ha sido ya completado.

PREGUNTA 7. La evaluación sumativa se describe mejor como

a) la valoración de las primeras formas de un nuevo producto; b) la valoración de un producto cuando ya está en el mercado; c) el perfeccionamiento de un producto mientras aún es moldeable; d) el relleno de los huecos entre la evaluación intrínseca y la evaluación final.

Respuesta correcta. La mejor respuesta es la “b”. La evaluación sumativa supone juzgar un esfuerzo de desarrollo después de que el trabajo de desarrollo ya ha finalizado. Respuestas incorrectas a) Es incorrecta porque se trata de un ejemplo de evaluación formativa. c) Es incorrecta por la misma razón. d) Es incorrecta porque se refiere más a un problema evaluativo funcional que

metodológico. El problema de conectar la evaluación intrínseca y la evaluación final reside en cómo relacionar causalmente las variables dependientes e independientes, y no en si la evaluación ayuda al desarrollo o juzga los productos terminados.

PRREGUNTA 8. La evaluación intrínseca puede brevemente ser definida como

una valoración de a) El cambio en las actitudes de los estudiantes; b) La planificación de un programa de enseñanza; c) El grado y la intensidad de la motivación del estudiante; d) Los efectos de los instrumentos didácticos en los conocimientos de los

estudiantes.


Respuesta correcta. Debe usted haber seleccionado la “b”. Es la correcta porque la evaluación intrínseca es la evaluación de las cualidades inherentes al tratamiento y no de los resultados conseguidos por medio de la administración de este tratamiento. Respuestas incorrectas a) Es incorrecta porque el “cambio en la actitud del estudiante” es un efecto

producido por un programa, y no una cualidad, como la “orientación investigativa”, del programa que produce el cambio.

c) Es incorrecta por una razón similar. El “grado e intensidad de la motivación del estudiante” es un efecto, no una característica, de un programa de enseñanza.

d) Es incorrecta porque pone el énfasis en los efectos sobre los estudiantes. PREGUNTA 9. Según Scriven, el método evaluativo finalista puro se caracteriza

por su preocupación por a) los resultados del currículo pero no sus metas; b) las metas del currículo pero no sus resultados; c) tanto las metas como los resultados del currículo; d) ni las metas ni los resultados del currículo.

Respuesta correcta. Debe usted haber seleccionado la “a”. Aunque determina si las metas han sido alcanzadas, su principal limitación, según Scriven, es que no juzga si han sido bien alcanzadas. Respuestas incorrectas b) Es errónea en ambos aspectos. La evaluación final no valora las metas, pero sí

los resultados. c) Es errónea porque la evaluación final no valora las metas. d) Es errónea porque la evaluación final sí valora los resultados.

PREGUNTA 10. ¿Cuál de las siguientes afirmaciones distingue más correctamente entre la evaluación sin metas y la evaluación basada en las metas? a) La evaluación sin metas es una evaluación intrínseca, mientras que la evaluación

basada en las metas en los mismo que la evaluación final. b) La evaluación sin metas es subjetiva, mientras que la evaluación basada en las

metas en una evaluación basada en datos.


c) La evaluación sin metas valora todos los efectos independientes de las metas prefijadas, mientras que la evaluación basada en las metas investiga efectos pertenecientes a las metas prefijadas.

d) La evaluación sin metas valora los resultados, los efectos secundarios, los costes, la viabilidad y otros atributos de un instrumento didáctico, independientemente de sus metas, mientras que la evaluación basada en las metas valora la moralidad, la claridad y la importancia de las metas.

Respuesta correcta. Debe usted haber seleccionado la “c”. Según Scriven, la retórica de las metas no debe dictar y limitar la búsqueda de resultados. Respuestas incorrectas a) Es incorrecta porque la evaluación intrínseca y la evaluación final diferencian

entre las variables relativas a las cualidades de un tratamiento y sus efectos; el conocimiento de los conceptos de ambas evaluaciones no ayuda a distinguir entre evaluación sin metas y evaluación basada en las metas.

b) Es incorrecta porque tanto la evaluación sin metas como la evaluación basada en las metas están basadas en datos y suponen el desarrollo de conclusiones subjetivas.

d) Es incorrecta porque tanto la evaluación sin metas como la evaluación basada en las metas valoran los resultados.

PREGUNTA 11. ¿Cuál de las siguientes afirmaciones no es una parte de la base

lógica de Scriven para la utilización de la evaluación sin metas? a) La evaluación basada en las metas es incapaz de producir resultados evaluativos

sólidos y útiles, y debe ser reemplazada por una estrategia evaluativa más efectiva.

b) Los evaluadores sin metas pueden descubrir resultados significativos que, por lo general, no descubren los evaluadores que se basan en las metas.

c) Con tal de que los evaluadores determinen los resultados positivos y negativos de un proyecto, no es necesario que valoren particularmente si las metas prefijadas han sido alcanzadas.

d) Al concentrarse en comprobar si los objetivos fijados han sido alcanzados, los evaluadores pueden ser insensibles a los efectos más significativos, que no estén relacionados con los objetivos fijados.

Respuesta correcta. Debe usted haber seleccionado la “a”. La base lógica de las evaluaciones sin metas no consiste en reemplazar a las evaluaciones basadas en las metas. Por el contrario, Scriven cree que las evaluaciones basadas


en las metas deben seguir desempeñando una función. Pero piensa que los resultados de las evaluaciones sin metas pueden añadir una información útil y única a la que ya producen las evaluaciones basadas en las metas.

Respuestas incorrectas b) Una parte de la base lógica de Scriven para la evaluación sin metas es que ésta

complementa los datos proporcionados por la evaluación basada en las metas. c) Otra parte de la base lógica para la evaluación sin metas es que no conocer las

metas de un programa no es ningún impedimento con tal que el evaluador investigue sistemáticamente todos los efectos importantes de un programa.

d) Una parte más de la base lógica de la evaluación sin metas es que Scriven ha afirmado que conocer las metas de un programa puede ser un impedimento, puesto que este conocimiento provoca que el evaluador se concentre en los resultados relacionados con los objetivos, dejando de lado otro tipo de resultados.

PREGUNTA 12. ¿Cuál de las siguientes afirmaciones explica mejor el significado

de los efectos secundarios en el contexto de la evaluación sin metas? a) En la evaluación sin metas, los efectos secundarios son la principal preocupación,

porque la evaluación basada en las metas proporcionará un profundo análisis del efecto principal.

b) Las evaluaciones sin metas no se preocupan por los efectos secundarios porque son cualidades intrínsecas del instrumento didáctico y no una preocupación propia de la evaluación destinada a identificar y valorar los resultados.

c) En la evaluación sin metas, los efectos secundarios son los efectos producidos por la información evaluativa acerca del comportamiento de las audiencias para los resultados evaluativos.

d) En la evaluación sin metas, no existen efectos secundarios porque todos los efectos, y no sólo los relacionados con las metas fijadas, son de primerísima importancia.

Respuesta correcta. Debe usted haber seleccionado la “d”. No existe preocupación por valorar los efectos secundarios porque, desde el principio de la evaluación, todas las variables de los resultados, y no sólo las relacionadas con las metas fijadas, son igualmente importantes.


Respuestas incorrectas a) Es incorrecta porque en la evaluación sin metas no hay distinción entre los

efectos secundarios y los efectos principales. b) Es incorrecta porque contiene una definición incorrecta de los efectos

secundarios. c) Es incorrecta porque también está basada en una definición impropia de los

efectos secundarios. PREGUNTA 13. ¿Cuál de las siguientes afirmaciones es más coherente con la

base lógica de Scriven para la metaevaluación? a) El principal trabajo de la evaluación debe ser conseguir una especie de

inmunidad evaluativa, porque la amenaza o el hecho de evaluar un servicio influye inevitablemente en la conceptualización y distribución del servicio, y porque esta influencia puede conducir inevitablemente a unos resultados evaluativos tendenciosos.

b) Dado que la evaluación se aplica a los procesos y productos de todo esfuerzo humano, debe aplicarse también a sí misma.

c) La evaluación formal debe ser cuidadosamente planificada, y la metaevaluación es el término introducido por Scriven para referirse al trabajo que supone planificar las evaluaciones.

d) La metaevaluación es un importante medio de incrementar las inversiones y fondos de la evaluación y así aumentar las oportunidades evaluativas de preparación laboral.

Respuesta correcta. Debe usted haber escogido la “b”. Dado que la evaluación es una actividad concebida para ayudar a mejorar las condiciones humanas y dado que todas estas actividades, por definición, deben ser evaluadas, la propia evaluación también debe ser evaluada.

Respuestas incorrectas a) Es incorrecta porque, por el contrario, las metaevaluaciones, cuando están

adecuadamente conceptualizadas y realizadas, deben, según Scriven, conducir a una evaluación mejor.

c) Es incorrecta porque las metaevaluaciones están concebidas para valorar todos los aspectos de la evaluación, no sólo los planes evaluativos.

d) Es incorrecta porque, por el contrario, las metaevaluaciones están concebidas para, entre otras cosas, eliminar las prácticas evaluativas demasiado costosas.


PREGUNTA 14. ¿Cuál de las siguientes afirmaciones es la mejor base lógica para la lista de control de indicadores de la evaluación? a) La evaluación es el proceso de formular y ejecutar una secuencia de

experimentos críticos comparativos que conduzcan al conocimiento de ciertos fenómenos, como por ejemplo que los resultados de acciones específicas son predecibles.

b) La evaluación es un proceso de reducción de datos que supone caracterizar un proyecto y sintetizar un juicio respecto al valor global del programa.

c) La evaluación sirve de guía para un proyecto a través de cinco etapas de desarrollo, mediante la valoración y presentación de las discrepancias entre el trabajo y las normas en cada una de las etapas.

d) La evaluación supone la comparación progresiva de los antecedentes prefijados y reales de un programa, las transacciones y los resultados.

Respuesta correcta. Debe usted haber seleccionado la “b”. Scriven contempla la evaluación como un proceso sistemático que supone la caracterización y valoración de un proyecto. Esencialmente, los evaluadores recopilan y analizan amplias series de datos a través de una amplia gama de puntos, y luego sintetizan los datos para que pueda ser emitido un juicio global de valor. Respuestas incorrectas a) Es incorrecta porque se refiere a la base lógica para la experimentación

programática y no para la lista de control de indicadores de la evaluación. c) Es incorrecta porque es más la base racional para el modelo evaluativo de

Provus que para la lista de control de indicadores de la evaluación. d) Es incorrecta porque se refiere al método evaluativo de la figura de Stake y no

proporciona una base lógica válida para la lista de control de indicadores de la evaluación.

PREGUNTA 15. ¿Cuál de las siguientes afirmaciones explica mejor la relación

entre la concepción formativa-sumativa de Scriven y su lista de control de indicadores? a) Los puntos de la lista de control de indicadores de la evolución son tanto

formativos como sumativos. b) Los primeros siete punto – las etapas caracterizadoras – son formativos; los

once últimos corresponden a la evaluación sumativa, puesto que se refieren a la validez.


c) La lista de control de indicadores es un modelo evaluativo sumativo. d) La lista de control de indicadores es un modelo evaluativo formativo,

básicamente. Respuesta correcta. Debe usted haber seleccionado la “a”. El último ciclo de

las 18 etapas corresponde a la evaluación sumativa, mientras que los ciclos anteriores constituyen la evaluación formativa. Respuestas incorrectas b) Es incorrecta porque Scriven no identifica la caracterización y validación de las

etapas con las evaluaciones formativa y sumativa. c) y (d) Son incorrectas porque la lista de control de indicadores de la evaluación es

tanto formativa como sumativa. PREGUNTA 16. ¿Cuál de las siguientes afirmaciones explica mejor la relación

entre la concepción de la evaluación sin metas de Scriven y su lista de control? a) La evaluación sin metas y la lista de control de indicadores de la evolución son

dos estrategias evaluativas diferentes pero complementarias. b) La lista de control de indicadores de la evaluación explica las etapas que seguirse

al realizar una evaluación sin metas. c) La lista de control de indicadores de la evaluación es un modelo del proceso de

desarrollo, mientras que la evaluación sin metas es un modelo del proceso evaluativo.

d) La evaluación sin metas es una estrategia metodológica apropiada para ser empleada en una amplia comprobación de las consecuencias del programa.

Respuesta correcta. Debe usted haber seleccionado la “d”. Esta explicación de la relación entre la evaluación sin metas y la lista de control de indicadores es correcta porque la evaluación sin metas es una estrategia metodológica que comprueba todas las consecuencias del programa, y porque el punto 11 de la lista de control de indicadores pide una amplia comprobación de las consecuencias. Respuestas incorrectas a) Es incorrecta porque la lista de control de indicadores es un método evaluativo

global que incluye estrategias como la evaluación sin metas.


b) Es incorrecta porque la lista de control de indicadores no es una explicación de la evaluación sin metas.

c) Es incorrecta porque la lista de control de indicadores modela la evaluación y no el desarrollo, y porque la evaluación sin metas no es un modelo evaluativo sino una particular estrategia metodológica.

PREGUNTAS 17 A 21. Para cada afirmación de los números 17-21, seleccione, de la lista que le proporcionamos, la ideología apropiada. Base sus elecciones en su comprensión del análisis de Scriven. Realice sus elecciones escribiendo la letra correspondiente a la ideología seleccionada en el espacio que hay a la izquierda de cada afirmación numerada. A. Ideología separatista. B. Ideología positivista C. Ideología administrativa. D. Ideología relativista.

— 17. Se opone a la proposición de que un profesor puede evaluar su propio trabajo provechosa y justificadamente.

— 18. Se refiere erróneamente a la dificultad de describir algo total y exactamente como base para negar su existencia en alguna forma objetivamente identificable.

— 19. Limita la evaluación a enfrentarse sólo a aquellas cuestiones sancionadas por las personas que tienen autoridad sobre el programa.

— 20. Rechaza la naturaleza evaluativa de la ciencia.

— 21. Se inclina a favor de los informes que demuestran que se han alcanzado las metas.

Respuestas correctas. Debe usted haber respondido como sigue, por las razones proporcionadas: A 17. La ideología separatista rechaza la naturaleza autorreferente de la

evaluación y exige que el trabajo de los profesores sea evaluado por un agente externo.

D 18. Según Scriven, los relativistas no sólo recomiendan la descripción múltiple de un objeto desde distintos puntos de vista (lo cual también recomienda Scriven), sino que se equivocan al pedir una conexión causal entre su afirmación de que no existe una realidad objetiva y la dificultad de eliminar la variabilidad en la descripción de una sola cosa.

C 19. Esto pertenece claramente a la ideología administrativa, puesto


que dice que es el administrador de un programa quien debe decidir cómo hay que valorarlo: por lo general, sólo según las metas del administrador y no según las necesidades del consumidor, ni refiriéndose al estilo y forma de trabajar del administrador.

B 20. Según Scriven, los positivistas lógicos se guían por una concepción sin valores de las ciencias sociales, en general, y de la evaluación, en particular.

C 21. Esto, de nuevo, pertenece a la ideología administrativa, aunque concentrase en identificar y valorar sólo aquellos resultados pertenecientes a las metas del administrador es congruente con la postura positivista que los evaluadores deben evitar interponiendo valores de su elección en sus trabajos evaluativos.

CALIFICACIÓN DEL TEST DE CONOCIMIENTOS. Ahora que ha completado el test de

conocimientos sobre el trabajo de Scriven cuente el número de respuestas correctas. Si contabiliza 16 o más, ha demostrado usted un conocimiento básico de la filosofía y los conceptos evaluativos de Scriven. De este modo, está ya preparado para abordar los ejercicios prácticos del apartado siguiente. Si contabiliza de 11 a 15, demuestra conocer un poco las ideas de Scriven, pero probablemente le sería beneficioso revisar el material anterior. Si contabiliza menos de 11 y aún no comprende por qué, antes de pasar al siguiente apartado debe estudiar de nuevo todo el material didáctico de la unidad.

Ejercicios prácticos Este apartado contiene dos ejercicios prácticos destinados a demostrar si ha

comprendido las premisas y los conceptos básicos del método evaluativo formativo- sumativo de Scriven. Responda a las preguntas en hojas de papel separadas. Tras cada ejercicio hay una lista de puntos que debe usted haber incluido en su respuesta. Realice el primer ejercicio antes de empezar el segundo. Acuda, tan a menudo como sea necesario, a las lecturas recomendadas y a las claves contenidas en el test de conocimientos previo.

EJERCICIO 1. Explique lo que quiere Scriven en la siguiente cita: “La evaluación formativa es una parte necesaria de cualquier método racional para la producción de buenos resultados en la evaluación sumativa, pero la pregunta de si deben emplearse, y cómo, evaluadores profesionales depende mucho de si va a ser el remedio que la enfermedad”.


Las respuestas al ejercicio 1 deben presentar y desarrollar los siguientes puntos: a) El éxito de los trabajos de desarrollo depende de la información que proporcione

continuamente la evaluación formativa. b) Las evaluaciones sumativas, al juzgar el éxito de los trabajos de desarrollo ya

completados, reflejan si la evaluación formativa ha supuesto una guía para conducir los esfuerzos hacia una feliz conclusión.

c) Generalmente, los evaluadores profesionales son para realizar evaluaciones formativas que sean efectivas.

d) Sin embargo, los evaluadores profesionales, cuando intervienen demasiado pronto en los trabajos de desarrollo, pueden ahogar la creatividad y perder su objetividad.

e) De ahí que los evaluadores profesionales sean necesarios para realizar las evaluaciones formativas, pero dado que puede hacer más mal que bien en las primeras etapas de los proyectos, es mejor hacer por uno mismo la evaluación formativa de estas primeras etapas y emplear un evaluador profesional para desempeñar este papel cuando el proyecto ya haya desarrollado un mínimo de estabilidad.

EJERCICIO 2. Suponga que planea evaluar el programa de un grupo de

profesores utilizando la lista de control de indicadores. Resuma las etapas que debe seguir. Las respuestas al ejercicio 2 deben incluir aproximadamente los siguientes puntos: a) Caracterizar tan objetivamente como sea posible la naturaleza del programa que

se va a evaluar. b) Clarificar las audiencias de los resultados evaluativos, incluyendo a quien haya

encargado la evaluación y a otros grupos interesados, especialmente estudiantes, administradores y profesores.

c) Examinar los antecedentes de la necesidad de la evaluación y clarificar las cuestiones que deben ser respondidas.

d) Inventariar los recursos financieros y de otro tipo que están disponibles para apoyar el desarrollo, mantenimiento y evaluación del programa.

e) Realizar un análisis funcional del equipo de profesores tal y como operan realmente los profesores y los estudiantes mientras participan en el programa.

f) Analizar lo que hace el distrito escolar para asegurar que el programa se lleva a cabo adecuadamente en lo que se refiere, por ejemplo, a la orientación


y preparación de los estudiantes, la puesta al día de los planes del programa y el control y perfeccionamiento de la realización.

g) Examinar cuidadosamente lo que los estudiantes utilizan y aprovechan realmente de los aspectos del programa.

h) Valorar las necesidades de los estudiantes y profesores que puedan ser satisfechas mediante un método de equipo didáctico.

i) Identificar las normas que puede haber desarrollado la profesión educativa para valorar este tipo de programas; descubrir también otras normas de valoración mediante el análisis de las funciones y metas del programa; y, en general, determinar y valorar los criterios de mérito y los argumentos filosóficos correspondientes al programa en cuestión.

j) Examinar el proceso de realización para saber qué limitaciones existen en la operación normal del programa y ayudar a discernir las partes del plan del programa que no son viables en las actuales circunstancias o posiblemente factibles sólo allí.

k) Comprobar ampliamente todos los efectos del programa. l) Examinar la posibilidad y conveniencia de exportar el método a otras situaciones

escolares. m) Valorar los distintos costes financieros, psicológicos o de otro tipo, referentes al

programa en cuestión. n) Identificar y valorar los competidores críticos del equipo de profesores. o) Validar y sintetizar toda la información obtenida. p) Extraer conclusiones y recomendaciones respecto a la utilización futura del

programa en su marco y en otra parte. q) Realizar una evaluación del trabajo evaluativo y utilizar la primera evaluación

tanto para perfeccionar como para informar a las audiencias acerca de sus virtudes y defectos.

Preguntas sin respuesta En el test de conocimiento, se le ha tratado casi como a un niño. En el test

práctico ha debido realizar un trabajo mayor y le hemos ayudado menos en la valoración de sus respuestas. En esta sección deberá arreglárselas totalmente solo. Este apartado presenta muchas preguntas, pero ninguna respuesta. Las preguntas son importantes. A menudo son complicadas. Incluso si recurre a las autoridades en la materia, comprobará que algunas de estas preguntas son polémicas. De ahí que , a la manera de un verdadero evaluador estilo Scriven, debe usted formular sus propios juicios, esto es, desarrollar y estar preparado para justificar sus propias respuestas a las preguntas.


Con este espíritu, le invitamos a considerar y responder las siguientes preguntas. Escriba sus respuestas por separado para poder disponer de ellas en sus discusiones con otros. 1. ¿Toda evaluación es comparativa? ¿Por qué o por qué no? 2. La evaluación formativa y la evaluación sumativa, ¿son conceptos distintos

conceptual y operativamente? ¿Por qué o por qué no? Justifique su respuesta con algunos ejemplos.

3. Si un evaluador juzga un programa en un momento determinado, ¿perderá su independencia y objetividad respecto a evaluaciones futuras del programa? ¿Por qué o por qué no? Si es así, ¿debe un evaluador dar por finalizada su relación con un programa cuando ya ha proporcionado su juicio? Si no, ¿cómo puede el evaluador evitar convertirse en un cooperante del personal de un programa que se somete a sus juicios y recomendaciones iniciales?

4. Describa un programa estival de preparación para profesores de segundo grado que trabajen en escuelas con un gran número de niños poco aventajados. Según la conceptualización de la evaluación de Scriven, explique cómo evaluaría usted el programa.

5. Ahora, evalué algún programa, proyecto o producto que le sea familiar, según el método evaluativo de Scriven. Describa lo que está evaluando. Resuma su planificación para evaluarlo. Luego presente sus resultados evaluativos.

6. Como tarea final, evalúe esta unidad según el método evaluativo de Scriven.

Referencias bibliográficas CRONBACH, L. J. “Course improvement through evaluation”. Teacher´s College

Record, 64, págs. 672-683. Joint Committee on Standards for Educational Evaluation. 1981. Standars for

evaluations of educational programs, projects, and materials, Nueva York, McGraw-Hill.

SCRIVEN, MICHAEL. 1967. The methodology of evaluation. En Perspectives on Curriculum, Evaluation (AERA Monograph Series on Curriculum Evaluation, n. 1). Chicago, Rand McNally.

— 1974. Pros and cons about goal-free evaluation. Evaluation Comment, 3, páginas 1-4.

— 1975. Evaluation bias and its control. Occasional Paper Series, n. 4, Western Michigan University, Evaluation Center.

— 1983. Evaluation ideologies. En MADAUS, SCRIVEN, Y STUFFLEBEAM, Evaluation models, Boston, Kluwer-Nijhoff.

metodo scriven

Documents

Transcript of metodo scriven