(PAGINA DE RESPETO EN BLANCO) - | fmrizo.net 18 1996 Calidad... · 2017-02-01 · En 1983, en...
166
LA CALIDAD DE LA EDUCACION EN AGUASCALIENTES. DISEÑO DE UN SISTEMA DE MONITOREO.
Transcript of (PAGINA DE RESPETO EN BLANCO) - | fmrizo.net 18 1996 Calidad... · 2017-02-01 · En 1983, en...
LA CALIDAD DE LA EDUCACION EN AGUASCALIENTES.
DISEÑO DE UN SISTEMA DE MONITOREO.
DIRECTORIO
UNIVERSIDAD AUTONOMA DE AGUASCALIENTES
RECTOR
Lic. Soc. Felipe Martínez Rizo
DECANO DEL CENTRO DE ARTES Y HUMANIDADES
Mtro. Bonifacio Barba Casillas
JEFE DEL DEPARTAMENTO DE EDUCACION
Mtra. Ma. Dolores Ramírez Gordillo
INSTITUTO DE EDUCACION DE AGUASCALIENTES
DIRECTOR GENERAL
Lic. Jesús Álvarez Gutiérrez
SRIA. TECNICA DEL CONS. ESTATAL TECNICO DE LA EDUCACION
Mtra. Margarita Ma. Zorrilla Fierro
LA CALIDAD DE LA EDUCACION EN AGUASCALIENTES.
DISEÑO DE UN SISTEMA DE MONITOREO.
Felipe Martínez Rizo.
UNIVERSIDAD INSTITUTO DE
AUTONOMA DE EDUCACIÓN DE
AGUASCALIENTES AGUASCALIENTES
LA CALIDAD DE LA EDUCACION EN AGUASCALIENTES.
Diseño de un sistema de monitoreo.
Felipe Martínez Rizo
UNIVERSIDAD AUTONOMA DE AGUASCALIENTES
Primera Edición 1996
La presentación y disposición en conjunto y de cada
página de esta obra son propiedad del editor. Queda
prohibida su reproducción parcial o total por
cualquier sistema mecánico, electrónico u otro, sin
autorización escrita.
Impreso en México
ISBN 968-
Esta obra es producto de un proyecto realizado con el
apoyo de la Secretaría de Educación Pública, a través
de la Subsecretaría de Coordinación y Planeación.
C O N T E N I D O
INTRODUCCIÓN.
CAPÍTULO 1. JUSTIFICACIÓN Y FUNDAMENTOS.
CAPÍTULO 2. REVISIÓN DE LITERATURA.
CAPÍTULO 3. DISEÑO DEL SISTEMA.
CONCLUSIÓN.
INTRODUCCIÓN
ANTECEDENTES.
Desde mediados de la década de los años 70, académicos de
la Universidad Autónoma de Aguascalientes comenzaron a
desarrollar trabajos de investigación sobre diversos temas
educativos. Desde principios de los 80 esas actividades se
organizaron formalmente en un Programa de Investigación
Educativa que se ha consolidado y ha adquirido prestigio. Con
una Maestría y un Doctorado en el Padrón de Posgrados de
Excelencia del CONACYT y una de las mejores infraestructuras
bibliohemerográficas sobre educación a nivel nacional, el grupo
de la UAA ocupa ya un lugar destacado entre quienes se interesan
por la educación en el país. (cfr. Martínez Rizo F., 1992)
Inicialmente los trabajos del grupo de la UAA se referían
principalmente a la educación superior, en relación con la
planeación de la propia institución. Pronto comenzó también a
desarrollarse una línea sobre los niveles educativos básicos, en
colaboración con las autoridades del sistema estatal.
En 1983, en colaboración con la Delegación de la SEP en el
Estado de Aguascalientes, el grupo llevó a cabo un importante
trabajo de Diagnóstico de la Educación Básica que incluyó, entre
otras cosas, la aplicación de pruebas de conocimiento en
aspectos de lectura, aritmética, ciencias naturales y ciencias
sociales, a una muestra de unos 3,000 niños de 2º, 4º y 6º
grados de primaria y a más de 1,000 de secundaria, además de
otra muestra de 2,000 niños de 1º y 6º grados de primaria a los
que se aplicaron instrumentos diseñados ex profeso para un
estudio sobre los aspectos valorales de la educación básica.
(cfr. Martínez Rizo F., Ma. Elena Escalera et al., 1990)
Tras la firma del Acuerdo Nacional para la Modernización de
la Educación (mayo 1992), el gobierno federal (SEP) transfirió
al del Estado la totalidad de su sistema de educación básica y
normal, para cuyo manejo se constituyó primero el Instituto de
Educación Básica y Normal que luego, a principios de 1993, se
transformó en el Instituto de Educación de Aguascalientes (IEA).
La descentralización que permitió el Acuerdo de 1992 creó
condiciones para un manejo autónomo de los sistemas educativos
estatales, si bien el mayor o menor dinamismo con que tales
sistemas funcionen depende de las circunstancias concretas de
cada uno. En Aguascalientes el Instituto de Educación ha asumido
su papel de autoridad educativa estatal de manera muy activa,
destacando entre las entidades federativas en ese sentido.
El dinamismo del Instituto se ha manifestado en diversos
aspectos, incluyendo la modificación de las zonas escolares, la
integración de equipos de supervisión y otros. Especialmente
importante ha sido su apoyo a las actividades de investigación
y, en concreto, de evaluación.
En 1993 y 1994 se llevaron a cabo varios importantes
trabajos en este sentido: por una parte, y en colaboración con
el Centro de Estudios Educativos (CEE) de la ciudad de México,
el grupo de la UAA realizó para el IEA un diagnóstico del
sistema estatal de educación básica a partir de una base de
datos estadísticos muy rica y utilizando un esquema de
indicadores de equidad y eficiencia desarrollado por el CEE
(cfr. Martínez Rizo et al., 1994). Se levantó también un censo
de todos los planteles de nivel preescolar, de primaria y de
secundaria, con entrevistas a sus directores y visitas directas,
incluyendo a instituciones públicas y privadas, urbanas y
rurales. Se obtuvo información sobre las instalaciones y el
equipamiento de las escuelas y su estado de conservación. En
tercer lugar, se hizo una réplica de una parte del trabajo de
1983, con la aplicación de pruebas de conocimientos básicos a
una muestra de 3,000 niños de primaria de todo el Estado. (cfr.
Martínez Rizo F., Guadalupe Ruiz C. et al. 1994)
El diagnóstico hecho con el CEE en 1993 implicó, al mismo
tiempo, la constitución de un cuerpo técnico especializado, en
el seno del Instituto, para que se hiciera cargo de las tareas
de investigación, evaluación e innovación en el sistema estatal
de educación. Ese cuerpo se constituyó como Secretaría Técnica
del Consejo Estatal Técnico de la Educación (CETE) y ha
trabajado en forma muy productiva en diversas actividades,
incluyendo muy especialmente la continuación de los trabajos de
diagnóstico de indicadores de eficiencia a nivel de Zonas de
Educación Básica y de escuela, trabajando con los equipos de
supervisión y los directores y desarrollando una metodología
especial para tal propósito.
Sin embargo, evaluar de manera rigurosa, acorde con los
estándares científicos internacionales, la calidad de un sistema
como el de Aguascalientes, con cerca de 250,000 alumnos de
preescolar, primaria y secundaria, no es una tarea sencilla que
pueda desarrollarse paralelamente a las actividades habituales
del personal docente o del que se dedica a la administración del
propio sistema. Por el contrario, una condición indispensable
para la realización de una tarea así, es que sea llevada a cabo
por un equipo muy calificado técnicamente. Y si lo que se quiere
no es una evaluación aislada o esporádica, sino un sistema
permanente y continuo, será necesario contar con una capacidad
instalada igualmente estable o permanente.
El primer paso para el desarrollo de esa capacidad
instalada es un diseño adecuado del sistema de evaluación en su
conjunto, de suerte que se pueda visualizar con precisión el
tipo de actividades que deberán desarrollarse y pueda derivarse
de ello una estimación igualmente precisa del tipo y la cantidad
de recursos humanos y materiales que se requerirán para su
desarrollo.
Por otra parte, y en relación con los cambios en el
contexto económico y político internacional, en los últimos 10 o
20 años el tema de la calidad de la educación básica y, por
ende, el de su evaluación, han adquirido tal relevancia en la
mayor parte de los países desarrollados y en un creciente número
de los del llamado tercer mundo, que han surgido sistemas,
metodologías e instituciones especializadas que tienen ya
experiencias muy importantes, así como una abundante literatura
que da cuenta de esas experiencias.
El diseño de un sistema para el Estado de Aguascalientes no
puede ignorar esos antecedentes, sino que debe partir de ellos,
para lo que se requiere de un trabajo de revisión bibliográfica
y de contactos con instituciones y grupos variados.
Por todo lo anterior, el IEA estuvo de acuerdo con la idea
de desarrollar un sistema de carácter permanente y concepción
integral para evaluar la calidad de la educación básica en el
Estado y apoyó una solicitud que el grupo de la UAA presentó al
Consejo Nacional de Ciencia y Tecnología (CONACYT) para el
diseño de un sistema de esa naturaleza, incluyendo un componente
de pruebas de conocimientos y otro de indicadores. El CONACYT
aprobó el proyecto y concedió un apoyo parcial para su
realización en septiembre de 1994.
Considerando que el proyecto era importante y que sus
resultados podrían aprovecharse no sólo en Aguascalientes, sino
en otros estados y a escala nacional, y que para desarrollarse
en toda su amplitud requeriría de recursos humanos y materiales
considerables y de un período de tiempo amplio, en noviembre de
1994 la SEP firmó un convenio con la UAA por un lapso de 5 años,
para el desarrollo de un Programa de Investigaciones sobre la
Evaluación de los Aprendizajes y de la Calidad de la Educación
Básica (PIEACEB).
Durante el año de 1995 se desarrolló la primera etapa del
Programa en cuestión. Gracias a los apoyos obtenidos fue posible
visitar instituciones de varios países y adquirir bibliografía
especializada. En España se visitó el Instituto Nacional de
Calidad y Evaluación y se estableció contacto con investigadores
que trabajan sobre evaluación educativa en las Universidades
Complutense de Madrid, Central de Barcelona y Literaria de
Valencia.
En París se visitó el Instituto Internacional de Planeación
de la Educación (IIPE) de la UNESCO, para conocer la experiencia
del Southern Africa Consortium for the Monitoring of Educational
Quality (SACMEQ) y consultar la biblioteca de la institución,
altamente especializada en temas relacionados con la evaluación
educativa; se visitó también la Organización para la Cooperación
y el Desarrollo Económico (OCDE) y, en particular, su Center for
Educational Research and Innovation (CERI), para obtener
información y materiales sobre el proyecto de indicadores
educativos internacionales, Indicators of National Education
Systems (INES) y sobre los trabajos de evaluación de centros
escolares. En Holanda se visitó el Instituto Nacional de
Medición Educativa, conocido por sus iniciales en holandés,
CITO.
Los materiales adquiridos se revisaron durante los meses de
junio y julio y, con ellos y otros previamente elaborados, en
particular el documento de fundamentación de la solicitud
presentada al CONACYT, se redactó la primera versión del diseño
conceptual del sistema integral de evaluación, que fue sometida
a discusión en un seminario celebrado los días 11 y 12 de
septiembre.
Con las observaciones recibidas en ese seminario se preparó
una segunda versión que se sometió a la consideración de un
grupo más amplio, incluyendo a expertos nacionales e
internacionales y personal de la Coordinación de Asesores del
Secretario de Educación, la Subsecretarías de Planeación y
Coordinación Educativas y de Educación Superior e Investigación
Científica y el Centro Nacional de Evaluación (CENEVAL), en un
seminario que tuvo lugar en la ciudad de México los días 30 y 31
de octubre.
En diciembre de 95 el Instituto de Educación de
Aguascalientes solicitó a la Secretaría de Educación Pública su
apoyo para la puesta en marcha de un sistema integral de
evaluación del sistema estatal de educación básica, con base en
el estudio del que se viene hablando. Gracias a la respuesta
favorable de la Secretaría el sistema se puso en marcha a
principios de 1996.
A principios de este mismo año cinco universidades que han
venido realizando trabajos en el campo de la evaluación
educativa (la Universidad Nacional Autónoma de México, a través
de la Escuela Nacional de Estudios Profesionales de Iztacala, la
Autónoma de Baja California, la de las Américas-Puebla, la
Anáhuac y la Autónoma de Aguascalientes, por iniciativa de ésta
última) presentaron a la SEP un proyecto más, éste para la
constitución de un Consorcio Universitario que, de ser aprobado,
asumirá la tarea de elaborar, validar y estandarizar pruebas de
alta calidad técnica para la evaluación de los aprendizajes en
todas las áreas y materias de la educación básica.
PANORAMICA DE LA OBRA.
Como su nombre indica, el texto contiene el diseño de un
sistema de evaluación de la calidad de la educación básica. El
documento comprende tres capítulos, como sigue:
CAP. 1. JUSTIFICACIÓN Y FUNDAMENTOS: Estos aspectos se
desarrollan a partir de los planteamientos básicos de
política educativa a nivel internacional y nacional, así
como en los recientes planteamientos hechos localmente en
el Estado de Aguascalientes, a raíz de la federalización de
la educación básica.
CAP. 2. REVISIÓN DE LITERATURA: Es la parte más extensa y cubre
las experiencias más importantes sobre el tema, tanto de
países avanzados como en vías de desarrollo y de agencias
internacionales, que proporcionaron las ideas para las
propuestas.
CAP. 3. DISEÑO DEL SISTEMA: Partiendo de un concepto integral de
la calidad educativa, y teniendo en cuenta las experiencias
recogidas en la revisión de literatura, se esbozan los
grandes componentes estructurales del SISTEMA ESTATAL DE
EVALUACION que se propone.
El documento original contenía otros elementos, que han
dado lugar a documentos independientes: los ya mencionados, que
se han presentado a las autoridades competentes buscando los
apoyos necesarios para su implementación, con propuestas
detalladas para la creación del organismo estatal de evaluación
y del consorcio de universidades, así como una ubicación del
conjunto de la propuesta en una perspectiva nacional, en la que
la SEP cumpliría el papel normativo, evaluatorio y compensatorio
que le asigna la Ley General de Educación en apoyo de los
Estados de la República, mientras que en cada uno de ellos
existiría un sistema estatal de evaluación.
AGRADECIMIENTOS.
Del gran número de personas que han aportado elementos
valiosos a este trabajo, y esperando no cometer injusticias, me
permito manifestar expresamente mi agradecimiento a las
siguientes:
Del grupo de trabajo de la Universidad Autónoma de
Aguascalientes, a Guadalupe Ruiz y Victoria E. Gutierrez.
Del equipo del Consejo Estatal Técnico de la Educación, a
Margarita Ma. Zorrilla, Marisela Márquez y Pilar González.
De los expertos que participaron en los seminarios de discusión
de las versiones anteriores del texto, a Silvia Schmelkes,
Pablo Latapí, Jesús Jornet, Eduardo Backhoff, Javier
Loredo, León Garduño, Felipe Tirado, Andres Sánchez, Rafael
Vidal, Sofía Leticia Morales y Ricardo Mercado.
Creo expresar la opinión de todos ellos diciendo que
esperamos que este trabajo permita la puesta en marcha de varios
mecanismos que operen con estándares de rigor internacional y
que, en conjunto, constituyan una aportación valiosa para la
calidad de la educación básica de Aguascalientes y de México.
Felipe Martínez Rizo.
Universidad Autónoma de Aguascalientes.
Abril de 1996.
REFERENCIAS BIBLIOGRAFICAS.
MARTINEZ RIZO F., MA. E. ESCALERA et al. (1990) La educación
básica en México. Diagnóstico de la educación básica en
Aguascalientes 1983. México. SEP-CONALTE.
MARTINEZ RIZO F. (1992) La investigación educativa en la UAA. La
construcción de una tradición. Aguascalientes. UAA.
MARTINEZ RIZO F. et al. (1994). La educación básica en
Aguascalientes. Diagnóstico de indicadores de eficiencia y
equidad. Aguascalientes. Instituto de Educación de Ags.
MARTINEZ RIZO F., GUADALUPE RUIZ C. et al. (1994) Evaluación de
la calidad de la educación básica en el Estado de
Aguascalientes. Aguascalientes. UAA. Mimeo.
CAPITULO 1.
JUSTIFICACION Y FUNDAMENTOS
1. JUSTIFICACION.
1.1 Las deficiencias de las estadísticas
educativas.
1.2 El interés por la calidad y su evaluación.
2. FUNDAMENTOS DE POLITICA EDUCATIVA.
2.1 Los planteamientos internacionales.
2.2 Los planteamientos nacionales.
2.3 Los planeamientos estatales.
CONCLUSION.
Jamás habrá un momento mejor para renovar el
compromiso imprescindible y a largo plazo de
satisfacer las necesidades de aprendizaje
básico de todos los niños, jóvenes y
adultos.
Este esfuerzo requerirá, en materia de
educación básica y capacitación, de una
inversión de recursos mayor y más racional
que nunca, pero los beneficios empezarán a
experimentarse inmediatamente y se ampliarán
en el futuro, hasta que los grandes
problemas mundiales de hoy se resuelvan, en
buena medida gracias a la determinación y a
la perseverancia de la comunidad
internacional en la consecución de la meta
que se ha fijado: la educación para todos.
Declaración Mundial sobre Educación para todos.
Jomtien, Tailandia.
Marzo de 1990.
1. JUSTIFICACION.
1.1 Las deficiencias de las estadísticas educativas.
Los sistemas educativos constituyen unas de las
instituciones más grandes que hay en las sociedades
contemporáneas. Entre una cuarta y una quinta parte de la
población total del planeta, o sea más de 1,000 millones de
personas, recibe los servicios de alguna de los centenares de
miles de escuelas que hay en las poblaciones más apartadas.
En naciones con alta proporción de población joven por
estar en situación de transición demográfica, como es el caso de
México y casi todos los países llamados en vías de desarrollo,
la población atendida por las escuelas de todos los niveles
llega a cerca de una tercera parte del total, como sucede en
nuestro país, en donde más de 25 millones se encuentran en esa
situación.
Para atender a ese número tan grande de alumnos, los
sistemas escolares ocupan a un número proporcional, y por tanto
también muy grande en relación con la población total, de
maestros, directivos, supervisores, funcionarios, empleados
administrativos, etc. Y para manejar eficientemente tan enormes
conjuntos de personas, en los más diversos lugares, con varios
planes de estudio, con numerosos programas particulares de
trabajo, por materia, por grado, etc. se requiere del manejo
ordenado de muchísima información sobre maestros, alumnos,
planteles, recursos, programas, resultados, etc.
Si no se cuenta con buenos sistemas de información las
decisiones se tomarán con base en criterios menos sólidos,
muchas veces por presiones o intereses particulares, o
prolongando simplemente el pasado, pero no considerando
inteligentemente el conjunto y las diversas opciones posibles.
Sin embargo, la existencia de buenos mecanismos de información
sobre los sistemas educativos nacionales constituye una
excepción en el mundo actual, en parte, sin duda, por la
dificultad técnica para desarrollarlos en forma paralela al
enorme crecimiento que experimentaron los sistemas escolares en
todo el mundo en las décadas que siguieron a la 2ª guerra
mundial y hasta la fecha.
En un reciente artículo sobre el tema, J. M. Puryear dice:
...Las estadísticas sobre educación de aproximadamente la
mitad de los estados miembros de la UNESCO, incluyendo a
por lo menos cinco de los nueve países en vías de
desarrollo más grandes, tienen lagunas y debilidades muy
serias. Con mucha frecuencia las bases de datos sobre el
tema carecen de confiabilidad. Aún en los países
industriales avanzados los datos sobre costos y gastos
educativos son muy deficientes. En casi todos los países
los datos sobre analfabetismo no son confiables. Y los
expertos opinan que las estadísticas educativas de 20 o 30
países son un verdadero desastre. (1993:4)
Puryear señala que, si bien muchos países gastan cantidades
muy importantes de sus presupuestos en educación, destinan muy
pocos recursos a las actividades de monitoreo y evaluación, y
añade que, además de los problemas de falta de confiabilidad,
las estadísticas educativas se caracterizan por tener propósitos
muy reducidos y concepciones muy estrechas.
La gran mayoría de los países carece de medidas
sistemáticas sobre los resultados educativos y las evaluaciones
comparativas internacionales son raras. Puryear señala que suele
haber estadísticas mucho mejores sobre cuestiones económicas,
demográficas o de salud, y precisa:
...Las estadísticas educativas existentes tienen un enfoque
muy estrecho. Dejan fuera las medidas de calidad, de
procesos y de productos. Los gobiernos han centrado la
atención en un sólo enfoque, bastante estrecho, para
monitorear sus sistemas educativos -los conteos de tipo
censo- y en un sólo tipo de datos: los relativos a insumos.
Se han concentrado casi enteramente en registrar el número
de profesores, alumnos y edificios en el sistema formal, y
en la importancia del gasto público destinado a la
educación. Casi no han prestado atención a documentar cómo
funcionan las escuelas o qué aprenden los alumnos...
Puryear continúa diciendo que:
Un buen indicador de la existencia de estadísticas
educativas de muy buena calidad, lo constituye la capacidad
de reportar datos sobre la edad de los alumnos, que son
indispensables para calcular tasas netas de matrícula.
Únicamente unos 60 de los 175 estados miembros de la UNESCO
reportan tales datos en forma consistente.
Podemos añadir que México no es uno de esos 60 países y
que, lamentablemente, nuestros sistemas de información sobre
educación no sobresalen por su confiabilidad o calidad. El
estado de Aguascalientes no constituye una excepción a esta
afirmación.
1.2 El interés por la calidad y su evaluación.
El segundo elemento de justificación del trabajo que se
presenta en este documento, es el creciente interés por la
calidad de la educación y, consecuentemente, por su evaluación,
que se observa prácticamente en todos los países y sistemas
educativos importantes, en los últimos 10 o 15 años.
Dado este interés creciente las deficiencias de los
sistemas tradicionales de información estadística, a los que se
refirió el apartado anterior, se perciben cada vez con mayor
claridad y la importancia de corregirlas también.
Ciertamente este tipo de preocupaciones no se limita a los
últimos 15 años. Como se verá en la Segunda Parte, las ha habido
en abundancia anteriormente. Las reformas educativas americanas
de los años 60, tras el impacto que significó el lanzamiento del
Sputnik por la Unión Soviética en 1957, fueron acompañadas por
trabajos de evaluación (minimum competency testing). Los
trabajos más antiguos de investigación educativa, desde mediados
del siglo pasado, consistían precisamente en estudios de tipo
evaluativo sobre la calidad de los aprendizajes.
En los años 60 el gobierno americano promovió el programa
de evaluación a nivel nacional National Assessment of
Educational Progress (NAEP). También desde los 60, la
International Association for Educational Assessment (IEA)
comenzó a realizar estudios evaluativos a escala internacional
con participación de muchos países desarrollados y de algunos
del llamado Tercer Mundo.
La reciente moda de la calidad, sin embargo, parece tener
una amplitud excepcional, que no tuvieron movimientos
anteriores, así como algunas otras peculiaridades.
Con antecedentes en trabajos militares iniciados durante la
2a. Guerra Mundial, y habiéndose desarrollado particularmente en
el Japón desde la década de los 50, con influencia de asesores
norteamericanos, las tendencias actuales de búsqueda de la
calidad fueron retomadas en los Estados Unidos a principios de
los 80. A partir de los medios de la industria y los negocios,
estas tendencias se han difundido en otros ambientes, entre los
que se cuentan los sistemas educativos. Y un aspecto destacado
de estas corrientes es el énfasis que se pone sobre la
importancia de contar con buenos sistemas de evaluación.
La reducción de recursos disponibles para el sector
público, como resultado de la desaceleración económica iniciada
a principios de los 70, marcando el final de la época de rápido
crecimiento que siguió a la 2ª Guerra, explica, junto con otras
complejas razones políticas y culturales, el nuevo énfasis en la
calidad, la competitividad, la eficiencia, la productividad, la
privatización, el adelgazamiento del estado, etc.
Estas tendencias se tradujeron, durante los años 80, en
importantes reducciones en el gasto público en general, y en el
destinado a cuestiones sociales y a educación en particular. En
los países del tercer mundo la crisis de la deuda, a mediados de
la década, hizo particularmente aguda esta tendencia. Sin
embargo, los últimos años de los 80 y los primeros de los 90
están siendo testigos de un nuevo y creciente interés por la
educación.
En los Estados Unidos ésto no es ajeno a la preocupación
por la competencia que las economías europeas en unificación, el
Japón y las nacientes potencias industriales del lejano oriente
representan para la economía americana. Por ello el interés por
la calidad y la eficiencia no ha desaparecido, sino que se
acentúa. La consecuencia resulta lógica: un énfasis en la
evaluación, con la prevalencia de nociones como las que
contienen las expresiones de accountability, performance
budgeting, merit pay, outcomes assessment o total quality
management.
Algunos países europeos han contado desde hace mucho con
mecanismos de control de calidad de corte tradicional, como los
inspectorados y, como se explicará más adelante, casi todos
están desarrollando nuevos sistemas de evaluación. Los países
llamados en vías de desarrollo, lógicamente, no suelen tener
sistemas de evaluación educativa bien organizados. En América
Latina la excepción más clara a esta regla es Chile.
México no podría quedar al margen de estas tendencias tan
universales. En nuestro país los retos de la modernización
también se traducen, poco a poco, en un aumento del interés por
la educación que, junto con la relativa mejoría económica de la
primera mitad de los 90, comenzó a reflejarse en una
recuperación paulatina del gasto público destinado al sector.
Pero, también aquí, el interés por la educación va aunado a la
preocupación por la eficiencia en el uso de los recursos que se
le destinan.
Desde hace tiempo la Dir. Gral. de Evaluación de la SEP
cumple con esa función evaluativa que la federación ha tenido y
conserva, aplicando pruebas de conocimientos a muestras
nacionales de alumnos de educación básica, pero los resultados
se manejan como altamente confidenciales. Últimamente la
Dirección coordina la participación de México, por vez primera,
en uno de los estudios internacionales organizados por la IEA,
el Third International Mathematics & Sciences Study (TIMSS).
Recientemente algunos Estados han comenzado a desarrollar
mecanismos de evaluación. Pueden mencionarse los Estados de
Guanajuato, Coahuila, Chiapas y Nuevo León, además del Distrito
Federal y del Estado de Aguascalientes.
Con todos los elementos mencionados resulta claramente
justificada la decisión de diseñar un sistema de evaluación de
la calidad de la educación básica para el Estado de
Aguascalientes. Al hacerlo el Estado se dotará de un poderoso
instrumento para el mejoramiento de la educación, en una de las
líneas más claras de desarrollo a nivel internacional.
Las dimensiones relativamente pequeñas del sistema
educativo estatal, su grado de desarrollo relativamente
favorable y otras ventajas comparativas hacen que la entidad
ofrezca condiciones que parecen especialmente favorables para el
desarrollo de un sistema de excelente calidad.
2. FUNDAMENTOS DE POLÍTICA EDUCATIVA.
Para entender cabalmente el sentido del Programa de
Investigaciones sobre Evaluación de los Aprendizajes y de la
Calidad de la Educación Básica (PIEACEB) hay que ubicarlo en un
conjunto mayor de esfuerzos: el constituido por la política
educativa de México y de sus entidades federativas, cuya
implementación constituye el objeto del Instituto de Educación
de Aguascalientes.
En las páginas siguientes se presenta una síntesis de los
documentos que constituyen el punto de referencia normativo del
PIEACEB, partiendo de algunos textos internacionales que nos
servirán para ubicar las políticas mexicanas en el contexto
mundial y centrando luego la atención en el artículo 3º
constitucional y la Ley General de Educación. Se utilizan
también los documentos en los que se plasma la política
educativa del ejecutivo estatal de Aguascalientes en el período
1993-1998. Este apartado se basa en un texto preparado
anteriormente, como parte de la fundamentación del Programa
Estatal de Educación 1992-1998. Posteriormente podrán integrarse
elementos del Programa Sectorial de Educación para el período
1995-2000 que, seguramente, mantendrá lo relativo a la
evaluación como un elemento importante de la política educativa
nacional para el sexenio.
2.1 Los planteamientos internacionales.
En marzo de 1990 en Jomtien, Tailandia, se realizó una
conferencia mundial sobre "Educación para Todos", convocada por
la UNESCO, la UNICEF, el Programa de las Naciones Unidas para el
Desarrollo y el Banco Mundial.
La Declaración Mundial sobre Educación para Todos (1990),
resultado de dicha conferencia, tiene gran valor por dos
razones: por una parte, constituye la síntesis más actual de la
política educativa de los organismos internacionales, en el
momento en que se está tomando conciencia aguda de la necesidad
de introducir cambios importantes en los sistemas educativos,
para hacer frente a los retos del próximo milenio en lo que se
refiere a un desarrollo económico y social integral, con equidad
y que no pierda de vista la dimensión ecológica o ambiental. La
segunda razón es que México es uno de los países signatarios de
esa declaración, lo que le confiere valor de documento normativo
para la política educativa nacional.
Para ubicar el documento de Jomtien es importante recordar
brevemente las circunstancias del momento en el que fue
preparado y aprobado, o sea los últimos meses de 1989 y los
primeros de 1990: con la caída del muro de Berlín y el inicio de
la desintegración de la antigua Unión Soviética, esos momentos
han adquirido ya el carácter de momento histórico y parteaguas
en el devenir reciente de la humanidad.
Si bien los múltiples conflictos que se exacerbaron en los
años siguientes han hecho ver que no sólo había razones para ser
optimista en aquel momento, sino que también podían derivarse
problemas importantes de aquellos acontecimientos, es indudable
que el final de la guerra fría ha constituído, y sigue
constituyendo, un momento de gran esperanza para la humanidad.
Por primera vez en mucho tiempo puede pensarse en reorientar los
cuantiosos volúmenes de recursos utilizados hasta ahora para
sostener la demencial carrera armamentista, destinándolos a
propósitos más constructivos, entre los que la educación ocupa
un lugar privilegiado.
Por otra parte, el desarrollo de los grandes países en años
recientes ha mostrado un cambio fundamental en las tendencias
que prevalecieron durante mucho tiempo: conceptos como
globalización de mercados, calidad total, competitividad
internacional, desarrollo ecológicamente sustentable y otros,
han llegado a formar parte de nuestro vocabulario, haciéndonos
caer constantemente en la cuenta de que, para tener un lugar en
el mundo del futuro, los países no podrán seguir basando su
desarrollo en la exportación de materias primas o en la
atracción de capitales mediante los bajos salarios de su mano de
obra, sino que deberán modernizarse, incorporar el desarrollo
científico y tecnológico a su producción industrial, y que para
ello tendrán que extender y mejorar drásticamente las
dimensiones y la calidad de sus sistemas educativos.
Con una actitud nueva, que incorpora elementos del
optimismo que prevaleció en los medios educativos a finales de
los cincuenta y principios de los sesenta, pero de una manera
menos ingenua, al aprovechar también las posturas críticas que
predominaron desde finales de los sesenta hasta finales de los
ochenta, la declaración de Jomtien tiene la virtud de mostrar, a
la vez, la importancia de la educación para el desarrollo futuro
de los países y la necesidad de que el desarrollo educativo no
sea simplemente una ampliación de las tendencias de los decenios
anteriores, sino que incorpore nuevos aspectos, especialmente en
lo que se refiere a las dimensiones de calidad y equidad.
En este momento es ya un lugar común el reconocer que la
gran expansión cuantitativa que tuvieron los sistemas educativos
en todo el mundo --como sucedió también en México y en
Aguascalientes-- junto con otras razones, impidió que esos
sistemas mantuvieran o alcanzaran los niveles de calidad que se
consideran unánimemente como deseables. También se puede
apreciar fácilmente el que también el desarrollo cuantitativo
fue desigual, concentrándose sus beneficios en segmentos
relativamente reducidos y privilegiados de la población, al
tiempo que amplios grupos de la misma quedaban al margen de su
impacto y no se beneficiaban de ella.
Por eso los puntos claves de la declaración establecen como
objetivo la satisfacción de las necesidades de aprendizaje
básico de todas las personas, niños, jóvenes o adultos,
incluyendo "tanto las herramientas esenciales para el
aprendizaje (como la lectura y la escritura, la expresión oral,
el cálculo, la solución de problemas) como los contenidos mismos
del aprendizaje básico (conocimientos teóricos y prácticos,
valores y actitudes) necesarios para que los seres humanos
puedan sobrevivir, desarrollar plenamente sus capacidades, vivir
y trabajar con dignidad, participar plenamente en el desarrollo,
mejorar la calidad de su vida, tomar decisiones fundamentadas y
continuar aprendiendo".
Los artículos III a VII de la declaración precisan que,
para alcanzar ese ideal abstracto de una educación de gran
calidad, no basta con una extensión cuantitativa de lo que se ha
venido haciendo hasta ahora, sino que se necesita lo que el
documento llama una "visión ampliada y un compromiso renovado",
que los artículos precisan indicando que es necesario
universalizar el acceso a la educación y fomentar la equidad,
para modificar las desigualdades y suprimir las discriminaciones
en lo que toca a las posibilidades de aprendizaje de los grupos
desasistidos.
Se señala también que debe centrarse la atención en los
resultados del aprendizaje "en vez de prestar exclusivamente
atención al hecho de matricularse, de participar de forma
continuada en los programas de instrucción y de obtener el
certificado final. Para lo anterior se necesita ampliar el
alcance de la educación básica, extendiéndola desde el
nacimiento hasta la edad adulta, ampliando su cobertura y los
medios a través de los cuales se transmite, y mejorando también
las condiciones del aprendizaje, para lo que hace falta
fortalecer la colaboración entre las distintas instancias y
niveles interesados en el fenómeno educativo. Los artículos
finales se refieren a las condiciones necesarias para lograr lo
anterior, lo que implica el establecimiento de políticas de
apoyo, la movilización de recursos significativos para la
educación, y el fortalecimiento de la solidaridad internacional.
A nivel latinoamericano, y dentro de la tendencia de la que
la declaración de Jomtien es representativa, la Oficina Regional
de Educación para América Latina y el Caribe de la UNESCO,
(OREALC) y la Comisión Económica para América Latina (CEPAL)
promovieron la elaboración de otro importante documento, que, en
forma mucho más amplia, atiende la misma cuestión a nivel
regional. Se trata de la obra Educación y Conocimiento: eje de
la transformación productiva con equidad (1992).
Aceptando como punto de partida el que los países de la
región necesitan incrementar su competitividad para poder
participar en forma adecuada en el mundo del futuro, el
documento de la UNESCO y la CEPAL subraya una idea fundamental:
para mejorar la competitividad internacional de un país es
necesario mejorar en forma significativa los niveles educativos
de las partes más desfavorecidas de su población. Recordemos la
forma en que surgió el texto a que se hace referencia, para
comprender mejor su sentido:
Coincidiendo con la celebración de la reunión de Jomtien,
en marzo de 1990 la CEPAL publicó un documento con el título
Transformación productiva con equidad. La tarea prioritaria del
desarrollo de América Latina y el Caribe en los años noventa. En
esta propuesta "se deja en claro la diferencia que separa una
competitividad internacional que permite elevar el nivel de vida
de la población mediante el aumento de la productividad, y otra
forma de competitividad que se apoya en la depredación de los
recursos naturales y en la reducción de las remuneraciones
reales".
Para lograr el primer tipo de competitividad, de suerte que
puedan hacerse compatibles y reforzarse mutuamente transfor-
mación productiva, equidad social y democratización política, el
papel de la educación no puede menos que ser importante. Con
base en la idea anterior la CEPAL y la OREALC se dieron a la
tarea de elaborar otro documento en el que se sacaran las
consecuencias para los sistemas educativos de la región de los
planteamientos sobre la transformación productiva con equidad.
El resultado fue el texto al que ahora se hace referencia.
Destacando sólo unos aspectos del documento, en lo relativo
al diagnóstico que constituye su punto de partida, se señalan
algunos puntos que, aplicados a la situación de un estado como
Aguascalientes, pueden ser de utilidad para orientar el
establecimiento de políticas educativas. Se trata de lo que el
documento de la UNESCO-CEPAL llama "8 enseñanzas específicas del
debate internacional sobre educación y formación de recursos
humanos", que son:
1. Que se coincide en que la educación debe tener prioridad en
las estrategias nacionales de crecimiento y desarrollo.
2. Que cualquier innovación tiene que partir de las tradicio-
nes locales, so pena de fracasar.
3. Que la concertación y consenso entre los diversos actores
involucrados en cuestiones educativas son una condición
indispensable para emprender con éxito reformas educativas.
4. Que hay que tener capacidad de diagnosticar el presente y
prever el futuro para fundamentar bien cualquier reforma.
5. Que las reformas deberían conceder atención prioritaria a
los cambios institucionales, o sea a las formas de
organización y de gestión de las acciones educativas, pues
se ha mostrado que el fracaso de muchas reformas se ha
originado en resistencias de la estructura institucional y
en los estilos tradicionales de gestión educativa.
6. Que debe haber una permanente evaluación de resultados que
sirva de base a los cambios, en vez de la forma tradicional
de hacerlo con base en ciertos paradigmas ideológicos.
7. Que el acceso equitativo a la educación significa acceso a
conocimientos socialmente significativos.
8. Que debe darse prioridad a los resultados del aprendizaje
en términos de su impacto para el desempeño en el mercado
del trabajo y para el desempeño ciudadano de los educandos.
En el apartado relativo a objetivos, el documento de la
UNESCO-CEPAL dice:
El objeto de la estrategia propuesta es contribuir, durante
los próximos diez años, a crear las condiciones
educacionales, de capacitación y de incorporación del
progreso científico-tecnológico que hagan posible la
transformación de las estructuras productivas de la región
en un marco de progresiva equidad social. Dicho objetivo
sólo podrá alcanzarse mediante una amplia reforma de los
sistemas educacionales y de capacitación laboral existentes
en la región, así como mediante la generación de
capacidades endógenas para el aprovechamiento del progreso
científico-tecnológico.
Efectuar esa reforma es imprescindible si se desea
dinamizar el cambio de las estructuras económicas, aumentar
la competitividad de los países de la región y reforzar la
organización institucional y los valores de la democracia.
(1992:125)
Precisando los densos párrafos anteriores, el documento
discute la relación entre los dos aspectos fundamentales del
objetivo estratégico, que son la ciudadanía y la competitividad,
mostrando cómo el incremento en la capacidad productiva para la
competitividad de nuestros países no puede ser separado de un
incremento en la calidad de la vida democrática de la región,
expresada en el concepto de ciudadanía.
En forma paralela a lo anterior, se discute la relación
entre dos aspectos fundamentales de los lineamientos para las
políticas educativas que se puedan diseñar, que son el énfasis
en la equidad y el cuidado por mejorar el desempeño, que no
deben ser vistos como opuestos, sino como complementarios.
Igualmente, en lo relativo a las grandes estrategias de
reforma institucional, se demuestra la complementariedad entre
la política de integración nacional --para buscar una nivelación
de las diferentes regiones de un país, evitando las enormes
desigualdades que han caracterizado a Latinoamérica desde hace
siglos-- y al mismo tiempo la búsqueda de profundos procesos de
descentralización, que lleven a manos de los actores de los
niveles más directamente relacionados con la tarea educativa una
buena parte de las decisiones que hasta ahora se han tomado en
los niveles centrales.
Las diversas acciones y medidas que contiene el capítulo
seis del documento se organizan en grupos, de acuerdo a siete
grandes objetivos que son:
1º Generar una institucionalidad del conocimiento abierta a
los requerimientos de la sociedad.
2º Asegurar el acceso universal a los códigos culturales de la
modernidad.
3º Impulsar la creatividad en el acceso, difusión e innovación
científico-tecnológicos.
4º Propiciar una gestión institucional responsable.
5º Apoyar la profesionalización y el protagonismo de los
educadores.
6º Promover el compromiso financiero de la sociedad con la
educación.
7º Desarrollar la cooperación regional e internacional.
En el último capítulo se reflexiona sobre los costos de las
estrategias sugeridas y sobre las posibilidades de financiarlos,
señalándose que cualquier esfuerzo importante por elevar la
calidad significará, sin duda, costos más elevados que los
actuales, pero que ello será un precio más que razonable si se
quiere lograr el mejoramiento educativo y social que se tiene en
mente.
En una estimación muy gruesa, el documento calcula que se
necesitaría aumentar en 3.9% la proporción del Producto Interno
Bruto (PIB) de los países de la región que se destina a la
educación, que en este momento se estima, a su vez, en un 7%
incluyendo, por supuesto, no sólo el gasto público sino también
el que hacen las empresas y los particulares en el terreno
educativo.
Con lo anterior se llegaría a cerca del 11% del PIB
destinado directa o indirectamente a educación, cifra, dice el
documento, "comparable a la registrada en algunos países
industrializados, pero todavía inferior a la de otros, como
Corea y la provincia china de Taiwán" (1992:218).
2.2 Los planteamientos nacionales.
Desde sus inicios, el estado mexicano ha asignado una gran
importancia a la educación en los documentos oficiales. Desde la
Constitución de Apatzingán hasta la de 1917, pasando por la de
1857 y por la Ley Orgánica de Instrucción Pública para el
Distrito Federal, los legisladores mexicanos plasmaron la
convicción de que la educación debería ser un derecho
fundamental de los mexicanos.
Después de los cambios del Art. 3º que tuvieron lugar en
1934 y 1946, reflejando las preocupaciones y las tendencias
ideológicas del momento, los más recientes cambios de ese
artículo constitucional, que entraron en vigor el 5 de marzo de
1993, continúan expresando la importancia que el país atribuye a
la educación y precisando las características que deberá tener
ésta de la siguiente manera:
El objetivo de la educación seguirá siendo "desarrollar
armónicamente todos las facultades del ser humano y
fomentar el amor a la Patria y la conciencia de la
solidaridad internacional en la independencia y la
justicia".
La educación deberá seguir siendo laica, basada en los
resultados del progreso científico, luchando contra la
ignorancia y sus efectos.
Seguirá concibiéndose como democrática, en el sentido no
sólo de "una estructura jurídica y un régimen político,
sino como un sistema de vida fundado en el constante
mejoramiento económico, social y cultural del pueblo".
Seguirá siendo nacional sin hostilidades ni exclusivismos, y seguirá pretendiendo contribuir a la mejor convivencia
humana "tanto por los elementos que aporte a fin de
robustecer en el educando, junto con el aprecio para la
dignidad de la persona y la integridad de la familia, la
convicción del interés general de la sociedad, cuanto por
el cuidado que ponga en sustentar los ideales de
fraternidad e igualdad de derechos de todos los hombres,
evitando los privilegios de razas, de religión, de grupos,
de sexos o de individuos".
En las recientes modificaciones se precisa el derecho de
todo mexicano de recibir educación, que antes estaba únicamente
implícito; se extiende la obligatoriedad para los ciudadanos de
cursar no sólo la educación primaria sino también la secundaria,
y se precisa la obligación del Estado de impartir educación
preescolar, primaria y secundaria a quien lo solicite.
En el Art. 31º de la Constitución, con las modificaciones
puestas en vigor en marzo de 1993, se precisa también, en forma
congruente con lo anteriormente dicho, la obligación de los
padres de familia de hacer que sus hijos o pupilos "menores de
quince años concurran a las escuelas públicas o privadas para
obtener la educación primaria y secundaria...".
En el siguiente nivel de la pirámide jurídica, una ley
reglamentaria concreta los planteamientos constitucionales.
Substituyendo a la que estaba vigente desde septiembre de 1973,
la actual Ley General de Educación fue promulgada en julio de
1993.
En su Capítulo I la Ley precisa las grandes orientaciones
de la educación nacional establecidas por la Constitución.
El Capítulo II, "Del federalismo educativo", desarrolla el
principio establecido en la fracción VIII del Art. 3º de la
Carta Magna y, aunque con limitaciones derivadas de la inercia
centralista del país, precisa la distribución de la función
educativa entre las autoridades educativas federales, locales
(de los estados) y municipales.
El Art. 12 precisa las atribuciones que corresponden "de
manera exclusiva a la autoridad educativa federal", entre las
cuales la fracc. XI establece la de:
"Realizar la planeación y la programación globales del
sistema educativo nacional, evaluar a éste y fijar los
lineamientos generales de la evaluación que las autoridades
educativas locales deban realizar".
La Sección 4 del mismo Capítulo II desarrolla con mayor
detalle lo relativo a la evaluación del sistema educativo
nacional. El Art. 29 señala que esa función corresponde a la
Secretaría, pero precisa: "sin perjuicio de la que las
autoridades educativas locales realicen en sus respectivas
competencias"; y añade: "Dicha evaluación, y la de las
autoridades educativas locales, serán sistemáticas y
permanentes. Sus resultados serán tomados como base para que las
autoridades, en el ámbito de su competencia, adopten las medidas
procedentes".
En otros artículos se precisan otros aspectos relacionados
con la evaluación, como la obligación de dar a conocer a la
sociedad los resultados de las evaluaciones "así como la demás
información global que permita medir el desarrollo y los avances
de la educación en cada entidad federativa" (Art. 31).
Desde antes de los cambios constitucionales y de la nueva
Ley General de Educación, desde los inicios del período 88-94,
el gobierno federal trató de llevar a la práctica su Programa
para la Modernización Educativa, realizando diversos esfuerzos
para avanzar en los procesos de descentralización, modificar los
planes y programas, mejorar los materiales de apoyo, etc. Sin
embargo, por diversas razones, estos esfuerzos no pudieron
avanzar al ritmo deseado durante la primera mitad del sexenio.
El 18 de mayo de 1992, culminando un delicado proceso de
concertación, se firmó el trascendental Acuerdo Nacional para la
Modernización de la Educación Básica, entre el gobierno federal,
los gobiernos estatales y el SNTE. Este acuerdo, cuya firma
constituyó un momento clave en el proceso de reforma del sistema
educativo nacional, está estructurado en tres grandes apartados:
El primero se refiere a la reorganización del sistema
educativo y tiene dos partes: una trata de la federalización del
sistema, con la histórica decisión de transferir a los estados
de la República la responsabilidad de la educación básica y
normal; la otra habla de la participación social, contemplando
una intervención más importante y significativa de la sociedad
civil, y en particular de los padres de familia, en el quehacer
educativo. Padres y maestros deben considerarse aliados en una
importantísima batalla y no adversarios, como a veces ha
sucedido en el pasado.
El segundo apartado se refiere a la reformulación de los
contenidos y materiales educativos, en donde se establece la
necesidad de una revisión a fondo de los planes vigentes desde
hace 20 años, a partir de sus aspectos positivos y de las fallas
que se han detectado en su instrumentación, en particular en lo
relativo a la enseñanza de las matemáticas y la lectoescritura y
enfatizando también la enseñanza de la historia.
El tercero y último apartado se refiere a la revaloración
de la función magisterial, incluyendo lo relativo a la formación
inicial de los futuros docentes; la actualización, capacitación
y superación del magisterio en ejercicio; el salario
profesional; la vivienda, la carrera magisterial y el nuevo
aprecio social hacia el maestro.
La transferencia de inmuebles y recursos humanos de la
federación a los estados, pieza clave de la federalización
anunciada el 18 de mayo, pudo cumplirse en el plazo estipulado
de seis meses, por lo que desde finales de 1992 se abrió
efectivamente una nueva etapa en la vida educativa nacional. Los
cambios constitucionales que culminaron en el mes de marzo y la
nueva Ley General de Educación de junio de 1993 la enmarcan. Y,
en ese contexto, cada entidad federativa ha avanzado, a diverso
ritmo, en el delicado proceso de asumir efectivamente el control
de su sistema educativo, entendiendo por ésto no sólo la
administración rutinaria de los recursos humanos y materiales,
sino la gestión del sistema en el sentido más completo del
término, incluyendo, como puntos clave, la planeación y la
evaluación.
El Estado de Aguascalientes asumió con decisión esa
responsabilidad y ha desarrollado una política educativa
original, coherente con los planteamientos internacionales y
nacionales vistos hasta ahora.
2.3 Los planteamientos estatales.
El comienzo de la administración estatal de Aguascalientes
para el sexenio 1992-1998 coincidió de una manera precisa con el
inicio de la nueva etapa educativa de México que acabamos de
mencionar. Por lo anterior, la importancia que ha recibido el
sector educativo en la política estatal es mucho mayor que la
que había recibido durante sexenios anteriores.
Antes de la creación de la SEP, en 1921, la responsabilidad
de la educación recaía en los Estados o en los Municipios. A
finales del siglo pasado, sin negar la existencia de personas
dinámicas y creativas, el sistema estatal de educación en
Aguascalientes, en forma semejante a otros muchos estados de la
República, atendía sólo a una parte de la población en edad
escolar, constituída por niños de clases medias y altas,
descuidando por completo a la mayoría de la población rural que
permanecía en el analfabetismo.
La municipalización de la educación, planteada por
Venustiano Carranza en 1915 y sancionada por el Constituyente de
1917, se tradujo en Aguascalientes, al igual que en otros
estados, en un deterioro aún más acentuado de los planteles,
dada la imposibilidad de los municipios para atender sus
necesidades.
Por ello no es raro que la centralización federal,
concretada por Vasconcelos, haya sido saludada con entusiasmo.
Después de un proceso lento, a fines del sexenio 34-40
Aguascalientes transfirió a la Secretaría de Educación Pública,
en el nivel federal, la responsabilidad de prácticamente todo
el sistema educativo de la entidad, en el que sólo subsistieron
planteles muy contados de control estatal o municipal en los
niveles de preescolar y secundaria.
Al no existir un subsistema estatal, es explicable el
desinterés de los gobernantes hidrocálidos por el sector
educativo, lo que se refleja inclusive en la inexistencia de una
ley estatal al respecto, aunque el Art. 6º de la Constitución
Política del Estado establezca que "la educación popular será
motivo de especial atención del Estado". De hecho nunca se había
abrogado la ley de educación publicada en enero de 1943, pero en
la práctica no tenía vigencia, al carecer de objeto real.
Inmediatamente después de la firma del Acuerdo Nacional
para la Modernización de la Educación, y reflejando la intensa
preparación que lo precedió, el 5 de junio de 1992 el Congreso
del Estado expidió la ley por la que se creó el Instituto de
Educación Básica y Normal del Estado de Aguascalientes,
publicada en el Periódico Oficial el día 7 del mismo mes.
Con la creación de este organismo, el Estado se dotaba de
la estructura fundamental para la operación de su propio sistema
educativo. Sin embargo, y seguramente por el hecho de tratarse
de los últimos meses de un sexenio, durante el segundo semestre
de 1992 la actividad del Instituto se limitó al desahogo de los
trámites administrativos normales, y en particular a la
recepción de inmuebles y recursos humanos por parte de la
federación.
No es sino con el comienzo del sexenio 1992-1998 cuando
puede advertirse un papel más activo por parte del Instituto, el
que se manifiesta de inmediato en la modificación de la ley que
lo crea, aprobada por el Congreso local el 15 de enero de 1993.
El cambio de nombre de la dependencia --a partir de enero
Instituto de Educación de Aguascalientes, IEA-- refleja un
cambio muy importante de concepción: el Estado pretende ocuparse
de todos los niveles educativos, para integrar un auténtico
sistema educativo estatal, y no únicamente de la educación
básica y normal. Obviamente estos dos niveles tienen una
especial importancia, ya que el sistema federal ha dejado lugar
en ellos a los sistemas estatales, pero también en los niveles
medio superior y superior, en los que sigue habiendo planteles
de control federal, al Estado le importa tener un papel activo y
una política explícita.
La política de la entidad se plasma en el Plan Estatal de
Desarrollo 1992-1998, en el que la importancia asignada a la
educación puede apreciarse por el hecho de que se le asigna un
apartado especial, de un total de seis que se refieren
respectivamente al desarrollo social, a la educación y a la
cultura, a la modernización económica, a la reforma de la
administración y la legislación, a la administración de justicia
y la seguridad pública y al desarrollo municipal.
El apartado relativo a la educación plantea ocho objetivos:
1º Desarrollar la organización del sistema educativo de
Aguascalientes para que responda a las necesidades de todos
los niveles y realizar la programación estratégica del
sector, creando o modernizando los instrumentos jurídicos
necesarios.
2º Garantizar la normalidad mínima (calendario y horario,
asistencia y puntualidad) en el funcionamiento de las
escuelas de todos los niveles y modalidades escolares.
3º Instituir en el Estado la educación básica de 10 años, que
contemple la generalización de un año de preescolar, más el
ciclo obligatorio de los seis de primaria y tres de
secundaria, procurando abatir los índices de deserción y
reprobación. Especial interés se prestará a los municipios
y zonas más rezagadas de la entidad.
4º Al ampliar la cobertura del sistema educativo de
Aguascalientes deberá atenderse simultáneamente el
desarrollo cualitativo en un marco permanente de planeación
y evaluación. Se propone elevar en forma significativa y
prioritaria la calidad de los procesos de enseñanza y
aprendizaje en todos sus niveles y modalidades e impulsar y
apoyar programas de mejoramiento en las instalaciones
físicas de las escuelas, así como de equipamiento de
bibliotecas y laboratorios o de material didáctico, de
computación y otros.
5º Vincular la educación con las necesidades sociales,
especialmente con las de índole empresarial y fomentar una
cultura científico-tecnológica.
6º Mejorar sustantivamente tanto la formación inicial de los
maestros como la actualización de los docentes en ejercicio
para lograr la excelencia académica.
7º Crear un sistema de valoración de la labor magisterial que
incluya mejores remuneraciones salariales y estímulos
académicos a la productividad y excelencia de los maestros.
8º Impulsar y apoyar programas de desarrollo de recursos
financieros para atender la multiplicidad y diversidad de
las necesidades del sistema educativo de Aguascalientes.
Como lineamientos generales de estrategia que guiarán la
realización de los programas que a continuación se presentan, el
documento establece tres principios de acción que son:
1º Iniciar los programas estratégicos en las zonas ecolares,
en las escuelas y en los grupos de maestros que más
necesiten el servicio, buscando aminorar las condiciones de
marginalidad y desigualdad en las que se encuentran algunas
zonas del Estado.
2º Buscar siempre la participación organizada de los padres de
familia y de la sociedad para lograr las metas y objetivos
del sector.
3º Hacer más eficiente el uso de los recursos materiales y
humanos, fortaleciendo los proyectos vigentes que lo
ameriten.
El capítulo de educación concreta los objetivos mencionados
en l7 programas que son:
1º Organización de los servicios educativos.
2º Generalización de la educación básica de diez años.
3º Planeación y evaluación del sistema educativo.
4º Investigación educacional.
5º Trabajadores de la educación.
6º Formación inicial y actualización de docentes.
7º Modernización de la dirección y supervisión escolares.
8º Recursos materiales.
9º Estímulos a la calidad y a la productividad de la educación.
10º Elevación de la calidad de la enseñanza y el aprendizaje.
11º Financiamiento.
12º Vinculación educación-sociedad.
13º Divulgación de las acciones educativas.
14º Educación especial.
15º Educación para adultos.
16º Educación media superior.
17º Educación superior.
El 5 de marzo de 1993, el ejecutivo estatal dió a conocer
una nueva versión de su política educativa, en la forma del
Programa Estatal de Educación 1992-1998, que recoge los
elementos anteriores y los organiza de cuerdo con los apartados
del Acuerdo Nacional para la Modernización de la Educación.
Dentro del apartado relativo a la reorganización del
sistema educativo, el programa estatal incluye cinco puntos, que
se refieren respectivamente a:
1º El proceso de federalización.
2º La creación del Instituto de Educación de Aguascalientes.
3º Lo relativo a participación social, precisado en la
formación de Consejos Municipales de Educación, para
profundizar la federalización hasta llegar a la
municipalización.
4º La rezonificación escolar, haciendo coincidir zonas con
municipios e integrando los niveles de preescolar primaria
y secundaria en una sola unidad.
5º El sistema de información para la planeación, evaluación y
administración escolar, partiendo de la creación de tres
bases de datos de alumnos, escuelas y maestros.
El 2º apartado del Acuerdo, sobre reformulación de
contenidos y materiales educativos, se retoma en el Programa
Estatal, añadiendo la intensificación cuantitativa y cualitativa
del trabajo escolar, en otros cinco apartados que tratan de:
1º La educación básica de diez años, incluyendo uno de
preescolar, seis de primaria y tres de secundaria.
2º La atención a las escuelas con mayores índices de rezago
educativo y más graves carencias en la forma de las 100
escuelas de solidaridad.
3º El calendario escolar de doscientos días, para incrementar
el tiempo dedicado a la educación.
4º El reforzamiento del curriculum en primaria, con aspectos
particulares para cada uno de los cuatro últimos grados.
5º El reforzamiento del curriculum en secundaria.
El terecer apartado del Acuerdo, sobre revalorización de la
función magisterial se plasma en el Programa en dos puntos:
1º La Fundación Aguascalientes para la excelencia educativa.
2º La armonización estatal del sistema formador y actualizador
de maestros.
La preocupación por la calidad es retomada con especial
énfasis y claridad en los lineamientos de trabajo establecidos
por el ejecutivo aguascalentense.
El apartado de diagnóstico del capítulo relativo a
educación del Programa de Gobierno, entre las características
cualitativas generales incluye la "ausencia de una planeación,
programación y evaluación efectivas y eficaces..." , y señala
que "no se cuenta con indicadores cuantitativos que permitan
tener de manera rápida y oportuna la información sobre distintos
aspectos de la realidad educativa..." (p. 29)
Al referirse a aspectos cualitativos del nivel de primaria,
el diagnóstico menciona que "Las acciones evaluativas del
subsistema dejan mucho que desear. La sociedad no puede conocer
realmente lo que ocurre en este nivel más que en forma indirecta
y parcial." (p. 32).
Ya se mencionó el objetivo Nº 4 del Programa de Gobierno,
que señala que "Al ampliar la cobertura del sistema educativo…
se deberá atender simultáneamente el desarrollo cualitativo… en
un marco de planeación y evaluación permanente" (p. 37)
Tales planteamientos se concretan en uno de los 17
programas también mencionados, específicamente el Nº 3, titulado
Programa de planeación y evaluación del Sistema Educativo.
El programa contempla la constitución de una subdirección
de Planeación y Evaluación dentro del Instituto de Educación,
para realizar, entre otras cosas, "la evaluación de los
procesos, actores e instituciones educativas..." Se precisa que:
La evaluación deberá dirigirse tanto a las escuelas como a
los docentes, pero es indispensable que también las
funciones de supervisión y dirección sean evaluadas
sistemáticamente. En el caso de los alumnos, es necesario
tener información precisa y detallada de sus niveles de
aprovechamiento. Para ésto se requiere introducir de
inmediato dos modalidades: la clave única del alumno (que
nos permite seguir su trayectoria y sacar índices reales de
deserción, reprobación, eficiencia terminal) y los exámenes
iniciales y finales estatales en cada grado (para medir con
un criterio único el aprovechamiento real). (p. 39)
CONCLUSION.
Es fácil apreciar la congruencia que existe entre los
planteamientos internacionales, los nacionales y los estatales,
sintetizados en las páginas anteriores. La preocupación por la
calidad educativa, en el contexto de una nueva competencia
económica en un mundo que se globaliza, es una de las tendencias
más claras y profundas en la escena mundial.
Es indudable el mérito de los esfuerzos realizados por
México en el campo educativo, que le han permitido hacer frente
al reto de la cantidad, materializado en una de las explosiones
demográficas más grandes que ha conocido el mundo. Pero también
es indudable que, por esa misma y otras muchas razones, la
situación cualitativa de nuestro sistema educativo deja mucho
que desear, tanto en comparación con la de los países más
industrializados como en la perspectiva de los retos que
enfrenta la sociedad mexicana en los umbrales del nuevo milenio.
Por otro lado, y también como una herencia de dolorosas
experiencias pasadas --tanto en los países desarrollados como en
el tercer mundo y, en particular, en nuestro país-- la
preocupación por la equidad es fundamental. No podemos concebir
como deseable un desarrollo que sólo beneficie a las pequeñas
minorías de siempre, y siga manteniendo en la marginalidad a las
grandes mayorías de nuestros conciudadanos.
Ahora bien: es fácil ver que un elemento imprescindible en
cualquier esfuerzo serio por elevar la calidad educativa es el
relativo a su evaluación, y en el país se han hecho algunos
esfuerzos por desarrollarla, tanto a nivel federal, a través de
la Dir. General de Evaluación, Incorporación y Revalidación,
como en algunas entidades, a raíz de la federalización. Pueden
mencionarse, ademas de Aguascalientes, estados como Guanajuato,
Nuevo León y Coahuila.
Sin embargo, el desarrollo de un sistema de evaluación de
la calidad educativa, como podrá apreciarse en las siguientes
partes de este documento, es una tarea sumamente compleja. Por
ello resulta necesario un trabajo concienzudo que permita
diseñar un sistema que esté al tanto de los avances
internacionales en la materia y, a la vez, tenga en cuenta las
peculiaridades del sistema educativo concreto en el que se
aplicará. Esto es lo que se trata de hacer en el resto del
trabajo.
REFERENCIAS BIBLIOGRAFICAS
--- Acuerdo Nacional para la Modernización de la Educación
Básica, México, 18 de mayo de 1992.
--- Aguascalientes. Los retos frente al siglo XXI. Plan Estatal
de Desarrollo 1992-1998, Aguascalientes, Poder Ejecutivo
del Estado, 1992.
--- "Declaración Mundial sobre Educación para Todos.
Satisfacción de las Necesidades de Aprendizaje Básico" y
"Marco de Acción para Satisfacer las Necesidades de
Aprendizaje Básico. Directrices para poner en práctica la
Declaración Mundial sobre Educación para Todos", en Revista
Latinoamericana de Estudios Educativos Vol. XX (1990) Nº 1,
pp. 141-174.
--- Educación y conocimiento. Eje de la transformación
productiva con equidad, Santiago de Chile, CEPAL-UNESCO,
1992.
--- Programa Estatal de Educación 1992-1998, Aguascalientes, 5
de marzo de 1993.
--- Transformación productiva con equidad. La tarea prioritaria
del desarrollo de América Latina y el Caribe en los años
noventa, Santiago de Chile, CEPAL, 1990.
CAPÍTULO 2.
REVISIÓN DE LITERATURA.
INTRODUCCIÓN.
1. LA EVALUACIÓN DE LA CALIDAD EDUCATIVA.
1.1 La investigación sobre evaluación en sentido amplio.
1.2 La investigación evaluativa en sentido estricto.
2. LOS SISTEMAS CONTEMPORÁNEOS DE MONITOREO DE LA CALIDAD.
2.1 Sistemas de indicadores.
2.2 Sistemas de pruebas estandarizadas.
2.3 Sistemas de evaluación de establecimientos escolares.
CONSIDERACIONES FINALES.
Lo sencillo siempre es falso, lo
complejo no es utilizable.
Paul Valery.
La inmensa complejidad de la evaluación
de los efectos de la escuela se
confirma, pues, una vez más. Ante
tamaña dificultad, o bien se baja la
guardia y se renuncia a todo esfuerzo
de objetivación, o bien se hace gala de
"la audacia de lo imperfecto": en las
ciencias del hombre la complejidad y
diversidad son tales que s¢lo puede
trabajarse por aproximaciones gruesas.
Lo que debe hacerse es tener conciencia
permanentemente de ello y sacar el
máximo provecho y las lecciones que se
pueda de lo poco que se sabe.
De Landsheere, 1994:26.
Las organizaciones que producen bienes
públicos [como la educación básica] por
su especial dificultad para tener
información [que permita evaluarlas]
tienen una tendencia especial a
contraer artritis institucional...
Los resultados de pruebas de
conocimiento, como indicadores, se
parecen a la cortizona para las
personas con artritis: no puede curar
la enfermedad e, inclusive, tiene
efectos laterales negativos.
Pese a ello puede, en cierta medida,
permitirnos el uso de nuestra
musculatura educativa un poco mejor y,
por lo menos, hacer posible un poco de
movimiento.
Olson Mancur, 1975:52-53.
INTRODUCCION.
El entusiasmo que manifiestan los educadores partidarios de
la evaluación con respecto a las potenciales bondades de esa
actividad, que ellos consideran un elemento clave para el
mejoramiento de las escuelas, tiene como contrapartida un
recelo, igualmente acentuado, por parte de un número, muy
considerable también, de personas que temen que las prácticas
evaluativas traigan consigo efectos perversos mucho más graves
que sus supuestas ventajas, que ellos consideran aparentes o
superficiales.
Esos temores no son infundados. Un sistema de evaluación
inadecuado puede producir, de hecho, efectos negativos graves.
La
Comisión de Rectores y Directores (Vice Chancellors &
Principals) de las instituciones de educación superior del Reino
Unido (CVCP) propuso hace algunos años un sistema de indicadores
para las universidades. Un comentarista sugirió que estos
sistemas deberían incluir siempre una advertencia para los
usuarios, análoga a la que llevan las cajetillas de cigarros:
"el uso indiscriminado de estos indicadores puede resultar
nocivo para la salud de su institución".
La implementación de un buen sistema de evaluación no es,
en efecto, algo sencillo; uno inadecuado, como se ha dicho,
puede traer consigo consecuencias graves. Por ello es
fundamental que el diseño de un sistema así se base en una
revisión muy amplia de lo que se ha hecho hasta ahora sobre el
tema en diversos lugares, y lo aproveche para que el producto
resulte de la mejor calidad posible, incorporando experiencias y
avances desarrollados por la comunidad investigadora mundial a
lo largo de más de un siglo de esfuerzos.
Este capítulo tiene dos partes: en la primera se revisan
los antecedentes de tipo general de los trabajos sobre
evaluación, incluyendo investigaciones sobre el tema en un
sentido lato y, de una manera muy somera, los trabajos de la
tradición m s delimitada de la investigación evaluativa
propiamente dicha.
La segunda parte se refiere a experiencias recientes en las
que se han desarrollado sistemas de monitoreo de la calidad
educativa, en algunos casos en relación con todos los niveles
del sistema escolar, en otros específicamente en relación con la
educación básica.
Son estas experiencias las que constituirán el fundamento
directo del sistema que se propone para Aguascalientes y México.
Esta parte comienza con una visión de conjunto de este tipo de
sistemas, y luego dedica sendos apartados a las experiencias de
los tres tipos más relevantes para nuestro propósito: los
sistemas de indicadores, los sistemas de pruebas estandarizadas
y los de evaluación de establecimientos escolares como tales.
1. LA EVALUACIÓN DE LA CALIDAD EDUCATIVA.
1.1 La investigación sobre evaluación en sentido amplio.
Aunque no se le designaba expresamente con la expresión
"investigación evaluativa", que es relativamente reciente, la
procupación por valorar los resultados de los sistemas
educativos no es nueva. Las dos fuentes de esta tendencia, a
saber la investigación educativa en general, y los esfuerzos por
aplicar a las escuelas los métodos administrativos desarrollados
en el contexto empresarial, comenzaron en forma embrionaria hace
más de 150 años y, en forma más madura, hace ya un siglo.
En este apartado se hará referencia a estos antecedentes en
sentido amplio, mientras que el siguiente se dedicará a los
antecedentes de la investigación evaluativa que se designa
expresamente con tal nombre.
Los antecedentes más remotos se encuentran en los Estados
Unidos, lo cual no es sorprendente si se piensa que el sistema
educativo norteamericano, además de ser uno de los más grandes
del mundo, fue sin duda el primero que se desarrolló con una
concepción "democrática", que lo hizo buscar el acceso universal
a la primaria y, muy pronto, a la educación media y a la
superior. Esto ocurrió mucho antes que en los sistemas europeos,
marcados por su pasado feudal, en donde, pese a la Revolución
Francesa, la democratización de la enseñanza no se realizó
efectivamente hasta fines del siglo XIX para el nivel de
primaria, y recién después de la 2ª Guerra Mundial o, inclusive,
hasta finales de los años 60, para la educación superior.
En los Estados Unidos, en cambio, desde la independencia
estaba presente la idea de la educación básica universal como
medio por excelencia para formar ciudadanos maduros, y desde la
época de la Guerra de Secesión, en los años 60 del siglo XIX, se
concibió ya el ideal de una educación superior masiva.
Y, como señala de Landsheere:
...cuando, a comienzos del siglo XIX comienza a
desarrollarse la escuela pública, que pronto será concebida
como obligatoria, los responsables de la educación se ven
confrontados con vastos problemas de organización y de
control de la eficacia; y desde el momento en que los
enfrentan de manera sistemática y lo más objetiva posible
(utilizando estadísticas de matrícula, del número de los
alumnos que terminan un tipo de estudios determinado, etc.)
nos encontramos con formas primitivas de investigación.
(1986:35)
El mismo autor indica, citando a Travers, que ya en 1830 el
fundador del American Journal of Education, H. Barnard, fue "uno
de los inventores de la idea de que las escuelas pueden ser
mejoradas gracias a la recolección sistemática de datos". Y en
1842, el padre del sistema norteamericano de educación pública,
Horace Mann, pidió a un grupo de empresarios que compararan la
productividad y calidad de sus trabajadores, en relación con su
nivel de instrucción, para mostrar el valor económico de la
educaci¢n (de Landsheere 1986:35).
También por iniciativa de Mann, en 1845 tuvo lugar en
Boston la primera "encuesta normativa" del rendimiento escolar,
cuando se aplicó un mismo conjunto de pruebas de conocimientos
para evaluar el nivel de aprendizaje de 500 alumnos de 12 a 14
años de edad, que asistían a las 19 escuelas de nivel medio
inferior de la ciudad (de Landsheere 1986:36 y 71).
Aunque menos fuerte que la americana, la influencia inglesa
en el surgimiento de la investigación y la evaluación educativas
es, también, importante. Sobresalen las aportaciones
metodológicas y, en concreto, estadísticas. La estadística
aplicada a investigación en ciencias del hombre fue, en sus
inicios, netamente inglesa. Así, el primero que introdujo la
noción de media o promedio de resultados de un grupo de alumnos
fue el inglés G. Fisher en 1864; este autor publicó una obra
titulada Scalebook, en la que propone varios instrumentos para
evaluar las aptitudes y los conocimientos de los alumnos (de
Landheere, 1986:353).
Desde 1869, con sus trabajos sobre la herencia, Francis
Galton hace aportaciones metodológicas b sicas: entre otras
cosas, es el creador de las ideas fundamentales de los test de
inteligencia; del análisis descriptivo univariado; del
desarrollo de las medidas de tendencia central y dispersión; del
uso de la curva de Gauss para efectos de normalización en
estudios de poblaciones; de la idea de los percentiles y de las
bases las medidas de correlación y regresión, que plantea desde
1875 y 77. (de Landsheere 1986:85-87)
A través de los estudiosos en quienes influyó directa o
indirectamente -como Francis Edgeworth, Karl Pearson, George
Yule, Ronald Fisher y Cyril Burt- Galton est también en la base
del análisis inferencial, del diseño experimental, del análisis
de regresión múltiple y de las técnicas factoriales. Cualquiera
que tenga una idea de lo que estos elementos significan para la
metodología de la investigación social apreciará el valor de las
aportaciones del gran ancestro inglés. (Stigler 1986)
Volviendo a Estados Unidos, entre 1895 y 1905 Joseph M.
Rice retoma, extiende y perfecciona las encuestas iniciadas en
Boston 50 años antes; comenzando con pruebas simples y
construyendo luego instrumentos controlados (si bien todavía no
estandarizados con las técnicas actuales) aplicó pruebas de
ortografía a 16,000 alumnos; de aritmética a 13,000; y de
comprensión y retención de lectura (capacidad de reproducir un
texto leído) a 8,300. Es interesante notar que las críticas a
los métodos de enseñanza que se derivaron de estos trabajos
fueron rechazadas enérgicamente por los maestros (de Landsheere
1986:36 y 72).
En 1903 Rice fundó la primera organizaci¢n profesional de
investigación educativa, la Society of Educational Research, y
en 1914 publicó la obra Scientific Management in Education, 3
años después de la aparición de la de F. W. Taylor Principles of
Scientific Management, con la que dio inicio, precisamente, la
llamada "taylorización" del trabajo, y nació propiamente la
concepción moderna de la administración de empresas.
Es interesante notar que el cambio de énfasis de Rice,
cuando decidió abandonar los trabajos de investigación y
dedicarse a los de administración escolar hacia 1905, se dió en
un momento en el que, por una parte, él cre¡a haber puesto las
bases de la investigación educativa y prefería enfocar sus
esfuerzos a la administración; por otra parte, Rice se oponía a
las ideas de Dewey y al principio central de la escuela activa:
poca dirección y mucha creatividad, "aprender haciendo"; Rice
propugnaba, en cambio, una organización sistemática y rigurosa
del trabajo escolar y privilegiaba el papel de los directores y
supervisores como garantía de ese rigor; parece claro que, en
aquel entonces, las ideas de Dewey se impusieron (de Landsheere
1986:11 y 36).
En Europa la preocupación por la organización del trabajo
escolar era también uno de los temas más socorridos entre los
educadores y los antecesores de la investigación educativa a
principios de siglo, como muestran los trabajos del alemán
Meumann. Educadores tan notables como Buyse y Decroly, después
de una visita a Estados Unidos en 1922, se manifestaban a favor
de la "taylorización de la educación". En norteamérica D. Starch
calculaba en 1919 que se podría ganar el equivalente a un año
completo de escolaridad si, en un lapso de ocho, se ahorraban 36
minutos diarios de trabajo. (de Lansheere 1986:12 y 61)
A lo largo del siglo XX, con mayor o menor énfasis según
las circunstancias históricas y diversos enfoques metodológicos,
las investigaciones evaluativas sobre las escuelas americanas
siguieron desarrollándose. El National Council of Education
desde 1908 y la National Education Association desde 1911,
dieron continuidad a las encuestas que había iniciado Rice.
Por otra parte, la naturaleza realmente federal del sistema
educativo norteamericano hizo que cada uno de los Estados creara
unidades para la recopilación de datos estadísticos, la
evaluación y la investigación sobre la problemática de los
respectivos sistemas escolares. El primer Bureau of Statistics
se crea en Baltimore en 1912; para 1926 ya había 69 de estas
oficinas, lo que quiere decir m s de una por estado, en
promedio, sin contar bastantes centros más basados en las
universidades. Los directores de estos centros comienzan muy
pronto a reunirse para intercambiar experiencias y fundan en
1922 la Educational Research Association que en 1930 tomar el
nombre de American Educational Research Association, que
actualmente cuenta con cerca de 20,000 miembros. (de Landsheere
1986:73 y 363)
El vigor de los trabajos de investigación durante los años
20 se vio disminuido durante las dos décadas siguientes por los
efectos de la gran crisis económica de los 30 y por la 2¦ Guerra
Mundial, aunque no dejó de haber trabajos importantes, como el
famoso "Estudio de ocho años", que permitió la consolidación de
las aportaciones de Ralph W. Tyler, que están en la base de la
mayoría de los trabajos posteriores de evaluación educativa y
curricular, incluyendo a los de Benjamin S. Bloom. Pero fue
hasta después de los años que siguieron a la 2a. Guerra Mundial,
cuando se dio un nuevo y muy fuerte impulso a la investigación
educativa, durante el período de gran expansión de los sistemas
escolares y de abundancia de recursos por la bonanza económica
de los años 50 y 60.
El famoso Informe Coleman, con su muestra de más de 600,000
niños, que revolucionó la sociología de la educación al poner en
duda las ideas recibidas sobre la desigualdad educativa entre
los diversos grupos étnicos de los Estados Unidos (1966), y la
enorme secuela de estudios que estimuló (cfr. por ejemplo
Jencks, 1972) son una muestra de los trabajos de corte
cuantitativo que caracterizaron a buena parte de la
investigación norteamericana.
Estudios de gran aliento también, m s cualitativos, como el
igualmente famoso Informe Plowden (CACE 1967) son, a su vez, una
muestra de las tendencias de la investigación en el Reino Unido,
la única de las naciones europeas que pudo mantener cierta
continuidad en el quehacer científico, al ser respetada,
relativamente, por las guerras europeas y mundiales de 1870,
1914 y 1945.
1.2 La investigación evaluativa en sentido estricto.
Según Stufflebeam, en la historia de la evaluación
educativa como práctica profesional pueden distinguirse cinco
períodos: el pre-tyleriano, hasta 1930; el tyleriano, de 1930 a
1945; la época que él llama "de la inocencia", de 1946 a 1957;
la época del realismo, de 1958 a 1972; y la época del
profesionalismo de 1973 a la fecha. (1985:33)
Stufflebeam señala que los antecedentes de la investigación
evaluativa pueden remontarse (como tantas cosas) hasta los
chinos y los griegos: 2000 años antes de Cristo unos oficiales
chinos evaluaron los servicios civiles en alguna remota
dinastía, y en el siglo V antes de nuestra era Sócrates y otros
maestros griegos utilizaban cuestionarios como parte de su
metodología didáctica.
Después de recorrer rápidamente las 4 primeras etapas de su
esquema, Stufflebeam justifica por qué considera que los inicios
de la década de los 70, y particularmente el año de 1973, pueden
ser considerados como el momento de la consolidación de la
evaluación como un campo profesional bien definido: la aparición
de tendencias substancialmente nuevas, la fundación de revistas
especializadas y la constitución de agrupaciones profesionales
son indicios inequívocos de lo anterior. Incluyendo los enfoques
surgidos anteriormente pero que seguían vivos, y los nuevos
desarrollos, es posible identificar, siguiendo de cerca a
Stufflebeam, por lo menos 5 enfoques distintos, cada uno de los
cuales comprende varias manifestaciones particulares:
+ enfoques tradicionales:
- modelo experimental;
- modelo tyleriano, basado en objetivos;
+ desarrollos basados en el enfoque sistémico:
- modelo de Cronbach (Units-Treatments-Operations);
- modelo de Stufflebeam (Context-Input-Process-Product);
- modelo de Scriven (Indicators Check List);
+ enfoques basados en "expertos":
- modelo de acrediatación-certificación (Peer Review);
- modelo de crítica de arte (Connoisseur);
- modelo judicial de Wolf (adversarios);
+ enfoques basados en la interacción experto-cliente:
- modelo transaccional;
- modelo de toma de decisiones;
- modelo centrado en cliente "responsivo" de Stake;
- modelo orientado al consumidor de Scriven;
- modelo de investigación-acción de Stenhouse;
+ enfoques cualitativos:
- evaluación libre de metas;
- evaluación iluminativa de Parlett y Hamilton;
- evaluación holística de Mac Donald.
La sola enumeración anterior permite hacerse una idea de la
amplitud de los trabajos desarrollados en los últimos 20 años en
el campo de la investigación evaluativa, pero hay que añadir
luego que la gran mayoría se refieren a la evaluación de
programas y no, propiamente, a la de instituciones o sistemas
educativos. En este terreno los avances habían sido menores
hasta hace poco tiempo, pero en las dos últimas décadas se han
desarrollado de manera muy considerable. Se destaca que, en esta
propuesta de un sistema de evaluacion para el Estado de
Aguascalientes, no se adopta en especial ninguno de estos
modelos, pero que se utilizan, en diversa medida, varios de
ellos. El planteamiento, a partir del concepto de calidad que se
desarrollar posteriormente, es mas bien una especie de
"supermodelo" en el que tienen cabida otros particulares.
Hablando de los orígenes recientes de la evaluación de
políticas públicas por parte del Estado, Claude Thélot explica
que el antepasado de la evaluación en Francia apareció desde los
años 60, en la forma de las técnicas llamadas de
"racionalización de opciones presupuestales" y que, bajo la
presión simultánea de la escasez de recursos públicos y de la
exigencia de rendimiento de cuentas por parte de la opinión
pública, se fue definiendo una política de evaluación de
políticas públicas que frecuentemente se considera una
alternativa a la evaluación por el mercado. (Thélot, 1993:5-6)
Olson Mancur mostró, hace casi 20 años, que los mecanismos
del mercado no son adecuados para la evaluación de los bienes
públicos, aquellos que no son susceptibles de apropiación
privada. El mercado no puede servir para evaluar la eficiencia
de una política de defensa o de protección del medio ambiente,
por ejemplo. En el campo educativo el mercado puede,
posiblemente, evaluar ciertos niveles de educación profesional,
pero resulta impotente para evaluar la educación básica,
definida como aquella que todo individuo requiere para su vida
futura como ciudadano y que, como ha señalado recientemente para
el caso de México Pablo Latapí, no puede atraer inversiones
privadas en forma general.
Mancur señalaba que es usual encontrar ciertos sistemas muy
rudimentarios de evaluación en las agencias gubernamentales que
producen bienes públicos, incluyendo sistemas de servicio civil
de carrera o de méritos, grados muy altos de credencialismo,
excesivo cuidado por apegarse a reglamentos y procedimientos y
para evitar tener problemas con los superiores jer rquicos, etc.
Y añadía:
Me parece que la razón de todo ésto no es porque en esas
instituciones haya personas que usan formas inadecuadas de
evaluar el desempeño por motivos perversos; la razón,
simple y sencillamente, es que en esas instituciones es
especialmente difícil disponer de las medidas adecuadas.
Por eso he dicho que se usa el criterio de las 4 "eses":
Schooling (escolaridad), Seniority (antigüedad), Shoe
shining (aseo del calzado, en el sentido de uso de
evidencias superficiales de calidad) y Sycophancy
(sicofancia, adulación). (Olson, 1975:41-53)
Thélot por su parte, señala una dificultad adicional para
la evaluación de instituciones educativas: el hecho de que todo
mundo tenga opiniones, que cree fundadas, por haber sido en
algún momento alumno, o tener hijos u otros parientes que lo
son. Refiriéndose a la población total de Francia, Thélot dice
que "evaluar la escuela habiendo 58 millones de expertos es un
ejercicio a la vez delicado y estimulante". (1993:7)
La preocupación por la calidad de la educación, a la que se
ha hecho referencia reiteradamente, ha traído consigo un
desarrollo sin precedentes de sistemas de evaluación novedosos
que tratan de superar las considerables dificultades de evaluar
un bien público de naturaleza tan compleja. Estos sistemas
resultan mucho m s pertinentes para el propósito de este trabajo
que los de car cter m s general a los que se refirió el apartado
anterior.
El siguiente apartado se dedicará, pues, a la revisión de
esos trabajos, que ser n utilizados directamente en éste y
constituyen, por consiguiente, sus antecedentes m s directos e
inmediatos.
2. LOS SISTEMAS CONTEMPORANEOS DE MONITOREO DE LA CALIDAD.
La expresión que se emplea con más frecuencia para designar
las actividades de evaluación de la calidad educativa que se han
desarrollado en las últimas décadas es la de sistemas de
monitoreo de la calidad.
La palabra monitor es originalmente latina y quiere decir
el que avisa o amonesta. En la antigüedad se utilizaba para
designar a un esclavo cuya especializada función consistía en
apoyar a su amo cuando pronunciaba un discurso, sirviéndole
discretamente como apuntador. También le recordaba los nombres
de las personas que encontraba cuando paseaba por el foro. Más
tarde designó al vigía que se situaba en el mástil mayor de un
barco o en la torre m s alta de un castillo.
En épocas más modernas se utilizó como nombre lógico para
designar un periódico, como Le Moniteur Universel que se comenzó
a publicar al estallar la Revolución Francesa o como el Monitor
Republicano. La palabra se usó como nombre propio de un buque
explorador de avanzado diseño, construído por los partidarios de
la Unión, durante la Guerra de Secesión norteamericana, para el
bloqueo de los puertos confederados y que se volvió tan famoso,
tras su batalla con el Merrimack el 9 de marzo de 1862, que el
término pasó a designar, genéricamente, a ese tipo de barcos que
siguió construyéndose hasta la 2ª Guerra Mundial.
Más recientemente aún, adquirió el sentido de un mecanismo
diseñado para detectar y hacer notar irregularidades o anomalías
en el funcionamiento de otro aparato o mecanismo. Así, un
aparato puede detectar la presencia de radioactividad y hacerla
notar emitiendo un sonido. De manera similar, se pueden detectar
anomalías en las variables fisiológicas de un enfermo, como su
pulso o su presión arterial, y hacerlo notar a los médicos a
cargo del paciente mediante una alarma visual o auditiva o, de
manera m s regular, mediante una gr fica constante en una
pantalla de vídeo que se designa, precisamente, con el término
en cuestión: un monitor.
Llegamos así, finalmente, al sentido actual del verbo
monitorear y del substantivo monitoreo: acción y efecto, o
proceso, de verificar permanente o regularmente el desarrollo de
alguna operación para cerciorarse de que se realice de manera
adecuada.
Los términos monitoreo y evaluación no son sinónimos, si
bien están estrechamente relacionados. Una evaluación,
estrictamente, es un juicio sobre el valor de cierta realidad,
contrastando su situación real con algún punto de referencia
normativo, criterio o estandar. Un sistema de monitoreo es, más
bien, un conjunto de mecanismos que permite contar, de manera
regular y oportuna, con información actualizada sobre cierta
realidad (en nuestro caso sobre un sistema educativo).
Con la información que proporciona un sistema de monitoreo
sobre, por ejemplo, un sistema educativo, ser posible que se
formulen juicios de valor, o sea que se llegue a una evaluación
propiamente dicha. El sistema de monitoreo no es, pues, la
evaluación, pero sí es un medio que, bien concebido y
funcionando adecuadamente, har posible a los responsables del
sistema de que se trate la realización de evaluaciones bien
fundamentadas y oportunas. Eso es lo que requieren nuestros
sistemas educativos, en una óptica de mejoramiento constante de
la calidad. No bastan estudios o investigaciones espor dicos. Se
requiere, precisamente, de un sistema de monitoreo permanente
que permita juicios oportunos y bien fundados sobre la calidad
del sistema (o sea evaluaciones).
La distinción terminológica permite también enfatizar la
diferencia de los roles del personal técnico y de los tomadores
de decisiones. El manejo de un sistema de monitoreo es una tarea
esencialmente técnica. La evaluación propiamente dicha, en
cambio, constituye un aspecto de la toma de decisiones, que
tiene que ser competencia de quienes tengan la autoridad
legítima.
Después de estas precisiones terminológicas habrá quedado
claro por qué se prefiere la palabra monitoreo a evaluación en
la expresión con la que se titula el proyecto del que esta
revisión de literatura forma parte: "Diseño e implementación de
un sistema integral de monitoreo de la calidad de la educación
básica en Aguascalientes". Como veremos en seguida, los sistemas
de monitoreo desarrollados recientemente en muy diversos lugares
coinciden en incorporar e integrar, de diversa forma, tres
elementos clave:
por una parte, un sistema de indicadores educativos;
por otra, pruebas estandarizadas de conocimientos que se
aplican a muestras representativas o masivamente en
determinados momentos del trayecto escolar;
por último, ciertos mecanismos de evaluación de los centros escolares o planteles.
Se precisa que, al hablar de pruebas estandarizadas, nos
referimos a instrumentos idénticos o estrictamente equivalentes,
que sean aplicados en condiciones controladas e interpretados
mediante los mismos modelos, independientemente de que se
construyan con referencia a norma o a criterio.
La coincidencia mencionada de los tres elementos clave no
es accidental. Un sistema de evaluación de algo tan complejo
como un sistema educativo no podría ser simple. Su complejidad
proviene de dos fuentes: por una parte, del car cter
multidimensional del concepto mismo de calidad, del que se
tratar en la parte final de este trabajo; por otra, de la
diversidad de exigencias a las que debe atender el sistema de
evaluacion, dada la diversidad de sus usuarios y de las demandas
que ellos le plantean.
Según Hargreaves, para ser exitoso un sistema de monitoreo
de la calidad educativa debe cumplir con cuatro condiciones: ser
creíble para todos los interesados; ser razonablemente
independiente de las autoridades educativas mismas, tanto para
la credibilidad del sistema como para asegurar el anonimato de
las personas evaluadas; orientarse al desarrollo, no
concibiéndose como un fin en sí mismo, sino como un medio de
mejoramiento, en otras palabras, ser relevante; y, en
consecuencia, estar concebido de tal suerte que signifique apoyo
para los maestros y directores. (citado por De Landsheere,
1994:30-31).
Podría añadirse un quinto elemento, que no por obvio debe
omitirse: un buen sistema de monitoreo o evaluación debera
satisfacer adecuadamente el criterio de adecuada relación
costo/beneficio, lo que implica una priorizacion de las
necesidades informativas para su satisfaccion según los recursos
disponibles.
Para atender esa doble complejidad, un buen sistema de
monitoreo deber integrar, por lo menos, un subsistema de
indicadores, otro de pruebas estandarizadas de conocimientos y
uno m s de mecanismos de evaluación de centros escolares.
Los sistemas de indicadores actuales no se limitan, como
sucedía anteriormente, a contabilizar insumos, que son los
elementos más f ciles de identificar. Por el contrario, estos
sistemas tratan de cubrir todas las dimensiones de la calidad,
si bien no logran tal pretensión en todos los casos.
La especial dificultad que existe para estimar con
precisión la calidad de los principales productos de las
escuelas –los conocimientos, habilidades y actitudes de los
egresados- ha llevado al desarrollo de complejos mecanismos para
construír pruebas de conocimientos y otros instrumentos para
evaluación de habilidades y actitudes que sean v lidos y
confiables, así como para aplicarlos en gran escala y procesar
los resultados obtenidos. Estos pueden luego incorporarse a los
sistemas de indicadores, de los que constituyen un elemento
central, pues sin ellos es imposible llegar a juicios sobre la
eficacia que, como veremos, es la dimensión m s importante de la
calidad.
El tercer elemento, el que consiste en mecanismos para la
evaluación de establecimientos escolares particulares, resulta
necesario también por la gran dificultad para evaluar con
precisión insumos y productos educativos. Evaluar directamente,
pues, los procesos que tienen lugar dentro de las escuelas y de
sus aulas -procesos curriculares y didácticos o administrativos-
constituye un complemento de inestimable valor para un sistema
de evaluación.
En los tres apartados siguientes se revisar la literatura
que se refiere en particular a cada uno de los tres componentes
de un sistema integral de monitoreo, que servirán de punto de
partida para el diseño del sistema que se pretende desarrollar
para el sistema educativo del Estado de Aguascalientes.
2.1 Sistemas de indicadores.
El término indicadores es utilizado en varios sentidos no
del todo coincidentes. Para quienes están familiarizados con las
técnicas de investigación social en la tradición metodológica
iniciada por Paul Lazarsfeld, la noción es parte de la conocida
trilogía del proceso de operacionalización: variables,
dimensiones e indicadores.
El concepto clave es el de variable, que denota un aspecto
particular de la realidad que se quiere estudiar, aspecto que
puede aislarse de los dem s analíticamente, y que no permanece
constante sino que, precisamente, adopta valores distintos,
varía, entre los sujetos de la población que se estudia. Algunas
veces las variables se conceptualizan de tal manera que resulta
muy sencillo identificar la realidad a la que corresponden. Es
el caso de variables como las de sexo, edad o estado civil, tan
utilizadas en muchas investigaciones.
En otros casos las variables son conceptualizadas de manera
mucho menos clara de suerte que, para poder manejarlas en forma
pr ctica, es necesario buscar conceptos que puedan manejarse de
manera m s precisa y se consideren equivalentes o
representativos del concepto m s abstracto. Si interesa, por
ejemplo, utilizar en un estudio el aspecto (variable) "nivel
socioeconómico", se podr utilizar en su lugar el concepto m s
f cil de manejar "ingresos mensuales". Este último es un
indicador de la variable anterior. Naturalmente, la traducción
de ciertas variables a sus indicadores no necesariamente resulta
afortunada.
En forma relacionada con la anterior, pero con algunas
diferencias, desde los años 60 se trató de identificar conceptos
particulares precisos que permitieran concretar y valorar otros
tan amplios e imprecisos como "desarrollo integral" o "bienestar
social".
El concepto de Producto Interno Bruto, tan caro a los
economistas, fue durante mucho tiempo el único criterio para
apreciar el grado de desarrollo de un país. Evidentemente, el
concepto ignoraba por completo importantísimas dimensiones de
una realidad tan compeja. Por ello se trató de desarrollar otros
indicadores de conceptos tan comprehensivos.
Sin embargo, a diferencia del sentido que adopta en la
terminología de Lazarsfeld, en este otro contexto la palabra
indicador no necesariamente se refiere a un aspecto particular
de una variable más amplia sino que, al contrario, puede tener
un carácter sintético, integrando varios más particulares, pero
siempre con la pretensión de hacerlo de tal suerte que sea
posible un tratamiento preciso, cuantitativo. Así puede
entenderse la siguiente definición de indicador: "estadística
sintética (summary) sobre el estado actual de un sistema
educativo". (WYATT 1994:99)
Según Scheerens los indicadores son estadísticas globales,
de baja inferencia, definidas a un elevado nivel de agregación.
(1994:17). Sin embargo, como veremos enseguida, también pueden
encontrarse indicadores que son todo lo contrario: estadísticas
específicas y de alta inferencia derivadas de encuestas de
opinión o de investigaciones.
Según Wyatt la definición m s aceptada en la actualidad se
deriva de la de Oakes, según la cual un indicador debe ofrecer,
por lo menos, uno de los siguientes tipos de información, sobre:
Los logros de un sistema educativo en lo relativo a la
obtención de determinados resultados; el indicador se liga,
por tanto, a los objetivos, y constituye un punto de
referencia para medir los avances (benchmark).
Algunas características que la investigación ha mostrado se relacionan con ciertos resultados; el indicador tiene así
un valor predictivo porque una modificación suya traerá
consigo otros cambios.
Rasgos centrales del sistema (v.gr. insumos) para entender cómo funciona, o sobre problemas del sistema.
Aspectos relevantes para la política educativa vigente, de suerte que apoyen la toma de decisiones.
Oakes, además, señala que los indicadores deben tener las
siguientes características técnicas:
Medir aspectos que se encuentren, de alguna manera, en todo el sistema, de suerte que puedan hacerse comparaciones.
Medir aspectos duraderos del sistema, de suerte que puedan analizarse tendencias y cambios en el tiempo.
Ser fácilmente inteligibles para una audiencia amplia.
Tener factibilidad, teniendo en cuenta el tiempo, costo y capacidad técnica requeridos para su obtención.
Ser aceptables por su validez y confiabilidad. (WYATT
1994:105)
Aprovechando las definiciones encontradas en la literatura,
en este trabajo llamaremos indicadores a datos sintéticos, que
resuman en forma numérica precisa la situación actual de ciertos
aspectos significativos de un sistema educativo (variables o
conjuntos de variables). Los indicadores pueden organizarse en
conjuntos sistem ticos, de acuerdo con alguna definición de
calidad, como la que se desarrolla en otro documento, y pueden
hacer referencia a algún estandar o punto de referencia
normativo, y entonces pueden servir como retroalimentación o
llamada de atención para la toma de decisiones. Si bien desde
hace bastante tiempo los sistemas educativos de muchos países
manejaban estadísticas, éstas no conformaban sistemas integrados
basados en una noción explícita de calidad, por lo que no
constituían sistemas de indicadores en el sentido expresado. El
desarrollo de sistemas de indicadores en este sentido es muy
reciente: después de algunos intentos frustrados, como el que
emprendió en 1973 la OCDE, la idea dio lugar a textos
importantes a principios de los 80 (JOHNSTONE, 1981) y volvió a
plantearse con fuerza a fines de la década, en diversos lugares.
(cfr. TUIJNMAN y BOTTANI, 1994:21)
.1 El proyecto de indicadores de la OCDE.
El más conocido y, sin duda, el más importante de los
nuevos esfuerzos es el que encabeza una vez más la OCDE. Su
importancia es tanto mayor cuanto es claro que no se limita a
los trabajos del grupo especializado de la organización, sino
que se prolonga en los países miembros, que desarrollan sus
propios sistemas, más detallados por referirse a una escala
menor y más enfocados a la problemática propia. No cabe duda,
además, de que varios países no miembros de la OCDE est n
desarrollando sus propios sistemas, en parte gracias al influjo
de ella.
El proyecto INES (Indicators of Education Systems) comenzó
a gestarse en una reunión convocada en noviembre de 1987 por la
OCDE y los Estados Unidos para discutir nuevos enfoques para el
desarrollo de estadísticas educativas comparables. (cfr.
TUIJNMAN y BOTTANI, 1994:25). En mayo de 1988, el centro
especializado de la organización para investigación educativa,
el CERI (Center for Educational Research and Innovation) aprobó
el proyecto, que pronto adquirió grandes dimensiones: adem s de
un grupo técnico integrado por medio centenar de expertos de
países pertenecientes o no a la organización y de los
coordinadores nacionales de los países miembro, se formaron
cuatro redes de expertos para trabajar subtemas específicos,
cada una coordinada por un país:
Una sobre los resultados educativos de los estudiantes
(USA).
Otra sobre el destino de los estudiantes en el mercado
laboral y la sociedad (Suecia).
Una más sobre las características de las escuelas y los
procesos que tienen lugar en su interior (Países Bajos).
Y una cuarta en relación con las opiniones, expectativas y actitudes de la población en relación con la educación
(Reino
Unido).
Además de múltiples productos preparatorios o parciales
(cfr. v. gr. CERI-INES 1991; IMHE 1993; TUIJNMAN y BOTTANI 1994;
CERI-INES 1995a; CERI-INES 1995b; CERI-INES 1995c;), el
resultado principal de estos trabajos es la publicación
Education at a Glance (CERI-INES 1995) que contiene la
información relativa a los indicadores del sistema de los países
miembros de la OCDE.
Publicada por primera vez en 1992, la obra ha tenido dos
ediciones más, en 93 y 95 y han aparecido versiones en varios
idiomas. Cada edición ha ido ampliando el número de indicadores
que contiene. La de 1995 se encuentra ya cerca de cubrir todos
los previstos en el diseño del sistema.
Los indicadores que maneja la OCDE en el último volumen de
Education at a Glance se agrupan en tres grandes apartados que
se refieren respectivamente al contexto de la educación, los
costos, recursos y procesos escolares y los resultados de la
educación. Cada apartado tiene varios subconjuntos de
indicadores.
A continuación se presenta la lista completa de indicadores
incluyendo su clave. Puede verse que hay algunos huecos en la
enumeración, los que se deben a que hay unos cuantos indicadores
más que están contemplados en el diseño del sistema pero que aún
no se han podido obtener para un número significativo de países.
INDICADORES SOBRE EL CONTEXTO DE LA EDUCACION.
Contexto demográfico:
C01 Logro educativo de la población: % de la población de 25 a
64 años que ha alcanzado determinado nivel educativo.
C02 Diferencias por género en logro educativo. Indice compuesto.
C03 Población joven. % personas de 5-29 años en población total.
Contexto social y económico:
C11 Participación en la fuerza de trabajo y educación. Tasa de
participación en la fuerza de trabajo por nivel de logro
educativo, para hombres y mujeres de 25 a 64 años.
C12 Desempleo de jóvenes y adultos. Tasas por género y edad.
C13 Ingreso per c pita.
Opiniones y expectativas sobre la educación:
C21 Opiniones sobre la importancia de las materias que se
enseñan en las escuelas secundarias.
C22 Opiniones sobre la importancia de las cualidades y aptitudes
que pretende desarrollar el curriculum de la secundaria.
C23 Confianza del público en la calidad de enseñanza de materias
y en el desarrollo de cualidades y aptitudes por la escuela.
C24 Opiniones sobre la importancia relativa de hogares/escuelas
para el desarrollo personal y social de los jóvenes.
C25 Respeto de la población por los maestros de secundaria.
C26 Opiniones sobre las pr cticas escolares que se juzgan
prioritarias para el mejoramiento de las escuelas.
C27 Opiniones sobre las decisiones relativas a la escuela que
deberían tomarse en cada plantel.
INDICADORES SOBRE COSTOS, RECURSOS Y PROCESOS ESCOLARES.
Gasto educativo:
F01 % del gasto educativo en relación con el PIB.
F02 Gasto público y privado en educación, por nivel educativo.
F03 Gasto por alumno. Gasto absoluto en dólares corregidos por
Equivalencias de Poder Adquisitivo (PPP) y gasto relativo en
relación con el PIB per c pita, por nivel educativo.
F04 Gasto público por nivel educativo. Gasto absoluto por nivel
educativo en relación con el total de los niveles y gasto
relativo de cada nivel en relación con su matrícula.
F05 Gasto educativo por objeto del gasto. % destinado a sueldos,
otros rubros de gasto corriente o inversiones, por nivel.
Origen de los recursos educativos:
F11 % de recursos públicos y privados por nivel educativo.
F12 Recursos públicos para la educación por nivel de gobierno. %
de recursos centrales, regionales y locales en el gasto
educativo público.
F13 % del gasto en educación en el total del gasto público.
Tasas de participación en la educación:
P01 Participación de la población en la educación formal. % de
alumnos de tiempo completo o parcial en la población de 5 a
29 años. Esperanza de escolarización para un niño de 5 años.
P02 Educación de la 1¦ infancia. Tasas netas de escolarización
en preescolar y primaria.
P03 Educación media. Tasas netas de escolarización en todas las
modalidades de educación media.
P04 Transición de la educación secundaria a la terciaria. Tasas
de asistencia de alumnos de tiempo completo de 17 a 24 años
por tipo de institución y año.
P05 Ingreso a educación terciaria. % de alumnos de nuevo ingreso
a tiempo completo a instituciones de educación terciaria,
universitaria o no, en relación con el grupo de edad de
ingreso teórico a ese nivel.
P06 Participación en educación terciaria. Tasas netas de
participación en educación de tipo universitario o no.
P08 Educación contínua y de adultos. % de la población ocupada
de 25 a 64 años inscrita en programas de educación contínua o
de adultos, por nivel educativo y por grupo de edad.
Tiempo dedicado a la enseñanza:
P11 % dedicado a cada materia en el tiempo escolar total en la
educación secundaria b sica.
P12 Total de horas de enseñanza anuales que deben seguir los
alumnos de 9 y 14 años. Promedios y dispersión de las cifras
.
Procesos escolares:
P21 Existencia de diversas pr cticas de agrupamiento de los
alumnos de 9 años en las materias de lectura y lengua.
Recursos humanos:
P31 Personal docente y no docente del sector educativo como %
del total de la fuerza de trabajo.
P32 Proporción de estudiantes por docente por nivel educativo.
P33 Número de horas de enseñanza activa que deben cubrir los
maestros en los diversos niveles.
P34 Total de años de educación, a partir del primero de
primaria, requeridos para poder trabajar como maestro de cada
nivel.
P35 Salarios inicial y m ximo de los profesores de educación
pública de educación secundaria b sica.
P36 Distribución por edad y género de los maestros de los
diversos niveles.
Actividades de investigación y desarrollo en educación (I&DE):
P41 Personal equivalente de tiempo completo (ETC) dedicado a
I&DE. N° absoluto y % del total de investigadores y del total
de investigadores en instituciones de educación superior.
P42 Gasto I&DE. Total de gasto I&DE público y privado y % del
gasto educativo total y del total del gasto en I&D.
INDICADORES DE RESULTADOS EDUCATIVOS
Resultados de alumnos:
R04 Nivel de aprendizaje de lectura de alumnos de 9 y 14 años.
Puntajes en pruebas estandarizadas.
R05 Frecuencia de lectura reportada por alumnos de 14 años, en
relación con los resultados en pruebas objetivas.
Resultados del sistema:
R11 Tasa de graduación en educación media superior en relación
con el grupo de edad y por tipo de programa.
R12 Tasa de graduación en el primer nivel de la educación
universitaria en relación con el grupo de edad y por género.
R14 Número y proporción de primeros grados universitarios por
área del conocimiento en relación con el total.
R15 Graduados universitarios en reas científicas y tecnológicas
(ingenierías) sobre total y proporción de graduados en esas
áreas por 100,000 personas de 25-34 años de edad en la PEA.
Resultados en el mercado laboral:
R21 Desempleo-educación. Tasas de desempleo por nivel educativo
de la población de 25 a 64 y de 25 a 34 años, por género.
R22 Ingresos-educación. Proporción de ingresos anuales promedio,
por nivel educativo, en relación con ingresos medios de los
egresados de educación media superior en población de 25-64
años de edad por género.
R23 Logros educativos de los trabajadores. Indice de años de
estudio de trabajadores 35-54 años en ciertas ocupaciones.
R24 Tasas de desempleo de los jóvenes que abandonan el sistema
educativo en diversos niveles.
Los apartados del sistema y sus subdivisiones pueden verse
más sintéticamente en la siguiente tabla:
INDICADORES INTERNACIONALES DE SISTEMAS EDUCATIVOS-OCDE
SOBRE EL CONTEXTO DE LA EDUCACION
Contexto demográfico: 3
Contexto social y económico: 3
Opiniones y expectativas sobre la educación: 7
SOBRE COSTOS, RECURSOS Y PROCESOS ESCOLARES
Gasto educativo: 5
Origen de los recursos educativos: 3
Tasas de participación en la educación: 7
Tiempo dedicado a la enseñanza: 2
Procesos escolares: 1
Recursos humanos: 6
Actividades de inv. y desarrollo en educación: 2
SOBRE RESULTADOS EDUCATIVOS
Resultados de alumnos: 2
Resultados del sistema: 4
Resultados en el mercado laboral: 4
T O T A L 49
El que los 24 países afiliados a la OCDE hasta antes del
ingreso de México hayan logrado unificar sus criterios en la
medida que implica la lista de indicadores, y el que muchos
estén en condiciones de dar información de la mayor parte de
ellos, incluyendo, en algunos casos, desgloses por región (v.
gr. regiones lingüísticas de Bélgica o Canadá, integrantes del
Reino Unido, etc.) no puede menos que sorprender gratamente.
Parece pertinente, además, hacer algunas observaciones:
Llama la atención la amplitud de la lista de indicadores; estamos muy lejos del simple "conteo de insumos" de las
estadísticas tradicionales.
Puede notarse que se trata de indicadores concebidos para países relativamente desarrollados. Algunos no parecen muy
viables de manejar en países de menor desarrollo y, en
cambio, en éstos últimos harían falta otros.
El grado de detalle de algunos indicadores de gasto,
empleo, ingresos, etc. sólo son posibles si los países
cuentan con buenos sistemas de estadísticas económicas y
laborales.
En otros casos, como los de resultados escolares y los de opiniones y expectativas, los indicadores son posibles si
existen otros sistemas para el desarrollo de instrumentos y
la realización de importantes trabajos de campo que luego
puedan sintetizarse y alimentar al sistema de indicadores.
A falta de eso el apartado resulta m s débil que el resto.
Pese al esfuerzo por enriquecer el listado, el apartado de procesos escolares sigue siendo muy pobre, lo que es sin
duda explicable por la complejidad de esa dimensión de la
realidad educativa y hace pensar en la necesidad de contar
con enfoques complementarios.
.2 Los indicadores educativos en Estados Unidos.
Como se dijo en el apartado de justificación de este
trabajo, en Estados Unidos, con su enorme sistema educativo, el
interés por la calidad de la educación y su evaluación tiene
antecedentes muy antiguos, pero se ha manifestado con especial
fuerza en las dos últimas décadas, al grado de que las
deficiencias de las escuelas llegaron a ser consideradas motivo
de preocupación en relación con la seguridad nacional, tan cara
a los gobiernos republicanos como el del Presidente Reagan. El
título del m s famoso de una serie de reportes especializados
aparecidos en la primera mitad de los años 80 es sintom tico: A
Nation at Risk (1983).
Con todas las salvedades que se quiera hacer, aceptando que
una visión catastrofista carece de fundamento es, seguramente,
innegable que había motivos reales para preocuparse por la
calidad de la educación en los Estados Unidos hace 15 años, y
que siguió habiéndolos durante los 80. De la aparición de A
Nation at Risk hasta las famosas seis metas para la educación
del plan América 2000 adoptadas por el Presidente Bush y los
gobernadores de los 50 estados en su histórica reunión de 1989,
las manifestaciones de esta inquietud son numerosas.
Paralelamente, persistió y se fortaleció el interés por contar
con sistemas de información y evaluación confiables, que
permitan fundamentar las afirmaciones que se hagan sobre la
calidad de las escuelas, evitando extremos basados en
presupuestos m s que en evidencias reales.
Por su naturaleza federal, todavía en la segunda mitad de
los años 80 los Estados Unidos, en donde se han desarrollado con
m s fuerza los trabajos de investigación educativa en general, y
de investigación evaluativa en particular, carecían de un
sistema nacional de estadísticas e indicadores educativos que
permitiera comparar en forma homogénea a sus 50 sistemas
estatales. Muchos de éstos manejaban sistemas propios, a veces
de buena calidad, pero heterogéneos entre sí. Kaagan y Coley
informan que en esas fechas 23 de las 51 entidades federativas
norteamericanas (incluyendo al Distrito de Columbia) contaban
con sistemas de indicadores, en tanto que 48 aplicaban pruebas
estatales de conocimientos en ciertos niveles educativos. (1989)
Cuando se advirtió que prácticamente todos los estados
decían tener cifras "mejores a la media nacional" en ciertos
indicadores, se cayó en la cuenta de la necesidad de contar con
un sistema nacional que permitiera comparaciones interestatales
válidas. Las Wall Charts que comenzó a publicar en 1985, no sin
resistencias, el Centro Nacional de Estadísticas Educativas del
Dpto. Federal de Educación, con el impulso del Secretario Bell,
fueron el primer esfuerzo en tal dirección (BRYK & HERMANSON
1992:451).
Más recientemente comenzó a aparecer la publicación anual,
del mismo Centro Nacional de Estadísticas Educativas, Condition
of Education. The Digest for Educational Statistics.
Pronto se cayó en la cuenta de que no bastaba homogeneizar
las estadísticas existentes, que coincidían en su reducido
enfoque centrado en el conteo de insumos. Se comenzó a ver
claramente que, para tener elementos suficientes para juzgar la
calidad de los sistemas educativos, en toda la amplitud de tan
rica palabra, se necesitaban sistemas de información mucho m s
completos y finos, que atendieran no sólo a los insumos, sino
también a los productos y a los procesos que tienen lugar en el
interior de las escuelas, así como a las necesidades de su
entorno social.
En septiembre de 1991 se publicó el trabajo de un grupo de
especialistas (Special Study Panel on Education Indicators,
SSPEI, 1991), contratados en 1989 por el Centro Nacional de
Estadísticas Educativas para diseñar un sistema de indicadores
para monitorear el "estado de salud del sistema educativo
norteamericano".
El tamaño y la calidad del grupo, así como el tiempo de que
dispusieron para realizar la tarea encomendada, permiten
formarse una idea de la conciencia existente sobre la
importancia y la complejidad de la misma. De hecho el resultado
no es todavía un sistema completo de indicadores, sino apenas un
excelente esquema del mismo. Los autores señalan desde el
principio de su trabajo que la importancia de un sistema de
indicadores radica en que no sólo refleja ciertas prioridades
educativas sino que, en buena medida, las define.
Así, por más que se diga que determinadas reas del
curriculum son importantes, si se aplican pruebas y se formulan
indicadores sólo sobre otras, ser éstas últimas las que acaparen
la atención de maestros y alumnos, quienes descuidarán las
primeras: "si la nación está de acuerdo en que las matemáticas y
la geografía son suficientemente importantes para tener su
respectivo indicador, dice el documento haciendo referencia a
una de las metas educativas establecidas por la administración
del Presidente Bush para el año 2000, en tanto que la música o
las lenguas extranjeras no, los educadores actuar n en
consecuencia (SSPEI 1991, p. 7).
Por consiguiente, siguen diciendo los autores, hay que
evitar el error de diseñar un sistema de indicadores a partir de
la información disponible, de lo inmediatamente factible, aunque
se afirme que los aspectos no cubiertos por tal sistema también
son importantes. Esta salvedad teórica pronto ser olvidada en
la práctica, y lo realmente importante será definido por aquello
que puede "medirse" mediante los indicadores disponibles. Por el
contrario, hay que diseñar el sistema de indicadores a partir de
lo que en principio se considera importante, aunque para muchos
aspectos no se cuente con datos adecuados y deban realizarse
después los esfuerzos para contar con la información necesaria.
El sistema resultante del trabajo del grupo plantea seis
grandes conjuntos de indicadores, relacionados con otras tantas
dimensiones del quehacer educativo, que resultan fundamentales
para una evaluación integral del mismo y que son las siguientes:
Qué y cuánto aprenden los estudiantes (learning outcomes).
Qué tanto favorecen el aprendizaje las escuelas (quality of educational institutions).
Qué antecedentes de los niños los preparan mejor para la escuela (readiness for school).
Qué apoyo brindan las diversas instituciones sociales al
aprendizaje escolar (societal support for learning).
En qué medida la educación contribuye a la productividad económica (education and economic productivity).
En qué medida la educación ofrece igualdad de oportunidades y contribuye a equidad y bienestar (educational equity).
Como se ha dicho, el trabajo aún no llega a la etapa de un
listado preciso de indicadores como el de la OCDE, pero sí
incluye una serie de aspectos particulares de cada una de los
seis grandes conjuntos o áreas mencionados, como sigue:
AREA I. RESULTADOS DEL APRENDIZAJE.
Dominio de contenidos básicos: inglés, matemáticas, ciencias
naturales, ciencias sociales, humanidades, música y otras artes,
lengua extranjera.
Habilidades integradoras, razonamiento, interdisciplinariedad y
relacionadas con el trabajo: alfabetización científica y
tecnológica, comprensión internacional, pluralismo, competencias
para el trabajo.
Actitudes y disposiciones: tolerancia, autocontrol,
responsabilidad, valoración de la asistencia a la escuela,
compromiso con el aprendizaje, dedicación al oficio.
AREA II. CALIDAD DE LAS INSTITUCIONES.
Oportunidades de aprendizaje: tiempo efectivo de exposición en
cada materia, naturaleza de oportunidades de aprendizaje
(activas-pasivas, etc.), asignación de grupos a maestros,
integración curricular.
Maestros: nivel de ingreso de quienes eligen la profesión,
calidad de la formación inicial, competencia demostrada en el
aula.
Condiciones de trabajo de los maestros: disponibilidad de
recursos básicos en el aula, recursos de apoyo, capacidad de
decisión sobre los contenidos, apoyo para el desarrollo
profesional.
Clima institucional (las instituciones como lugares con
objetivos y car cter): claridad de la misión, ambiente humano,
orden y seguridad, prioridad de lo académico.
Recursos de las escuelas: edificios, bibliotecas, laboratorios,
equipamiento, personal profesional de apoyo.
AREA III: PREPARACION PARA LA ESCUELA.
Situación de niños pequeños y sus famillias: perfiles de niños
de 3 a 6 años; salud, nutrición, peso al nacer, hogares de un
solo cónyuge, cuidados prenatales y seguridad social.
Servicios educativos: programas preescolares, características de
las escuelas, curriculum e instrucción.
AREA IV: APOYO DE LA SOCIEDAD PARA EL APRENDIZAJE.
Apoyo familiar: actitudes de padres, participación en el trabajo
del hogar, responsabilidad por los cuidados elementales,
participación de los padres en las actividades de la escuela.
Apoyo de la comunidad: existencia de bibliotecas y de servicios
existentes en la comunidad para apoyo de materias particulares
como ciencias, artes, etc.
Apoyo del ambiente cultural: actitudes cívicas y comportamiento
electoral, h bitos de lectura, competencia de actividades como
la televisión con lo educativo.
Apoyo económico: fuentes de los recursos escolares (federales,
estatales, locales), distribución por objeto del gasto, recursos
y gastos educativos de otras instituciones.
AREA V: LA EDUCACION Y LA PRODUCTIVIDAD ECONOMICA.
Resultados formales: adquisición de competencias para el
trabajo; persistencia, deserción, y eficiencia terminal;
elección de diversos programas o materias económicamente
importantes, como las de ciencia y tecnología; atención de los
alumnos m s talentosos.
Consecuencias económicas de la educación: empleo, ingresos
diferenciales según el nivel educativo alcanzado.
Apoyo de empresas a la educación: educación en lugares de
trabajo; políticas de apoyo a la educación por parte de
empresas.
La función de investigación de la educación superior:
actividades académicas de investigación y desarrollo y su
impacto.
AREA VI: LA EQUIDAD: RECURSOS, CARACTERISTICAS DEMOGRAFICAS,
ESTUDIANTES EN SITUACION DE RIESGO.
Características demográficas: pobreza, grupos minoritarios,
niños con discapacidades, alumnos que no dominan el inglés,
segregación racial, familias de un solo cónyuge.
Características de las instituciones educativas: tipo, control,
ubicación, composición del alumnado.
Servicios educativos: expectativas diferenciales y agrupamiento
inequitativo para estudiantes con desventajas; clima escolar;
programas compensatorios especiales.
Comparando los puntos anteriores con los de la OCDE es
posible hacer algunos comentarios:
Por una parte, es obvio el muy distinto grado de desarrollo de los dos trabajos.
Por otra, se ven claras coincidencias de concepción, junto a diferencias muy precisas de detalle.
En tercer lugar, también se nota que este segundo trabajo se refiere al sistema educativo de un país muy
desarrollado.
Por último, y tal vez con mayor claridad que en el caso de la lista de la OCDE, se percibe la dificultad de obtener la
información necesaria para poner en pr ctica un sistema de
indicadores tan ambicioso.
Aún limitándonos a la primera de las seis dimensiones, que
es la más convencional al pensar en evaluación educativa, o sea
la que se refiere a qué y cuánto aprenden los estudiantes,
diseñar un buen sistema de evaluación no es cosa fácil.
No se trata, como se hace con frecuencia cuando se abordan
estas cuestiones por primera vez, de aplicar simplemente, en
condiciones m s o menos controladas, pruebas de rendimiento
construídas sin una metodología rigurosa.
Este procedimiento sencillo encierra complejas cuestiones
de confiabilidad y validez, de las que se tratar en el apartado
relativo a los sistemas de pruebas estandarizadas. Por el
momento continuaremos viendo sistemas de indicadores
desarrollados en diversos lugares.
.3 El sistema de indicadores educativos de Francia.
El sistema educativo francés comprende tres grandes
niveles: el primero, a su vez, incluye la educación preescolar
(maternal, de 2 a 5 años) y la educación primaria (5 años de los
6 a 11, designados como 1° a 5°).
La educación secundaria comienza a los 12 años con el 6°
grado que se designa tradicionalmente de esa manera: "6Šme.".
Los 4 primeros años de la secundaria son obligatorios, con lo
que la educación b sica se extiende hasta los 16.
El 2° ciclo, no obligatorio, de la secundaria, a partir de
los 16, puede durar 2, 3 o 4 años y da acceso a diversos
diplomas. La educación superior, en universidades y otras
instituciones tiene, a su vez, 3 ciclos: un diploma de 2 años
que puede ser general (DEUG) o profesional; un 2° ciclo,
profesional (Maestría y DEA); y el 3er. ciclo que consiste en el
doctorado.
En una publicación destinada a informar al público en
general sobre la situación del sistema educativo nacional, el
Ministerio de Educación Nacional francés maneja un sistema de 30
indicadores.
El conjunto se estructura siguiendo dos ejes: por una
parte, los niveles del sistema educativo, distinguiendo
indicadores relativos al conjunto (11), a la enseñanza primaria
(4), a la secundaria (5), a la educación superior (6) y a la
formación continua (4). El otro eje distingue los indicadores de
costos (insumos), los de actividades (procesos) y los de
resultados (productos).
Los ejes se combinan, de manera que hay indicadores de
costos, actividades y resultados para el conjunto del sistema
educativo y para cada uno de los niveles considerados.
A continuación se enumeran los 30 indicadores. La sigla que
precede al número de cada uno indica si se refieren a costos
(C), actividades (A) o resultados (R).
Indicadores del Conjunto del Sistema.
C1. Gasto educativo. Global, público (por nivel de
administración, central, regional), privado. Por habitante,
por alumno y como porcentaje del PIB.
C2. Gasto educativo del Ministerio de Educación Nacional, global
y por alumno.
C3. Personal del sistema educativo. Total, desglose por
actividad (enseñantes y otros) por sexo y por dependencia
(Ministerio de Educación, otros). Proporción de la PEA en
educación.
A4. Esperanza de escolarización de los alumnos que inician la
escuela en determinado ciclo, por sexo.
A5. Proporción de una generación que accede al nivel de
bachillerato o de un diploma de educación profesional de
nivel equivalente.
A6. Idem. por región, en cifras efectivas y comparadas con las
esperables dada la composición social de la población.
R7. Resultados de los conscriptos en cuatro pruebas de aptitud
académica, por cohorte anual y según nivel de escolaridad.
R8. Número de alumnos que salen del sistema educativo con
diversos niveles de preparación.
R9. Tasa de desempleo de jóvenes de menos de 25 años con o sin
calificación educativa, por sexo.
R10. Diferencias de salario según nivel educativo entre personas
de 25 a 29 y de 35 a 44 años.
R11. Proporción de personas con o sin bachillerato o diploma
superior que tienen una actividad de nivel medio o alto
(ejercicio libre o puesto asalariado directivo) en el grupo
de 25 a 29 años, controlando la profesión del padre.
Indicadores de la Educación Primaria.
C12. Gasto educativo en primaria.
A13. Porcentaje de niños de 2 a 5 años que est n escolarizados.
A14. Duración efectiva promedio que requiere un niño para
terminar los cinco años de educación primaria.
R15. Resultados obtenidos en pruebas de francés y matem ticas
por los alumnos al entrar al 1er año de educación secundaria
(6°).
Indicadores de la Secundaria.
C16. Gasto educativo en secundaria.
A17. Inscripción en secundaria, total y por ciclo. Efectos del
crecimiento demogr fico y de los incrementos en las tasas de
escolarización respectivas.
A18. Duración anual teórica de la enseñanza recibida por los
alumnos por grupo de disciplinas.
R19. Esperanza de obtener uno de los diplomas terminales de la
educación secundaria para los miembros de las cohortes que
ingresan al primer año de la misma (6°).
R20. Tasas de transición entre los grados de la educación
secundaria de segundo ciclo y probabilidades de alcanzar el
diploma de bachiller, por establecimiento. Resultados
efectivos de cada establecimiento y comparados con los
esperables según la composición del alumnado.
Indicadores de Educación Superior.
C21. Gasto en educación superior.
A22. % de egresados de bachillerato general o tecnológico que
accede al año siguiente a diversas instituciones de educación
superior.
A23. Matrícula en educación superior. Efectos del crecimiento
demogr fico y de los cambios en la escolarización. Tasas de
escolarización en educación superior de grupos de edad de 18
a 25 y de 19 a 21 años.
R24. Tasa de acceso al 2° ciclo universitario de los que entran
al 1°, por tipo de diploma de secundaria.
R25. % de alumnos que aprueban el 2° y 3er. ciclo universitarios
maestría, DEA y doctorado).
R26. N° de egresados de ed. superior con diplomas de diferente
nivel.
Indicadores de Formación Continua.
C27. Gasto en educación continua. Público y privado (empresas y
familias).
A28. N° de personas y horas en actividades de formación
continua.
A29. Idem en establecimientos públicos de ed. secundaria y
superior.
R30. Tasa de acceso a empleo de nivel superior tras haber
realizado actividades de formación continua, por sexo, según
diversas duraciones de la formación y si ésta fué tomada por
iniciativa personal o del empleador.
Parece adecuado resaltar algunos puntos del sistema francés
de indicadores: por una parte, estamos nuevamente, como en el
caso de la OCDE y a diferencia del trabajo americano reseñado,
ante un sistema plenamente desarrollado, que de hecho tiene
varios años de operación. Por otra, salta a la vista que se
trata del sistema de un país desarrollado, con indicadores que
suponen excelentes sistemas de estadísticas laborales y
económicas.
Por último, algunos de los indicadores franceses contienen
ideas novedosas que conviene destacar: una es la de utilizar los
resultados de las pruebas que se aplican anualmente a los
conscriptos (indicador R7); otra es la de comparar los datos
reales de una región con los que podrían esperarse dada la
composición de su población (A6, R20); una m s es el uso del
indicador relativo a la duración efectiva promedio para terminar
la primaria (A14).
.4 Indicadores educativos en otros países europeos.
La Oficina de Estadísticas de las comunidades europeas ha
emprendido un trabajo de elaboración de indicadores educativos,
complementario al que desarrolla la OCDE y que trata de atender
algunos puntos de especial interés para los países de este
grupo.
Entre los indicadores que maneja mencionamos, a título de
ejemplo, los siguientes (las siglas son las que maneja el
documento original):
F CM Niños de familias migrantes en las escuelas.
F FP Alumnos en instituciones que cobran cuotas en 1° y 2°
nivel.
F SH Subsidios a alumnos de educación superior.
Q AL Nivel de alfabetización de los adultos.
Q AN Nivel de matem ticas de adultos (alfabetización
aritmética).
Q ED Desertores tempranos en educación superior.
L LS Alumnos que estudian lenguas extranjeras en secundaria.
L LA Lenguas estudiadas por adultos.
L FS Alumnos extranjeros en educación superior.
V TE Actividades educativas para desempleados.
El interés por los alumnos extranjeros o hijos de
migrantes, o por el estudio de otros idiomas, resulta lógico en
el contexto de un continente en proceso de unificación económica
y política, con una población migrante muy importante y
creciente. Es interesante el uso de indicadores de
alfabetización en sentido estricto y en relación con las
matem ticas, para la población adulta.
.5 Indicadores educativos en países africanos.
Los países en vías de desarrollo no suelen contar con
sistemas de indicadores como los anteriores. Recientemente, y
con el apoyo de instancias como el Instituto Internacional de
Planeación de la Educación de la UNESCO, han comenzado a
realizarse interesantes trabajos para la evaluación de la
calidad educativa. El desarrollo de sistemas de indicadores
forma parte integral de estos esfuerzos. A continuación
presentamos las listas de los indicadores que est n utilizando
actualmente dos de los países m s pobres de Africa y del mundo:
Mali y Lesotho. En ambos casos la orientación técnica del
trabajo estuvo a cargo de C. Sauveageot. (1992 y 1993)
Indicadores educativos de Mali:
INDICADORES DE LAS ESCUELAS. ANALISIS POR REGION.
1. Número de escuelas.
2. Número de aulas.
3. Número de alumnos por grupo.
4. Número de grupos multigrado.
5. Porcentaje de escuelas con comedor.
6. Distancia promedio del hogar a la escuela.
7. Porcentaje de escuelas con doble turno.
8. Porcentaje de grupos con excesivo número de alumnos.
9. Porcentaje de salones en mal estado.
10. Porcentaje de aulas con pizarrón en mal estado.
11. Porcentaje de escuelas con diversos equipamientos.
INDICADORES DE LOS ALUMNOS. ANALISIS POR SEXO.
1. Tasas brutas de admisión.
2. Tasas brutas de escolarización.
3. Tasas netas de escolarización.
4. Tasas de repetición.
5. Tasas de transición en cohortes corregidas.
6. Tasas de graduación en cohortes corregidas.
7. Resultados en pruebas de conocimiento por nivel.
INDICADORES DE MAESTROS-APOYOS. ANALISIS POR TIPO DE
ESCUELA/NIVEL.
1. Proporción de alumnos por maestro.
2. Proporción de mujeres en el magisterio.
3. Nivel de calificación de los maestros.
4. Formación continua de los maestros.
5. Egreso de las instituciones formadoras de maestros.
6. Número de libros de texto y de apoyo por alumno.
7. Actividades de construcción-reparación y compra de material.
8. Proporción de inspectores y asesores por escuela y maestro.
INDICADORES DE GASTO EDUCATIVO.
1. Proporción del gasto público en educación en el PIB.
2. Proporción del gasto público en educación en el total.
3. Proporción del gasto corriente y de inversión.
4. Fuentes del gasto público: federal, regional...
5. Proporción del gasto educativo por nivel.
6. Costos por alumno por nivel.
7. Costos por alumno en relación con el PIB per c pita.
8. Destino del gasto educativo: salarios, becas...
9. Gasto por maestro por nivel.
10. Gasto por maestro en relación con el PIB per c pita.
Indicadores educativos de Lesotho:
1. Porcentaje de alumnos en escuelas, iglesias o al aire libre.
2. Número de alumnos por aula.
3. % de niños que entran a primaria antes de la edad.
4. % de niños en situación de extraedad.
5. Tasa neta de inscripción.
6. Tasa neta de escolarización.
7. Tasa de repetición.
8. Porcentaje de niños que terminan tercer año.
9. Porcentaje de niños que terminan séptimo grado.
10. Porcentaje de niños que aprueban examen final de primaria.
11. Libros de texto y apoyo por alumno.
12. Porcentaje de niños con pupitre.
13. Proporción de alumnos por maestro.
14. Porcentaje de maestros calificados.
15. Porcentaje de maestros segun niveles de experiencia.
16. Egreso de las instituciones formadoras de maestros.
17. Deserción de maestros.
18. Maestros en reas difíciles.
19. Maestros que disponen de vivienda en la escuela.
20. Proporción de asesores profesionales por maestro.
21. Proporción de inspectores por maestro.
22. Actividad del consejo escolar.
23. Gasto educativo en relación con el PIB.
24. Gasto educativo por nivel.
25. Fuentes del gasto educativo.
26. Gasto público en educación en relación con el total.
27. Gasto por alumno.
28. Gasto por alumno en relación con el PIB per cápita.
29. Gasto por maestro.
30. Gasto por maestro en relación con el PIB per cápita.
31. Fuentes de los ingresos de los maestros.
El análisis de ambas listas muestra coincidencias
generales, de carácter conceptual, con las de los países más
ricos. Al mismo tiempo aparecen grandes diferencias en el
contenido detallado, que reflejan sin duda el muy distinto nivel
de desarrollo.
El que un país maneje indicadores como la proporción de
niños escolarizados que toman sus clases en aulas especialmente
diseñadas para tal propósito, en contraposición a los que lo
hacen en iglesias o al aire libre, o como el porcentaje de niños
que cuentan con pupitre (en 1er. grado el porcentaje pasó del 8
al 14% entre 1985 y 1990), no puede menos que impresionar.
Es claro que estos dos sistemas no suponen la existencia
previa de sistemas de estadísticas nacionales sofisticados, sino
que pueden desarrollarse mediante un esfuerzo razonable del
propio sistema educativo.
.6 Un sistema latinoamericano de indicadores educativos.
El Laboratorio Latinoamericano de Evaluación de la Calidad
Educativa (LLECE) propone un sistema de indicadores que concreta
su modelo de calidad.
El sistema se estructura combinando seis "áreas de
variables incidentes en el aprendizaje escolar" (política
social-educativa, familia, escuela, alumno, curriculum y
profesor) con las dimensiones de insumos y procesos. Hay,
además, indicadores de productos, así:
INDICADORES DE INSUMOS.
Política social-educativa:
Gasto en educación del país y por alumno.
Escolaridad obligatoria.
Familia del estudiante:
Composición del grupo familiar.
Nivel ocupacional y educacional de los padres.
Equipamiento del hogar. Bienes y recursos culturales.
La escuela:
Ubicación geogr fica (rural, urbana).
Dependencia administrativa (particular, municipal, etc.).
Calendario escolar.
Razón profesor, personal directivo y administrativo/alumnos.
N° de estudiantes por curso y por escuela.
Infraestructura b sica (bancos, aulas, biblioteca...).
Recursos instruccionales (textos, apoyos materiales...).
Incentivos para directivos y profesores.
Alumnos:
Género, edad, etnia, nivel socioeconómico.
Historia escolar (rendimiento, variables afectivas).
Curriculum planeado:
Ciclos, asignaturas, contenidos, objetivos.
Profesor:
Género, edad, etnia.
Formación previa, posgrado, perfeccionamiento en servicio.
Años de experiencia, remuneración, jornada de contratación.
Compromiso y satisfacción personal.
INDICADORES DE PROCESOS.
Política social-educativa (gestión institucional):
Sistema de administración (centralizado-descentralizado).
Sistema de asignación de recursos.
Incentivos a la innovación en las escuelas.
Supervisión y apoyo técnico a las escuelas.
Familia:
Compromiso educacional familiar. Participación de los padres
en la escuela y satisfacción con ella.
Guía, apoyo y estímulo académico a los hijos.
Expectativas/aspiraciones respecto a educación de los hijos.
Hábitos-rutinas-participación de niños en tareas del hogar.
Escuela (gestión escolar):
Clima organizacional.
Liderazgo académico, funciones, expectativas y atribuciones
del director.
Rotación de personal docente y ausentismo laboral.
Niveles de participación de la comunidad educativa.
Alumno (hábitos y destrezas):
Asistencia a clases. Puntualidad. Tiempo en la tarea.
Participación en clases.
Curriculum realizado:
Días y horas efectivos de clases. Cumplimiento de metas.
Dificultades en el desarrollo del curriculum.
Profesor (gestión pedagógica):
Estilo de enseñanza. Empleo de medios y materiales de apoyo.
Asignación y revisión de tareas. Oportunidad de aprendizaje.
Expectativas y atribuciones de los profesores.
Frecuencia de evaluaciones. Disciplina escolar.
Distribución del tiempo de profesores.
INDICADORES DE PRODUCTOS (NIVELES Y CALIDAD DE APRENDIZAJE).
Logro de contenidos mínimos en matemáticas, lengua.
Nivel de destrezas cognitivas en cálculo, lengua.
Nivel de autoestima académica.
Años para completar el 1er. ciclo básico.
Tasas de deserción, repitencia.
Resulta obvio que este listado es apenas un esbozo y no un
sistema de indicadores plenamente desarrollado. Se mezclan
indicadores precisos, que coinciden con los de otros sistemas,
con ciertos datos que pueden servir para construir indicadores
pero que, en sí mismos, evidentemente no lo son, como, por
ejemplo, las disposiciones sobre la escolaridad obligatoria y
otros puntos del rubro de política social-educativa. Por otra
parte, la mayor parte de los indicadores de procesos del listado
anterior son de tal naturaleza que, para contar con los
elementos necesarios para construirlos, se requiere de toda una
serie de actividades a nivel de plantel. Más adelante, en el
tercer apartado, relativo a los sistemas de evaluación de
establecimientos escolares, se encontrar n muchos elementos de
este tipo.
El nivel de desarrollo de México se sitúa, sin duda, en
algún punto intermedio de ese impresionante espectro que tiene
sus límites superior e inferior, precisamente, en los países más
ricos de la OCDE y los más pobres del Africa sub-sahariana. Por
ello nuestro país puede tener algo que aprender de los
indicadores europeos, americanos o franceses, pero también de
los sistemas africanos.
2.2 Sistemas de pruebas estandarizadas.
Como ha podido observarse, el sistema de indicadores de la
OCDE incluye un apartado de resultados educativos, con un rubro
dedicado a resultados individuales de alumnos, otro a resultados
colectivos del sistema y un tercero a los resultados en el
mercado laboral. Esto resulta lógico, pues se ha visto que una
definición mínimamente exigente de calidad educativa no puede
limitarse al estudio de los insumos de un sistema, sino que
necesariamente debe incluír el an lisis de sus productos.
Sabemos también que la información sobre insumos es la más
fácilmente disponible, ya que puede encontrarse en archivos
administrativos que suele haber en todas las instituciones. En
cambio, muy rara vez podrá encontrarse información previamente
existente sobre resultados que sea válida y confiable.
Por ello, si se quiere tener indicadores sintéticos de
resultados resulta necesario desarrollar mecanismos de
elaboración y aplicación masiva de instrumentos de evaluación
confiables, a no ser que se tenga la suerte de poder aprovechar
los resultados de trabajos de esa naturaleza desarrollados en
forma independiente, como fue el caso de la OCDE, que pudo
aprovechar los trabajos de la IEA. En muchos casos no se tendr
esta suerte.
En efecto: los maestros de todos o casi todos los niveles
escolares evalúan permanentemente a sus alumnos, de muy diversas
formas, pero llegando finalmente, en casi todos los casos, a la
asignación de una calificación "sumativa" (letra o nota
numérica) que significa la aprobación o reprobación de la
materia o el grado y, en general, condiciona el paso al nivel o
grado siguiente.
En general estos procesos de evaluación a cargo de maestros
los realiza cada uno de manera independiente y sin utilizar
instrumentos o procedimientos estandarizados o unificados.
Esto es explicable y tiene sus ventajas, puesto que permite
que la evaluación tenga en cuenta un gran número de
apreciaciones finas casi imperceptibles que el maestro tiene del
alumno a lo largo del curso y posibilita la adecuación de la
evaluación a las condiciones únicas e irrepetibles de cada
escuela, cada grupo, cada materia, cada maestro y cada alumno.
Sin embargo, estas ventajas tienen una desventaja
correlativa obvia, muy importante también: la imposibilidad de
comparar de manera confiable los resultados de unos alumnos con
otros, cosa indispensable en una evaluación de conjunto. Nos
encontramos, pues, ante una antinomia difícil de resolver, que
no es sino una variante m s del cl sico problema de la
singularidad y la generalizabilidad que la investigación no
puede eludir, y que en el caso de las pruebas de conocimientos o
similares se concreta en los cl sicos problemas de confiabilidad
y validez, a los que ya se ha hecho referencia.
Cualquier instrumento para evaluar aprendizajes enfrenta la
dificultad de compaginar, por una parte, profundidad y finura,
con aplicabilidad en gran escala y comparabilidad, por otra.
Instrumentos que no se elaboren con todas las reglas del
arte no son estrictamente comparables. Si los reactivos y las
pruebas en conjunto no están bien calibrados, gracias al uso de
técnicas estadísticas de escalamiento rigurosas, dos
puntuaciones idénticas pueden corresponder a niveles de
aprendizaje muy distintos. La aplicación de una prueba idéntica,
para evitar problemas de comparabilidad, sólo es factible en muy
pequeña escala. Mediciones de muestras o de poblaciones
importantes y repetidas a lo largo del tiempo requieren
necesariamente de versiones diferentes, pero que sean
estrictamente equivalentes, de los instrumentos, lo que sólo
puede lograrse mediante el uso de las técnicas estadísticas que
se han desarrollado para tal propósito.
Por otra parte, la calidad de un instrumento podría
mejorar, en principio, incrementando el número y/o la calidad de
sus reactivos o items: un mayor número de reactivos permitiría
teóricamente una mayor confiabilidad, al incluír, por ejemplo,
varios items sobre un mismo tema. Y obviamente mejores reactivos
hacen una prueba mejor.
La validez también puede beneficiarse, en principio, de la
mayor extensión de una prueba, ya que así sería posible atender
mejor las diversas reas del curriculum, incluyendo no sólo los
temas m s elementales, sino también los aspectos m s finos de
aplicación de conocimientos a la solución de problemas reales
que planteen las sociedades modernas a sus ciudadanos.
Al mismo tiempo, la mayor extensión de los instrumentos
complica significativamente su aplicación, al grado de que, a
partir de cierto punto, ésta última se volver inviable.
Las tendencias recientes de búsqueda de mejores
metodologías de elaboración y aplicación de pruebas, authentic
testing, tests de 4ª y 5ª generación, etc., buscan precisamente
resolver estos problemas, y no pueden ignorarse. Resulta
paradójico que las reas dedicadas a estas tareas desconozcan,
con frecuencia, no sólo los avances metodológicos m s recientes,
sino también planteamientos que tienen ya 20 o 30 años de
vigencia, como las pruebas construídas con referencia a
criterio, etc.
Por otra parte, la aplicación de pruebas de conocimientos
no es la única forma de enfrentar el problema de la
comparabilidad de las evaluaciones del aprendizaje de los
alumnos hechas por los profesores en forma independiente. Hay
otra manera, a la que se ha referencia a continuación.
Esa forma menos conocida se designa con el término
moderación, o suavizacion en el sentido preciso que puede verse
en esta cita:
Cuando las escuelas evalúan el desempeño de los alumnos en
cierta materia... es necesario tener en cuenta el hecho de
que escuelas y maestros pueden tener estándares distintos
al calificar... los procedimientos que se emplean para
ajustar las calificaciones para corregir esa falta de
comparabilidad entre instituciones se designan con el
término moderación (moderation). Los procedimientos de
moderación que se usan en tales casos pueden implicar, bien
sea el uso de ajustes estadísticos, bien sea el uso de
juicios basados en muestras del trabajo de los alumnos.
(Keeves, 1994:85)
Los ajustes estadísticos pueden ser sencillos o implicar
una complejidad mayor: si se conocen las calificaciones de todos
los alumnos de cada escuela o grupo, en lugar de usar cada
calificación "bruta" es muy f cil transformarla a un puntaje
estandarizados, como un puntaje z, que informa no sobre un
supuesto desempeño absoluto, sino sobre la posición relativa de
un alumno en la distribución de su escuela o grupo: si se
encuentra en la media, muy por encima o por debajo de ella etc.
Un ajuste m s complejo requiere la aplicación de una o
varias pruebas estandarizadas, que sirven como punto de
referencia para calibrar los puntajes brutos.
Keeves describe los procedimientos utilizados en Suecia
para controlar la calidad de las notas escolares que cada alumno
recibe al final de la escolaridad obligatoria, como ejemplo de
procedimientos de moderación que no recurren al ajuste
estadístico de los puntajes: en ciertos momentos de los últimos
tres años de escolarización, se aplican en todas las escuelas
del país pruebas estandarizadas de conocimientos en seis
materias básicas.
Las pruebas se califican en una escala de cinco puntos.
Luego se comparan las medias de las calificaciones asignadas por
cada maestro, en forma independiente, a sus alumnos con la media
obtenida por ellos mismos en la prueba estandarizada de la
materia. Si las medias coinciden, o si la diferencia entre ambas
no es mayor a 0.2 se aceptan las calificaciones finales
asignadas por el maestro sin corrección alguna. Cuando la
diferencia entre las medias es mayor, los maestros del último
grado obligatorio de la escuela, como colectivo, corrigen las
calificaciones de los alumnos de suerte que la media se sitúe
dentro del rango mencionado. (Keeves, 1994:88-89)
Keeves comenta que estos enfoques pueden ser adecuados en
contextos en los que las diferencias entre escuelas no son muy
grandes, pero no en el caso contrario, que suele darse en los
países en vías de desarrollo (cita expresamente al Brasil). Los
procedimientos complejos, tanto con ajustes estadísticos como
con el uso de juicios colectivos de los equipos docentes, como
el de Suecia, requieren una cantidad muy grande de tiempo y
recursos humanos, así como una organización sumamente eficiente,
puesto que siempre suponen la aplicación de uno o varios
instrumentos estandarizados, por lo que no son fácilmente
aplicables en países grandes y pobres (Keeves, 1994:45-46)
La segunda manera, mucho más conocida, de tratar de contar
con información confiable sobre los resultados del aprendizaje
escolar -que, por lo demás, parece perfectamente compatible con
el uso de procedimientos de moderación- consiste en la
aplicación masiva de pruebas de aprendizaje estandarizadas.
La tradición de aplicar pruebas escritas a los alumnos de
un establecimiento educativo para evaluar diversos aspectos de
su aprendizaje es antigua, aún sin tomar en cuenta los casos
espor dicos o las experiencias no sistemáticas, como los
legendarios exámenes de Sócrates o los sofistas.
El sistema de exámenes imperiales de China fue establecido
formalmente en el año 606 de nuestra era. En Europa se considera
que los iniciadores de la tradición moderna fueron los jesuitas
en sus escuelas, desde la última parte del siglo XVI. En el
siglo XIX varios de los grandes sistemas europeos implantaron
exámenes nacionales para el acceso a las universidades, que han
llegado a ser parte inevitable de los sistemas escolares
respectivos. Es el caso del abitur alemán, del baccalaureat
francés, del examen italiano de maturitá o el de matriculation
del Reino Unido.
Sin embargo, estos exámenes, tipo ensayo, tienen en común
el consistir en pocas preguntas (incluso una sola) y el que
requieren respuestas amplias mediante las cuales es posible, en
principio, evaluar no sólo los conocimientos particulares de los
sustentantes en relación con ciertos temas sino, ante todo, su
cultura general, su "madurez", su capacidad de formular un
discurso propio que integre elementos variados en forma
coherente y original.
El número de estudiantes rápidamente creciente, en el
contexto del dinámico sistema educativo norteamericano de fines
del XIX y principios del XX, puso en evidencia la conocida
dificultad de calificar de manera rápida y confiable grandes
cantidades de estos ex menes "tipo ensayo". Lógicamente fue en
este contexto donde se desarrolló con m s vigor la alternativa
que constituyen las pruebas llamadas objetivas, que suelen ser
de respuesta abierta muy breve o bien de respuesta
preestructurada, con varias modalidades de opciones predefinidas
entre las cuales el alumno debe únicamente escoger y marcar la
que crea correcta.
El desarrollo de los test de inteligencia en Francia y
Estados Unidos, siguiendo las huellas de Galton, permitió el
desarrollo de las técnicas psicométricas y docimológicas a
partir del final de la 1¦ Guerra Mundial.
Los planteamientos de Tyler, a partir de los años 30 y 40,
y luego de Bloom en los 50s y 60s fueron la base de un gran
desarrollo de este tipo de pruebas "objetivas". La variante que
se desarrolló en los 60s y 70s fue conocida con la expresión de
minimum competency testing, enfoque adoptado por la mayoría de
los estados norteamericanos como pieza integral de los sistemas
de evaluación establecidos con obligatoriedad legal a partir de
esa época.
Como consecuencia de la preocupación por el deterioro de la
calidad de las escuelas, manifestado en la declinación de los
resultados promedio obtenidos año tras año por los alumnos en
pruebas estandarizadas como el Scholastic Aptitude Test (SAT),
que hacen muchos egresados de la educación media superior
(senior high school) como requisito para acceder a la
universidad, las legislaturas de algunos estados como
California, Florida y Oregon establecieron la obligatoriedad de
aplicar regularmente a los alumnos de diversos grados de la
educación preuniversitaria (los 12 años que terminan en el
último de High School, muchas veces designados con la expresión
K 12) pruebas de conocimientos construídas en relación con
determinados est ndares mínimos, definidos en los planes de
estudio respectivos. Estos programas fueron llamados, como se ha
dicho, minimum competency testing.
Los opositores de esta tendencia argumentaron que no era
evidente que hubiera realmente un deterioro en los promedios de
resultados del SAT o pruebas similares, dados los importantes
cambios en el alumnado de High School y, sobre todo, en la
composición de la población de aspirantes a ingresar a las
instituciones de educación superior. Sin embargo, los motivos de
preocupación resultaron suficientemente fuertes para que la
tendencia se fortaleciera, y de hecho pr cticamente todos los
estados de la Unión Americana implantaron una u otra forma de
esas "pruebas de competencia mínima". Según Baker y Choppin
(1990) para 1982 una gran mayoría de Estados (42 de 50) habían
implantado o estaban implantando programas obligatorios de esa
naturaleza.
Los mismos autores mencionan que, al generalizarse, los
programas de pruebas de competencia mínima muchas veces han sido
implementados de manera deficiente, por lo que su impacto se ha
reducido y las expectativas depositadas en ellos no parecen
haberse cumplido. Las demandas judiciales que acusan a las
pruebas de ser discriminatorias, sesgadas y poco fiables se
multiplicaron. (Baker y Choppin 1990). En Latapí (1991) puede
encontrarse una introducción a esta polémica, y la traducción de
un conjunto de textos sobre la misma publicados en varios
números de la revista Phi Delta Kappan de 1978 y 1979: Boes,
Bracey, Brikell, Cawelti, Ebel, McClung, Mecklenburger y Pipho.
Por otra parte, la base metodológica de los procedimientos
de medición, cuestionada durante los 60s y 70s, se renueva y
consolida a partir de trabajos iniciados también en los 50s,
como la Teoría de Respuesta al Item (Item Response Theory) y la
Teoría de Generalizabilidad, los modelos de Rasch, las pruebas
referidas a criterio como alternativa a las referidas a norma,
etc. En el conjunto de desarrollos metodológicos disponibles
para evaluación, las pruebas con referencia a criterio
constituyen una técnica muy usada en la actualidad. Como toda
innovación, en opinión de sus partidarios lo anterior refleja un
"cambio dram tico en la evaluación educacional, pudiendo
constatarse que las pruebas con referencia a criterio han
desplazado a las referidas a normas". (Hambleton, 1990: 113)
En opinión de sus adversarios, en cambio, las pruebas
referidas a normas son superiores y la moda de las referidas a
criterio pasar pronto, o ya ha comenzado a pasar.
Otras opiniones consideran que la oposición no debería ser
tan tajante, que cada enfoque tiene sus ventajas y desventajas
en relación con propósitos específicos, y que las tendencias m s
recientes tratan de sacar partido de los puntos fuertes de ambos
enfoques.
Las pruebas con referencia a norma permiten tener
información para comparar entre sí a los sujetos evaluados, en
tanto que las referidas a criterio facilitan la interpretación
del desempeño de los sujetos evaluados en relación a
competencias bien definidas, de suerte que el par metro de la
comparación en cada caso, no es el grupo de sujetos, sino cierto
est ndar, un conjunto bien definido de competencias (Popham,
1978 en Hambleton, 1990: 113). La cuestión principal en su
desarrollo, es obtener especificaciones de dominios rigurosas y
precisas para maximizar la interpretabilidad del puntaje de un
individuo en un dominio. (Berk, 1990: 490)
Por otra parte, la crítica m s recurrente a las pruebas
estandarizadas se refiere a su frecuente superficialidad y
aparente imposibilidad para cubrir los niveles m s elevados de
habilidades intelectuales que son los m s importantes de
alcanzar mediante la educación, y de evaluar para juzgar sobre
la calidad de las escuelas.
Sin embargo, los avances recientes incluyen desarrollos
importantes en este sentido, con diseños novedosos de pruebas
que combinan matricialmente determinados contenidos tem ticos
con diversos niveles de dominio o complejidad intelectual, o
bien pruebas que valoran el desempeño en tareas reales
(performance testing, authentic testing, etc.).
Esto ha permitido que se desarrollen también experiencias
en el terreno de la evaluación estandarizada de campos antes
inaccesibles, como la educación artística.
Para hacer frente a otra de las dificultades cl sicas de
las pruebas, que consiste en que su confiabilidad es mayor
cuanto m s largas son, pero que la mayor longitud trae consigo
al mismo tiempo una creciente dificultad de aplicación por el
tiempo que consumen y la resistencia que provocan, los
investigadores cuentan ahora con dos herramientas antes
desconocidas:
Las pruebas interactivas aplicadas por computadora, que
ajustan la dificultad del item siguiente en función de las
respuestas previas, optimizando así el uso del tiempo de
aplicación; el sistema presenta inicialmente un reactivo de
nivel de dificultad medio, y en función de las respuestas
acertadas o equivocadas va presentando reactivos más
complejos o más sencillos.
Las pruebas formadas por versiones parciales que se
complemen tan y se aplican a muestras construídas de manera
que en conjunto arrojen información de alta confiabilidad
sobre campos temáticos amplios, sin requerir de cada
respondente que cubra una cantidad excesiva de items
(muestreo matricial o en espiral).
Todos estos elementos se conjugan para que pueda hablarse
de pruebas avanzadas ("de 4ª o 5ª generación") que abren
perspectivas mucho más amplias de las que permitían contemplar
las técnicas convencionales.
A continuación se revisarán brevemente algunas de las
experiencias más importantes en lo relativo a la utilización
masiva de pruebas estandarizadas para la evaluación de la
calidad de los sistemas educativos.
.1 El ETS y el NAEP.
Desde la década de 1920, una de las universidades
americanas en donde los trabajos de construcción de pruebas
estandarizadas se desarrollaron con mayor fuerza fue la de
Princeton. Uno de sus investigadores, Carl Brigham, produjo en
1926 el ya mencionado Scholastic Aptitude Test, mejor conocido
por sus siglas (SAT) que, en versiones sucesivas, sigue
utiliz ndose hasta la fecha para decidir el ingreso a las
universidades de millones de jóvenes en los Estados Unidos. Una
versión similar en español, producida en Puerto Rico, es
aplicada en instituciones latinoamericanas.
En 1948, la oficina de Princeton que se dedicaba a la
elaboración de tests se separó de la universidad, aunque
manteniendo vínculos estrechos con ella, constituyéndose
formalmente como una entidad privada diferente. Esta unidad es
el Educational Testing Service, sin duda el centro especializado
en producción de instrumentos psicométricos m s fuerte del
mundo. (De Landsheere 1986:150). Varios de los desarrollos
técnicos y metodológicos m s importantes en el terreno de la
psicometría han sido el fruto del trabajo de investigadores del
ETS.
Por otra parte, en el marco del fuerte impulso que
recibieron la educación y la investigación relacionada con ella
durante la "época de oro" de los años 60, y en forma paralela a
trabajos internacionales en la misma dirección (cfr. lo relativo
a la IEA), se creó el programa llamado National Assessment of
Educational Progress, con el propósito de tener información
sobre el nivel de la educación a escala nacional. (cfr. Walberg
1990).
Este programa, mejor conocido por sus iniciales, NAEP, ha
llegado a ser el punto de referencia obligado para los sistemas
nacionales de pruebas para el monitoreo de la calidad educativa.
Hasta principios de los años 60, en los Estados Unidos la
responsabilidad educativa recaía en cada uno de los integrantes
del pacto federal, por lo que no había ni un curriculum nacional
ni ex menes nacionales. La tradición de investigación educativa
ya mencionada hacía que en muchos lugares se aplicaran pruebas
estandarizadas, pero éstas podían ser muy diferentes y, adem s,
su construcción en relación con la norma permitía ubicar a cada
individuo en comparación con los dem s, pero no daba elementos
que permitieran saber qué tanto dominaba los contenidos que el
curriculum establecía. Por consiguiente, se carecía de datos
confiables sobre el nivel de aprendizaje alcanzado por las
escuelas y no había bases sólidas para un esfuerzo de calidad.
En 1963, el Comisionado de Educación Francis Keppel
solicitó a la Comisión Carnegie la realización de un estudio en
el sentido mencionado. Una comisión presidida por Ralph Tyler
(Exploratory Committee on Assessing the Progress of Education)
llevó a cabo un primer trabajo que terminó en 1969, y fue
asumido para ser continuado en forma permanente por la Education
Commission of the States.
A partir de 1983 la realización de los estudios del
programa NAEP fue confiada al ETS, el cual creó en su seno el
Center for the Assessment of Educational Progress, CAEP) para
ello. Con esta medida la calidad técnica de los trabajos del
NAEP se incrementó. (Walberg, 1990:3478 y De Landsheere,
1994:50-51)
El NAEP ha desarrollado pruebas técnicamente muy avanzadas,
con escalas basadas en la Teoría de Respuesta al Item, diseño
matricial, etc., para la evaluación de diversas reas
curriculares. Según la importancia que se atribuye a éstas, la
frecuencia de las aplicaciones varía, como sigue:
La lectura y las matemáticas se evalúan cada dos años;
La expresión escrita y las ciencias cada cuatro;
Otras áreas, incluyendo educación cívica, geografía,
educación musical y en otras artes, formación profesional,
etc., en forma irregular.
Las pruebas se aplican a grandes muestras (con muestreo
matricial o en espiral, ya que no se pretenden resultados a
nivel individual sino de subsistema) de niños de 9, 13 y 17
años, edades que corresponden en promedio a etapas importantes
del proceso escolar. Las escalas de las pruebas permiten ubicar
en determinados niveles a cualquier persona, por lo que las
pruebas se aplican también a muestras de adultos, lo que permite
tener una idea de, por ejemplo, el nivel de dominio de la
lectura por parte de la población adulta.
Desde el principio los resultados permitían an lisis y
comparaciones entre cuatro regiones del país (noreste, sureste,
centro y oeste), así como entre tipos de comunidades, grupos de
alumnos con padres de diferente nivel de escolaridad, raza y
sexo. Después de vencer una fuerte resistencia, a partir de 1990
los resultados permiten también comparaciones entre estados.
Las escalas desarrolladas por el NAEP para evaluar diversas
áreas curriculares permiten clasificar a la población en cinco
niveles: rudimentario, 150 puntos; b sico, 200; intermedio, 250;
apto, 300; avanzado, 350. En las escalas de lectura, matem ticas
y ciencias estos niveles se definen operativamente como sigue:
Niveles de la escala de lectura:
150: Capacidad de realizar tareas de lectura simples y aisladas.
200: Capacidad de comprender información aislada o secuencial.
250: Capacidad de buscar informaciones específicas, conectarlas
entre sí y hacer generalizaciones.
300: Capacidad de comprender, resumir y explicar informaciones
relativamente complejas.
350: Capacidad de captar por medio de la lectura el contenido de
textos especializados y sintetizarlo.
Niveles de la escala de matemáticas:
150: Capacidad de efectuar sumas y restas elementales en forma
mecánica.
200: Inicio de la comprensión y de la habilidad de las cuatro
operaciones.
250: Dominio de las cuatro operaciones. Inicio de la capacidad
de solución de problemas.
300: Dominio de procedimientos de complejidad media, incluyendo
geometría elemental y razonamiento.
350: Resolución de problemas en varias etapas. Dominio del
álgebra básica.
Niveles de la escala de ciencias:
150: El alumno conoce hechos científicos cotidianos.
200: Comprende principios científicos simples.
250: Aplica informaciones científicas b sicas.
300: Analiza procesos y datos científicos.
350: Integra informaciones científicas especializadas.
No es difícil ver la relación con la taxonomía de Bloom de
estas formulaciones breves de los niveles básicos de las escalas
del NAEP. El valor de estos trabajos radica, como es lógico, en
que van mucho más allá de la simple definición de los niveles.
Las aportaciones del NAEP incluyen:
La construcción de múltiples versiones equivalentes
escaladas con todo rigor, de pruebas que permiten ubicar a
un alumno en cierto nivel;
La elaboración de los enormes bancos de reactivos
calibrados que lo anterior supone;
La aplicación masiva de las pruebas así desarrolladas;
Los análisis comparativos que se vuelven posibles;
Una inteligente difusión de los resultados, que los hace accesibles al público en general, evitando el uso de
tecnicismos y facilitando la toma de decisiones;
El apoyo a las escuelas al difundir gran parte de los
reactivos que ya no van a utilizarse, con lo que los
maestros pueden construir instrumentos propios de calidad
aceptable;
El apoyo a los Estados que lo desean para el desarrollo de sistemas propios vinculados técnicamente al NAEP, lo que
permite aplicaciones de pruebas a muestras estatales
mayores de las que se requieren para los estudios
nacionales, con la posibilidad de usos locales m s
completos;
El apoyo que todo lo anterior constituye para la comunidad científica, que puede beneficiarse de estos trabajos para
sus propias investigaciones.
En los años 80, el ETS comenzó a realizar también estudios
a nivel internacional, para comparar el nivel de la educación
norteamericana con el de los sistemas de otros países. Estos
trabajos constituyen el International Assessment of Educational
Progress, IAEP. (cfr. Livingstone 1990).
.2 Los trabajos de la IEA.
En lo relativo a estudios comparativos del nivel educativo
entre países, la experiencia m s importante es, sin duda, la de
la International Association for the Evaluation of Educational
Achievement, mejor conocida por las siglas IEA. De hecho hasta
que el IAEP realizó trabajos similares en los 80s los trabajos
de la IEA eran los únicos disponibles para comparaciones
internacionales y han sido utilizados por la OCDE para el
apartado de resultados educativos de su sistema de indicadores
(cfr. supra).
Como resultado de una reunión celebrada en Londres, en
1958, una docena de investigadores de varios países puso en
marcha un proyecto piloto para desarrollar una primera
experiencia de investigación educativa comparada. El proyecto se
desarrolló de 1959 a 1961, involucrando a 11 países europeos y a
los Estados Unidos. Ante el resultado positivo, la IEA se
constituyó en 1962, teniendo como presidente al destacado
investigador sueco Torsten Husén. En 1967 adquirió personalidad
jurídica, como asociación internacional formada por centros de
investigación prestigiados. Actualmente m s de cincuenta países
son miembros (Postlethwaite, 1985: 2645-2646 y De Landsheere,
1994: 90-108)
En sus tres décadas de vida, la IEA ha realizado una serie
de trabajos importantes, que han permitido comparar los
resultados en diferentes disciplinas (matem ticas, ciencias y
lectura, y también lenguas extranjeras, computación etc.)
obtenidos por estudiantes de varios grados en decenas de países,
sobre todo desarrollados, pero también del llamado tercer mundo.
La IEA lanza un nuevo estudio aproximadamente cada tres años,
con la intención de cubrir la gama de las principales reas
curriculares cada doce. (De Landsheere, 1994: 90)
La complejidad del trabajo internacional, la diversidad de
los curricula respectivos y el rigor con el que trabaja la IEA
hacen que uno de sus estudios tarde cerca de diez años en
desarrollarse, desde sus etapas de planeación hasta su fin.
El deseo de contar con resultados más rápidos llevó al
gobierno americano a crear el ya mencionado IAEP que,
ciertamente, ha realizado estudios en lapsos mucho m s breves,
pero con un trabajo mucho menos cuidadoso de revisión curricular
de los países participantes, como base para la elaboración de
las pruebas, por lo que es probable que éstas tengan mayores
sesgos culturales que los de la IEA.
Es de esperarse que los avances tecnológicos, la
experiencia acumulada y los recursos disponibles, al haber mayor
conciencia en los países de la necesidad de este tipo de
trabajos, permitan que en el futuro se hagan trabajos de calidad
similar o mayor en lapsos de tiempo mucho menores, pero nadie
podr disputar a los miembros de la IEA el mérito de haber sido
pioneros en esa dirección y de haber hecho trabajos de alta
calidad que, con recursos comparativamente modestos, lograron
aplicar instrumentos variados, complejos y de alta calidad, a
millones de alumnos de diversos niveles educativos en medio
centenar de países de todo el mundo. (cfr. Ross, 1992 y los
dem s artículos del mismo número de la revista en que aparece).
Por ahora los trabajos de la asociación siguen siendo punto
de referencia obligado para cualquier esfuerzo de comparación
internacional. Est en preparación una base de datos, que se
planea ofrecer al público en 1996, con la información obtenida
en la totalidad de los trabajos de la IEA desde sus inicios, en
soporte electrónico, de suerte que puedan f cilmente hacerse
todo tipo de an lisis secundarios por país y grupos de países,
por disciplina, etc.
.3 El CITO holandés.
No es fácil que un país disponga de las condiciones que se
dieron en los Estados Unidos y permitieron el surgimiento de
instituciones y programas como el ETS y el NAEP. Entre los pocos
que cuentan con algo comparable se encuentran los Países Bajos,
en donde existe un Instituto Nacional para la Medición Educativa
(CITO por sus siglas en holandés) de cuyas actividades se
informa a continuación, con base en información recabada
directamente.
Creado por el Ministerio de Educación y Ciencia en 1968,
como una fundación no lucrativa, el CITO ha realizado desde
entonces un trabajo muy variado y de calidad y ha conformado una
infraestructura humana y material de alto nivel. En 1987, en el
marco de las preocupaciones recientes sobre la calidad de la
educación, el CITO recibió el estatus de institución de derecho
público, con funciones ampliadas, gracias a la ley que define
las estructuras de apoyo a la educación. Dichas estructuras de
apoyo comprenden tres elementos: por una parte, un inspectorado
independiente, con un fuerte papel supervisor y asesor; en
segundo lugar, una red de "centros pedagógicos" regionales y por
subsistema, que ofrecen apoyo a las escuelas y los maestros; y
el propio CITO, como unidad de evaluación, investigación y
desarrollo curricular.
La prueba de fin de la primaria (CITO Test).
Los trabajos más antiguos del CITO consisten en la
elaboración y aplicación, a escala nacional, de una prueba para
la evaluación individual de todos los alumnos al final de la
escuela primaria. La educación b sica neerlandesa comprende 2
años de preescolar y 6 de primaria, que también se designan como
8 años de primaria, de los 4 a los 12 años de edad, seguidos por
4 a 6 de secundaria, según las variantes de ese nivel; 4 de esos
años son obligatorios.
La prueba de fin de primaria es un test de aptitud
(lectura, razonamiento y matem ticas), construído con referencia
a norma y de alta calidad técnica. Los resultados se dan a las
escuelas, las que pueden usarlos para la admisión de los alumnos
en los distintos tipos de educación secundaria y para su propia
evaluación como instituciones, al recibir datos comparativos de
las dem s escuelas primarias de características similares. La
prueba comprende 180 items y su aplicación tarda seis horas (en
dos mañanas, tres horas cada una). Se aplica en las escuelas y
los responsables de hacerlo son los maestros. No hay una
supervisión especial.
La prueba tiene un costo de aproximadamente 10 dólares que
paga cada alumno. Cada año la prueba se aplica en un 70% del
total de las escuelas, lo que representa aproximadamente 5,400
planteles y 110,000 alumnos, cada uno de los cuales llena dos
hojas de respuesta. Los resultados se reportan tres semanas
después, pues se requiere de una semana para recoger las hojas
de respuesta, otra para su lectura por medios ópticos y su
an lisis, y una m s para imprimir los resultados.
Para preparar la prueba un pequeño grupo de maestros,
previa capacitación, trabajando en casa mediante pago adicional,
formulan alrededor de 700 items, siguiendo un manual de
especificaciones muy preciso. Los items se corrigen y mejoran en
reuniones del equipo de formuladores. Luego los items se
pilotean, el año anterior a su uso final. Por último los
técnicos del CITO seleccionan los ítems definitivos, a partir de
los resultados del pilotaje y consultando a personas del
inspectorado y de los centros de profesores.
El NAEP neerlandés.
En la actualidad los trabajos del CITO comprenden una gama
mucho m s variada de pruebas. Además de la de aptitud, hay un
programa similar al NAEP de los Estados Unidos para evaluar la
primaria, que se designa en inglés con las mismas iniciales,
aunque con un significado ligeramente diferente: National
Assessment of Educational Performance (en neerlandés las siglas
son PPON).
Como su equivalente americano, el NAEP-PPON est concebido
para la evaluación del sistema nacional de educación y no para
la evaluación individual.
Más amplio en su concepción que el americano, el NAEP-PPON
cubre TODAS las reas del curriculum en un ciclo de cinco años.
En 1992 se evaluaron matem ticas y música; luego se evaluó
lengua, en 1993 al final de la educación b sica y en 1994 a la
mitad de la misma, con educación física; en 1995 ciencias
naturales y sociales; para 1996 est prevista la evaluación del
inglés como lengua extranjera, educación para las artes visuales
y educación vial.
A diferencia, pues, de la prueba de aptitud, las del NAEP-
PPON son varias, pues cubren todas las materias, incluyendo las
que tradicionalmente se consideran m s difíciles de evaluar,
como la educación artística. Para que sean relevantes y para que
cubran los niveles taxonómicos superiores, incluyen aspectos no
estructurados y de desempeño real.
Los instrumentos para evaluar la educación artística, por
ejemplo, incluyen un CD especialmente producido para el
propósito, con distintos trozos musicales sobre los que luego se
pregunta al alumno, así como excelentes reproducciones de
pinturas, etc. Esto hace que, inevitablemente, las pruebas sean
largas de aplicar y difíciles de corregir y calificar.
Para efectos de investigación y evaluación del sistema, el
CITO aplica los instrumentos del NAEP-PPON en muestras de 200 a
300 escuelas, según la materia. Dado que se trata de
aplicaciones mucho m s complejas que la de la prueba de aptitud,
trabajar con muestras de tales dimensiones resulta manejable.
Las escuelas se seleccionan aleatoriamente pero son libres
de participar o no. Si una no desea hacerlo es reemplazada,
también aleatoriamente. La aplicación y la corrección de las
pruebas es hecha por personal calificado.
El sistema de monitoreo de fin de primaria.
Una aplicación masiva de pruebas de esta naturaleza plantea
problemas aparentemente insuperables. Sin embargo el CITO ha
desarrollado una inteligente estrategia que posibilita una
aplicación en gran escala de pruebas complejas, conformando un
sistema de monitoreo de la educación primaria, relacionado con
el NAEP pero de car cter formativo, ésto es, para uso interno de
cada escuela, con propósitos de mejoramiento.
En este caso las pruebas son aplicadas y corregidas por los
maestros de cada grupo: se hacen llegar a cada escuela los
paquetes de las pruebas, que son aplicadas a todos los alumnos
involucrados. Luego los profesores de cada escuela califican las
pruebas de sus propios alumnos, para lo que han recibido
entrenamiento. Utilizan materiales que facilitan dicha tarea y
est n incluídos en el paquete, como un programa de software
especial, escalas para el an lisis de los resultados, etc.
Un elemento esencial para que este enfoque pueda operar es
que los resultados de las pruebas NO deben enviarse al CITO ni
deben utilizarse para an lisis, hechos centralmente, sobre la
totalidad de los alumnos. Cada escuela es independiente para
analizar los resultados de sus alumnos y toma las decisiones que
juzga adecuadas en consecuencia.
Las escuelas tienen que reportar solamente los resultados
de un alumno de cada grupo, seleccionado aleatoriamente con un
procedimiento que define el CITO. Estos alumnos forman una
muestra nacional que puede usarse, comparando sus resultados con
los del NAEP, como referencia para la evaluación de cada
escuela, por las autoridades de cada una, y por los responsables
del sistema educativo nacional para evaluaciones globales del
sistema, sin referencia a personas o escuelas individuales.
Otras pruebas.
Otros instrumentos desarrollados por el CITO y que se
utilizan en otros programas, como los de evaluación de la
educación secundaria, incluyen pruebas muy diversas y
especializadas para evaluar, por ejemplo, la aptitud física, el
dominio oral del francés, el desempeño pr ctico en un
laboratorio de química, etc.
El programa m s reciente del CITO y, probablemente el m s
impresionante, comenzó a ser puesto en operación en el año
escolar 1992-1993, después de un período de preparación iniciado
siete años antes.
Se trata de un conjunto de materiales para todas y cada una
de las materias que comprende el curriculum de todos y cada uno
de los grados de la educación b sica. Los materiales para cada
materia y cada grado incluyen
Por una parte, pruebas de excelente calidad para que el
maestro las utilice con su grupo para diagnosticar el nivel
de aprendizaje de sus alumnos de manera confiable, en
relación con est ndares nacionales bien definidos.
Además, otros materiales que incluyen orientaciones sobre cómo tratar determinados problemas, así como material
didáctico complementario con ejercicios, refuerzos, etc.,
que el maestro podrá utilizar con su grupo.
Como puede verse, no se trata únicamente de pruebas, sino
de paquetes que comprenden materiales para la evaluación de los
aprendizajes y para el apoyo de los mismos, de conformidad con
la misión del CITO que comprende ambos aspectos.
El uso de estos materiales es completamente voluntario, y
su distribución es comercial: en 92-93 el CITO lanzó al mercado
los materiales, y cada escuela decide si utiliza alguno(s).
Puede decidir adquirir todos los materiales de una materia, como
matem ticas; o todos los de un grado, o cualquier combinación
que quiera. Cada escuela decide y compra los materiales que
quiere.
El nivel profesional de los maestros, que les permite
aprovechar los materiales; el poder adquisitivo de las familias,
que permite que las escuelas puedan adquirirlos; la conciencia
de la importancia de la educación que tienen maestros y padres
de familia y la participación efectiva de ambos en la toma de
decisiones en cada escuela; junto, por supuesto, con la calidad
de los materiales, han hecho que, como esperaba el CITO, estén
siendo utilizados por muchas escuelas y maestros. Se estima que
durante el año escolar 94-95 la mitad de las escuelas de
educación b sica del país ha adquirido por lo menos uno de los
paquetes de materiales.
.4 El Instituto Nacional de Calidad y Evaluación de España.
En 1990, con la expedición de la Ley de Ordenación General
del Sistema Educativo (LOGSE), España puso formalmente en marcha
una importante reforma de su sistema educativo.
La Ley subraya de manera destacada lo relativo a la calidad
de la educación y, en ese contexto, asigna a la evaluación un
papel importante. Para concretar esas ideas, un Decreto Real del
18 de junio de 1993 creó el Instituto Nacional de Calidad y
Evaluación, INCE.
El INCE comenzó a operar efectivamente en 1994. Su primer
programa de trabajo contempla tres años (Plan de actuación 1994-
1997) e incluye los siguientes renglones:
Evaluación de la educación primaria.
Evaluación piloto de la educación secundaria obligatoria.
Evaluación piloto de la formación profesional.
Sistema nacional de indicadores de calidad educativa.
Estudios internacionales: 3er. estudio internacional de matemáticas y ciencia
(TIMSS).
Estudio internacional sobre lenguas en educación.
Estudio hispano-francés sobre enseñanza del inglés.
El INCE concibe su misión como relacionada con la
evaluación del sistema educativo en su conjunto y no con la de
alumnos, maestros o escuelas individuales. En lo relativo a la
evaluación de escuelas (centros escolares) puede aportar
elementos derivados de sus trabajos a las propias escuelas y al
inspectorado. Por otra parte, la naturaleza cuasi-federal de
España hace necesario que el INCE tenga muy en cuenta para la
realización de pruebas, y para su trabajo en general, a las
autoridades educativas de las entidades con autonomía plena
(como Cataluña, Galicia o el País Vasco) y a las regiones que
dependen del Ministerio de Educación y Ciencia.
Aunque muy joven, la experiencia del INCE -que aprovecha la
acumulada por estudiosos que trabajaron previamente sobre temas
de evaluación en el Ministerio de Educación o en diversas
universidades- es importante y da ya muestras de consistencia y
calidad.
.5 Otras experiencias.
En diferentes contextos institucionales hay otras
experiencias significativas de desarrollo y aplicación de
pruebas para evaluar el aprendizaje: en el Reino Unido se han
hecho estudios sobre las matem ticas desde 1978, inglés desde
1979 y ciencias desde 1980; en Canad algunas provincias aplican
pruebas similares a las del NAEP; Australia y Nueva Zelanda
tienen trabajos an logos, en el contexto de la tradición
anglosajona; Francia es un caso muy diferente: un sistema
centralizado que funciona eficientemente y cuenta con un
inspectorado respetado y una Dirección de Evaluación y
Prospectiva, en el Ministerio de Educación, que hace un trabajo
de gran calidad; Israel tiene también un instituto de alto nivel
en este terreno.
En los países en vías de desarrollo los avances son
menores, aunque en los últimos años, y en parte como
consecuencia de la Conferencia Mundial sobre Educación para
Todos de Jomtien (cfr. UNESCO-UNICEF-PNUD-BM 1990a y b), se han
hecho trabajos importantes, con apoyo de organismos como el
Instituto Internacional de Planeación de la Educación de la
UNESCO (IIPE) y el Banco Mundial.
El IIPE patrocinó un proyecto en el que participaron China,
la India, Guinea Conakry y México. Este trabajo es un ejemplo de
la preocupación por evaluar no simplemente los aprendizajes
escolares, sino también su relevancia, utilizando el concepto de
pruebas de competencias b sicas para la vida. Por otra parte,
hay que subrayar que no se trata de sistemas permanentes, como
el NAEP, ni siquiera cíclicos, como los trabajos de la IEA, sino
investigaciones hechas por una sola vez. (cfr. Carrón y Chau,
1992; Schmelkes, 1991 y 1992).
El Banco Mundial ha apoyado trabajos en Chile, Jamaica y
Zimbabwe, así como para Burkina Fasso, la República Dominicana,
Haití, Marruecos, Mozambique y las Filipinas (Ross y
Postlethwaite, 1992 y Lockheeed M. E. 1991).
En América Latina, y además de los trabajos apoyados por el
Banco Mundial que se acaban de mencionar, hay pocas experiencias
importantes, entre las que pueden mencionarse las siguientes:
Probablemente el único país con un trabajo a nivel nacional que se ha mantenido a lo largo de un tiempo significativo
sea Chile, en donde se ha desarrollado el sistema SIMCE
(Sistema de Medición de la Calidad Educativa), relacionado
con esfuerzos por elevar la calidad tan importantes como el
llamado "de las 900 escuelas". (Delpiano y Ramírez, 1992;
Ministerio de Educación, 1991a; 1991b);
En Colombia, el programa de la Escuela Nueva, iniciado en 1975, y que ha llegado a cubrir una gran parte de las zonas
rurales del país, incluye trabajos de evaluación regulares
(cfr. Colbert y Arboleda 1990; Torres 1991);
En Uruguay, en 1990-1991, el sociólogo Germ n W. Rama
dirigió un proyecto apoyado por la CEPAL mediante el cual
se hizo una evaluación muy completa de la educación b sica
de todo el país. (Rama, s/f);
A nivel internacional, posiblemente el único trabajo digno de mención sea el proyecto ECIEL, realizado en los años 70
en varios países del área. (cfr. Lockheed, 1991:185).
Por lo que se refiere a México, aunque desde hace 30 años
se han hecho en el país excelentes trabajos de evaluación de la
educación, como los que inició Pablo Latapí, hasta hace poco no
se habían hecho estudios de campo con aplicación de instrumentos
en condiciones controladas, como ha sido característico en los
Estados Unidos (cfr. Muñoz Izquierdo 1988 y Martínez Rizo 1992).
Las excepciones a la afirmación anterior son, por una
parte, los trabajos que la SEP viene haciendo desde hace
bastantes años, pero de los que no se difunden los resultados;
por otra, algunos esfuerzos como los reportados por Guevara
Niebla (1991) y Tirado
Segura (1986, 1989 y 1990).
Un lugar decoroso pueden ocupar en esta pequeña lista los
trabajos hechos en Aguascalientes en 1983 por Martínez Rizo,
Escalera et al. (1990) y, a partir de 1993, por el equipo de la
Secretaría Técnica del Consejo Estatal Técnico de la Educación y
el grupo de investigadores educativos de la Universidad Autónoma
de Aguascalientes. El trabajo de Schmelkes (1991 y 1992) en el
marco del proyecto internacional patrocinado por el IIPE,
mencionado antes, es otro de los esfuerzos recientes m s
importantes.
Prácticamente todos los trabajos mencionados, con excepción
de los de Chile, utilizan instrumentos elaborados con cuidado,
pero sin aprovechar los avances metodológicos actuales o
haciéndolo con muchas limitaciones. En la mayoría de los casos,
adem s, se trata de investigaciones hechas por una sola vez, y
no de sistemas permanentes.
.6 Conclusión.
Las tareas de elaborar, aplicar y procesar pruebas de alta
calidad para la evaluación de los logros de los alumnos, en
relación con los objetivos de diversas reas del curriculum, es
de alta complejidad técnica. La experiencia de maestros,
directores y supervisores es un insumo de gran valor, pero no
basta: es completamente indispensable la presencia de personal
altamente calificado para la realización de tan especializadas
actividades.
Keeves enumera una serie de competencias especializadas que
deben combinarse adecuadamente para lograr la mezcla adecuada:
para elaborar pruebas de alta calidad se requiere de
especialistas en las áreas de conocimiento a evaluar pero,
además, en las bases psico-pedagógicas del aprendizaje; medición
educativa, psicometría y estadística; realización de encuestas e
investigación educativa en general; diseño gráfico, publicación
y edición; computación, comunicación, administración y
contabilidad. La integración del personal que tenga tan variadas
capacidades y la organización de un centro en el que se combinen
requiere, además, de considerables capacidades de negociación y
liderazgo. (1994:99)
En algunos casos puede haber la posibilidad de aprovechar
instrumentos desarrollados en otro país, pero diversos
obstáculos (lingüísticos, culturales, curriculares...) harán
necesario en muchas ocasiones que los países grandes o grupos de
países pequeños cuenten con capacidad propia para este tipo de
trabajos.
La ubicación organizacional de una unidad de elaboración de
pruebas puede ser muy variada. En las experiencias analizadas
tenemos el caso de una entidad privada (ETS), el de un organismo
público autónomo dentro del sector educativo (CITO e INCE) o el
de una dependencia del Ministerio de Educación (DEP en Francia)
y, seguramente, otras variantes. De Landsheere, citando a
Guthrie, considera que lo ideal es que esas actividades las haga
un organismo no directamente dependiente del Ministerio
(apolítico), no vinculado con grupos de presión,
institucionalmente creíble, al tanto de la problem tica
educativa, metodológicamente competente y que tenga capacidad de
sintetizar los resultados de su trabajo y de difundirlos entre
los diversos grupos interesados: investigadores, especialistas
en evaluación, maestros, funcionarios, padres de familia, medios
de comunicación y público en general. (1994: 43)
Como se ha dicho, los resultados de las pruebas pueden ser
incorporados a un sistema de indicadores, al que aportan
elementos muy valiosos en el apartado de resultados, que es
crucial para una cobertura de las diversas dimensiones de la
calidad educativa.
Algo similar pasar con el tercer componente de un sistema
integral de monitoreo, el que se refiere a la evaluación de los
planteles escolares como tales, que veremos a continuación.
2.3 Sistemas de evaluación de establecimientos escolares.
.1 La escuela y la calidad.
Durante mucho tiempo la educación despertó entre la
población sentimientos curiosamente encontrados, pero igualmente
carentes de fundamento sólido: por una parte, un ingenuo
optimismo que hacía que se esperara de la escuela toda suerte de
beneficios, de manera casi m gica: progreso económico,
conciencia y participación cívica, cultura, etc. Los textos que
fundamentan los artículos constitucio nales o las leyes
reglamentarias de la educación en cualquier país son
representativos de este espíritu, que impregnó por igual a los
franceses de la Revolución o la Comuna, a los americanos de la
Independencia y la Guerra de Secesión, o a los mexicanos de la
Reforma y la Revolución.
Al mismo tiempo, las quejas más acerbas sobre la baja
calidad de las escuelas no son privativas de la última década
del siglo XX y su fiebre neoliberal. A continuación pueden verse
algunas citas que nos muestran lo antiguo de tales
preocupaciones en Francia. Thélot, 1993:40-42 y Baudelot-
Establet, 1989: 10-13).
La decadencia es real, no es una quimera: es normal
encontrar 20 faltas de ortografía en una misma disertación
literaria en los últimos años de bachillerato. (Noel Deska,
1956)
El bachillerato se ha vuelto irrisorio. Nuestras élites no saben razonar ni expresarse. (Rene Soudee, 1936)
Hay un deterioro de los estudios de secundaria... en los que hay, cada vez m s, ignorancia de la ortografía,
descuido en la expresión y pereza de espíritu para analizar
y desarrollar ideas o seguir un razonamiento. (G. Bevotte,
1920)
La ortografía de los alumnos de letras se ha vuelto tan
mala que ha sido necesario crear una nueva materia en la
Sorbona para ocuparse del problema. (A. Duruy, 1886)
Las tareas están llenas de errores de redacción y
ortografía; parece que en las secundarias y bachilleratos
(colegios y liceos) ya no se enseña el francés. (Girardin,
1864)
¿Cómo es posible que una parte de los alumnos que han
terminado sus estudios secundarios, lejos de manejar con
soltura su lengua materna, no puedan siquiera escribirla
con una ortografía correcta? (Lacombe, 1835)
Aunque no podamos documentarlo, sabemos que una tendencia
similar a juzgar críticamente el nivel educativo de las
generaciones jóvenes, en comparación con un pasado que se
idealiza, se da en nuestro país. Los maestros universitarios
solemos lamentarnos con regularidad de que los alumnos "llegan
cada vez peor".
Sin embargo, como se ha dicho, ambas impresiones carecen de
fundamento sólido. Cuando se hacen estudios rigurosos las
impresiones de sentido común se revelan, muchas veces,
inexactas.
En 1987 el Instituto Nacional de Investigación Pedagógica
de Francia aplicó, a una muestra aleatoria de alumnos de 10 a 15
años de edad, una prueba de ortografía consistente en el dictado
de un breve texto de Fenelón. El mismo texto había sido aplicado
como examen a miles de alumnos de las mismas edades por un
Inspector General entre 1873 y 1877, y los resultados se
conservaban en los archivos. Esta comparación, a m s de un siglo
de distancia, permite sacar cuatro conclusiones, que resultan
muy interesantes:
En promedio los alumnos de 1987 tienen mejor ortografía que los de 1873-77 (10 errores en promedio contra 11.5).
Una calificación en la que se ponderan las faltas según su gravedad arroja como promedio, sobre 20 puntos posibles,
10.5 para los alumnos de 1987 contra 9.5 para los de hace
un siglo.
Tanto hoy como antaño la ortografía mejora a medida que se accede a grados superiores.
La dispersión de la distribución era mucho mayor hace 100 años: entonces había m s alumnos con una ortografía
excelente (alumnos con calificación de 20/20: 14% en 1875
contra 7% en 1987) y m s con pésimo nivel (alumnos con
calificación de 5/20: 20% en 1875 contra 11% en 1987).
(Thélot, 1993: 44-45)
En los Estados Unidos, los inicios de la década de los años
60 conocieron una serie de iniciativas que tenían en común el
buscar una sociedad m s equitativa. Fue, por ejemplo, la época
de la lucha contra la segregación racial y a favor de la
igualdad de derechos civiles de los negros que encabezó Martin
Luther King.
Después de la muerte de John F. Kennedy, el Presidente
Johnson lanzó, en 1964, su iniciativa de Guerra contra la
Pobreza, en el marco de la cual solicitó del Congreso la
aprobación de un fuerte paquete de recursos destinados a mejorar
las condiciones de infraestructura de las escuelas de alumnado
mayoritariamente negro, en un esfuerzo compensatorio que se
consideraba claramente justificado.
El Congreso decidió patrocinar un importante estudio para
tener m s elementos de juicio al respecto, y de allí salió el
famoso Informe Coleman, cuyos resultados fueron dados a conocer
en 1966. Como se esperaba, el Informe mostró claras diferencias
en el nivel promedio de aprendizaje de los alumnos negros en
relación con el de los blancos.
Sin embargo, contra lo que se creía, no encontró
diferencias significativas en cuanto a la infraestructura y el
equipamiento de las escuelas de alumnado mayoritariamente negro.
A resultas del estudio y, sin duda, como un elemento m s
del polarizado clima ideológico de fines de los 60s (con la
Guerra de Vietnam, los movimientos estudiantiles de 1965 en
adelante, de Berkeley a París, etc.) las opiniones de los
investigadores educativos se polarizaron también.
Para explicar los sorpresivos resultados del Informe
Coleman, algunos estudiosos subrayaban la importancia de los
factores genéticos, o de los que ellos consideraban tales, sobre
los resultados escolares, en tanto que otros destacaban el peso
de los factores asociados con la clase social de los alumnos y
el medio en que se desenvolvían.
Ambas posturas, acérrimas rivales en casi todo, coincidían
en un punto preciso: en considerar que la escuela era poco
relevante para entender las diferencias en el aprendizaje. La
frase "la escuela no cuenta" llegó a ser el eslogan de algunos,
como los teóricos de la desescolarización, Illych y Reimers.
Después, los años 70 y 80 vieron el desarrollo de trabajos
de carácter micro y enfoque cualitativo, que han mostrado con
toda claridad que, más allá de una posible coincidencia en lo
relativo a los insumos materiales de que disponga una escuela,
hay aspectos mucho más sutiles que pueden incidir con fuerza en
los resultados escolares. Los trabajos sobre escuelas efectivas
han mostrado la importancia de variables como la existencia de:
Un liderazgo escolar claro, centrado en lo pedagógico, que tenga buena comunicación con los demás actores;
Propósitos claros, valores y, en general, una cultura
institucional compartida;
Mecanismos permanentes y participativos de planeación y de evaluación-monitoreo de la calidad;
Clima escolar tranquilo, seguro y favorecedor del
aprendizaje;
Actividades de formación permanente de los maestros;
El que éstos tengan altas expectativas en relación con las posibilidades de aprendizaje de sus alumnos;
Participación de los padres en las actividades escolares;
Apoyo por parte de las instancias educativas superiores.
(cfr. Thélot, 1993: 91; Hopkins, 1994: 147; cfr. también
Austin y Garber, 1985; Madaus et al. 1980, etc.)
Algunos trabajos mexicanos, como el realizado en Puebla por
Silvia Schmelkes, han mostrado la existencia de escuelas con
recursos precarios y entorno desfavorable (por ejemplo planteles
bidocentes en medio rural indígena) que consiguen niveles de
aprendizaje comparables a los de escuelas con mejores recursos y
ambiente teóricamente m s favorable, lo que pone en evidencia el
peso específico de los factores llamados de la oferta educativa,
en contraposición con los de la demanda. (1994)
Hoy parece claro que el aprendizaje de los alumnos es
producto de la interacción compleja de variables extraescolares
y escolares. El peso de las primeras es innegable, sobre todo en
circunstancias de carencia extrema, pero las segundas tienen su
propio peso, que no se reduce al de las otras y que significa,
para los educadores, un margen significativo de acción, con
posibilidades reales de incidir realmente en los resultados, más
allá de condicionamientos del entorno, si no son excesivamente
desfavorables.
.2 La evaluación de escuelas y los indicadores de la OCDE.
La escuela es la unidad mejor definida para la puesta en
operación de cualquier política educativa y por ello parece
lógico que sea también la unidad de evaluación fundamental. Esto
se aplica a la información de tipo estadístico para construír
indicadores de insumos y productos, y ser fundamental en lo
relativo a los procesos, como veremos. El excelente estudio de
Kaagan y Coley sobre los sistemas de indicadores que han creado
varios estados norteamericanos, al sacar lecciones de sus
experiencias para quienes emprendan esa tarea escriben, entre
otras cosas:
Independientemente de que un Estado pretenda reportar los
datos escuela por escuela debe recolectarlos y analizarlos
a ese nivel. La escuela es la unidad reconocida para la
oferta de los servicios educativos... (1989: 30)
En lo relativo a indicadores de insumos y productos, pues,
deber n tenerse datos a nivel de escuela. Ahora bien: la lista
de características de escuelas efectivas que se acaba de
presentar incluye, como componentes centrales, diversas
variables relativas a procesos, que no resulta sencillo capturar
en un indicador estadístico. Por ello los sistemas de evaluación
de los establecimientos escolares como tales suelen ser de tipo
m s cualitativo, con amplia participación de los actores
involucrados.
La lista de la OCDE incluye algunos indicadores de
procesos, a nivel de plantel: el relativo a las decisiones que
deberían tomarse en cada escuela (C27); los del tiempo dedicado
a la enseñanza, total y de ciertas materias (P11 y P12); y el
relativo a las pr cticas de agrupamiento de alumnos (P21).
La dificultad de cuantificar los aspectos finos del
funcionamiento de un centro escolar explica el reducido número
de los indicadores relativos a ellos en los indicadores que est
manejando la OCDE, pero ello no significa que se desconozca su
importancia.
Los trabajos de la red de la OCDE que centra la atención en
la evaluación de la calidad de las escuelas como tales (cfr.
CERI-INES 1995c) muestran una clara influencia de los trabajos
sobre escuelas efectivas ya mencionados. J. Scheerens,
coordinador de la citada red, clasifica los procesos en dos
grupos.
En el primero incluye a los que se dan a nivel de todo un
centro escolar (en donde incluye los relativos a la existencia
de una política orientada al logro; de liderazgo; de planeación
participativa; de curriculum; y de clima ordenado.
El segundo grupo se refiere a los procesos que tienen lugar
en cada aula, y comprenden el tiempo efectivo en la tarea; la
estructuración de la enseñanza; la oportunidad efectiva de
aprendizaje; las expectativas en cuanto al desempeño de los
alumnos; el grado de monitoreo de los avances; y la existencia
de reforzamientos. (Hopkins, 1994: 150)
El autor del texto de donde se toma la referencia anterior,
a su vez, clasifica los procesos en cuatro categorías,
mencionando expresamente que se basa en la literatura sobre
escuelas efectivas, pero tratando de sistematizar mejor los
procesos. Sus cuatro categorías se refieren a políticas y
pr cticas, organización, cultura y estrategias (Hopkins, 1994:
154). Finalmente, el autor propone una lista de indicadores de
procesos, como sigue:
De estrategias: de planeación, actualización de profesores, evaluación de la escuela y apoyo externo.
De políticas y pr cticas: énfasis en curriculum y
habilidades b sicas, tiempo efectivo de enseñanza,
oportunidad efectiva de aprendizaje, regularidad de su
monitoreo, t cticas y modelos de enseñanza (estructuración,
organización del aula, tareas a realizar en casa), calidad
de las relaciones alumnos/maestros.
De organización: liderazgo, marco de referencia claro,
roles y responsabilidades definidas, trabajo en equipo,
comunicación y consenso, compromiso de padres y comunidad
con la escuela.
De cultura: altas expectativas, clima ordenado y de apoyo, sistema de valores compartidos, autoestima de maestros,
compromiso de maestros, espíritu de colaboración de
maestros.
Relaciones externas: actualización permanente de maestros, obligaciones contractuales, organización de un sistema para
el desarrollo de la capacidad institucional de acción y
apoyo permanente, procesos de cambio de mediano y largo
plazo, condiciones "de abrigo" en cada nivel. (Hopkins,
1994: 164)
En forma independiente de los sistemas de indicadores, en
varios países se han desarrollado recientemente sistemas de
evaluación de establecimientos escolares, similares a los que
surgieron desde principios de siglo para las instituciones de
educación superior, con un componente de autoestudio y otro de
evaluación externa. En algunos casos estos sistemas están
vinculados con los mecanismos oficiales de inspección o
supervisión, de los que hablaremos más abajo. En los apartados
siguientes describiremos brevemente algunos de estos sistemas.
.3 El sistema inglés GRIDS.
La forma más usual de promover la evaluación en el nivel de
cada establecimiento escolar en el Reino Unido, en el marco de
la preocupación por la calidad de las últimas décadas, consistió
en "listas de control" (check lists) desarrolladas por los
inspectores de las Autoridades Educativas Locales (Local
Education Authorities, LEAs, equivalentes de los equipos de
supervisión de las Zonas de Educación Básica).
Según un autor, 45 de estas listas han sido publicadas
desde fines de los años 70, si bien en general no contienen
orientaciones en cuanto a la forma de aplicarlas y de utilizar
sus resultados. (Nuttall, según De Landsheere, 1994: 129)
Mucho más completo y exitoso se ha mostrado el sistema
llamado Lineamientos para la Evaluación y el Desarrollo Interno
de las Escuelas, mejor conocido por las siglas del nombre en
inglés, GRIDS: (Guidelines for Review and Internal Development
in Schools).
Un equipo del School Curriculum Development Committee,
SCDC, comenzó a desarrollar el sistema en 1984, prob ndolo en
más de 20 zonas educativas (LEAs) de Inglaterra y el País de
Gales. En la presentación del manual del sistema, publicado en
mayo de 1988, el Director del SCDC comenta que resultó notable
la visión del grupo, que anticipó los radicales cambios del
sistema educativo del Reino Unido implantados por la Ley de
Reforma Educativa de 1988 que, con la introducción simultánea
del curriculum nacional y de cierto tipo de competencia entre
las escuelas, hacen más importante que nunca el trabajo de cada
centro, para cuya evaluación y planeación el GRIDS resulta una
herramienta muy valiosa. (SCDC 1988: v)
El GRIDS se basa en una idea clave: la de que no se puede
evaluar ni cambiar de golpe todos los aspectos del
funcionamiento de una escuela, sino que hay que proceder de
manera progresiva, atacando uno o unos cuantos puntos a la vez,
para continuar más tarde con otros.
Naturalmente, no cualquier aspecto se presta igualmente
para iniciar: algunos aspectos pueden ser vistos como más
urgentes, o más sencillos, o potencialmente más fecundos. Por
consiguiente, habrá que comenzar con una evaluación muy general,
que servir simplemente para seleccionar uno o pocos aspectos a
trabajar en profundidad. Luego se trabajará ese o esos aspectos,
hasta llegar a una evaluación profunda y a la organización de un
plan de acción (desarrollo) para mejorarlo. Esto supone que
previamente se han explorado alternativas, a partir de
experiencias ajenas que se pueda conocer directamente o en forma
indirecta, por medio de la literatura.
Terminado el ciclo podrá recomenzarse con otros aspectos.
Lo deseable es que la din mica de evaluación y desarrollo llegue
a verse como parte integral de la vida cotidiana de la escuela.
El Manual del GRIDS presenta este ciclo básico y desarrolla
detenidamente cada parte, ofreciendo indicaciones precisas sobre
la manera de implementarlas.
Los pasos fundamentales se resumen en la siguiente página.
Debe señalarse que, tratándose de una evaluación del
establecimiento escolar se supone que el director tiene un papel
central en la decisión de llevar a cabo el proceso o no.
No es indispensable, en cambio, que el mismo director sea
también la cabeza del comité de evaluación que deber
organizarse para coordinar el proceso. Este papel puede recaer
sobre alguno de los maestros que reúna las cualidades
necesarias.
LAS CINCO ETAPAS DEL GRIDS.
ETAPA I: PREPARACION.
1. Familiarícese con el modelo GRIDS y obtenga información sobre
el apoyo disponible.
2. Asegúrese de entender su papel como director.
3. Consulte a los maestros y decida con ellos lo relativo a los
pasos siguientes.
4. Haga un plan de trabajo para organizar las etapas siguientes.
ETAPA II: EVALUACION INICIAL GENERAL.
1. Planeación.
2. Encuesta de opinión entre los maestros y, si se desea, entre
padres de familia y otras personas.
3. Consenso sobre prioridades para evaluaciones específicas y
acciones subsecuentes e identificación de posibles
necesidades de capacitación.
4. Organización de equipos para realizar cada evaluación
específica.
ETAPA III: EVALUACION (ES) ESPECIFICA (S).
1. Planeación de la(s) evaluación(es).
2. Estudio de las políticas y pr cticas vigentes en la escuela
sobre el tema de la evaluación.
3. Investigación de políticas y pr cticas alternativas (usar
fuentes externas).
4. Informe de los resultados y hallazgos al equipo docente.
5. Decisiones colectivas sobre acciones específicas a
desarrollar y necesidades particulares de formación.
ETAPA IV: ACCIONES DE DESARROLLO.
1. Planeación.
2. Implementación de actividades formativas relacionadas.
3. Monitoreo de avances.
4. Evaluación de la efectividad de las acciones.
ETAPA V: EVALUACION GLOBAL DEL GRIDS.
1. Evaluación del proceso GRIDS en conjunto.
2. Incorporación del proceso GRIDS como parte del funcionamiento
habitual de la escuela.
Después de la 5ª etapa puede volverse a la 2ª, haciendo de
nuevo una evaluación general para seleccionar otro(s) aspecto(s)
particulares a evaluar. Si, con los resultados de la primera vez
que se hizo esa evaluación general, se tienen ya otros puntos a
trabajar, puede pasarse directamente a la 3ª etapa. Por el
contrario, si un proceso experienta dificultades importantes en
su 3ª etapa, podrá suspenderse y regresarse a la 2ª o,
eventualmente, iniciar una 3ª etapa con otro u otros aspectos.
.4 Los sistemas español y francés.
Francia y España han visto también, en los últimos años, el
desarrollo de nuevas concepciones y sistemas para la evaluación
de los establecimientos escolares. Los sistemas educativos de
ambos países han sido, tradicionalmente, centralizados.
A diferencia de los casos inglés (hasta 1988) o
norteamericano, la noción de curriculum nacional era la única
posible para franceses y españoles hasta hace poco. Apenas con
la Ley de 1990 se abre la posibilidad de variantes curriculares
para las autonomías españolas.
Sin embargo, la necesidad de mayor dinamismo en la gestión
escolar a nivel institucional, como requisito de una mejor
calidad, se plantea en estos países con la misma fuerza que en
otros. El alto grado de profesionalización de su magisterio hace
tal cosa, a la vez, posible e inevitable.
Por ello no resulta sorprendente que en ambos países se
haya desarrollado una corriente semejante que concede al centro
escolar individual un margen de iniciativa y de acción
considerable, mucho mayor al que la tradición centralizadora
haría esperable. La forma que ha tomado esta tendencia ha sido
la de los llamados proyectos escolares de centro.
El proyecto escolar no es otra cosa que un plan de trabajo
por medio del cual una escuela retoma los grandes objetivos
establecidos para la educación por la ley y el curriculum
nacional, y los aplica de manera concreta a su propia realidad,
teniendo en cuenta las circunstancias concretas de sus maestros,
sus alumnos y sus familias y los dem s elementos pertinentes de
su entorno.
Esta concreción de los planteamientos nacionales requiere
de un esfuerzo de microplaneación preciso, que deber comprender
un diagnóstico de la situación concreta del centro escolar de
que se trate; la fijación, en consecuencia, de objetivos
propios; la organización de programas de trabajo para alcanzar
tales metas; y, lógicamente, un sistema de evaluación para
monitorear en forma permanente los logros de la escuela en
relación con los objetivos.
Dada la naturaleza del trabajo escolar, lo anterior sólo es
factible si se logra un consenso alrededor de los propósitos
esenciales por parte de los integrantes de la comunidad escolar,
en particular los maestros, que se traduzca en un compromiso con
tales propósitos y en un esfuerzo colectivo como forma habitual
de operación el centro.
El papel del director como líder organizacional y
educativo, y no sólo como titular de una función administrativa,
es un componente fundamental de esa forma de funcionamiento.
Una abudante literatura reciente pone de manifiesto la
fuerza del movimiento. Pueden verse en la bibliografía las
referencias de las obras de De Peretti, Emin y Lecointe y
Rebinguet para Francia, así como las de Barbera, Casanova,
Gairin, Sabirón, Saez-Fernández y Santos Guerra para España. La
influencia del GRIDS es importante, como puede verse en el
sistema QUAFE. (cfr. López y Darder, 1985).
.5 Un sistema norteamericano.
En los Estados Unidos han surgido en las últimas décadas
una serie de sistemas de evaluación de establecimientos
escolares muy diferentes a los que hemos presentado en los
apartados anteriores, que también resulta de interés reseñar.
Se trata de mecanismos concebidos para detectar las
escuelas m s sobresalientes, con el propósito de darles
reconocimientos y estímulos tanto materiales como simbólicos y,
a la vez, de permitir que otros establecimientos puedan
beneficiarse de su experiencia, aprendiendo de las innovaciones
que se hayan desarrollado en ellas.
Prácticamente cada estado nortemericano cuenta con algún
sistema de este tipo y, además, existen otros organizados por
entidades privadas. Sin embargo, el sistema más prestigioso es,
sin duda, el conocido con el nombre de "Programa de Escuelas de
Cinta Azul" (Blue Ribbon School Program, BRSP) creado por el
Departamento de Educación del Gobierno de los Estados Unidos en
1983.
De 82-83 a 93-94 2,809 de unas 110,000 escuelas primarias y
secundarias básicas de los Estados Unidos habían merecido dicho
reconocimiento un 2.5% del total, incluyendo escuelas públicas y
privadas, urbanas y rurales, pequeñas y grandes, con alumnado de
todos los niveles socioeconómicos y grupos étnicos. Cada año más
de 500 son escogidas en el nivel estatal y pasan al nacional; de
ellas unas 300 son visitadas y algo más de 200 reciben el
reconocimiento.
Además de tratarse de un sistema que reconoce a las
escuelas como tales, y no ciertos programas específicos, como
los de enseñanza de las matemáticas o de las ciencias, el BRSP
sobresale entre los dem s por el nivel de reconocimiento público
que representa (los premios son entregados en una solemne
ceremonia anual en la Casa Blanca, por el Presidente de los
Estados Unidos) y por la seriedad del proceso de selección de
las escuelas premiadas, que incluye una primera selección a
nivel de distrito escolar, otra a nivel estatal, y una última a
nivel nacional, en la que hay dos momentos de revisión de
documentos y una visita a cada escuela que llega a esa etapa.
La evaluación la realiza un grupo de un centenar de
personalidades que incluye a maestros reconocidos, miembros de
consejos escolares, investigadores y empresarios. Se forman
subgrupos de 3 o 4 evaluadores, cada uno de los cuales revisa
una veintena de solicitudes. Después de la primera revisión,
alrededor de la mitad de las solicitudes pasan a la siguiente
etapa, que consiste en una visita de dos días a la escuela, por
parte de grupos de visitadores designados.
Tanto los evaluadores como los visitadores reciben
entrenamiento especial para el desempeño de sus funciones. Los
visitadores redactan un reporte, que es revisado por los
evaluadores, quienes formulan finalmente sus recomendaciones al
Secretario de Educación, quien toma formalmente la decisión
final. (Odgen y Germinario, 1994: 225-263)
La escala que se utiliza para evaluar, en diversos
aspectos, a las escuelas que se presentan como candidatas al
reconocimiento de "Escuela de Calidad Cinta Azul" tiene los
siguientes valores:
EJEMPLAR: Se califican con este valor únicamente los programas
realmente excelentes, en el sentido de que se ubiquen
dentro del 5% mejor del país en ese aspecto. Las escuelas
deberían poder servir de modelo a cualquier otra.
FUERTE: Se aplica a programas muy buenos, que se sitúan
claramente por arriba de la media, sin llegar al nivel
del rubro anterior. Una escuela calificada con este valor
debe superar por lo menos al 60% de las demás.
ADECUADA: La escuela cumple con los estándares de calidad
mínimos establecidos y su nivel coincide con la media. Se
subraya que las normas se definen en relación a la media.
INADECUADA: La escuela tiene deficiencias claras y
significativas y se encuentra definitivamente por debajo
de la media y de las normas establecidas.
SIN EVIDENCIAS: No hay elementos para hacer juicios sobre el
aspecto de que se trate.
Los rubros que deben evaluarse, basados en las
investigaciones sobre escuelas efectivas, y que se incluyen en
la solicitud, son siete, cada uno de los cuales puede contener
de tres a once incisos para un total de cincuenta y ocho, como
sigue:
A. LIDERAZGO
A.1 Las grandes metas y prioridades de la escuela están
claramente formuladas y parecen adecuadas. Son desarrolladas
con participación de todos los integrantes significativos de
la comunidad escolar, han sido adoptadas formalmente, se
revisan de manera regular y se comunican de manera efectiva a
profesores, alumnos, padres de familia y a la comunidad.
A.2 El director y los maestros tienen una visión clara de la
escuela y sus alumnos, que se operacionaliza en términos de
objetivos específicos, políticas, programas y recursos que se
requieren para alcanzar las grandes metas y prioridades. El
liderazgo de la escuela ha creado un sentimiento de
participación en los grandes propósitos entre profesores,
alumnos, padres de familia y personas de la comunidad para
cumplir con la misión de la escuela.
A.3 Director y maestros tienen compresión común de la
importancia y estructura del liderazgo educativo dentro de la
escuela. Hay lineamientos escritos sobre responsabilidad de
cada función.
B. AMBIENTE DE ENSEÑANZA.
B.1 Los maestros participan sustantivamente en las decisiones
relacionadas con currículo, enseñanza, disciplina, evaluación
de maestros, programas y otras actividades. La participación
de los maestros es efectiva en la operación de la escuela.
B.2 El personal colabora en la planeación y realización de la
enseñanza. Hay oportunidades permanentes de interacción
significativa y se alienta el trabajo en equipo.
B.3 Los maestros son supervisados y evaluados formal e
informalmente de manera regular por personas designadas para
ello, las que ofrecen retroalimentación útil. Se supervisa el
que las evaluaciones se traduzcan en mejoras.
B.4 Se hacen previsiones especiales para el apoyo y la
formación de los maestros nuevos, o de reciente ingreso a la
escuela. Los procedimientos de reclutamiento y selección de
profesores parecen apropiados.
B.5 Se apoya y estimula el reconocimiento a los mejores
maestros tanto formal como informalmente y tanto dentro de la
escuela como fuera de ella.
B.6 Se ofrecen oportunidades variadas para ampliar o extender
los roles o funciones de los profesores, mejorar su
efectividad y su satisfacción en el trabajo y disminuir su
rotación.
B.7 Un número significativo de profesores participa en
actividades formativas directamente relacionadas con las
prioridades de la escuela o en programas orientados a
reforzar su dominio en las cinco materias b sicas.
C. CURRICULUM Y ENSEÑANZA
C.1 La diversidad de necesidades de los alumnos y de las
misiones de la escuela se refleja en la organización de ésta.
Los procedimientos para asignar a los alumnos a las diversas
actividades o agrupamientos de enseñanza son razonables y
justos. Los alumnos tienen la posibilidad de cambiar de
actividad o grupo si sus habilidades o intereses cambian.
C.2 Los trabajos de desarrollo curricular se traducen en una
oferta rica para todos los alumnos en inglés, matemáticas,
ciencias, historia y geografía y lenguas extranjeras.
C.3 La escuela destaca con claridad, dentro de su oferta
curricular, un conjunto básico bien concebido que se orienta
claramente en el sentido de sus grandes propósitos.
C.4 La escuela ha implementado estrategias particulares para
garantizar que los alumnos aprendan efectivamente a
expresarse por escrito y tiene un sistema de evaluación para
ello.
C.5 La escuela tiene programas especiales para satisfacer las
necesidades de grupos específicos de alumnos que requieran
educación especial o compensatoria. La identificación y
ubicación de los alumnos en estos programas es equitativa. Se
monitorean de cerca los progresos individuales y hay
evidencias claras de la efectividad de los programas.
C.6 Se ofrecen oportunidades variadas de enriquecimiento o
estudio avanzado para estudiantes sobresalientes por su
talento o motivación. Si los alumnos que participan en ellas
no representan la diversidad del alumnado se ofrece una
explicación convincente.
C.7 La biblioteca es componente integral del programa de
enseñanza de la escuela y juega un papel clave en el
desarrollo de las habilidades de los alumnos en lo relativo a
información.
C.8 Hay esfuerzos de evaluación regulares y sistem ticos, que
constituyen un programa para toda la escuela y se traducen en
mejoras identificables.
D. AMBIENTE DE LOS ALUMNOS.
D.1 Las políticas, pr cticas y servicios de la escuela aseguran
que los alumnos que entran a ella, sea desde el primer grado
m s tarde, puedan participar con éxito en el conjunto de la
vida escolar.
D.2 La escuela utiliza incentivos, programas motivacionales y/o
estrategias de enseñanza particulares para desarrollar y
mantener el interés de los alumnos por el aprendizaje.
D.3 Hay oportunidades accesibles y variadas para que los
alumnos sostengan relaciones regulares con maestros, asesores
y otros adultos. Hay programas de asesoría psicopedagógica y
académica cuya efectividad se evalúa sistem ticamente. El
número de estudiantes que aprovecha estas oportunidades es
significativo y representativo del alumnado.
D.4 Se usan procedimientos efectivos para detectar y ofrecer
asesoría y apoyo a desertores potenciales y otros alumnos de
bajo rendimiento o alto riesgo. Un número significativo de
los alumnos detectados recibe apoyo.
D.5 Hay una gama de actividades extracurriculares al alcance de
los alumnos. Se alienta a éstos a participar y un número
substantivo, representativo del alumnado, lo hace.
D.6 Existen normas disciplinarias razonables, explícitas y bien
articuladas, que impiden la violencia e impulsan a los
alumnos a comportarse correctamente, sin una excesiva
cohersión.
D.7 Dentro de la escuela se prohibe el uso de armas y drogas,
incluyendo el alcohol y el tabaco. Hay programas y esfuerzos
amplios que llegan a la comunidad en que se ubica la escuela
para desalentar tales pr cticas fuera de ella.
D.8 Los alumnos tienen papel activo e influyen en las políticas
de la escuela y del aula. Se aprecia la participación
estudiantil. Esta participación es representativa del
alumnado.
D.9 Los programas, políticas y pr cticas de la escuela y los
maestros propician el desarrollo de un car cter maduro, de
valores democr ticos, juicios éticos y conducta correcta, así
como la capacidad de trabajar de manera autodisciplinada y
con sentido.
D.10 La escuela utiliza de manera efectiva estrategias
curriculares y otras para preparar a los alumnos para una
vida productiva y armoniosa en una sociedad plural cultural y
económicamente.
D.11 Idem. en una sociedad globalmente competitiva.
E. APOYO DE LOS PADRES Y LA COMUNIDAD.
E.1 La escuela presenta evidencias de diversos tipos de
participación de los padres. Un número substantivo de éstos,
representativo del conjunto, participa de hecho.
E.2 Los avances y resultados de los alumnos y la escuela como
+tal se comunican regularmente a los padres, por medios
formales e informales. Hay mecanismos para recibir
retroalimentación.
E.3 La escuela alienta y ayuda a los padres para que en el
hogar ofrezcan un ambiente que apoye el aprendizaje de sus
hijos y les informa sobre otras oportunidades de aprendizaje.
E.4 La escuela hace esfuerzos sistem ticos para apoyar las
necesidades de las familias.
E.5 La escuela ofrece evidencia concreta de colaboración
significativa con otras instituciones o grupos de la
comunidad para apoyar actividades y programas escolares,
promover aprendizaje extraescolar y ofrecer servicio integral
a niños y familias.
F. INDICADORES DE EXITO.
F.1 La escuela utiliza pruebas estandarizadas a nivel estatal o
nacional que permiten:
a) informar sobre los resultados de los alumnos de manera fácil
de interpretar;
b) afirmar que los resultados de los alumnos son mejores que los
de escuelas con características demogr ficas similares;
c) observar mejoras claras en los resultados de los alumnos en
los últimos tres años, o resultados sobresalientes
regularmente.
F.2 La escuela ofrece evidencias convincentes del aprendizaje
de sus alumnos mediante pruebas basadas en desenpaño u otras
formas no tradicionales de evaluación.
F.3 La asistencia de maestros y alumnos y el número de éstos
involucrados en problemas disciplinarios serios se comparan
favorablemente con los de escuelas similares.
F.4 En los últimos cinco años la escuela, sus maestros y/o
alumnos han recibido reconocimientos significativos que son
indicadores de éxito.
G.VITALIDAD ORGANIZACIONAL.
G.1 El clima de la escuela refleja su misión y ofrece una
atmósfera ordenada, con sentido, que apoya el aprendizaje,
que respeta la diversidad y est abierta al cambio.
G.2 Existe un proceso de planeación y mejoramiento con
evidencias de liderazgo y de avances.
G.3 El personal de la escuela conoce los hallazgos y las
recomendaciones de los principales estudios nacionales de
reforma educativa o evaluación así como las Metas Nacionales,
y ha puesto en pr ctica o est preparando cambios en
consecuencia.
G.4 En los últimos cinco años la escuela ha introducido cambios
efectivos y/o ha superado problemas u obstáculos para la
excelencia, al tiempo que mantenía los aspectos positivos.
G.5 Se entienden de manera realista los principales retos
educativos que la escuela deber enfrentar en los próximos
cinco años, lo que refleja una cuidadosa valoración de las
cambiantes necesidades del alumnado.
H. ENFASIS ESPECIALES: CIENCIA Y MATEMATICAS.
H.1 La escuela ofrece un curriculum en el área de ciencias que
es rico en contenido, se apega a los lineamientos oficiales y
estimula el interés y el desempeño de todos los alumnos.
H.2 Idem en matemáticas.
.6 Los sistemas de inspección o supervisión.
Si bien la importancia que se le da en la actualidad parece
no tener precedentes, la preocupación por la calidad de las
escuelas es, como se ha dicho, antigua. Desde fechas tempranas
los sistemas educativos la enfrentaron, y lo hicieron, por lo
general, mediante sistemas de inspección y supervisión.
Aunque en este caso no parece haber relación biunívoca
clara entre significante y significado, el uso de los dos
términos mencionados -inspección y supervisión escolar- alude a
una duplicidad básica en la función de este tipo de mecanismos:
el término inspección, por una parte, alude preferentemente a la
función evaluadora e, incluso, de control administrativo del
trabajo que se hace en las escuelas; el término supervisión, por
su parte, alude más bien a la función de mejoramiento de la
calidad, en la forma de apoyo técnico pedagógico.
Lillis menciona que hay poca literatura sobre los sistemas
de inspección y supervisión. Este autor señala que las
"funciones gemelas" de control y mejoramiento de la calidad se
asignan a servicios que, a veces, son independientes del
Ministerio de Educación, pero que en la mayor parte de los
países dependen de él. También señala que hay pocos programas de
formación para la preparación de inspectores y supervisores.
(Lillis, 1992:1)
Por lo que respecta a Inglaterra y Gales, en el artículo
que la International Encyclopedia of Education dedica al tema,
Bolam explica que hay, por una parte, el Inspectorado de Su
Majestad, con unos 500 inspectores con funciones de nivel
nacional. Por otra parte, existe la estructura de las
Autoridades Educativas Locales (LEAs), que corresponde a los
distritos escolares americanos, o a las Zonas de Educación
B sica en Aguascalientes.
En Inglaterra y Gales hay un total de 104 LEAs, que agrupan
a las escuelas de reas con una población promedio de unos
400,000 habitantes, lo cual es un tamaño considerable. Las LEAs
cuentan con cierto número de supervisores cuya función es m s de
apoyo que de evaluación, puesto que ésta última es desarrollada
principalmente por los inspectores de Su Majestad. Existen
varios criterios para definir el número de supervisores-asesores
que debe tener una zona.
En general se considera que un supervisor no puede atender
más de 20 escuelas. Exclusivamente para la función de apoyo
existen además "Centros de Profesores" que organizan actividades
de formación permanente para maestros en servicio (In Service
Educational Training, INSET). (Bolam, 1985:4429-4432)
En Francia existe, dentro del Ministerio de Educación, un
importante cuerpo de inspectores, con jerarquías precisas: los
Inspectores Generales tienen un papel nacional, fundamentalmente
de evaluación; los inspectores regionales y departamentales, en
cambio, tienen funciones predominantemente pedagógicas. (Bolam,
1985)
Hay países con inspectorados semejantes, como España o
Nueva Zelanda, mientras que en otros la supervisión centra la
atención en el monitoreo y el apoyo de los maestros en su
trabajo en el aula, como en Alemania, con el sistema de
Schulaufsichtsbeamten, a nivel regional (de los L„nder) En
Suecia las escuelas privadas deben pasar por un proceso de tipo
acreditación cada tres o cuatro años. Los Estados Unidos también
tienen buenos sistemas de inspectorado, que operan mecanismos de
evaluación a nivel de establecimiento, como el New York State
School Quality Review.
En América Latina los sistemas de inspección tienen larga
tradición. Es posible, según Lillis, que el inspectorado de
Costa Rica, establecido a principios de la década de 1830, sea
el más antiguo del mundo, anterior al de Su Majestad para
Inglaterra y Gales, creado en 1839. Sin embargo, en nuestros
países estos sistemas suelen adolecer de vicios muy arraigados
de burocratización y politización que los hacen extremadamente
ineficientes. El autor mencionado hace referencia a críticas que
se hacen al inspectorado venezolano, que son idénticas a las que
se escuchan en México en relación con el sistema nacional.
(Lillis, 1992:4-5)
El potencial de los inspectorados como elementos
importantes de los sistemas de control y promoción de la calidad
escolar no ha pasado desapercibido a las agencias
internacionales que se ocupan de estas cuestiones. El CERI de la
OCDE inició, en 1993, un programa de trabajo designado con el
nombre "lo que funciona en el campo de las inovaciones" (What
works in innovation); desde 1994 el programa centra la atención
en lo relativo a la evaluación de las escuelas como unidades. Se
han realizado estudios nacionales, que han producido sendos
reportes (cfr. por ejemplo Clímaco y Araujo, 1994). El papel de
los inspectorados en este tipo de trabajos se contempla
expresamente. Trabajos como los de Deelsa (1992) y Aubegny
(1995) son indicativos de esta línea de acción.
El Instituto Internacional de Planeación de la Educación de
la UNESCO ha comenzado a organizar, a partir de 1995, talleres
regionales de formación sobre el monitoreo de la calidad de la
educación primaria, enfocados al estudio del funcionamiento de
las escuelas como tales, en los que se considera expresamente el
lugar de los servicios de inspección y supervisión. (IIPE, 1995)
En estos trabajos se discuten las ventajas y desventajas de
manejar juntas o separadas la función de control de calidad y la
de mejoramiento. Se sacan lecciones precisas de la experiencia
pasada, en el sentido de que la evaluación por sí misma no es
interesante, si no va unida de alguna manera al mejoramiento; en
el de que debe combinarse una evaluación externa, objetiva, con
un elemento "amigable" de apoyo y consejo por parte pares
reconocidos y capacitados; y en el sentido de que, para mejorar
las escuelas, parece claro que hay que apostar a la experiencia
y al profesiona lismo de los maestros, haciendo de cada escuela
una organización efectiva centrada en el aprendizaje y capaz de
mejoramiento contínuo.
CONSIDERACIONES FINALES.
LOS ELEMENTOS DE UN SISTEMA INTEGRAL DE MONITOREO.
Como se ha dicho reiteradamente, los tres elementos a los
que se refieren los apartados de la segunda parte, que
constituyen el cuerpo principal de esta revisión de literatura,
pueden combinarse formando un sistema completo de monitoreo.
El sistema de indicadores, si es desarrollado con una
visión suficientemente amplia, a partir de un concepto de
calidad rico, multidimensional, ser el componente clave, con
una concepción integral, en la que se ubicarán los otros dos
componentes, con sus aportaciones específicas perfectamente
definidas: las pruebas permitiendo un conocimiento sólido de los
resultados de la enseñanza, de los productos del sistema
escolar; las evaluaciones de centros escolares enriqueciendo la
visión de los procesos que tienen lugar en el aula y en el
interior de las escuelas.
De hecho, como se ha visto, los sistemas que se han
desarrollado recientemente realizan de alguna manera esa
integración, si bien lo hacen a partir de elementos previamente
existentes: la OCDE aprovecha los resultados de la IEA; el
Special Study Panel supone la existencia de los trabajos del
ETS-NAEP, etc.
Cuando no se cuenta con elementos previos, o cuando los
existentes sean pobres, como es el caso de México, ser
necesario diseñar simult neamente el todo, y es entonces cuando
esta visión de conjunto podr resultar de mayor utilidad.
A guisa de conclusión terminaremos esta revisión de
literatura refiriéndonos a la experiencia, ya citada, del
Southern Africa Consortium on the Monitoring of Educational
Quality (SACMEQ).
El SACMEQ, cuya gestación se desarrolló durante 1994, y que
se constituyó formalmente a principios de 1995, es un esfuerzo
conjunto emprendido por 10 países del Africa austral, con el
apoyo del Instituto Internacional de Planificación de la
Educación de la UNESCO, a partir de un importante trabajo
desarrollado entre 1991 y 1993 en uno de los países
participantes en el Consorcio, Zimbabwe. (cfr. Ross y
Postlethwaite, 1992:1)
El trabajo de Zimbabwe trató de obtener información tanto
sobre INSUMOS educativos como sobre los RESULTADOS escolares. En
el contexto de un país pobre, los INSUMOS comprenden cosas
elementales, que resultan b sicas para el proceso educativo,
como los edificios escolares (existencia, disponibilidad de
baños, agua y electricidad); los maestros (número en relación
con el de alumnos, calificación, experiencia, ingresos,
condiciones de su vivienda incluyendo la distancia a la escuela,
ausentismo, etc.); otros recursos escolares, incluyendo el
mobiliario, los textos y el material did ctico... En cuanto a
los RESULTADOS, se trata del aprendizaje alcanzado efectivamente
por los alumnos.
Se desarrollaron cuatro instrumentos, que fueron un
cuestionario para captar información sobre las variables del
entorno familiar y social de los alumnos (Pupil background
questionnaire); un cuestionario para los maestros; otro para los
directores de escuela; y una prueba estandarizada de lectura.
Esta última (Reading Achievement Test) estuvo formada por 59
items seleccionados después de someter un número mayor a
an lisis de dificultad, poder de discriminación y confiabilidad.
Se construyeron índices compuestos de instalaciones,
mobiliario y material did ctico, se definieron est ndares
mínimos para esos INSUMOS, y se analizó la información para ver
qué proporción de las escuelas del país y de cada región estaba
por debajo de tales est ndares.
Se analizó qué tan equitativamente estaban distribuídos los
insumos entre las escuelas de las diversas regiones del país;
cu l era el nivel de logro de los alumnos de las escuelas; cómo
variaba ese nivel entre las regiones; cómo se relacionaba con
determinados niveles de dotación de insumos.
El coeficiente rho de correlación intraclase fue utilizado
como indicador de equidad, ya que permite ver si la variación de
los resultados se da principalmente entre regiones, con pocas
diferencias entre las escuelas de una misma zona, o m s bien al
interior de las regiones, con fuertes diferencias entre las
escuelas de la misma zona.
Se identificaron las escuelas más efectivas y se analizaron
sus características, según las variables de insumos y entorno.
En la segunda parte del reporte se hacen comentarios y se dan
sugerencias detalladas para la realización de un estudio del
tipo del realizado en Zimbabwe. (Ross-Postlethwaite, 1992:47-67)
El estudio despertó el interés de los países de la región,
los cuales llegaron al acuerdo de crear un mecanismo regional de
car cter permanente para monitorear la calidad de sus sistemas
educativos. (Ross, 1994; SACMEQ, 1995)
En conclusión, puede afirmarse que, sea que se establezcan
de manera sistem tica y planificada, como en Zimbabwe y el
SACMEQ, sea que surjan de manera m s espont nea, a partir de
elementos previamente existentes, desarrollados a lo largo de
varias décadas, como en los Estados Unidos y Europa, parece que
en la actualidad los sistemas de monitoreo son elementos
esenciales de un sistema educativo que tenga aspiraciones de
calidad.
Ojalá que esta revisión de literatura haya permitido
formarse una visión de conjunto suficiente para orientar el
diseño de un sistema de ese tipo.
REFERENCIAS BIBLIOGRAFICAS
ABBOTT R., S. STEADMAN y M. BIRCHENOUGH. (1988) GRIDS Primary
School Handbook. York. Longman.
ALVARO PAGE M. et al. (1988) Evaluación externa de la reforma
experimental de las enseñanzas medias, Madrid, Centro de
Investigación y Documentación Educativa.
ANGULO RASCO J. F. (1994). Anotaciones al INCE. Cuadernos de
Pedagogía. N° 219:33-39.
AUBEGNY J. (1995) The role of evaluation and accountability as a
management tool and a means of improving effectiveness at
school and local authority levels. Paris OCDE 1995.
AUSTIN y H.GARBER (1985) Research on exemplary schools. Orlando.
Academic Press.
BAKER E.L. y B.H. CHOPPIN. (1990). "Minimum Competency Testing".
En WALBERG-HAERTEL 1990:499-502.
BANTA, TRUDY W. (1991) "Education Counts". Assessment Update.
Vol.3. N° 5:3-4.
BARBERA ALBALAT V. (1990). Método para evaluación de centros.
Madrid. Escuela Española.
BAUDELOT CH. y R. ESTABLET (1989). Le niveau monte. Paris,
Seuil.
BEARE H., B.J. CALDWELL y R.H. MILLIGAN (1989). Creating an
Excellent School. Some New Management Techniques. London.
Routledgle.
BOES N. SH. (1979) "Un compendio de puntos importantes dentro
del movimiento de competencia mínima". En LATAPI, P.
(Coord.) 1991:196-202.
BOLAM R. (1985) "School Inspectors and Adviseors" en HUSEN-
POSTLETHWAITE, 1985:4429-4432.
BOTTANI N. y DELFAU I. (1990) "The Search for International
Educational Indicators". The OECD Observer. N° 162: 14-18.
BRACEY GERALD W. (1978) "Algunas dudas sobre las pruebas de
competencia mínima". En LATAPI, P. (Coord.) 1991:166-175.
BRIKELL HENRY M. (1978) "Siete notas clave sobre la evaluación
de la competencia mínima". En LATAPI, P. (Coord.) 1991:135-
146.
BRYK ANTHONY S. y K.L. HERMANSON. (1992) "Educational Indicator
System: Observations on their Structure, Interpretation and
Use", Review of Research in Education. Vol. 19: 451-484.
BURSTEIN et al. (1992) "Education Indicators". En ALKIN M.C.
(Ed.) Encyclopedia of Educational Research. 6th. ed. New
York. Macmillan. Vol. 2:410-418.
CACE. (1967) Children and Their Primary Schools. The Plowden
Report. London. HMSO.
CARRON GABRIEL y TA GNOC CHAU. (1992) Implicaciones del estudio
internacional sobre mejoramiento de los servicios de educ.
primaria para la planificación y el monitoreo. Paris. IIPE.
CASANOVA R. Ma. A. et al. (1991) La Evaluación del Centro
Educativo. Curso de Formación para Equipos Directivos.
Unidad Tem tica 5. Madrid. MEC.
CAWELTI G. (1978) "Prueba nacional de competencia. Una solución
falsa". En LATAPI, P. (Coord.) 1991:147-155.
CERI-INES. (1991) General Assenbly on International Education
Indicators Handbook. Paris. OCDE.
CERI-INES. (1995a) Education at a Glance. OECD Indicators Paris.
OECD.
CERI-INES. (1995b) Measuring the Quality of Schools. Paris.
OCDE.
CERI-INES. (1995c) Measuring What Students Learn. Paris. OCDE.
CERI-INES. (1995d) Public expectations of the final stage of
compulsory education. Paris. OECD.
CERI. (1991) An International Handbook of Educational
Indicators. Paris. OCDE.
CLIMACO C. y S. ARAUJO. (1995) The Effectiveness of Schools and
Educational Resource Management. National Report. Portugal.
Lisboa. Ministerio de Educa‡ao.
COLBERT V. y J. ARBOLEDA. (1990) "Universalization of Primary
Education in Colombia. The New School Programme", Notes,
Comments, UNESCO-UNICEF-WFP. París, No. 191.
COLEMAN J. S. et al. (1966) Equality of Educational Opportunity,
Washington, U. S. Gov. Printing Office.
COORD. GRAL. DE APOYO A LA PLANEACION. (1991) An lisis de los
indicadores del desempeño académico utilizados nacional e
internacionalmente. México. SGE-ANUIES. Mimeo. 19p.
DAVID J.L. (1987) Improving Education with Locally Developed
Indicators. New Brunswick. Center for Policy Research in
Education-Rutgers University/The Rand Corporation/Wisconsin
Center for Education Research.
DAVID R.G. (1990) "Educational System Assessment and Planning
Models". En WALBERG-HAERTEL, 1990:710-714.
DEELSA. (1992) The role of the inspectorate and inspectors in
the development and monitoring of school management and
effectiveness. The effectiveness of Schooling and of
educational resource management. Monograph. N° 2. Paris.
OCDE.
DELPIANO A. (1991) "Fortalecer desde abajo. Las 900 escuelas en
Chile", B sica, No. 0:43-48.
DHINGRA R. (1991) Improving the information system for planning
the quality of primary education: the case of India.
Increasing and improving the quality of basic education.
Monograph. N° 5. Paris IIPE.
EBEL ROBERT L. (1978) "La argumentación a favor de la prueba de
competencia mínima". En LATAPI, P. (Coord.) 1990:156-165.
--- (1991) Education Counts: an Indicator System to Monitor the
Nation’s Educational Health, Washington, Gov. Printing Off.
EMIN J.C. (1995) "La mise en place d’un dispositif d’indicateurs
pour le pilotage des établissemensts secondaires francais".
En CERI-INES 1995b, Cap. 10 pp. 201-231.
GAIRIN SALLAN J. (1993) "La autoevaluación institucional como
vía para mejorar los centros educativos". Bordon. Vol. 45.
N° 3.
GAIRIN SALLAN J. (1995) "La evaluación del proyecto educativo de
centro". Organización y gestión educativas. N° 1:31-36.
GRISAY A. y L. MAHLACK. (1991) The quality of education in
developing countries: a review of some research studies and
policy documents. Issues and methodologies in educational
development. Paris. IIPE.
GUEVARA NIEBLA G. (1991) "México: ¨un país de reprobados?", en
Nexos N° 162:33-44.
HALLAK J. (1992) Managing schools for educational quality and
equity: finding the proper mix to make it work.
Contributions N° 8. Paris. IIPE.
HOPKINS D. (1994) Process Indicators for School Improvement. En
TUIJNMAN-BOTTANI, Cap. 8:145-170.
HUNT OGDEN E. y V. GERMINARIO. (1994) The Nation's Best
Schools. Blueprints for Excellence. Vol. 1: Elementary and
Middle Schools Lancaster. Technomic Publ.
INCE. (1995). Documentación básica. MEC-SEE,
---- (1990) INES-NEWS. International Indicators and Evaluation
of Educational Systems. N° 4:1-7.
JENCKS CH. et al. (1972) Inequality. A reassessment of the
effect of family and schooling in America. New York. Basic
Books.
JOHNSTONE J. N. (1981) Indicators of Education Systems, London,
Kogan Page-UNESCO.
KAAGAN S.S. y R.J. LOBY. (1989) State Education Indicators:
Measured Strides, Missing Steps New Brusnswick. Rutgers
Univ. Center for Policy Research in Education.
KEEVES JOHN P. (1994) National examinations: design procedures
and reporting Paris UNESCO-IIPE. Colección Fundamentals of
Educational Planning No. 40
KIRST. (1989) en TUIJNMAN-BOTTANI 1994:24-25.
---- (s/f) Laboratorio Latinoamericano de Evaluación Educativa.
Mimeografiado.
de LANDSHEERE G. (1986) La récherche en éducation dans le monde.
Paris. PUF.
De LANDSHEERE G. (1994). Le pilotage des systŠmes d'éducation.
Bruselas. De Boeck.
LATAPI, PABLO Coord., Educación y escuela. Lecturas b sicas para
investigadores de la educación. II Aprendizaje y
rendimiento, México, SEP-Nueva Imagen, 1991, pp. 196-202.
LECOINTE M. y M. REBINGUET (1990). L’audit de l’établisment
scolaire. Paris, Les editions d’organization.
---- (1994) L’Etat de l’ecole. Paris, MEN.
LILLIS K.M. (1992) Improving basic education: preconditions for
successful inspection and supervision. Implications for
training. Increasing and improving the quality of basic
education. Monograph N°7. Paris. IIPE.
LIVINGSTONE I. D. (1990) "Monitoring National Standards". En
WALBERG H. J. y HAERTEL G. D. (Eds.) (1990), pp. 435-440.
LOPEZ J.A. y P.DARDER (1985). Quafe-80. Cuestionario para el
an lisis del funcionamiento de la escuela. Barcelona. Onda.
MADAUS G., P. AIRASIAN y T. KELLAGHAN (1980). School
effectiveness: a reassessment of the evidence. New York.
McGraw-Hill.
MADAUS G., SCRIVEN M. y STUFFLEBEAM D. (1983) Evaluation Models.
Dordrecht-Boston. Kluwer-Nijhoff.
MAGUIRE TH. O. (1993) "Some Thoughts on the Alberta Version of
Educational Quality Indicators", The Alberta Journal of
Educational Research, Vol. XXXIX No. 2, pp. 275-277.
MARTINEZ RIZO F., MA. E. ESCALERA et al. (1990) La educación
b sica en México. Diagnóstico de la educación b sica en
Aguascalientes 1983, México, SEP-CONALTE.
MARTINEZ RIZO F. et al. (1994). La educación b sica en
Aguascalientes. Diagnóstico de indicadores de eficiencia y
equidad. Aguascalientes. Instituto de Educación de Ags.
MARTINEZ RIZO F. (1992) "La desigualdad educativa en México",
Revista Latinoamericana de Edos. Educativos Vol. XXII N° 2,
pp. 59-120.
McCLUNG M.S.(1978) "¨Son justos los programas de pruebas de
competencia? ¨Son legales? En LATAPI P. (Coord.) 1991:176-
187.
McEWEN N. (1993) "Educational Quality Indicators", The Alberta
Journal of Educational Research. Vol. XXXIX. No. 2:167-177.
MECKLENBURGER J. (1978) "Ex menes de competencia mínima. Otra
vez la moneda falsa". En LATAPI, P. (Coord.) 1991:188-195.
---- (1994) Medición de la calidad de la educación. UNESCO-
OREALC. Santiago de Chile.
Vol. I: ¨Por qué, cómo y para qué?
Vol. II: Instrumentos.
Vol. III: Resultados de siete países.
MINISTERIO DE EDUCACION. (1991) Programa de mejoramiento de la
calidad en escuelas b sicas de sectores pobres, Santiago de
Chile. Ministerio de Educación.
MINISTERIO DE EDUCACION. (1991) SIMCE 1991. Manual de
interpretación de resultados, Santiago de Chile, M. de
Eduación.
MUNICIO F.P. e I.TORROBA. (1993) "Bibliografía sobre
evaluación", en Revista de Ciencias de la Educación, N°
155:151-169.
MUÑOZ IZQUIERDO C. et al. (1988) Calidad, equidad y eficiencia
de la educación primaria. México. CEE-REDUC.
MURPHY ROGER y H. TORRANCE (Eds.) (1988) Evaluating Education:
Issues and Methods. London. Paul Chapman Publ.
NATIONAL CENTER FOR EDUCATION STATISTICS. (Annual) Condition of
Education. The Digest of Educational Statistics.
Washington.
NATIONAL EDUCATION GOALS PANEL. (Annual) The National Education
Goals Report. Washington.
NICHOLS P.D. (1994) "A Framework for Developing Cognitively
Diagnostic Assessment". Review of Educational Research.
Vol. 64. N° 4:575-603.
OECD (1995) OECD Education Statistics 1985-1992. Paris. OECD.
OLSON M. (1975). "Measurement and Efficency in Education". En
Educational indicators: monitoring the state of education.
Princeton. ETS.
PIPHO C. (1978) "Ex menes de competencia mínima. Una mirada a
los est ndares del estado". En LATAPI, P. (Coord.)
1991:207-214.
PIPHO C. (1979) "La conferencia de la NAEP sobre las pruebas de
competencia mínima". En LATAPI, P. (Coord.) 1991:203-206.
POSTLETHWAITE T.N. "International Association for the Evaluation
of Educational Achievement (IEA)". En HUSEN-POSTLETHWAITE,
1985:2645-2646.
---- (1989) Programa Nacional de Modernización de la Educación.
México. Gobierno Federal.
---- (1992) Programa de Gobierno. Aguascalientes.
PURYEAR J.M. (1993) "Status and Problems of International
Educational Statistics and Research". CIES Newsletter, No.
103:4.
RAMA GERMAN et al. (s/f) Enseñanza primaria y ciclo b sico de la
educación media en Uruguay. Montevideo. CEPAL.
ROSS K.N. (1992) "Diseño de muestra para estudios
internacionales de rendimiento escolar", Perspectivas, Vol.
XXII. No. 3:327-339.
ROSS K.N. (1994) The Establisment of a Southern Africa
Consortium for the Monitoring of the Quality of Education.
Paris. IIEP.
ROSS K.N. y T.N. POSTLETHWAITE. (1990). "Planning the Quality of
Education", in Walberg-Haertel, 1990: 702-710.
ROSS K. N. y T. N. POSTLETHWAITE. (1992) Indicators of the
quality of education: a summary of a national study of
primary schools in Zimbabwe. Paris, UNESCO-IIPE.
RUMBERGER R.W. (1994) "Labour Market Outcomes as Indicators of
Educational Performance". En TUIJNMAN-BOTTANI, 1994:265-
286.
SABIRON SIERRA F. (1990) Evaluación de Centros Docentes. Modelo.
Aplicaciones y Guía. Zaragoza. Central de Ediciones.
SACMEQ. (1995). Southern Africa Consortium for Monitoring
Educational Quality. París. IIPE.
SAEZ M.J. y M.FERRANDEZ (1993). "La evaluación del proyecto
educativo de un centro: el problema de los indicadores".
Revista de Ciencias de la Educación. N° 153:23-36.
SANTOS GUERRA M.A. (1993) Estrategias para la evaluación interna
de los Centros Educativos. Madrid. MEC.
SAUVAGEOT C. (Ed.) (1992) Primary Education in Lesotho.
Indicators 1992. Paris. IIPE.
SAUVAGEOT C. (Ed.) (1993) L’enseignement fondamental au Mali.
Indicateurs 1993. Paris. IIPE.
SCHMELKES S. (1991) "Local context, quality of educational
process and basic competences", ponencia en Conf. de la
Comparative and International Ed. Society, Pittsburgh.
SCHMELKES S. et al. (1992) La calidad de la educación primaria
en el Estado de Puebla. Un estudio de cinco regiones.
Mimeo.
---- (1995) Southern Africa Consortium for Monitoring
Educational Quality. SACMEQ. Paris-IIPE.
SPECIAL STUDY PANEL ON EDUCATION INDICATORS. (1991) Education
Counts. An Indicator System to Monitor the Nation's
Educational Health. Washington. National Center for
Educational Statistics. USA Dpt. of Education.
STIGLER STEPHEN M. (1986) The History of Statistics. Cambridge.
Harvard University Press.
STUFFLEBEAM D.L. y SHINKFIELD A.J. (1987) Evaluación
sistem tica. Guía teórica y pr ctica. Barcelona. Paidós-
MEC.
TAYLOR C.(1994). "Assessment for Measurement or Standards: The
Peril an Promise of Large-Scale Assessment Reform".
American Educational Research Journal. Vol. 31. N° 2:231-
262.
THELOT C.(1993). L'évaluation du systeme éducatif. Paris.
Nathan.
TIANA A. y MUNICIO P. (1995) "La evaluación de centros en el
INCE". Entrevista con Alejandro Tiana Farrer por Pedro
Municio. Organización y gestión educativa. N° 2.
TIRADO S. F. (1986) "La crítica situación de la educación b sica
en México". Ciencia y desarrollo. Vol.XII. No. 71:81-94.
TIRADO S. F. (1989) "En torno a la calidad de la educación
pública y privada en México". Ciencia y desarrollo. Vol.
XV. No. 85:37-49.
TIRADO S. F. (1990) "La calidad de la ed. b sica en México",
Ciencia y desarrollo. Vol. XVI. No. 91:59-69.
TORRES ROSA MA. (1991) Escuela Nueva: Una innovación desde el
estado. Quito, Ecuador. Instituto Frónesis.
TUIJNMAN A. y N. BOTTANI (Eds.) (1994) Making Education Count.
Developing and Using International Indicators. Paris. OCDE.
UNESCO-UNICEF-PNUD-BM (1990) "Declaración Mundial sobre
Educación para Todos. Satisfacción de las Necesidades de
Aprendizaje B sico". Revista Latinoamericana de Estudios
Educativos. Vol. XX. No. 1:141-151.
UNESCO-UNICEF-PNUD-BM (1990) "Marco de Acción para Satisfacer
las Necesidades de Aprendizaje B sico". Rev.
Latinoamericana de Edos. Educativos. Vol. XX. No. 1:153-
174.
WALBERG H. J. (1990). "National Assessment of Educational
Progress: Retrospect and Prospect". En WALBERG-HAERTEL
1990:435-440.
WALBERG H.J. y G.D. HAERTEL (Eds.) (1990) The International
Encyclopedia of Educational Evaluation. Oxford-New York.
Pergamon Press.
---- Wall Chart, Washington, US Department of Education, annual.
WEST A.R., P.H. WAIT y S. THOMAS. (1994) Community Educational
Indicators Phase 2. Report to M. States. Consejo de Europa.
WILSON J.D. (1988) Como valorar la calidad de la enseñanza.
Barcelona, Paidos-MEC. 1¦ ed. inglés 1988.
WOLF D., J. BIXBY y H. GARDNER. (1991) To use their Minds Well:
Investigating New Forms of Student assessment. Review of
Research in Education. Vol.17 pp. 31-74.
WYATT T. (1994). "Education indicators: a review of the
literature". En TUIJNMAN y BOTTANI, 1994:99-121.
CAPITULO 3.
DISEÑO DEL SISTEMA.
1. EL CONCEPTO DE CALIDAD.
2. EL SISTEMA ESTATAL DE EVALUACION.
2.1 El Sub-sistema de Indicadores de Calidad.
2.2 El Sub-sistema de Pruebas de Aprendizaje.
2.3 El Sub-sistema de Evaluación de Escuelas.
1. EL CONCEPTO DE CALIDAD.
Como se ha dicho en pasajes anteriores de este documento,
la complejidad de un Sistema Estatal de Evaluación referido a la
calidad de la educación se debe, por una parte, a la complejidad
del sistema educativo y, por otra, a la del concepto mismo de
calidad. Por ello es indispensable comenzar esta parte con un
planteamiento en el que se explicite y sistematice el concepto
de calidad que se utiliza, que orienta todo el trabajo.
Diversos autores se han referido a la dificultad de dar una
definición precisa del concepto de calidad y cada cual ofrece
una diferente. Algunos, desesperando de la posibilidad de
alcanzar un consenso, llegan a sugerir la idea de que se trata
de una noción totalmente subjetiva, sin realidad objetiva
consistente.
Por otra parte, todos tomamos diariamente decisiones que
suponen que hemos hecho previamente un juicio sobre la calidad
de ciertas cosas y parecemos convencidos de que nuestras
opiniones tienen un fundamento real: preferimos una marca de
jabón a otra, tal tipo de automovil a tal otro, y... esta
escuela para inscribir a nuestros hijos antes que aquella...
No debería ser, pues, tan difícil establecer en qué
consiste la calidad. Es clásica la cita de Pirsig:
Calidad... todos sabemos lo que es, pero nadie sabe lo que
es. Pero ésto es una contradicción. Hay cosas que son
mejores que otras. O sea que tienen más calidad. Pero
cuando tratamos de decir en qué consiste la calidad, aparte
de las cosas que la tienen, se nos esfuma. No nos queda
nada de qué hablar. Pero... si no podemos decir en qué
consiste la calidad, ¿cómo podemos saber siquiera si
existe? Si nadie sabe lo que es, entonces, para cualquier
efecto práctico no existe. Pero resulta que, para todos los
efectos prácticos, la calidad sí existe. De lo contrario,
¿en qué se basan las calificaciones? ¿Por qué la gente está
dispuesta a pagar verdaderas fortunas por unas cosas,
mientras hecha otras al cesto de la basura? Evidentemente
hay algunas cosas que son mejores que otras, pero... ¿en
qué consiste su "mejoreidad"? Y así podemos seguir y
seguir, haciendo girar nuestras ruedas mentales o, más
bien, haciéndolas patinar porque no encuentran terreno
firme para ejercer tracción y avanzar... ¿Qué demonios es
la calidad? ¿En qué consiste? (En CONRAD Y BLACKBURN 1985)
La dificultad para definir la calidad se aprecia en la
falta de rigor con que frecuentemente se utilizan conceptos como
los de eficacia y eficiencia, eficacia interna y externa,
relevancia y otros, para desarrollar el contenido del concepto.
En los párrafos siguientes se tratará de presentar de una
manera clara y sistemática los diversos elementos que componen
este elusivo concepto. Para ello se utilizarán las nociones del
análisis de sistemas.
Comenzaremos por presentar un diagrama que visualiza mejor
que muchos párrafos los elementos y sus relaciones de una manera
sintética:
ESQUEMA Nº 1. EL CONCEPTO DE CALIDAD Y SUS COMPONENTES.
EL SISTEMA EDUCATIVO Y SU ENTORNO.
EL ENTORNO:
┌────────┐ ┌───────────┐
│RECURSOS│ │NECESIDADES├─────┐
└────────┘ └───────┬───┘ │
│ │
│RELEVAN- │E
│CIA DE │F E
│LOS OB- │I X
│JETIVOS │C T
┌────┴────┐ │A E
│OBJETIVOS│ │C R
└────┬────┘ │I N
│ │A A
EL SISTEMA: │EFICACIA │
│INTERNA │
┌─────────┐ ┌────────┐ ┌────┴────┐ │
│INSUMOS ├──────┤PROCESOS├─────────┤PRODUCTOS├────┘
└───┬─────┘ └────────┘ └────┬────┘
│ │
│ │
└────────────────────────────────────┘
E F I C I E N C I A
Como elemento central encontramos los tres conceptos
clásicos del análisis de un sistema, que está conformado
centralmente por ciertos procesos, son alimentados por algunos
insumos y de los que salen ciertos productos.
El sistema se ubica, necesariamente, en un entorno más
amplio, algunos de cuyos elementos constituyen, desde la óptica
del sistema, recursos que podrán transformarse en insumos y
necesidades que se podrá tratar de satisfacer.
Por otra parte, tratándose de un sistema que no surge
espontáneamente en la naturaleza, sino que es creado de manera
consciente e intencional por algunas personas, las acciones de
éstas se organizarán en programas que persiguen ciertos
objetivos mediante el empleo de ciertos procedimientos.
Entre algunos de los componentes mencionados pueden
establecerse ciertas relaciones, que constituyen, ni más ni
menos, DIMENSIONES PARTICULARES DEL CONCEPTO DE CALIDAD.
Así, si comparamos los productos del sistema con los
insumos que se utilizaron para obtenerlos, tendremos la relación
de EFICIENCIA, o si se quiere, la dimensión costo que, aunque no
la única ni seguramente la esencial, forma sin duda parte de la
noción de calidad.
Si los objetivos del sistema se definen de suerte que
corresponden adecuadamente a las necesidades del entorno,
podemos decir que tienen RELEVANCIA. Si los productos que se
obtienen coinciden con los objetivos que se habían planteado y
se pretendía alcanzar, el sistema tendrá EFICACIA INTERNA.
Es fácil ver que si los elementos de los dos párrafos
anteriores se dan conjuntamente, ésto es, si el sistema tiene
objetivos relevantes en función de las necesidades del entorno,
y si los productos obtenidos realmente coinciden con los que se
pretendía alcanzar según los objetivos, entonces los productos
estarán respondiendo a las necesidades, y el sistema estará
alcanzando la EFICACIA EXTERNA.
Sistematizado de esta manera nuestro concepto de calidad
resulta ya bastante rico, pero aún es necesario introducir dos
dimensiones adicionales, que le dan todavía más complejidad.
La primera es la DIMENSION TEMPORAL o DINAMICA. En efecto:
al hablar de los objetivos y de los productos o resultados del
sistema podemos estar pensando en el corto plazo, en términos de
resultados inmediatos, o en el largo plazo.
Ahora bien: al hablar de la calidad de un sistema educativo
es claro que no podemos limitarnos a la perspectiva de corto
plazo: lo que debe esperarse de una escuela, evidentemente, no
es ante todo que un niño pueda responder acertadamente las
preguntas de la prueba que se le aplica al final del curso, sino
que, años después y, en principio, durante toda su vida, utilice
los conocimientos y habilidades aprendidos en la escuela para
que su vida sea mejor, con toda la relatividad y la profundidad
de esta última expresión.
La dimensión EFICACIA, por tanto, puede desagregarse en dos
subdimensiones: la relativa a los resultados de corto plazo, que
seguiremos llamando, precisamente, EFICACIA (tanto interna como
externa) y la que se refiere a los resultados a largo plazo, que
llamaremos IMPACTO, según el sentido que suele darse a esta
palabra. En ambos casos podrá tratar de valorarse los resultados
en términos cuantitativos o cualitativos.
El segundo aspecto que hace más complejo nuestro concepto
de calidad es el que se refiere a lo que podemos llamar la
DIMENSION DISTRIBUTIVA, que nos remite a otro terreno. En
efecto, dadas las desigualdades tan graves que caracterizan a
una sociedad como la mexicana, la escuela enfrenta dificultades
muy diferentes para alcanzar los objetivos de aprendizaje con
distintos alumnos.
Un alumno de familia acomodada tiene todas las ventajas
para sacar el máximo provecho de la escuela, al contar con toda
clase de medios y recursos en casa, ya que sus padres pueden
proporcionarle apoyos educativos de todo tipo, tanto gracias a
su propio capital cultural como a los que les permite acceder su
nivel económico, pues no hay que olvidar que, aunque no
coinciden, el capital económico y el cultural suelen asociarse.
Un niño de familia campesina o urbana pobre, por su parte,
acumula generalmente todas las desventajas materiales y
culturales, con los casos extremos de los indígenas que no
dominan el castellano.
Para que todos los alumnos logren por igual o, por lo
menos, en un grado mínimo, los objetivos de aprendizaje, por
consiguiente, la escuela necesita apoyarlos diferencialmente,
según su diferente necesidad. Si lo hace, la escuela estará
logrando una dimensión de la calidad educativa diferente, que no
coincide con las vistas hasta ahora, la dimensión de la EQUIDAD.
Un concepto tan complejo como el que estamos presentando no
puede menos que implicar tensiones inevitables entre sus
diversos componentes o dimensiones.
Así, es claro que la EFICACIA, el IMPACTO y, en mayor
medida aún la EQUIDAD, implican recursos. Y la inexorable ley de
los rendimientos decrecientes, que se aplica en la escuela como
en cualquier otra parte, hace que los niveles más altos de esas
dimensiones de la calidad exijan recursos más importantes, que
deben crecer desproporcionadamente al rebasar ciertos umbrales.
Y ésto, inevitablemente, hace subir los costos o, si se quiere,
hace disminuir la EFICIENCIA.
Las diversas dimensiones del concepto de calidad deben,
pues, jerarquizarse e integrarse en una combinación única para
cada caso o situación en la que deban aplicarse ya que, por su
naturaleza misma, no es posible optimizarlas todas
simultáneamente.
Además de las tensiones entre las dimensiones del concepto
(por ejemplo entre eficacia y eficiencia) hay otras que pueden
darse, en una misma dimensión, al enfrentarse concepciones
diferentes de grupos de actores con intereses no necesariamente
coincidentes, o pertenecientes a grupos con culturas o
subculturas diferentes. La frecuente contraposición que los
maestros perciben, por ejemplo, entre sus intereses y los de los
padres de familia, o entre los de unos y otros y los de las
autoridades, no pueden descartarse fácilmente, por más que un
análisis abstracto muestre que no deberían de existir.
Para hacer más compleja aún la cuestión, las tensiones
entre dimensiones pueden combinarse con las que se dan entre
puntos de vista de actores distintos, con resultados
paradójicos. Entre las autoridades gubernamentales (educativas
o, más frecuentemente hacendarias) no es raro, por ejemplo,
observar razonamientos que privilegian la eficiencia sobre la
eficacia, con la prioridad de abatir costos unitarios aunque el
nivel de aprendizaje sufra: lo importante es que la educación
resulte barata. Entre algunos padres de familia, por el
contrario, en ocasiones parecería que se valora a ciegas una
educación cara, sin importar su nivel real.
Más clara todavía es la tensión entre EFICIENCIA y EQUIDAD:
el alcanzar los objetivos de aprendizaje entre alumnos
desfavorecidos, por no hablar de los que tienen problemas agudos
de aprendizaje (por ejemplo débiles mentales, niños con
impedimentos físicos, etc.) es particularmente costoso. Nadie
pretenderá que un sistema educativo esté obligado a alcanzar los
objetivos de aprendizaje con ese tipo de alumnos en la misma
medida que con los mejor dotados pero, a la vez, seguramente
todos aceptaremos en principio lo adecuado de una política
compensatoria que apoye más a quienes más lo necesitan. Precisar
exactamente el fino equilibrio entre estas dimensiones de la
calidad es una delicada decisión de política educativa.
La claridad sobre la noción de calidad que proporciona el
esquema anterior no debe engañarnos en cuanto a la dificultad de
aplicarlo en la realidad, para un sistema educativo concreto.
Parece sencillo definir algunos de los elementos
sistémicos: los insumos serán tanto humanos (maestros, alumnos,
directivos, etc.) como materiales (edificios, libros, etc.); los
procesos incluyen unos de naturaleza específicamente educativa
(enseñanza-aprendizaje, curriculum, didáctica...) y otros
comunes a otro tipo de instituciones (administración...); los
productos son básicamente los egresados del sistema, con ciertos
conocimientos, habilidades y actitudes, etc.
Nada fácil, en cambio, resulta la definición precisa de las
necesidades del entorno a las que deberá tratar de dar respuesta
la educación: habrá que dar prioridad a la formación técnica,
para un trabajo productivo, o bien a la educación de ciudadanos
conscientes y participativos en una sociedad democrática, a la
formación de personas cultas...
Por otra parte, el eje dinámico o temporal de los sistemas
educativos es particularmente largo y complicado, al tratarse de
procesos que duran años y tienen etapas precisas: ingreso a un
grado de un nivel, permanencia y aprobación de grado tras grado,
acceso al grado siguiente y, en su momento, transición al
siguiente nivel...
Por ello la dimensión de EFICACIA INTERNA Y EXTERNA de un
sistema educativo se concreta en nociones que son más familiares
a los educadores, como cobertura, retención-deserción,
aprobación-reprobación y eficiencia terminal (en todos los casos
referidas a un grado, ciclo o nivel). Pero con todas las
precisiones anteriores parece posible desglosar de manera
ordenada, finalmente, los componentes o dimensiones de la
calidad educativa.
Recapitulando, la calidad de un sistema educativo se define
como una noción multidimensional que comprende las de
RELEVANCIA, EFICACIA INTERNA Y EXTERNA, IMPACTO, EQUIDAD Y
EFICIENCIA.
Aplicando esta definición al campo de la educación diremos
que un sistema educativo de calidad es aquél que:
Establece un curriculum adecuado a las necesidades de la sociedad en que se ubica (en otras palabras, es RELEVANTE).
Logra que la más alta proporción posible de destinatarios acceda a la escuela, permanezca en ella hasta el final del
trayecto previsto y egrese habiendo alcanzado los objetivos
de aprendizaje establecidos (o sea que tiene EFICACIA
INTERNA Y EXTERNA).
Consigue que el aprendizaje relevante alcanzado por los
alumnos sea asimilado por éstos en forma duradera y sea
utilizado para mejorar su desempeño como adultos en los
diversos papeles sociales que deben desempeñar (de manera
que tiene un IMPACTO positivo).
Y hace todo lo anterior aprovechando de la mejor manera
posible los recursos de que dispone, evitando despilfarros
y derroches de cualquier tipo (o sea que es EFICIENTE).
Observemos sintéticamente la forma en que las dimensiones
del concepto de calidad, en su expresión general, se relacionan
con las dimensiones equivalentes en el caso de un sistema
educativo:
ESQUEMA Nº 2. DIMENSIONES DEL CONCEPTO DE CALIDAD EN
GENERAL EN RELACIÓN CON LA CALIDAD EDUCATIVA.
│ │ │
│ CALIDAD EN GENERAL │ CALIDAD DEL SISTEMA EDUCATIVO │
├──────────────────────────────┼───────────────────────────────┤
│ RELEVANCIA DE OBJETIVOS │ CURRICULUM RELEVANTE │
├──────────────────────────────┼───────────────────────────────┤
│ LOGRO OBJETIVOS/SATISFACCION │ COBERTURA, EFICIENCIA TERMINAL│
│ DE NECESIDADES A CORTO PLAZO │ Y NIVEL DE APRENDIZAJE │
│ EFICACIA INTERNA Y EXTERNA │ │
├──────────────────────────────┼───────────────────────────────┤
│ SATISFACCION DE NECESIDADES │ FORMACION DE PERSONAS UTILES │
│ A LARGO PLAZO, IMPACTO │ A LA SOCIEDAD, CABALES... │
├──────────────────────────────┼───────────────────────────────┤
│ EQUIDAD │ APOYO COMPENSATORIO │
├──────────────────────────────┼───────────────────────────────┤
│ EFICIENCIA │ APROVECHAMIENTO DE RECURSOS │
└──────────────────────────────┴───────────────────────────────┘
No es raro encontrar críticas al enfoque sistémico, cuyo
esquema se ha seguido para la explicitación del concepto de
calidad que se utiliza en este documento. De Landsheere menciona
que se suele oponer, de manera esquemática, dos tipos de gestión
de un sistema educativo, el modelo llamado tecnológico y el que
se designa con la expresión de modelo humanista. (1994:17)
La preferencia por el modelo humanista que algunas personas
manifiestan, atribuye al modelo tecnológico -que se identifica
sin más con el modelo sistémico porque suele utilizar el esquema
del análisis de sistemas- ciertas características negativas,
como falta de dinamismo, ausencia de dimensión histórica, un
supuesto carácter lineal o rígido, que no toma en cuenta las
tensiones entre unos aspectos y otros, etc. Sin embargo, parece
difícil cuestionar por principio un esquema sólo porque utiliza
conceptos como los de insumos, procesos o productos. Como dice
el autor citado, la cadena objetivo-insumo-tratamiento-producto-
retroalimentación es, sencillamente, inevitable. (De Landsheere,
1994:19)
De hecho todos los modelos de indicadores que se revisaron
en la Segunda Parte utilizan con mayor o menor flexibilidad,
como elemento estructurador, el esquema sistémico, y lo mismo
sucede con otros modelos encontrados en la literatura y no
desarrollados en este documento. (cfr. Herriot, 1979, citado por
Van Herpen 1992, en De Landsheere 1994:40; Fasano, en Tuijnman-
Bottani 1994:55-77; Clímaco, en CERI-INES 1995b:152)
El recelo con respecto al modelo sistémico puede deberse a
que se asocia con una concepción que relaciona el conocimiento
con la acción, al modo en que suele darse en las ciencias de la
naturaleza y sus aplicaciones, con la conocida cadena que va de
investigación básica a investigación aplicada y de allí al
desarrollo tecnológico y a la transformación final. Este modelo
demasiado lineal, a veces llamado ingenieril, ciertamente no se
deja aplicar al campo de las ciencias del hombre y al de las
políticas públicas relacionadas, en donde debe tenerse en cuenta
"el carácter limitado y muchas veces incierto de muchos
conocimientos de las ciencias sociales... la influencia de
procesos políticos y grupos de interés..." (Bryk y Hermanson en
Tuijnman y Bottani, 1994:45)
Hay que atender, ciertamente, las llamadas de atención en
el sentido de no esperar que en el terreno educativo pueda
llegarse a un gran indicador que, supuestamente, concentraría en
una sola cifra todos los logros o fracasos de un sistema, un
"Indice Down Jones de la educación", contra el que previene
Guthrie. Cronbach, por su parte, pide más prudencia en el uso
del conocimiento de expertos para la toma de decisiones y afirma
que los hallazgos de las ciencias sociales pocas veces o nunca
pueden identificar cursos de acción "correctos". En cambio,
dice:
De lo que trata nuestra actividad no es de prescripciones,
leyes o valoraciones definitivas de las acciones
propuestas. Nosotros ofrecemos conceptos, que pueden
cambiar la percepción que se tiene de las cosas. Las
percepciones frescas sugieren nuevos caminos de acción y
alteran los criterios que se usan para la evaluación... Las
conclusiones cuasi-prescriptivas, en cambio, invitan a
desconfiar de ellas. (Citado por Bryk y Hermanson, en
Tuijnman-Bottani, 1994:45)
El esquema sistémico puede ser manejado con mayor o menor
flexibilidad, dinamismo o riqueza, y no tiene por que asociarse
necesariamente con una concepción estática o simplista del
conocimiento, ni con una visión ingenieril de la relación entre
conocimiento y acción.
Aunque sea brevemente, conviene desechar otra objeción que
se basa simplemente en un malentendido: se dice que, por su
naturaleza misma, la CALIDAD no puede ser susceptible de un
acercamiento que trate de cuantificarla, sino que sólo puede ser
abordada de manera cualitativa.
Nociones elementales sobre la medición en ciencias del
hombre bastan para entender que, si se respetan reglas y
procedimientos técnicos y se cuida la adecuada consistencia
conceptual, es posible y legítimo utilizar escalas de medición a
nivel ordinal e, incluso, de intervalo y razón, para tratar
diversas dimensiones de la realidad humana con suficiente
validez y confiabilidad.
Coincidiendo con De Landsheere (1994:19), creemos que el
enfrentamiento entre un supuesto enfoque tecnológico y otro
humanista, entre unos superficiales indicadores cuantitativos y
unas evaluaciones cualitativas supuestamente profundas
constituye una oposición excesiva y artificiosa. Finalmente es
inevitable utilizar de alguna medida el esquema de insumo-
proceso-producto, pero hay que evitar hacerlo de manera
simplista, absoluta y estática. Esperamos haberlo logrado en
este trabajo.
El concepto de calidad educativa tiene, por fin, dos rasgos
que interesa tomar en cuenta si se pretende evaluar: primero, la
calidad es un concepto dinámico: no constituye un punto fijo de
llegada, siempre es posible lograr mayor calidad; de ahí que su
evaluación deba ser también dinámica, ajustando permanentemente
sus parámetros, en función de los logros alcanzados y de los
objetivos y finalidades perseguidas. En segundo lugar, la
calidad es un concepto relativo: se juzga siempre en relación
con algo respecto a lo cual se compara: el pasado, el futuro
deseado, estándares definidos nacionalmente, estándares
internacionales, etc. El juicio de valor que se emitirá como
resultado de la evaluación estará en función de la comparación
con esos parámetros, que resulta esencial definir y que, a su
vez, serán dinámicos y convendrá establecer a partir de
ejercicios colectivos y representativos de diversos sectores de
la sociedad nacional.
2. EL SISTEMA ESTATAL DE EVALUACION.
Después de discutir el concepto, se tienen bases para
proponer un sistema para monitorear la calidad de la educación
básica en un estado como Aguascalientes. A partir de la
experiencia internacional, según la revisión de literatura
presentada en el Capítulo Segundo, se plantea que un Sistema
Estatal de Evaluación (en lo sucesivo SEE) deberá estar
integrado por tres componentes básicos:
Un sub-sistema de indicadores de calidad, SSIC.
Un sub-sistema para la elaboración y aplicación de pruebas de aprendizaje, SSPA.
Un sub-sistema para la evaluación de escuelas,en el sentido de planteles o establecimientos individuales, SSEE.
La pieza central del SEE la constituye el sub-sistema de
indicadores. Los otros dos elementos pueden tener, y tienen de
hecho, un funcionamiento relativamente autónomo, con su lógica y
tiempos propios.
Sin embargo, ambos elementos pueden integrarse
perfectamente en el conjunto, aportando elementos muy precisos.
Por ello comenzamos esta parte con el sistema de indicadores y
luego continuamos, de manera mucho más breve, con los otros
elementos.
No es difícil ver que los tres sub-sistemas del SEE podrían
incluír también elementos para la evaluación de los niveles de
la educación media y superior y, de hecho, el sub-sistema de
indicadores de calidad incluye algunos que, de alguna manera, se
refieren a esos niveles. Sin embargo, por el momento el SEE se
limitará expresamente a lo relativo a la educación básica.
La definición de ésta última puede hacerse de varias
maneras. Si se quiere ir a lo fundamental, la educación básica
es aquella que proporciona a los futuros ciudadanos el bagaje
esencial de conocimientos, aptitudes y actitudes que les
posibilitarán en su vida adulta la realización de sus diversas
funciones, no sólo como personas productivas, sino también como
consumidores, lectores, televidentes, electores o elegidos,
padres de familia, etc.
Entendida de esa manera -que es la que utiliza la
Declaración de Jomtien- el de educación básica es un concepto
relativo, que se concreta de manera diferente según el contexto
espacio-temporal. Las necesidades de preparación para la vida
son diferentes en una sociedad rural y en una urbana.
Hace un siglo no saber leer y escribir no era tan grave
como ahora. Las necesidades de formación básica para el siglo
XXI incluirán seguramente el manejo del inglés, por no hablar de
la alfabetización computacional.
De una manera más simple, en referencia a lo que disponen
oficialmente las leyes, la educación básica puede definirse
sencillamente como la que se imparte en los niveles de
preescolar, primaria y secundaria del sistema escolar. Para
efectos prácticos esta definición puede ser suficiente por el
momento.
2.1 El Sub-sistema de Indicadores de Calidad, SSIC.
El subsistema de indicadores no es, simplemente, un listado
inspirado más o menos directamente en otros. Como se ha dicho,
los indicadores deben integrarse lógicamente, según un concepto
de calidad preciso. Tenemos, por un lado, ciertos objetos
empíricos que son personas (aspirantes, alumnos, egresados,
desertores, maestros, directores, personal de apoyo, etc.) que
se ubican en instituciones (planteles de preescolar, primaria y
secundaria de diverso tipo, agrupadas en zonas, ubicadas en
municipios y, en nuestro caso, en último término en el Estado de
Aguascalientes).
Esos objetos empíricos no pueden aprehenderse como tales en
su totalidad: de su inagotable realidad debemos precisar
aspectos pertinentes para nuestros propósitos para obtener
información sobre ellos. Debemos definir unos objetos
construídos que nos permitirán obtener datos (que, pese a su
etimología, no nos son simplemente dados, sino que han debido
construirse) sobre ciertas dimensiones del objeto general de
estudio, la calidad educativa: información sobre el contexto del
sistema educativo, sus insumos y productos y ciertos procesos
que tienen lugar en su seno. Con estos elementos podremos
construir relaciones con las que llegaremos, finalmente, a
juicios de valor sobre las dimensiones del concepto de calidad:
relevancia, eficacia, impacto, equidad y eficiencia.
La información necesaria para construír los indicadores
podrá provenir de varias fuentes:
Datos estadísticos escolares derivados de procesos
administra-tivos existentes (v.gr. formas 911) o por
desarrollar (v.gr. estadísticas basadas en datos
individuales). (DEE)
Datos estadísticos derivados de otras fuentes, como el
INEGI u otras dependencias federales y estatales. (DEO)
Resultados de la aplicación de pruebas por parte de la
instancia especializada que lo haga. (PRU)
Resultados de otros instrumentos especiales como
cuestionarios para obtener datos sobre instalaciones y
equipamiento de cada escuela (censo de planteles),
encuestas de opinión entre padres de familia y población en
general, etc. (OTR)
Resultados, debidamente integrados, de los procesos de
evaluación de centros escolares que puedan realizarse por
parte de los equipos de supervisión de Zona o por otras
instancias, como la Fundación Aguascalientes para la
Excelencia Educativa. (ESC)
Los indicadores que se sugiere incluír en el sistema,
señalando en cada caso la fuente de obtención (DEE, DEO, etc.),
y destacando en negritas los que pueden obtenerse a corto plazo,
son éstos:
INDICADORES DE CONTEXTO. Aspectos demográficos y económicos.
CO-1 % de personas de 5 a 29 años de edad en la población. DEO
CO-2 Nivel socioeconómico promedio de la población. DEO
CO-3 % de población rural. DEO
CO-4 % de población con ingresos menores al salario mínimo. DEO
CO-5 Indice compuesto de marginación. DEO
CO-6 Problemática entorno escolar (pobreza extrema, aislamiento
geográfico, conflictividad, población migrante... ESC
CO-7 Existencia de servicios o programas de apoyo para escuelas
por parte de instituciones públicas o privadas. ESC
Los indicadores C1 a C5 se obtendrán para la entidad y se
desagregarán por municipio, localidad y, de ser posible,
por AGEB. Los C6 y C7 se obtendrán por escuela, a partir de
los procesos de evaluación de centros.
INDICADORES DE INSUMOS.
Instalaciones y equipamiento:
IN-1 Nº de escuelas de cada nivel y modalidad. DEE
IN-2 Nº de escuelas de organización completa, unidocentes... DEE
IN-3 Dotación de instalaciones/equipamiento de las escuelas. %
de planteles por debajo de estándares mínimos. OTR
IN-4 Estado de conservación de instalaciones y equipo. OTR
IN-5 Disponibilidad de libros de texto.OTR
IN-6 Nº de volúmenes en la biblioteca escolar. OTR
Maestros:
MA-1 Nº de maestros de preescolar, primaria, secundaria. DEE
MA-2 Nº de horas contratadas en secundaria. DEE
MA-3 Distribución de maestros por edad, sexo, edo. civil. DEE
MA-4 % de maestros con diverso nivel de formación inicial (sin
formación, normal sin lic., lic., más de lic. ESC-OTR
MA-5 % de maestros con x nivel de carrera magisterial. ESC-OTR
MA-6 Solicitudes de cambio de maestros en el año. ESC
MA-7 Salario inicial y final de maestros en relación con los
mínimos de profesiones de referencia. DEO
MA-8 Proporción de maestros de apoyo (incluyendo al director) en
relación con los maestros con grupo. ESC-OTR
Personal de apoyo:
PA-1 Personal de apoyo en escuelas preescolar, 1ª, 2ª... DEE-OTR
PA-2 Proporción personal de apoyo/maestros. DEE-OTR
PA-3 % de personal activo en sistema educativo/PEA. DEO
PA-4 Indice compuesto cantidad/calidad de recursos humanos. OTR
Alumnos:
AL-1 Nº de alumnos por escuela-grado inicio y fin de ciclo. DEE
AL-2 % de alumnos en 1º de primaria que cursaron preescolar. DEE
AL-3 % de repetidores por grupo. DEE
AL-4 % de alumnos mayores a edad estricta por grupo. DEE
INDICADORES DE RELEVANCIA.
RE-1 Opiniones sobre la importancia de la escuela para el empleo
y otros aspectos de la vida adulta. OTR
RE-2 Idem sobre importancia de determinadas materias, grados y
niveles para la vida adulta. OTR
RE-3 Expectativas de los padres de familia con respecto a la
escolaridad de sus hijos. Satisfacción posterior. OTR
RE-4 Idem de los propios alumnos. OTR
RE-5 Opiniones de los maestros de un nivel, como usuarios, sobre
la pertinencia del nivel anterior. OTR
Cada uno de estos indicadores representa un conjunto, que
depende de las opiniones que se recaben. Estas se obtendrán
mediante encuestas entre padres de familia con respecto a
la escolarización de sus hijos; entre los mismos alumnos;
entre empleadores con respecto a sus trabajadores; y entre
adultos en general con respecto a la utilidad que hayan
tenido para ellos sus propios estudios previos. Desglose
por edad, género, nivel de escolaridad, etc.
INDICADORES DE EFICACIA. Resultados de corto plazo.
Cuantitativos:
EF-1 Tasa de deserción-retención, por grado. DEE
EF-2 Tasa de aprobación-reprobación, por grado. DEE
EF-3 Tasa de retención/aprobación combinada por grado. DEE
EF-4 Eficacia alfabetizadora de la primaria. % alumnos que
aprueba 4º/ingreso a 1º. DEE
EF-5 Eficacia terminal de la primaria. % alumnos que aprueba
6º/ingreso a 1º. DEE
EF-6 Tasa de transición primaria/secundaria. % alumnos que
entran a secundaria/egreso de 6º. DEE
EF-7 % alumnos que entran a secundaria/ingreso 1º primaria. DEE
EF-8 Eficiencia terminal de secundaria. % aprueban 3º de
secundaria/ingreso a 1º sec. DEE
EF-9 Eficiencia terminal de la educación básica. % aprueban 3º
de secundaria/ingreso a 1º primaria. DEE
EF10 Tiempo promedio para terminar primaria. DEE
EF11 Tiempo promedio para terminar secundaria. DEE
EF12 % de egresados de secundaria que sigue estudiando. ESC
Todos estos indicadores pueden obtenerse de las formas 911
para cohortes aparentes; para cohortes reales se obtendrán
de las estadísticas basadas en el sistema de clave única.
Cualitativos.
EF13 % de egresados 6º de primaria con x nivel en pruebas. PRU
EF14 % de egresados de 3º secundaria con x nivel en pruebas. PRU
Cada indicador representa un conjunto amplio, según las
pruebas que se apliquen.
INDICADORES DE IMPACTO. Resultados de largo plazo.
Cuantitativos:
IM-1 Escolaridad alcanzada por la población de 15 años o más (o
de 25 a 64 años):
IM1a % población sin escolaridad. DEO
IM1b Analfabetismo simple, autodeclarado. DEO
IM1c Analfabetismo simple, población con menos de 4 años. DEO
IMId % población sin/con primaria completa. DEO
IM1e Rezago escolar: %población sin/con secundaria completa. DEO
Cualitativos:
IM-2 Población con x nivel en prueba objetiva de alfabetización
funcional, aritmética, científica, computacional... PRU
IM-3 Empleo-desempleo por género-edad-nivel de escolaridad. DEO
IM-4 Ingresos por género-edad-nivel de escolaridad. DEO
IM-5 Prácticas culturales por género-edad-nivel escolaridad. OTR
IM-6 Participación en actividades cívicas por género, edad y
nivel de escolaridad. OTR
INDICADORES DE PROCESOS O CUALITATIVOS.
PR-1 Escuelas con evidencia de cumplimiento de normalidad
mínima: asistencia maestro/alumno, horas efectivas de
enseñanza. ESC
PR-2 Días/maestro perdidos al año, por diversos motivos. ESC
PR-3 Escuelas con evidencia de ambiente ordenado y productivo,
sin problema especial de violencia, conflictividad... ESC
PR-4 Escuelas con evidencia de procesos serios de planeación y
evaluación que muestren liderazgo efectivo. ESC
PR-5 Maestros con x nivel de calidad, según evaluaciones de su
desempeño docente basadas en observación en aula. ESC-OTR
PR-6 Escuelas con actividad seria de capacitación maestros ESC
PR-7 Visitas del director o del supervisor al año. ESC
PR-8 Escuelas con otras actividades especiales serias, relación
con la comunidad, uso de biblioteca... ESC
PR-9 Escuelas con índice compuesto de calidad. ESC
PR10 Escuelas con reconocimiento de la Fundación para la
Excelencia Educativa. OTR
Varios de los indicadores de maestros que se consideraron
de manera más global pueden manejarse de manera más fina a
nivel de plantel, en las evaluaciones de este nivel. Por
ejemplo:
M-4 % de maestros con diverso nivel de formación inicial (sin
formación, normal sin lic., lic., más de lic. ESC-OTR
M-5 % de maestros con x nivel de carrera magisterial. ESC-OTR
M-6 Rotación anual de maestros. Solicitudes de cambio/año. ESC
M-8 Proporción de maestros de apoyo (incluyendo al director) en
relación con los maestros con grupo. ESC-OTR
INDICADORES DE EQUIDAD.
Todos los indicadores de insumos pueden dar lugar
indicadores de equidad si se desagregan a nivel municipal,
de localidad o de escuela y se analiza la diferencia en
cuanto a la dotación de determinados recursos. Otros pueden
ser ciertos indicadores de cobertura y del esfuerzo
educativo relativo:
EQ-1 Población de 5 años que no asiste a preescolar. DEE-DEO
EQ-2 Población de 6-14 años que no asiste a la escuela. DEE-DEO
EQ-3 Población de 6-17 años que no asiste a la escuela. DEE-DEO
EQ-4 Alumnos por grupo en 1º de primaria y resto de grados. DEE
EQ-5 Alumnos por docente con grupo. DEE
EQ-6 Alumnos por maestros con y sin grupo. DEE
EQ-7 Alumnos con beca u apoyo similar. OTR-ESC
EQ-8 Alumnos atendidos en educación especial. DEE
INDICADORES DE GASTO EDUCATIVO Y EFICIENCIA.
GE-1 Gasto educativo total, absoluto y como % del PIB. DEO
GE-2 Gasto educativo público total y % del g. público total. DEO
GE-3 Gasto educativo privado total y por fuente. DEO
GE-4 Gasto por alumno absoluto y en % de PIB per cápita. DEE-DEO
GE-5 Gasto educativo total por objeto del gasto: sueldos,
sueldos docentes, gasto corriente, inversiones. DEE-OTR
GE-6 Costo por egresado de cada nivel. DEE-OTR
Naturalmente, no todos los indicadores se podrán obtener
desde los primeros momentos de la operación del SEE. Para
optimizar el esfuerzo necesario para obtenerlos parece
conveniente centrar la atención en los que satisfagan mejor los
siguientes criterios:
Consistencia técnica, de suerte que la información que
ofrezcan sea confiable.
Disponibilidad, priorizando aquellos que resulte más
económico manejar, por poderse obtener de fuentes
preexistentes o mediante esfuerzos ad hoc menos pesados.
Utilidad, seleccionando los que se refieren a variables
importantes y, de preferencia, de las llamadas alterables,
puesto que la información que proporcionan puede llevar más
fácilmente a acciones de mejoramiento.
Y, por último, lo que se puede designar con el término de interés, en el sentido de dar prioridad a los indicadores
que más probabilidades tengan de llamar la atención de los
actores, las autoridades y la sociedad sobre aspectos
importantes del sistema educativo.
Teniendo en cuenta el criterio de disponibilidad, se
considera que el SEE podría comenzar manejando los indicadores
resaltados en negritas en el listado anterior, como se indicó.
En cuanto a los del rubro de eficacia, su disponibilidad es
inmediata en la forma de cohortes aparentes; en relación con
cohortes reales, en cambio, sólo podrán tenerse cuando opere el
sistema de clave única.
En la lista de indicadores pueden distinguirse algunos que
contienen información de tipo más particular y otros de carácter
más integrador o sintético, que resumen varios del tipo anterior
y ofrecen información más agregada. En la formulación precisa de
cada indicador deberá de cuidarse la univocidad de la
terminología y la claridad de la definición, de suerte que se
eviten ambigüedades.
Dado que el sistema de indicadores se concibe como
permanente, deberá dar orígen a series temporales consistentes.
Si se modifica la definición de un indicador en algún momento
las series que lo incluyan deberán corregirse en consecuencia.
El sistema deberá incluír la definición expresa de puntos
de referencia normativos, parámetros o criterios con los que se
comparen las cifras obtenidas empíricamente para llegar a
juicios de valor; esos criterios podrán ser promedios estatales
o nacionales, estándares propios, nacionales o internacionales,
la situación del propio sistema en el pasado o las metas
establecidas para el futuro.
Teniendo en cuenta la dimensión de equidad del concepto de
calidad, deberá atenderse con cuidado al establecimiento de
criterios diferenciados cuando sea procedente, para que las
decisiones puedan tomarse sin perjudicar a las personas o
instituciones menos favorecidas.
Un caso particular en el que es de especial importancia lo
anterior es el relativo al punto de referencia para hacer
juicios de valor sobre los niveles de aprendizaje de una escuela
concreta. Suele proponerse el criterio del "valor agregado", con
mediciones del nivel de aprendizaje al principio y al fin de un
grado, ciclo o nivel, para apreciar los avances logrados por un
alumno, grupo o institución.
Sin embargo, y además de la gran dificultad técnica que
supone este tipo de mediciones, no resuelve la cuestión de la
equidad, puesto que la desventaja relativa de ciertos alumnos no
sólo se refiere al volumen de conocimientos que manejan sino,
también y tal vez más, a la capacidad de aprendizaje.
Por ello se recomendará acercamientos como los de Francia,
en donde se comparan los niveles alcanzados por una escuela con
los esperables en función de las características de su alumnado.
Similar y más sencillo es el acercamiento del Estado de
California, donde cada escuela es comparada con otras de
características similares en cuanto a alumnado y entorno. (cfr.
De Landsheere, 1994: 24; Kaagan y Cooley, 1989)
También es interesante el enfoque utilizado en el estudio
de Zimbabwe, en donde se analiza la varianza intraescuela y la
interescuelas. (cfr. Ross, 1992).
Puede usarse también el índice de productividad
desarrollado por la IEA, en el que se relaciona el nivel de
resultados obtenidos en pruebas por ciertos alumnos con la
proporción del grupo de edad escolarizado (productivity yield).
(cfr. De Landsheere, 1994: 105-106)
Cuando sea pertinente, los datos se obtendrán y manejarán
teniendo como unidad de análisis al individuo (v.gr. alumno o
maestro). En todos los demás casos la unidad de análisis será la
escuela singular, que constituye el nivel clave de
implementación de las políticas y acciones educativas, y debe
serlo también para su evaluación (cfr. Segunda Parte).
También en el caso de la información que se obtenga sobre
individuos, para efectos del sistema de monitoreo deberá
agregarse a nivel de establecimiento. Las decisiones sobre
personas nunca deberán tomarse únicamente con base en las
informaciones de este sistema, si bien será lógico que los que
deban tomarlas podrán utilizar estos datos como parte de los
elementos que deberán tomar en cuenta.
Los indicadores sobre maestros, que aparecen en el apartado
de insumos, podrían constituír un subsistema independiente, al
igual que los dos que se refieren al resto del personal que
labora en el sistema educativo.
La noción de calidad se entenderá, en este caso, como el
logro creciente de profesionalismo por parte de cada tipo de
actores, medido a través de indicadores específicos para cada
uno. El subsistema de evaluación de personal educativo debería
monitorear, pues, el proceso de profesionalización en los
diversos niveles del sistema.
Habría que discutir la relación que guardaría este sistema
con las mediciones que actualmente se hacen para carrera
magisterial. De hecho, se sugiere desarrollar un sistema que
mejore lo que actualmente se hace (siguiendo cercanamente la
literatura y, más adelante, las investigaciones nacionales sobre
enseñanza efectiva), además de ampliar dicha evaluación para los
niveles de directores de escuela, supervisores y funcionarios.
Se considera importante incluir al personal de las escuelas
normales.
En lo relativo a escuelas y a conjuntos de escuelas, como
zonas u otras, la información que ofrezca el sistema será
crucial para dicha toma de decisiones. Sin embargo, es claro que
no es el personal técnico que opere el sistema de monitoreo el
que deberá tomarlas, sino las instancias jerárquicas facultadas
para ello, del Director de cada escuela al Director General del
Instituto de Educación de Aguascalientes, pasando por los
niveles intermedios.
Estas instancias utilizarán, lógicamente, la información
que proporcione el sistema de monitoreo, pero siempre deberán
tomar en cuenta otros elementos. La prudencia, ese conocimiento
que fundamenta las acciones, no puede ser substituída con ningún
sistema de indicadores.
Por otra parte, será necesario que la información producida
por el sistema se difunda en forma amplia y diversificada,
teniendo en cuenta la gama de posibles usuarios: de manera
sintética, clara y comprensible para el público en general; de
manera suficiente para los diversos niveles de tomadores de
decisiones; y con la posibilidad de difusión utilizable por
investigadores o especialistas en evaluación.
En todos los casos deberán cuidarse las normas legales y
éticas relativas a la protección de la privacidad de las
personas.
Las observaciones que se acaban de hacer con respecto al
Subsistema de Indicadores de Calidad del SEE se aplican también,
con las debidas salvedades, a los otros dos subsistemas que se
presentan a continuación.
Como se ha explicado antes, el Subsistema de Indicadores
constituye el núcleo del conjunto, al que confluyen los dos
restantes. Por ello estas observaciones no se repetirán en lo
sucesivo, entendiéndose que se aplican cada vez que proceda.
2.2 El Sub-sistema de Pruebas de Aprendizaje, SSPA.
La elaboración de pruebas para la evaluación de diversos
aspectos del aprendizaje escolar, que cumplan con los exigentes
estándares de calidad que han establecido instituciones como el
Educational Testing Service americano o su similar holandés, el
CITO, como se ha visto en la parte anterior de este trabajo, es
una tarea que requiere de una gran capacidad técnica.
Para darse una idea del volumen y tipo de trabajo que
supone este segundo componente del SEE, explicitemos varias de
sus características:
Tipo de pruebas a desarrollar: pruebas de aptitud
(incluyendo puntos de lectura y razonamiento verbal y
matemático); pruebas de conocimientos de diversas áreas del
curriculum (lectura, expresión escrita, comunicación oral,
matemáticas, ciencias naturales, historia, geografía y
ciencias sociales, actitudes cívicas y valores, educación
artística, educación física...) y considerando toda la gama
de posibles niveles de dominio, y no solamente los más
elementales. (Por ahora sólo se piensa en pruebas, sin
considerar la elaboración de materiales de apoyo como hace
el CITO en los Países Bajos).
Niveles educativos: seguramente habrá que comenzar con
pruebas para el fin de primaria y secundaria. En el 2º caso
el CENEVAL maneja ya una prueba general, que podrá
aprovecharse; podrán desarrollarse otras más específicas.
Luego habrá que pensar en pruebas para otros grados o
niveles: fin de preescolar e ingreso a primaria, fin de
ciclos de 2º y 4º grados, etc.
Número de pruebas a aplicar: ésto podrá variar mucho. Las pruebas de fin de primaria y secundaria deberán aplicarse,
deseablemente, a todos los alumnos que terminen esos
niveles. Otras pruebas podrán aplicarse a muestras de
alumnos construídas de tal manera que permitan hacer
juicios sobre el nivel de una escuela, de una zona, o de
todo el estado.
Frecuencia de las aplicaciones: las pruebas de tipo más
general deberán aplicarse anualmente. Las más
especializadas de ciertas materias o aspectos podrán
aplicarse cada cierto número de años, de suerte que en un
ciclo de, por ejemplo, cinco, se cubran todas.
Momento de la aplicación. Suele darse por sentado que debe hacerse al final del año escolar. La práctica francesa de
aplicar las pruebas al inicio del año es interesante: es un
momento menos cargado de actividades y las pruebas
adquieren una clara connotación formativa y no sumaria. Los
maestros no se sienten evaluados porque no se trata del fin
de curso y puede contarse con una colaboración no sesgada
por su parte, que puede facilitar mucho la aplicación.
Qué uso dar a los resultados. Es un punto muy importante. Una adecuada combinación de uso para decisiones a nivel
estatal y a nivel de escuela será el adecuado.
Además de aplicarse a los alumnos de educación básica,
algunos de los mismos instrumentos, u otros desarrollados ad
hoc, podrán usarse también con la población adulta para evaluar,
por ejemplo, su nivel de lectoescritura (alfabetización
funcional), dominio de matemáticas (alfabetización aritmética) y
de conocimientos de otros campos (v.gr. alfabetización
científica, computacional, en inglés, etc.) Una posibilidad
interesante es la aplicación de pruebas a conscriptos, como se
hace en Francia anualmente.
Esta complejidad técnica hace impensable que cada uno de
los organismos estatales de evaluación que puedan crearse se
encargue de la elaboración de las pruebas, con todas sus
implicaciones de estandarización y construcción de variantes
equivalentes con la frecuencia necesaria para evitar los riesgos
de sesgo en las respuestas por copiado en una misma aplicación y
para permitir la comparabilidad de los resultados en el tiempo.
Parece más lógico pensar en un organismo especializado, que
se encargue de la elaboración de pruebas con los estándares de
calidad más exigentes, y las ofrezca a cualquier usuario que se
interese en ellas, a nivel nacional. Además de la SEP, los
Sistemas Estatales de Evaluación serían los usuarios más
importantes de ese organismo.
Puede pensarse que el costo de las pruebas, en el caso de
que fueran compradas a dicho organismo, resultaría elevado para
los sistemas estatales. Esta idea tiene fundamento y deberá
tenerse en cuenta previendo el financiamiento necesario, pero la
experiencia internacional permite afirmar con base que los
organismos estatales no podrían producir instrumentos aceptables
según estándares internacionales de calidad a menor costo que un
organismo nacional eficiente.
De hecho, en la mayoría de los casos es seguro que,
simplemente, un organismo estatal no podría producir
instrumentos de la calidad mencionada. Por ello se considera
necesaria la creación de un organismo para la elaboración de
pruebas con una perspectiva nacional.
Los SEEs adquirirían las pruebas de ese organismo, según
sus propias prioridades, definirían cuáles aplicar, a qué
personas y cuándo, e integrarían sus resultados en el conjunto
del Sistema, dando contenido a los apartados de indicadores
cualitativos de eficacia e impacto. Lo dicho anteriormente sobre
la capacidad técnica que supone la elaboración de pruebas no
implica que los usuarios estatales sean meros aplicadores
mecánicos no calificados.
Estos organismos también deben de tener también
considerable competencia técnica, pero diferente, incluyendo la
necesaria para analizar los resultados de las pruebas.
2.3 El Sub-sistema de Evaluación de Escuelas, SSEE.
Las dimensiones del concepto de calidad que estamos
manejando se contruyen, como hemos visto, poniendo en relación
elementos como las necesidades del entorno, los insumos y los
productos del sistema. El componente central, constituído por
los procesos, en cambio, no forma parte, como tal de la
relevancia, la eficacia, el impacto, la equidad o la eficiencia.
Sin embargo, la importancia de tener en cuenta los procesos
en una evaluación de la calidad de un sistema educativo es
clara. Son ellos, los procesos, los que dan lugar a los
productos, a partir de los insumos. Son los procesos lo que
funciona bien o mal y lo que hay que perfeccionar o corregir.
Por otra parte, los procesos no se dejan capturar con tanta
facilidad como los insumos y los productos en ciertos
indicadores cuantitativos. Su tratamiento debe ser eminentemente
cualitativo, como se aprecia en los sistemas que se han
desarrollado para atender estos aspectos, como los tradicionales
inspectorados o los recientes mecanismos como el GRIDS inglés,
el QUAFE catalán o el programa americano de escuelas excelentes,
"de etiqueta azul", que se revisaron en la Segunda Parte.
Se considera que un Sistema Estatal de Evaluación, para ser
completo, deberá comprender un componente de este tipo, del que
se derivará la información necesaria para dar contenido a
indicadores de proceso como los enlistados arriba (PR-1-PR-10).
En Aguascalientes existen dos mecanismos del tipo que nos
interesa, que son los equipos de supervisión y la Fundación
Aguascalientes para la Excelencia Educativa. Ambos tienen, sin
duda, ciertas fallas, pero también es cierto que ambos tienen
virtudes innegables, que permiten verlos como la base del tercer
componente del SEE, el Sub-sistema de Evaluación de Escuelas.
Los equipos de supervisión de Zona, con el apoyo del SEE,
podrán hacer operar de manera adecuada dos tipos de mecanismos:
Uno de autoevaluaciones de centro escolar (con una
metodología tipo GRIDS que habría que desarrollar o
adaptar) promovidas y apoyadas técnicamente por los mismos
equipos de supervisión, que serían capacitados para ello.
Según la metodología GRIDS, como se ha visto, una
autoevaluación no debería referirse a todos los aspectos de
la problemática escolar, sino sólo a aquellos que la propia
institución decidiera en cada caso.
Un mecanismo de evaluaciones externas de centros escolares, realizado anualmente por los equipos de supervisión de
Zona, con una metodología común. A diferencia del anterior,
este esquema debería cubrir todos los aspectos clave
considerados en la metodología, y terminaría ubicando a
cada escuela en un nivel de cada rubro, señalando
fortalezas y debilidades y haciendo sugerencias de
mejoramiento.
El trabajo hecho desde 1993 por el Consejo Estatal Técnico
de la Educación, con los Equipos de Supervisión de Zona incluye,
justamente, aspectos de evaluación. La seriedad del trabajo
hecho hasta ahora por esos equipos permite considerar que su
desarrollo en la dirección apuntada es perfectamente viable a
corto plazo.
Un mecanismo diferente de evaluación estatal externa,
similar al de las escuelas de etiqueta azul, es el desarrollado,
también desde 1993, por la Fundación Aguascalientes para la
Excelencia Educativa. En este caso se trata de un mecanismo en
el cual la participación es voluntaria y lleva al otorgamiento
de ciertos reconocimientos, los Premios a la Excelencia
Educativa que se han concedido ya, en dos ocasiones, a maestros
a título individual y a escuelas como colectivos, en preescolar,
primaria y secundaria, mediante un sistema de evaluación por
portafolio original.
La respuesta, relativamente escasa, de maestros y escuelas
a las dos convocatoria pasadas de la Fundación Aguascalientes,
pone de manifiesto que es necesario hacer ajustes importantes en
varios aspectos de su funcionamiento. Pese a lo anterior, parece
también que la Fundación y su ya valiosa experiencia constituyen
una base adecuada para la consolidación de este componente del
Sub-sistema de Evaluación de Escuelas.
Si se generalizan mecanismos de autoevaluación y de
evaluación externa de centros escolares como los que se acaba de
mencionar, que operen eficientemente en ciclos anuales, el
Sistema Estatal de Evaluación podrá beneficiarse de sus
resultados, de los cuales, como se ha indicado, se derivará la
información necesaria para la construcción de los indicadores
cualitativos de procesos que contempla el SEE.
CONCLUSION
ACOTACIONES SOBRE EL DISEÑO DEL SISTEMA DE EVALUACION
Al proponer el diseño de algo tan complejo como un sistema
integral de evaluación de la calidad de la educación básica no
deben perderse de vista algunos aspectos que se desea resaltar.
a) La dimensión temporal y la integralidad.
Al pensar en un sistema de evaluación integral, es evidente
que no podrán cubrirse todos los aspectos que la integralidad
requiere desde el momento de su creación. Ello es así por varios
motivos, pero uno de los más importantes es el hecho de que no
existen suficientes recursos humanos preparados en los
diferentes aspectos para que sea posible. Es necesario ir
preparando esos recursos humanos, que deberán irse integrando al
sistema en forma paulatina, a lo largo de varios años.
b) El diseño de las metodologías del sistema.
Puesto que no todos los aspectos a evaluar implican el
mismo tipo de procedimientos metodológicos, el diseño del
sistema supone una cuidadosa definición de las metodologías que
cada aspecto requiera. Un sistema integral deberá recurrir a
procedimientos de tipo censal; a estudios realizados mediante
muestras junto a otros llevados a cabo a través de encuestas
(para definir relevancia, por ejemplo); a investigaciones de
carácter más cualitativo (referidas a procesos, por ejemplo), al
lado de las cuantitativas etc. Parece claro que se requerirá de
una adecuada articulación entre estos diferentes procedimientos
metodológicos. Es importante, además, que se diseñe la forma de
mantenerse al día en materia de metodología.
c) El diseño de la aplicación de los procesos del SNECEB.
Para algunos de los aspectos a ser evaluados, y
notablemente para las pruebas de resultados de aprendizaje, se
requiere de una complicada logística de aplicación, que se
deberá prever.
d) El diseño del análisis de la información evaluativa del
SNECEB
No basta recabar la información con metodologías claramente
definidas. Es esencial que las formas mediante las que se
procese, almacene y analice esa información estén definidas
desde el inicio.
Deberá preverse la formación de recursos humanos para
llevar a cabo los análisis que el sistema requiera, así como
para mantenerse a la vanguardia en esta materia. La metodología
para el análisis de la información debe ser prevista, en lo
posible, desde un principio. Parece recomendable que exista un
área que se especialice en los aspectos metodológicos y de
análisis de la información evaluativa.
e) El diseño del uso de la información evaluativa del SNECEB.
Esta es, quizás, la parte más importante del diseño del
sistema, no porque sea la más compleja o difícil, sino porque si
el uso de la información, a diferentes niveles, no está
garantizado, de nada sirve un sistema integral de evaluación.
Los niveles que habrá que considerar para el uso de la
información evaluativa son:
El nivel de escuela, con sus respectivas comparaciones con el promedio de la zona, con el municipio, con el estado,
con la media nacional. Al menos durante algún tiempo
convendrá dar, junto con la información, instrucciones para
su lectura y su uso, en tanto los usuarios se familiarizan
con ella. No se considera conveniente, en ningún caso,
proporcionar información más detallada que la de nivel
escuela. Al respecto, conviene mencionar que resulta
necesario elaborar un código ético para el manejo y uso de
la información evaluativa.
El nivel de zona o municipio, en los indicadores en que sea pertinente. La información que el sistema genere en este
nivel deberá ser proporcionada a la autoridad educativa
estatal y a la de nivel local. La producción de información
a niveles intermedios del sistema se considera esencial. Al
igual que la anterior, deberá ir acompañada de claras
instrucciones para su utilización, al menos durante algún
tiempo.
El nivel estatal. La información correspondiente a este
nivel, con los análisis que proceda, se entregará a la
autoridad educativa de la entidad a través de un informe
anual o bianual en el que se sintetice la situación del
sistema estatal y se compare con la situación de la propia
entidad en el pasado, con las metas establecidas para
ciertos momentos, con la situación de estados similares,
con la media nacional, con estándares internacionales, etc.
Convendrá que el documento comprenda recomendaciones de
política educativa derivadas de sus análisis. Una versión
menos técnica, pero igualmente completa del informe, se
publicará y difundirá ampliamente, presentándola a la
sociedad en un acto público, con comentarios de personas de
reconocido prestigio.
El nivel nacional: además de los anteriores, y dado el
papel que conserva la SEP, es obvio que un sistema estatal
de evaluación, junto con los trabajos realizados por dicha
instancia federal, deberá servir para retroalimentar la
función normativa (como resultado de evaluar la relevancia,
la eficacia interna y el impacto) y la función
compensatoria (como resultado de la evaluación de equidad),
así como para racionalizar el uso y distribución de
recursos materiales y humanos (como resultado de la
evaluación de eficiencia). El trabajo evaluativo deberá
hacerse buscando complementariedad y no competencia o
duplicación, y para estimular y no inhibir tales esfuerzos.
EVALUACION E INVESTIGACION EVALUATIVA
La evaluación de un sistema educativo permite descubrir su
estado en un momento determinado. De la misma manera, permite
hacer comparaciones de diversa naturaleza: en el tiempo, entre
sistemas educativos, entre regiones, entre tipos de escuela,
etc. La descripción permite la realización de ejercicios
prospectivos, a partir de la extrapolación de la información
recopilada.
No obstante, la evaluación per se no nos dice por qué las
cosas están en un momento dado de determinada manera. Para ello
es necesaria la investigación evaluativa. Puesto que interesa
también explicar para poder corregir, quien maneje un sistema de
evaluación deberá realizar investigación evaluativa, deberá
permitir que otras instancias la realicen, a partir de la
información descriptiva que reúna, y deberá fomentar el uso
investigativo de su información.
La investigación evaluativa que el organismo realizaría por
cuenta propia estaría fundamentada en los planteamientos
causales (hipotéticos) que se derivan de la investigación
educativa a nivel mundial. De esta forma, por ejemplo, los
indicadores de proceso que incluya en su sistema serán aquellos
que la investigación ha mostrado tienen alguna capacidad de
explicar diferencias en los resultados educativos.
LOS SISTEMAS ESTATALES Y EL SISTEMA NACIONAL DE EVALUACION
Desarrollando la idea esbozada en el último párrafo del
apartado antepasado, debe explicitarse que las consideraciones
que justifican la creación de un Sistema Estatal de Evaluación y
un Organismo Estatal de Evaluación que lo opere se aplican, con
mayor razón, a nivel nacional. Los importantes cambios en la
estructura y funcionamiento del sistema nacional de educación
básica que se han dado desde 1992, así como en la ley
respectiva, desde 1993 tienen, por lo demás, consecuencias
claras en lo que se refiere a estos temas.
La nueva legislación mexicana asigna a la autoridad
educativa federal (la SEP) las funciones normativa, evaluativa y
compensatoria. La Ley General confiere una gran importancia a la
segunda de estas funciones, y no es difícil ver que, en efecto,
se trata de una función clave.
Las otras dos funciones del nivel federal no podrán hacerse
bien si no se cuenta con un sistema nacional de evaluación: para
poder ajustar las normas a la realidad, y para poder diseñar con
bases sólidas políticas compensatorias adecuadas, es
indispensable contar con la información que debe proporcionar un
buen sistema nacional de evaluación educativa. De hecho las
nuevas disposiciones legales dan considerable importancia a la
evaluación, y precisan algunas características que tal actividad
deberá tener en el futuro, en especial su carácter público: las
autoridades educativas están obligadas a dar a conocer a la
sociedad los resultados de las evaluaciones que realicen (Ley
General de Educación, Art. 31).
Este documento ha desarrollado ampliamente la función que
podrían tener las autoridades educativas estatales en este
terreno, pero ello no desconoce o rechaza el papel que
corresponde a la autoridad federal.
Los estados deben poder realizar evaluaciones
complementarias a las que realice la federación, a fin de contar
con elementos más cercanos y frecuentes para introducir
correctivos en sus sistemas educativos.
La federación, a su vez, además de ciertos trabajos
evaluativos propios, deberá cumplir una función de promoción de
sistemas estatales de evaluación y, subsidiariamente (y por lo
tanto en forma temporal) proporcionar a los estados instrumentos
adecuados para su uso a ese nivel.
Para un mejor complimiento de estas funciones substantivas
y de promoción parece conveniente que a nivel federal se
fortalezcan las instancias pertinentes o, incluso, que se cree
un nuevo organismo nacional, especializado en lo relativo al
diseño, la aplicación y el análisis periódico de la calidad de
la educación y en el fomento de dichas actividades en las
entidades federativas.
De esta manera se iría conformando un Sistema Nacional de
Evaluación, integrado por organismos estatales similares y un
organismo nacional coordinador.
EPÍLOGO
Además de subrayar la necesidad de que tales organismos
tengan una estructura interna y de gobierno adecuada, de que el
personal que los integre sea seleccionado y/o capacitado de la
manera más cuidadosa y de que se les asignen recursos
suficientes para que puedan realizar sus funciones con niveles
de calidad adecuados, debe recordarse que la puesta en marcha de
un sistema y unos órganos tan complejos requiere,
necesariamente, de un lapso de tiempo amplio.
El horizonte del sexenio federal 1995-2000 constituye un
mínimo para alcanzar la meta de poner en marcha sobre bases
sólidas un conjunto de elementos tan importante. Un plazo menor
no sería suficiente. Además, tratándose de instituciones de
carácter permanente, que durante décadas influirán de manera muy
importante en el funcionamiento del sistema educativo nacional,
cualquier apresuramiento sería irresponsable y nefasto para la
consolidación y la adecuada operación futura de tales
organismos.
Un conjunto de organismos como se propone puede constituír
un elemento de importancia crucial para que los esfuerzos por
elevar la calidad del sistema educativo den frutos. Es
indispensable para ello que tengan las condiciones necesarias
para realizar bien sus funciones. Crearlos sin esas condiciones
sería contraproducente, hipotecando gravemente las bondades de
un sistema de evaluación.
