27 de septiembre de 2012

Comité Institucional para la Elaboración de Instrumentos de Evaluación

del Personal Docente (CIEPD)

INFORME FINALPROPUESTA PARA ESTABLECER UN

NUEVO SISTEMA DE EVALUACION DEL PERSONAL DOCENTE

Sesiones de la Presentación del Informe

Trasfondo

Etapas del trabajo del CIEPD

Marco Conceptual

Descripción del Sistema

Instrumentos de Evaluación

Manual de Procedimientos

Recomendaciones

Preguntas

Introducción

La Certificación Número 04-45 del Senado Académico del RUM encomendó al Rector la activación del Comité Institucional para el Desarrollo de los Instrumentos de Evaluación para el Personal Docente (CIEPD).

Este comité, integrado por docentes de todas las facultades y unidades de servicio docente, recibió la encomienda de revisar el sistema de evaluación docente vigente y sus instrumentos el 3 de diciembre de 2004.

Miembros del Comité (durante el último año de trabajo--2010)

Prof. David F. Muñoz – Administración de EmpresasDr. Marco Arocha – IngenieríaDr. Eddie Marrero, q.p.d. – Artes y CienciasDr. Ángel Custodio – Ciencias Agrícolas (retirado)Dra. María Rodríguez – Servicio Extensión AgrícolaDra. Nidia S. López - Departamento de Orientación

(retirada)Profa. Deixter Méndez - Biblioteca General (retirada)Dra. Darnyd W Ortiz Seda - Decanato de Asuntos AcadémicosDra. Doris Ramírez Soto – Presidenta del ComitéDr. Andrés Collazo - Consultor

(Anejo A)

Objetivos del Comité

Desarrollar un sistema actualizado para evaluar el desempeño del personal docente del RUM.

Elaborar instrumentos que permitan utilizar las evaluaciones de los docentes en la toma de decisiones relacionadas con la retención, los ascensos y las permanencias.

Establecer un proceso de evaluación que permita identificar las fortalezas y áreas a mejorar de los docentes con el propósito de fomentar el crecimiento profesional.

Principios de trabajo del CIEPD

Proveer oportunidad de participación a todos los docentes del RUM.

Tomar determinaciones por consenso.

Obtener el insumo de un consultor externo, experto en el área de evaluación.

Considerar la literatura actualizada sobre el tema.

Principios de trabajo del CIEPD

Presentar informes periódicos a la comunidad universitaria

(Anejo B).

Crear una página web para informar a la comunidad universitaria y recopilar sus comentarios y recomendaciones.

http://www.uprm.edu//evaluaciondocente

Etapas del Trabajo CIEPD

Revisión de trabajos previos relacionados con la evaluación docente en el RUM

Desarrollo del Marco Conceptual

Desarrollo de los instrumentos de evaluación (12)

Desarrollo de las normas y los procedimientos (incluidos en Manual de Procedimientos)

Creación de un programa de cómputos

Nuevo Sistema de Evaluación

• Se utilizó el modelo presentado por Raoul A. Arreola* junto a otra literatura relacionada con este tema como fundamentos para el desarrollo de este sistema de evaluación.

*Developing a Comprehensive Faculty Evaluation System: A Handbook for College Faculty and Administrators on Designing and Operating a Comprehensive Faculty Evaluation System (2007, 2nd ed.).

Marco Conceptual del Nuevo Sistema de Evaluación

El Marco Conceptual del Sistema de Evaluación contiene los fundamentos para generar los instrumentos de evaluación para los diferentes docentes del RUM (Anejo D).

De aprobarse este marco conceptual, sería la primera vez que nuestro Recinto contara con una descripción teórica que fundamente el sistema de evaluación docente.

El Marco Conceptual se desarrolló en términos de cuatro áreas de evaluación y sus respectivos componentes y criterios.

Áreas de Evaluación

Las cuatro áreas de evaluación en las cuales se clasifica la labor docente incluyen: – docencia general, – enseñanza, – investigación y/o labor creativa, – servicio.

Áreas de Evaluación

Tres (3) de las cuatro (4) áreas están enmarcadas en la misión del Recinto (enseñanza, investigación y/o labor creativa y servicio). El área de docencia general se crea para incluir los aspectos de la labor docente que son comunes a todos los docentes independiente-mente de su categoría de nombramiento o las funciones que desempeña y para cumplir con las disposiciones del Reglamento General de la Universidad de Puerto Rico.

Componentes y Criterios

Cada área tiene sus componentes y criterios que se definen como:

Componentes – aspectos o esferas de acción en las que se evaluará el docente.

Criterios – propiedades o características específicas de la acción que se evaluará.

Diagrama Explicativo con Ejemplo

Finalmente, a partir de los criterios se desarrollaron los ítems o preguntas de los instrumentos de evaluación

Calidad del contenido

de la enseñanza

Actualización de contenido

El grado de complejidad del contenido de los cursos es

congruene con el nivel académico de estos.

Mantiene actualizado el contenido de información,

tecnología y/o procesos de sus cursos.

ComponenteComponente(Enseñanza)

Criterio Items en instrumento

Profundidad del contenido de acuerdo con el nivel de

la enseñanza

Presencia del contenido para lograr las metas y objetivos de sus cursos

El contenido de los cursos es consistente con los objetivos propuestos en el prontuario.

Descripción General del Sistema

El Sistema propuesto se basa en las siguientes premisas:– Uniformidad en su estructura y contenido.– Flexibilidad para responder a la diversidad de

funciones del personal docente. El personal docente de nuestro Recinto incluye a profesores, investigadores, bibliotecarios, consejeros, psicólogos, administradores académicos, economistas del hogar, agentes agrícolas y especialistas del Servicio de Extensión Agrícola.

Descripción General del Sistema

Le ofrece al docente la oportunidad de establecer, en conjunto con su supervisor, un plan de trabajo que permita que sus metas profesionales estén alineadas con el plan estratégico del departamento.

El plan de trabajo permite combinar las diferentes áreas de la docencia.

Descripción General del Sistema

Todos los docentes se evaluarán en el área de Docencia General y al menos en dos de las otras tres áreas : Enseñanza, Investigación y /o Labor Creativa, y Servicio.Los pesos que tienen las áreas de labor docente en la evaluación total varían en función de los programas de trabajo docente aprobados oficialmente durante el periodo que se considerará en la evaluación pero, ninguno tendrá un peso menor de 10%.La excepción en pesos es el área de docencia general. Se propone un peso fijo de 20%.

Descripción General del Sistema

Además, tienen pesos fijos los componentes de cada una de las cuatro áreas de evaluación.

Estos pesos fueron determinados a partir de un estudio (Collazo 2007) donde participaron miembros de los comités de personal (59.7%) de todas las unidades docentes del Recinto.

Desarrollo de losInstrumentos de Evaluación

Se desarrollaron los instrumentos de evaluación (12 en total) respondiendo a los componentes y criterios de las áreas según definidas en el Marco Conceptual. Para el desarrollo de los instrumentos de evaluación en las áreas de docencia general, enseñanza, investigación y/o labor creativa y servicio institucional no especializado, se establecieron sub-comités con representación de cada una de las unidades del personal docente (Anejo C). En el caso de los instrumentos de servicios institucionales especializados, los sub-comités estuvieron compuestos por miembros de cada una de las unidades de estos servicios. (Anejo C).

Desarrollo de Instrumentos de Evaluación

Una vez el CIEPD recibió los instrumentos de los sub-comités, procedió a evaluarlos.

Una vez evaluados, se llevó a cabo un estudio de validación de contenido (CIEPD 2009) en el que se le dio la oportunidad de participar a todos los docentes del Recinto (Anejo F).

Los instrumentos fueron nuevamente revisados de acuerdo con los resultados del estudio de validación.

Instrumentos de Evaluación(Anejo E)

Docencia General

Enseñanza

Cuestionario de Opinión Estudiantil (COE)

Investigación

Labor Creativa

Servicio Institucional No Especializado: Servicio a la institución, a la comunidad y a la profesión

Instrumentos de Evaluación(Anejo E)

Servicios Institucionales Especializados– Gerencia Académica– Servicios de Información– Servicios para el Desarrollo y Aprendizaje

Estudiantil - Consejeros Profesionales– Servicios para el Desarrollo y Aprendizaje

Estudiantil - Psicólogos– SEA Especialistas– SEA Agente Agrícola y Economista del Hogar

Escalas de InstrumentosSe propuso una escala con puntuaciones de 0-4 para designar las siguientes categorías.

4 = Siempre o Casi Siempre (La evidencia sostiene completamente la afirmación. 90% o más de las veces)

3 = La mayor parte de las veces (La evidencia sostiene en gran

medida la afirmación. 80% a 89% de las veces)

2 = Algunas Veces (La evidencia sostiene en parte la afirmación. 70% a 79% de las veces)

1 = Pocas veces (La evidencia sostiene débilmente la afirmación. 59% o menos de las veces)

0 = Muy Pocas Veces o Nunca (La evidencia no sostiene la afirmación o no hay evidencia. 59% o menos de las veces)

NA = No Aplica (Debe justificarse la razón por la cual la afirmación no aplica.)

Escalas de Productividad

Se solicitó de cada departamento o unidad la construcción de escalas para medir la productividad en las áreas de investigación, labor creativa y servicio (Anejo G).Esta tarea fue encomendada a los departamentos en una reunión celebrada el 15 de noviembre de 2007 y posteriormente el 27 febrero de 2009. Dada la baja participación de las unidades docentes en esta tarea, el CIEPD desarrolló unas escalas generales de productividad (Anejo H). Las mismas se enviaron a los departamentos para que las consideraran e hicieran los cambios necesarios para ajustarlas a su contexto. La expectativa era que cada unidad desarrollara su propia escala de productividad.

TrasfondoCuestionario Opinión Estudiantil6 octubre 2005 (en conjunto con Comité de Asuntos Claustrales): Recomendar estudio piloto COECert. 05-56 SA: Aprueba informe del CIEPD sobre Módulo de la Evaluación de la Enseñanza por los/las Estudiantes19 septiembre 2006: Presentar resultados estudio piloto del COECert. 06-39 SA aprueba implantación COE y solicita informe sobre su implantación y un estudio sobre la validez del instrumento a cargo de OIIPCert. 06-07 JA aprueba COE sustituya Módulo H de la Cert. 86-87-476Segundo semestre 2006-2007: se implanta COE

Cuestionario Opinión Estudiantil (COE)

Cert. 07-43 SA: Aprueba administración COE primer semestre 2007-2008, solicita CIEPD rinda infome sobre comentarios y sugerencias relacionados al nuevo instrumento de evaluación26 febrero 2008: Informe Implantación del COECert. 08-04 SA: Recibe informe implantación del COE, autoriza su uso una vez al semestre en cursos de conferencias, seminarios, talleres, laboratorios y cursos de discusión

Hallazgos Generales Informe Validación COE

(Anejo I)

Los resultados del estudio sostienen la validez de las puntuaciones del instrumento.

Varios de los factores señalados que pudieran afectar la evaluación del profesor resultaron no tener efecto significativo (ej. tamaño del grupo, nivel del curso, dificultad del curso).

La percepción de los estudiantes sobre los profesores, según reflejó el estudio, es que en general: – Cumplen con sus deberes y responsabilidades,– Llevan a cabo la enseñanza en forma efectiva.

COE

El COE fue nuevamente revisado de acuerdo con los resultados del estudio de validación. – Se eliminaron los primeros 10 items ya que

se habían incluido para efectos del estudio de validación.

– De acuerdo a los resultados del estudio de validación, se editaron algunas de las restantes preguntas.

Aspectos Procesales para Facilitar el Uso del Nuevo Sistema

Se desarrolló un Manual de Procedimiento (Anejo K) que incluye lo propuesto en este informe:

– Marco Conceptual para el Sistema de Evaluación del Personal Docente.

– Programa de computadora que puede utilizar los comités de personal departamentales para facilitar el trabajo de los cálculos en el proceso de evaluación (Anejo L).

– Proceso a seguir para implantar y administrar el nuevo sistema de evaluación.

– Instrumentos diseñados para el proceso de evaluación sumativa de todos los docentes del Recinto.

Manual de Procedimientos

Destaca de una manera ágil y concisa los elementos y pasos esenciales para la evaluación del docente.

Sustituiría la Certificación 86-87-476 Junta Administrativa vigente. El Manual de Procedimientos incluido en el Anejo K contiene las siguientes secciones:

Secciones incluidas en elManual de Procedimientos

– IntroducciónMarco reglamentarioFundamentos que guían el Sistema de Evaluación del RUM

– Marco ConceptualÁreas, Componentes y Criterios de EvaluaciónPesos relativos de los componentes

– Proceso de EvaluaciónFrecuencia de evaluaciónProcedimiento a seguir por el docente a ser evaluado y por su comité de personalProcedimiento de evaluación del Comité de Personal de Facultad

Secciones incluidas en elManual de Procedimientos

– Instrumentos de EvaluaciónLista de instrumentos de evaluación

Fuentes de Información

– Prerrogativas y deberes del evaluado– Apéndices – Incluye los doce instrumentos de

evaluación

Hojas de Cálculo

Se desarrolló un programado (diseñado por el Dr. Marco Arocha del Departamento de Ingeniería General y por el Prof. David F. Muñoz del Colegio de Administración de Empresas) que incluye una hoja de cálculo para cada una de las áreas y una hoja que determina la puntuación global del evaluado (Anejo L).

Programa de Computadora (Hojas de Cálculo)

En las hojas de cálculo se pasará la puntuación obtenida por el docente en cada componente del área evaluada.

La hoja automáticamente calculará la puntuación obtenida por el docente en esa área. Una vez calculadas las puntuaciones finales en las áreas de evaluación, éstas se pasarán a la hoja de cálculo que permite obtener la puntuación global de la evaluación del docente.

Recomendaciones del Comité

Aprobar el marco conceptual y la descripción general del Sistema de Evaluación del Personal Docente propuesto.

Aprobar los cambios sugeridos al Cuestionario de Opinión Estudiantil (COE) (Anejo J).

Recomendaciones del Comité

*De aprobarse los cambios sugeridos al COE, estos deben reflejarse en el instrumento de evaluación de enseñanza (columna de Evidencia Sugerida) para que corresponda con el número de la pregunta en el COE revisado. La correspondencia de preguntas entre el COE vigente y el propuesto está incluido en el Anejo J.

** El CIEPD no está recomendando un promedio en particular para otorgar o para no otorgar permanencia o ascenso. Es el consenso del Comité que la decisión le corresponde a la Junta Administrativa.

Recomendaciones del ComitéAprobar los instrumentos incluidos en el informe.– Docencia General,– Enseñanza*,– Investigación,– Labor Creativa,– Servicio No Especializado,– Gerencia Académica.– Especialista del Servicio de Extensión Agrícola,– Agente Agrícola o Economista del Hogar,– Servicios de Información,– Consejero Profesional y – Psicólogo.

Recomendaciones del Comité

Derogar la Certificación 86-87-476 de la Junta Administrativa (Manual de Procedimientos para la Evaluación del Personal Docente).

Aprobar como Certificación de la Junta Administrativa el Manual de Procedimientos incluido en el informe. El mismo facilita la implantación del nuevo sistema.

SESIÓN

DE

PREGUNTAS