I. Introducción. Los indicadores de calidad

La evaluación de la calidad en bibliotecas: una apuesta por el servicio público. Etapas e indicadores.

Javier Gimeno PerellóCórdoba, 17 y 18 de noviembre de 2009

I. Introducción. Los indicadores de calidad II. Etapas de la evaluación: Autoevaluación y

Evaluación Externa. La Acreditación. Principales metodologías de evaluación de la calidad en bibliotecas

Práctico 1: Evaluación de un proceso bibliotecario. Diseño y aplicación de indicadores de calidad

Práctico 2: Evaluación de un servicio bibliotecario. Diseño y aplicación de indicadores de calidad

Introducción

¿Por qué de la evaluación bibliotecaria? Principales conceptos Principales metodologías de evaluación de la calidad aplicadas a bibliotecas.

Calidad. Interrogantes

¿Por qué evaluamos la calidad? ¿Para qué evaluamos? ¿Para qué la medimos? ¿Es la evaluación de la calidad un fin

en sí mismo?

¿Es la evaluación de la calidad un fin en sí mismo?

SÍ. Dos objetivos: Evaluar el método de evaluación:

comprobar que la metodología utilizada es adecuada.

Evaluar las herramientas de medición o rendimiento: los indicadores.

Es una moda. Hay que “estar a la moda”

¿Es la evaluación de la calidad un fin en sí mismo?

NO. Los objetivos de la evaluación son: el conocimiento en profundidad de nuestro

servicio y de todos sus procesos y actividades

la implicación de los usuarios y de todo el personal en el proceso de evaluación y en el propio servicio

la mejora continua del servicio el logro de altas cotas de calidad la plena satisfacción del usuario, etc.

Evaluación para garantizar

derecho a una educación pública de calidad

derecho al acceso al conocimiento y a la cultura

derecho a recibir y acceder a la información

Manifiesto UNESCO/IFLA sobre la Biblioteca Pública

“fuerza viva para la educación, la cultura y la información y agente esencial para el fomento de la paz y del bienestar espiritual a través del pensamiento de hombres y mujeres”

Declaración Universal de los Derechos del Hombre

Derecho a la enseñanza Derecho a la educación Derecho a la libertad de palabra Derecho a la libertad de pensamiento Derecho de investigar Derecho a recibir informaciones y opiniones Derecho a difundirlas Respeto a los derechos humanos y a las

libertades fundamentales Mantenimiento de la paz

Calidad bibliotecaria (1/9)

Aunque comenzó siendo un principio aplicado a la producción industrial, pronto se empleó en otros sectores, hasta llegar a la administración pública y a los servicios que ésta presta a la sociedad.

A mediados de los años sesenta aparecen las primeras manifestaciones de evaluación de calidad en bibliotecas.


García Reche señala que la biblioteca ha sido receptiva, pudiéndola calificar incluso de muy dinámica, ya que pronto se percibe una preocupación por incorporar ese principio que le llevará hacia una nueva orientación de su gestión, e incluso a ampliar su visión como servicio público.


En el ámbito de la biblioteca universitaria se ha dejado sentir de manera especial, sobre todo en Estados Unidos, donde se dan los primeros pasos de evaluación de estas bibliotecas


La biblioteca del siglo XX adopta, en la década de los 60, el concepto de calidad del servicio, en el marco de la organización de la administración pública.


Hasta tiempos muy recientes, la calidad bibliotecaria era entendida fundamentalmente como calidad de los procesos técnicos y, en alguna medida, de los servicios.


Posteriormente, esta concepción ha ido evolucionando hacia la calidad en la satisfacción del usuario, que es la filosofía predominante desde finales del siglo XX y comienzos de éste.


Trabajar con calidad en la biblioteca significa:

averiguar y entender las necesidades y expectativas de nuestros usuarios

disponer de mecanismos e instrumentos desarrollados de evaluación

actuar según los resultados interrelacionar correctamente con los

ciudadanos.


Significa, en definitiva, disponer de : una organización unos procesos un sistema correctamente

estructurados…


enfocados - a la satisfacción del usuario …


- a la modernización de los procesos internos a partir de sus sugerencias, reclamaciones, nuevas necesidades y expectativas, opiniones...etc.

Calidad según ISO 11620

Conjunto de todas las características de un producto o servicio que repercuten en la capacidad de la biblioteca para satisfacer necesidades declaradas o implícitas.

(ISO 11620:1998: Information and documentation: library performance indicators. Genève: Internacional Standard Organization, cop. 1998)

Calidad según EFQM (1/3)

EFQM aplica el concepto de calidad a la educación superior, definiéndola como:

El grado en el que un conjunto de rasgos diferenciadores inherentes a la educación superior cumplen con una necesidad o expectativa establecida.


Es la propiedad de una institución o programa que cumple los estándares previamente establecidos por una agencia de acreditación.


Para medirse adecuadamente suele implicar la evaluación de la docencia, el aprendizaje, la gestión y los resultados obtenidos.

(Modelo EFQM de excelencia. Versión 2003. Adaptación a la Administración Públicahttp://www.efqm.org/downloads/documents/0812-FuCo-sp.pdf (Consulta: 03/02/08)

Calidad según UNE

Conjunto de todas las características de un producto o servicio que repercuten en la capacidad de la biblioteca para satisfacer necesidades declaradas o implícitas.

(Información y documentación. Indicadores de rendimiento bibliotecario (primera parte).ISO 11620. UNE 50-137. En: Revista española de Documentación Científica, vol. 22, 2, (1999), p. 223)

¿Para qué evaluamos? (1/9)

Volvemos al principio. ¿Para qué evaluamos la calidad de un servicio bibliotecario?

Fundamentalmente, para lograr la satisfacción del usuario mediante el logro de mejoras en el desempeño de servicios como:


Atención al público Información bibliográfica Orientación en la biblioteca

(señalización, etc.) Formación de usuarios, cursos de

alfabetización informacional (ALFIN)


Condición de las instalaciones: iluminación, ventilación, climatización, equipos, espacios, etc.

Lectura en sala Préstamo domiciliario Acceso on line, página web, opac,

etc. Biblioteca digital y su accesibilidad


En el caso de las bibliotecas públicas, además de los anteriores objetivos, también se persiguen aspectos como:

Acercamiento de la biblioteca a amplios colectivos de usuarios

Grado de integración de la biblioteca en su comunidad (pueblo, barrio, colectividad, etc.)


Capacidad de la biblioteca de satisfacer necesidades de todo tipo de usuarios: tercera edad, niños, jóvenes, desempleados, inmigrantes, mujeres, discapacitados, etc.

Acogimiento de diversidades culturales, lingüísticas, etc.

Para qué evaluamos? (6/9)

Apoyo bibliotecario a las políticas sociales y de mejora de las condiciones de vida: igualdad, bienestar social, superación de las discriminaciones, superación de la pobreza, justicia social, etc.


Las bibliotecas universitarias, por su parte, prestan más atención en sus planes de calidad a cuestiones determinantes como:

Grado de integración de la biblioteca con la docencia universitaria

Grado de integración con la investigación

Nivel de compromiso de la biblioteca con la institución universitaria


Nivel de adecuación de la colección a los planes de estudio de las titulaciones

Existencia de repositorio abierto y cantidad y calidad del material accesible

Facilidad para edición electrónica de trabajos de investigación y publicaciones

Integración de la biblioteca en el Aula o Campus Virtual

Para qué evaluamos? (9/9)

Apoyo bibliotecario a las políticas sociales y de mejora de las condiciones de vida: igualdad, bienestar social, superación de las discriminaciones, superación de la pobreza, justicia social, etc.

¿Para qué evaluamos? (Stubbs) (1/5)

Según Stubbs, una biblioteca tiene variadas razones para evaluar el desarrollo de su actividad o desempeño:


Por razones políticas, incluyendo compromisos vinculados con las políticas nacionales de información de un país


Por responsabilidad ante quienes apoyan política y financieramente el funcionamiento y desarrollo de la biblioteca


Para mostrar los resultados de los logros y mejoras obtenidas a los usuarios y a la comunidad en general


Como ayuda en la toma de decisiones

Como herramienta de gestión

Los Indicadores de Calidad, de Desempeño o de Rendimiento

Medición de la calidad

“todas aquellas actividades operacionales que vamos a utilizar para recibir información de nuestro servicio, tanto cuantitativa (datos estadísiticos, indicadores de inputs, operacionales, etc.), como cualitativa (indicadores de resultados, de satisfacción de usuarios, de eficacia, etc.)…

Medición de la calidad

… Información que nos va a permitir conocer la aptitud o capacidades de nuestra biblioteca, bien para satisfacer las necesidades de nuestros usuarios, o bien para establecer las medidas oportunas o propuestas de mejora para alcanzar la plena satisfacción de esas necesidades”.

Indicador según ISO 11620

“Valor numérico o expresión simbólica o verbal proveniente de los datos usados para caracterizar el rendimiento de una biblioteca.

Se denomina también indicador de calidad, de rendimiento o de

desempeño”.

Rendimiento bibliotecario según ISO 11620

“Eficacia en la provisión de servicios”

“Habilidad para la distribución y uso de los recursos en la entrega de los servicios”

Clasificación de los indicadores según su tipología

McClure: indicadores como herramientas de gestión

indicadores de inputs: de recursos esenciales para proveer un servicio

indicadores de procesos o actividades: cómo es utilizado un recurso

indicadores de outputs: de los servicios resultantes del uso de esos recursos

indicadores de resultados o de impacto: efecto de esas salidas sobre otras variables o factores

Stubbs (1/3)

“Los indicadores no son en sí mismos una garantía de calidad”

“El hecho de aplicarlos no nos asegura que se estén haciendo bien las cosas” …

Stubbs (2/3)

“Los indicadores no son un fin es sí mismo: son herramientas complementarias de gestión que permiten desarrollar un proceso de evaluación...

Stubbs (3/3)

… deben estar vinculados con el sistema de gestión, teniendo en cuenta sus metas y objetivos”

Pujol

Indicadores operacionalesRelacionan recursos / servicios o trabajo realizadoEj. Libros catalogados / persona

Indicadores de eficaciaRelacionan servicios o trabajo / utilizaciónEj. Consultas Referencia / total consultas

Pujol

Indicadores de coste/eficaciaRelacionan costes / utilizaciónEj. Coste / préstamo

Indicadores de impactoRelacionan utilización / uso potencialEj. Documentos utilizados / población asistida

Aplicación de los indicadores a la toma de decisiones según su tipología

Objetivos según ISO 11620 (1/4)

Funcionar como instrumentos para valorar la calidad y eficacia de los servicios entregados por una biblioteca y otras actividades que tienen relación con una biblioteca

Valorar la eficacia de los recursos


Facilitar el control en los procesos de administración

Servir como base para la referencia y para el diálogo entre los funcionarios de la biblioteca, las entidades financieras y la comunidad de usuarios.


Objetivo secundario:Servir en el análisis comparativo del rendimiento de las bibliotecas y los servicios de información con misiones y objetivos equivalentes.


Los indicadores de rendimiento deberán situarse junto a la planificación y a la evaluación.

Los procedimientos de medición y evaluación deberán efectuarse regularmente.

Los resultados deberán publicarse con el fin de informar del proceso de toma de decisiones y demostrar cómo la biblioteca está cumpliendo su misión.

Diferencias entre estadísticas e indicadores (1/4)

La introducción de procesos de evaluación de la calidad ha traído consigo la incorporación de los indicadores como instrumento de medición, diferentes a las estadísticas.

Diferencias entre estadísticas e indicadores (2/4)

La cuantificación por sí sola mediante estadísticas sólo mide el desarrollo de actividades, servicios, procesos, etc., pero no brinda información sobre la calidad y el desempeño.

Diferencias entre estadísticas e indicadores. IFLA (3/4)

Las estadísticas no aportan datos sobre quiénes no usan la biblioteca, ni por la parte de la colección que no se utiliza o por los volúmenes perdidos en las estanterías

Las estadísticas se recogen en las áreas donde es fácil tener datos exactos. El desempeño se interesa por datos adicionales que son más difíciles de obtener.

Diferencias entre estadísticas e indicadores. IFLA (4/4)

La medición del desempeño compara datos y los combina entre sí.

La medición del desempeño añade datos subjetivos a los objetivos especialmente en la opinión de los usuarios.

La medición del desempeño compara los datos con las metas de la biblioteca.

Ejemplos (Sutter) (1/4)

Dato estadístico: Número de llamadas telefónicas recibidas

Indicador de calidad: Número de llamadas telefónicas recibidas y no contestadas


Dato estadístico: Número de referencias bibliográficas nuevas incorporadas a la base de datos

Indicador de calidad: Número de referencias bibliográficas nuevas incorporadas a la base de datos que han sido objeto de correcciones


Dato estadístico: Número de búsquedas bibliográficas efectuadas mensualmente

Indicador de calidad: Número de búsquedas documentales realizadas en el mes, con un retraso superior a diez días entre la solicitud y la entrega de resultados


Dato estadístico: Número de ejemplares de revistas puestas en circulación

Indicador de calidad: Número de revistas mensuales que han llegado al lector final al cabo de las dos semanas de la recepción del ejemplar

Indicadores ISO 11620 Marco descriptivo (1/4)

Nombre. Cada indicador deberá tener un nombre único y descriptivo.

Objetivo. Cada indicador debe tener un objetivo explícito, indicado en términos de servicio (s), actividad (s) o uso (s) de recursos a evaluar.


Enfoque. Indica los tipos de bibliotecas a los cuales el indicador puede aplicarse.Señala si el indicador es adecuado para la comparación entre bibliotecas y si hay algunas limitaciones que tengan relación con la comparabilidad.Incluye otras limitaciones en la aplicación del indicador.


El enfoque deberá incluir también calificaciones, ejemplos y situaciones para su aplicación. Por ejemplo, el enfoque debe señalar si el indicador es sólo adecuado para ciertos procesos relacionados con la colección, como, por ejemplo, para la colección de referencia o para el préstamo, o para ambos casos; o si el indicador puede aplicarse a otros servicios o actividades de la biblioteca. O si es útil para mostrar diferencias en algún grupo de la población a la que se sirve.


4. Definición del indicador. Cada indicador debe ser definido únicamente en relación a los datos que se recogen y/o la relación que exista entre los datos.Debe incluir también definiciones de términos con un uso especial en la aplicación del indicador, las cuales no se especifican en la Norma Internacional ISO 11620.

Indicadores ISO 11620. Ejemplos (1/11)

Aplicación Percepción del

usuario

Indicadores Satisfacción del

usuario


Aplicación Servicios públicos

Indicadores Porcentaje alcanzado

de población Costo por usuario Visitas a la biblioteca

por usuario Costo por visita a la

biblioteca


Aplicación Documentos

suministrados

Indicadores Disponibilidad de títulos Disponibilidad de los

títulos solicitados Porcentaje de títulos

requeridos en la colección Disponibilidad prolongada

de los títulos solicitados Uso de documentos en

biblioteca por usuario



recuperados

Indicadores Promedio de tiempo

de devolución de los documentos desde puestos de lectura

Promedio de tiempo de devolución de los documentos desde áreas de acceso abierto



prestados

Indicadores Renovación de la

colección Prestamos por

usuario Costo por

préstamo Préstamo por

funcionario


Aplicación Documentos que

se entregan desde fuentes externas

Indicadores Rapidez del

préstamo interbibliotecario


Aplicación Encuesta y

servicios de referencias

Indicadores Porcentaje de

respuestas correctas


Aplicación Búsqueda de

información

Indicadores Porcentaje del

éxito de la búsqueda de catalogos por título

Porcentaje del éxito de la búsqueda de catalogos por materia


Aplicación Servicios

IndicadoresIndicadores Disponibilidad de los Disponibilidad de los

serviciosservicios Porcentaje del uso de Porcentaje del uso de

los servicioslos servicios Porcentaje de Porcentaje de

ocupación de los ocupación de los lugares de la lugares de la bibliotecabiblioteca

Disponibilidad de Disponibilidad de sistemas automáticossistemas automáticos


Aplicación servicios técnicos

documentos adquiridos

IndicadoresIndicadores tiempo medio de

adquisición del documento


Aplicación documentos en

proceso de catalogación

IndicadoresIndicadores costo por título

catalogado

Indicadores IFLA. Ejemplos (1/8)

Indicadores específicos para bibliotecas universitarias

Inciden en indicadores sobre los usuarios

Incluyen tanto indicadores para mediciones generales como mediciones para actividades específicas.


1 Satisfacción del usuario- Satisfacción del usuario con los servicios ofrecidos para uso remoto

2 Servicios públicos- Penetración de mercado- Horas de apertura en relación a la demanda


3. Uso general- Listas bibliográficas de expertos- Uso de la colección- Uso de la colección por materias- Documentos no utilizados- Rapidez en el suministro de documentos


4 Suministro de documentos- Rapidez en el préstamo interbibliotecario- Tasa de éxito en búsqueda de ejemplar conocido- Tasa de éxito en búsqueda por materias- Tasa de respuestas correctas- Disponibilidad- Usos remotos 'per capita'- Duración del proceso de adquisiciones- Duración del proceso técnico


5 Préstamo- Préstamos en relación con la colección- Préstamos 'per capita'- Documentos en préstamo 'per capita'- Coste por préstamo- Préstamos por empleado


6. Préstamo Interbibliotecario- Rapidez en el préstamo interbibliotecario

7. Búsqueda de información (catálogo) por el usuario- Tasa de éxito en búsqueda de ejemplar conocido- Tasa de éxito en búsqueda por materias


8. Servicio de referencia o de información- Tasa de respuestas correctas

9. Equipamientos e instalaciones- Disponibilidad

10. Uso remoto- Usos remotos 'per capita'


11. Servicios técnicos 11.1. Adquisición

- Duración del proceso de adquisiciones

11.2. Proceso técnico- Duración del proceso técnico

Indicadores REBIUN. Ejemplos (1/10)

La Red de Bibliotecas Universitarias Españolas (REBIUN) publica anualmente un Informe estadístico de las bibliotecas universitarias y científicas españolas.Los datos que incluye se refieren a colecciones, usuarios, servicios, recursos humanos, presupuestos y relaciones (ratios) entre estos datos:


• Metros cuadrados construidos por usuario: “Superficie (en metros cuadrados)” dividido por “Total de usuarios potenciales”.

• Estudiantes por puesto de lectura: “Estudiantes (de los tres ciclos)” dividido por “Puestos de lectura”.

• Estudiantes por ordenador: “Estudiantes (de los tres ciclos)” dividido por “PC y terminales de uso público”


• Porcentaje de ordenadores sobre el total de puestos de lectura: Divide el nº de “PCs y terminales de uso público” por el total de puestos de lectura

• Incremento de monografías por usuario: “Monografías ingresadas en 2006 (total)” dividido por “Total de usuarios potenciales”


• Revistas vivas en papel por investigador: “Publicaciones periódicas en curso de recepción (total)” dividido por “Profesores (todos)” más “Estudiantes de 3er ciclo”. En adelante, se utilizará para este colectivo el término “Investigadores”.

• Revistas (incluyendo electrónicas y no vivas) por investigador: “Publicaciones periódicas en curso de recepción, colecciones muertas y publicaciones periódicas electrónicas” dividido por “Investigadores”.

• Monografías electrónicas por usuario: “Total de títulos de monografías electrónicas” dividido por “Total de usuarios potenciales”.

• Revistas electrónicas por investigador: Total de títulos de Publicaciones periódicas electrónicas” dividido por “Investigadores”.


• Visitas por usuario: “Entradas a las bibliotecas” dividido por “Total de usuarios potenciales”.

• Préstamos por usuario: “Préstamos domiciliarios” dividido por “Total de usuarios potenciales”.

• Visitas a la Web por usuario: “Visitas a la Web de la biblioteca” dividido por “Total de usuarios potenciales”. Los datos de uso de los recursos electrónicos no se pueden considerar todavía totalmente normalizados, por lo que deben ser manejados con precaución.


• Consultas al catálogo por usuario: “Consultas al catálogo” dividido por “Total de usuarios potenciales”. Los datos de uso de los recursos electrónicos no se pueden considerar todavía totalmente normalizados, por lo que deben ser manejados con precaución.

• Consultas a bases de datos por investigador: “Consultas a bases de datos” dividido por “Investigadores”. Los datos de uso de los recursos electrónicos no se pueden considerar todavía totalmente normalizados, por lo que deben ser manejados con precaución.


• Artículos electrónicos por investigador: “Número de artículos descargados ” dividido por “Investigadores”. Los datos de uso de los recursos electrónicos no se pueden considerar todavía totalmente normalizados, por lo que deben ser manejados con precaución..

• Préstamo Interbibliotecario.Total de solicitudes recibidas: Nº total de solicitudes recibidas como biblioteca suministradora

• Préstamo Interbibliotecario.Total de documentos solicitados: Nº total de documentos solicitados como biblioteca peticionaria.


• Usuarios por personal de biblioteca: “Total de usuarios potenciales” dividido por “Personal (de las tres categorías)”.

• Técnicos en relación al total: “Personal (A, B, LG1 y LG2)” dividido por “Personal (de las tres categorías)”. El orden en que se presenta este indicador no prejuzga “mejor” o “peor”; sólo se pretende dar una idea de tendencias.

• Becarios en relación al total: “Personal (Estudiantes becarios) dividido por “Personal (de las tres categorías)”. El orden en que se presenta este indicador no prejuzga “mejor” o “peor”; sólo se pretende dar una idea de tendencias.


• Gasto en adquisiciones por usuario: “Inversiones en fondos bibliográficos (los cuatro tipos)” dividido por “Total de usuarios potenciales”.

• Gasto en revistas por investigador: “Inversiones en fondos bibliográficos (suscripciones a revistas)” dividido por Investigadores”.

• Gasto en monografías sobre el total de gasto en adquisiciones: “Inversiones en fondos bibliográficos (monografías)” dividido por “Inversiones en fondos bibliográficos (los cuatro tipos)”.El orden en que se presenta este indicador no prejuzga “mejor” o “peor”; sólo se pretende dar una idea de tendencias.


• Gasto en recursos electrónicos sobre el total de gasto en adquisiciones: “Gasto en información electrónica” dividido por la suma de las consultas a monografías y revistas electrónicas, más bases de datos y otros recursos electrónicos.

• Gasto de personal por usuario: Personal total (de las tres categoría, técnicos, auxiliar y becario) dividido por usuario potencial

• Gasto total servicio de bibliotecas por usuario: Gasto en total en adquisiciones mas gasto total de personal dividido por usuario potencial.

Indicadores EFQM (1/13)

EFQM distingue dos clases de indicadores:

indicadores cuantitativos: datos objetivos (numéricos, estadísticos)

ratios y porcentajes


EFQM y los divide en dos grandes capítulos en el ámbito de las universidades:

Indicadores de la institución Indicadores de la biblioteca


Indicadores de la biblioteca


Usuarios: Estudiantes: 1º y 2º ciclo 3er ciclo Títulos propios Profesores: Dedicación completa Dedicación parcial Personal no docente: Total usuarios potenciales Usuarios externos registrados


Horarios: Días de apertura anual Horas de apertura semanal


Equipamientos: Estanterías (metros lineales) Libre acceso Depósitos PCs y terminales de la plantilla PCs y terminales de uso público Lectores y reproductores diversos Puntos de servicio Superficie (m2) Puestos de lectura


Ratios: M2 construidos por usuario Estudiantes 1er , 2º y 3er

Ciclo / Puestos de lectura


Colecciones: Monografías Ingresadas

anualmente: Por Compra Por Donativo Por canje Total


Ratios: Incremento de monografías

en papel / usuarios potenciales


Bases de datos accesibles Desde la red de la Universidad Sólo desde bibliotecas Registros bibliográficos

informatizados: Volúmenes Títulos Documentos catalogados


Recursos electrónicos Monografías Publicaciones periódicas Bases de datos Otros


Servicios: Entradas a las Bibliotecas Préstamos domiciliarios Consultas a bases de datos Ratios: Préstamos / usuarios

potenciales


Visitas a la web de la biblioteca Consultas al catálogo Consulta de revistas electrónicas: Número de búsquedas Número de artículos Formación de usuarios: Número de cursos Número de asistentes

ANECACuadro general de indicadores (1/13)

1. Indicadores genéricos 2. Indicadores del personal de los servicios

bibliotecarios 3. Indicadores de las Instalaciones 4. Indicadores de la colección 5. Indicadores económicos de los servicios

bibliotecarios 6. Indicadores de la actividad de la

biblioteca 7. Indicadores de costes sobre los servicios

ofertados

ANECA1. Indicadores genéricos (2/13)

- Total de profesores asistentes a cursos de formación - Total de respuestas de información del personal - Total de horas de formación impartidas - Coste del personal de los servicios bibliotecarios - Total de préstamos en sala - Gasto total de adquisición de monografías - Gasto total de adquisición de revistas - Gasto total de adquisición de bases de datos e inf. Electrónica - Inversiones totales universidad - Presupuesto total universidad - Presupuesto total de los servicios bibliotecarios - Coste operativo total (1) (1) Coste operativo de los servicios bibliotecarios= [(Coste Total de los

servicios bibliotecarios) – (Coste de personal + Coste de Adquisiciones)]CO = [(CT) – (CP + CA)]

ANECA 2. Indicadores del personal de los servicios bibliotecarios (3/13)

Personal Bibliotecario Personal Bibliotecario de

Planta• Personal directivo• Bibliotecarios Técnicos no directivos por categorías• Otro personal bibliotecario por categorías

• Personal Bibliotecario No de Planta (personal contratado, etc.)• Personal Bibliotecario No de Planta Técnico por

categorías• Personal Bibliotecario No de Planta No Técnico por

categorías

Indicadores ANECA (4/13)

Personal No Bibliotecario • Personal No Bibliotecario de Planta

• Personal No Bibliotecario de Planta directivo o técnico por categorías (por ej. informáticos, etc.)

• Personal No Bibliotecario de Planta No técnico por categorías

• Personal No Bibliotecario No de Planta Becarios

Otro personal Evolución del nº de personal en

los últimos cinco años

ANECA3. Indicadores de las instalaciones (5/13)

Nº de Centros Nº de Servicios Técnicos m2 por usuario Puntos de lectura por usuario Puntos de lectura / Puntos de lectura informatizada Porcentaje m2 por depósito Nº de horas de apertura anual Evolución del Nº de Centros en los últimos cinco años Evolución del Nº de Servicios Técnicos en los últimos cinco

años Evolución de m2 por usuario en los últimos cinco años Evolución de Puntos de lectura por usuario en los últimos cinco

años Evolución de Puntos de lectura x Puntos de lectura

informatizada en los últimos cinco años

ANECA. 4. Indicadores de la colección (6/13)

4.1. Monografías - Número total ejemplares de monografías por biblioteca - Porcentaje de monografías informatizadas por biblioteca 4.2. Publicaciones periódicas - Suscripciones a publicaciones periódicas por biblioteca - Nº total de suscripciones a publicaciones periódicas - Nº total de colecciones de publicaciones periódicas por

biblioteca (vivas y muertas) - Nº total de colecciones de publicaciones periódicas (vivas

y muertas) - Nº total de colecciones de publicaciones periódicas

electrónicas por biblioteca - Nº total de colecciones de publicaciones periódicas

electrónicas


4.3. Bases de datos Nº total de suscripciones a bases de datos Nº total de bases de datos propias Nº total de bases de datos 4.4. Otros documentos - Nº total de otros documentos impresos por

biblioteca. Detalle de los documentos (mapas, fotografías, películas, etc.)

- Nº total de otros documentos no impresos (multimedia, microformas, electrónicos, etc.) por biblioteca Detalle de los documentos (mapas, fotografías, películas, etc.)


4.5. Nuevas adquisiciones - Nuevas adquisiciones de monografías en el

último año - Nuevas adquisiciones de publicaciones

periódicas en el último año - Nuevas adquisiciones de bases de datos en el

último año - Nuevas adquisiciones de otros documentos en

el último año - Evolución del nº de adquisiciones por

documento en los últimos cinco años

ANECA 5. Indicadores económicos de los servicios bibliotecarios (9/13)

5.1. Inversiones - Total de inversiones de la biblioteca respecto

del presupuesto de la Universidad - % de inversiones de la biblioteca respecto del

presupuesto de la Universidad 5.1.1. Inversiones en Personal - Total de inversiones en personal respecto del

presupuesto de los servicios bibliotecarios 5.1.2. Inversiones en Adquisición de documentos - Total de inversiones en Adquisiciones respecto

del presupuesto de los servicios bibliotecarios


5.2. Gastos - Gastos en monografías por biblioteca en el último año - Gastos en publicaciones periódicas por biblioteca en el

último año (impresas y electrónicas) - Gastos en bases de datos por biblioteca en el último año - Total de gastos en adquisiciones 5.3. Tecnologías de la Información - Total de inversiones en Tecnologías de la Información

respecto del presupuesto de los servicios bibliotecarios


5.4. Formación - Total de inversiones en Formación respecto del

presupuesto de los servicios bibliotecarios 5.5. Funcionamiento - Total de inversiones para funcionamiento respecto del

presupuesto de los servicios bibliotecarios - Total ingresos propios de la Biblioteca - TOTAL de los servicios bibliotecarios - Gasto total por usuario - Gasto de adquisiciones por usuario - Evolución Gasto total por usuario últimos cinco años - Evolución Gasto de adquisiciones por usuario últimos

cinco años

ANECA 6. Indicadores de la actividad de la biblioteca (12/13)

Apertura Visitas Consultas bases de datos Préstamos alumnos Préstamos profesores Consultas bases de datos/profesor Consultas bases de datos/alumno Formación alumnos Formación profesores Respuestas de información

ANECA7. Indicadores de Coste sobre los servicios ofertados (13/13)

Documentos procesados Préstamos Respuestas de Información Préstamo en sala Formación Usuarios potenciales Horas de apertura Vistas Adquisiciones / Préstamos

Otros indicadores. Indicadores extraídos de las encuestas de satisfacción de usuarios

Grado de satisfacción del servicio global de biblioteca

Evolución del grado de satisfacción respecto del servicio de biblioteca

Grado de satisfacción respecto del personal de la biblioteca

Cordialidad Amabilidad Profesionalidad

Otros indicadores. Indicadores extraídos de las encuestas de satisfacción de usuarios

Capacidad de gestión y resolución de problemas del personal de préstamo

Grado de satisfacción respecto de las instalaciones y equipos

Oferta Recursos de información Actualización Nuevas adquisiciones Grado de satisfacción respecto del servicio

de préstamo Plazos Duración de los préstamos

Otros indicadores. Indicadores extraídos de las encuestas de satisfacción de usuarios (pregunta abierta)

accesos e instalaciones para personas con discapacidad (*)

otros indicadores relacionados con el acceso y uso de la biblioteca para usuarios discapacitados (*)

número de licencias de uso por base de datos (*) número de licencias de uso por revista electrónica a texto

completo (*) acceso libre a documentos a texto completo en relación al

acceso restringido (*) reserva de préstamo (*) préstamo on line reserva de préstamo on line (*) devolución de préstamos por correo postal (*) aviso de caducidad de los préstamos (*)(*) Estos indicadores no están contemplados en ningún método de

evaluación analizado

MUCHAS GRACIAS

Javier [email protected]@gmail.com

“Las bibliotecas son ‘conservatorios del sentido’ donde se condensa y se ordena el pensamiento del mundo que nos rodea, el de otras culturas,

el de otras lenguas e identidades, y también, el de las regiones interiores que nos conforman”

(Michèle Petit Antropóloga)

II. Etapas de la evaluación: Autoevaluación y Evaluación Externa. La Acreditación.

Principales metodologías de evaluación de bibliotecas

La decisión de evaluar (1/4)

Compromiso institucional Decisión de la metodología de

evaluación a utilizar Cronograma


Elaboración y recopilación de toda la información necesaria (datos estadísticos, datos cualitativos, resultados de encuestas…)

Establecimiento de indicadores de rendimiento

Elaboración de la Guía de Evaluación


Determinación de los actores implicados en el Plan de Evaluación

Constitución del Comité de Autoevaluación Interna (CAI)

Constitución de la Oficina Técnica de Evaluación (OTE)


Conformación de los Grupos de Trabajo (GT)

Plan de Comunicación

Soporte técnico y administrativo del Plan de Evaluación

Autoridades (universidad, municipalidad…) Dirección de la Biblioteca

Comité de Autoevaluación Interna (CAI)Grupos de trabajo

Oficina Técnica del Plan de Evaluación (OTE)

Coordinación técnica

El proceso de la evaluación (1/3)

1ª Fase: Evaluación Interna Criterios de evaluación por el CAI (Grupos de

Trabajo) Análisis de los puntos fuertes y débiles Propuestas de Mejora Informe de Autoevaluación (IA) con las

Propuestas de Mejora Presentación del IA a la Agencia Evaluadora.

La Agencia nombra el Comité de Evaluación Externa (CEE)


2ª Fase: Evaluación Externa Visita del CEE a la biblioteca Evaluación del IA por el CEE Enmiendas del CEE a las Propuestas de

Mejora Informe de Evaluación Externa (IEE) Plan de Mejoras Informe Final de Evaluación a cargo del

CAI


Acreditación Presentación del Informe Final y Plan de

Mejoras al organismo competente Certificado de Calidad (validez: 3 a 5

años) Transcurrido el período de certificación:

ejecución del Plan de Mejoras

Comité de Autoevaluación Interna (CAI) (1/2)

Es el órgano de representación e intervención de la comunidad universitaria en el proceso de evaluación de la biblioteca.

Comité de Autoevaluación Interna (CAI) (2/2)

Presidido por la máxima autoridad de la institución (alcalde, rector…)

Miembros (vocales): Director de la biblioteca (secretario del

Comité) Miembros de la dirección de la biblioteca

(subdirector, etc.) Representantes del personal de la biblioteca Representantes de los usuarios

Funciones del CAI (1/4)

Representa a la institución en el proceso de evaluación de la Biblioteca

Dirige y coordina el Plan de evaluación

Establece la metodología de trabajo


Crea y coordina los grupos de trabajo

Supervisa el borrador deI Informe de Autoevaluación y el borrador del Plan de Mejoras


Somete el borrador a consulta del órgano directivo de la institución y de la biblioteca

Elabora el Informe definitivo de Autoevaluación y el Plan de Mejoras

Lo presenta a la Agencia Evaluadora (inicio de la 2ª fase: evaluación externa)


Recibe al Comité de Evaluación Externa (CEE) en su visita que realiza a la Biblioteca

Estudia el Informe del CEE y lo somete a consulta del órgano directivo de la institución y de la biblioteca

Elabora el Informe Final y el Plan de Mejoras

Oficina Técnica de Evaluación (OTE) (1/3)

La OTE está constituida por: El coordinador técnico del

Plan de Evaluación El personal técnico de apoyo

al Plan: bibliotecarios, informáticos, estadísticos…

OTE (2/3)

Entre sus funciones destacan: Realizar un seguimiento constante

de la marcha del Plan de evaluación Elaborar el calendario y el

cronograma del Plan Crear, mantener y actualizar la

página web del proceso de evaluación

OTE (3/3)

Suministrar toda la información e infraestructura básica al CAI, a los grupos de trabajo y al CEE (estudios, informes, estadísticas, etc.)

Coordinar las jornadas, sesiones informativas, reuniones de los grupos, etc.

Grupos de Trabajo (1/4)

El CAI designa, dirige y coordina los Grupos de Trabajo, cuya misión será realizar los estudios y análisis referidos a los criterios establecidos por la Agencia evaluadora y adaptados por el CAI al Plan de evaluación, los cuales constituyen las pautas metodológicas de trabajo.


Los Grupos de Trabajo están formados por: bibliotecarios representantes de los usuarios de la

biblioteca, designados por el CAI.


Cada Grupo de Trabajo tiene un coordinador, cuyo cometido es: dirigir las tareas del grupo preparar la documentación útil al trabajo a realizar establecer la metodología adecuada convocar las reuniones del grupo dirigir los debates redactar los distintos borradores de discusión coordinar la elaboración del informe final

correspondiente a los contenidos estudiados por el Grupo de Trabajo.


Todos los Grupos de Trabajo están asistidos por la Oficina Técnica del Plan de Evaluación

Cada Grupo de Trabajo se ocupa de uno o dos criterios de la metodología adoptada para el Plan de Evaluación

Funciones del CEE (1/3)

Valorar el contenido del Informe interno remitido por el CAI, así como el mismo proceso de autoevaluación.

Actuar como instrumento de mejora de los servicios de biblioteca, para lo cual deberá facilitar, aclarar y dinamizar el proceso de análisis, reflexión y diálogo de los servicio bibliotecarios.

Orientar su trabajo hacia la consecución de mejoras viables con las cuales se sienta comprometido el conjunto del servicio de biblioteca.


Evaluar el Autoinforme del CAI y el Plan de Mejoras

Visitar la Biblioteca para: entrevistarse con usuarios, gestores y

bibliotecarios Conocer el estado de las

instalaciones, servicios y procesos Evaluar el Informe Final de la

Biblioteca


El CEE emite su Informe: Informe de Evaluación Externa (IEE)

Si es positivo, la Biblioteca puede presentarse a la convocatoria de Certificación de Calidad

Acreditación y Certificación de Calidad (1/7)

Ambos términos, acreditación y certificación, responden a un mismo proceso que consiste en demostrar y asegurar la calidad de un servicio, un producto, una institución, una actividad, el desempeño profesional, etc.


La Acreditación es el proceso por el cual el servicio obtiene la idoneidad como servicio de calidad y le compromete a llevar a cabo el Plan de Mejoras.


El Certificado de Calidad es el documento que acredita la calidad del servicio.

Tiene un período temporal de validez determinado por el organismo oficial de acreditación y certificación correspondiente (3 a 5 años).

El documento que acredita la certificación de calidad de una institución, un servicio, etc., suele ser una etiqueta de calidad o quality label (en terminología EFQM)


Para EFQM, acreditación es el proceso que garantiza la calidad de una institución o un programa educativo, proceso que es llevado a cabo por una agencia externa a la entidad evaluada.


La acreditación implica la evaluación previa respecto de estándares y criterios de calidad establecidos previamente por una agencia u organismo acreditador.


El procedimiento de la acreditación incluye:

una autoevaluación de la propia institución

una evaluación por un equipo de expertos externos

En todos los casos se trata de una validación temporal, por una serie de años.


La certificación es para EFQM el resultado de un proceso por el que se verifica y documenta el cumplimiento de requisitos de calidad previamente establecidos.

Puede referirse a procesos o a personas.

Ambos procedimientos reconocen la calidad de los programas, de los servicios o de la institución evaluada.

Principales metodologías de evaluación aplicadas a bibliotecas

ISO EFQM ANECA LIBQUAL CUADRO DE MANDO INTEGRAL

EFQM (1/2)

Diseñado por la European Foundation for Quality Management (EFQM), entidad creada en 1988 por catorce importantes empresas europeas especializadas en calidad.

EFQM (2/2)

EFQM pone el acento en la autoevaluación, basada en:

análisis detallado del funcionamiento del sistema de gestión

las normas de certificación los procesos de mejora continua

EFQMCaracterísticas generales (1/2)

Inspirado en la filosofía japonesa de “calidad total” y “excelencia” aplicada a la empresa, cuya finalidad es la “calidad del producto”

Tiene como base un fuerte liderazgo con una política y una estrategia para gestionar los recursos humanos, materiales y organizaciones.

EFQMCaracterísticas generales (2/2)

Tiene como finalidad la mejora de los mecanismos de producción (procesos).

Ello va a revertir en una mejora de los resultados de la satisfacción en los clientes, en el personal y en la sociedad

Proporciona unos resultados clave de rendimiento de la organización, que aprende de sí misma y mejora continuamente hacia la excelencia.

EFQMCriterios (1/3)

Establece nueve capítulos o aspectos a evaluar divididos en dos apartados:

Agentes facilitadores (criterios 1-5): van a permitir la obtención de unos determinados resultados

Resultados (criterios 6-9): miden los logros alcanzados

EFQMCriterios (2/3)

Agentes facilitadores (AF) 1. Liderazgo2. Política y estrategia3. Personas. Gestión de los recursos

humanos4. Alianzas y recursos5. Procesos

EFQMCriterios (3/3)

Resultados (R) 6. Resultados en sus clientes7. Resultados en las personas8. Resultados en la sociedad9. Resultados claves

ANECA

Método diseñado expresamente para bibliotecas universitarias (diseñado por el Consorcio de Bibliotecas de Cataluña)

Evalúa el servicio bibliotecario en su totalidad

Considera la biblioteca como servicio público

ANECACriterios (1/9)

1. ELEMENTOS BASADOS EN DATOS1.1. Recursos: financieros, bibliográficos, espacio físico, etc.1.2. Resultados: circulación, préstamo interbibliotecario, formación de usuarios, uso de recursos electrónicos, etc.1.3. Grado de satisfacción de los usuarios.

2. ELEMENTOS RELACIONADOS CON LOS PROCESOS.2.1. Grado de integración de la biblioteca en la institución.2.2. Nivel de relación de la biblioteca y sus usuarios: biblioteca/docencia; biblioteca/investigación.2.3. Gestión, organización y procesos.2.4. Política de personal: capacitación, formación promoción, etc.

3. ELEMENTOS RELACIONADOS CON LA MEJORA DERIVADA DEL PROCESO DE EVALUACIÓN.3.1. Criterios referidos a los planes de mejora y su desarrollo.3.2. Criterios referidos a la participación activa de la biblioteca en proyectos de innovación y cooperación.


1. ELEMENTOS BASADOS EN DATOS.

1.1. Recursos: financieros, bibliográficos, espacio físico, etc.

1.1.1. Espacio físico, instalaciones, equipamientos1.1.2. Recursos bibliográficos1.1.3. Recursos financieros

Puntos fuertesPuntos débilesPropuestas de mejora


1.2. Resultados: circulación, préstamo interbibliotecario, formación de usuarios, uso de recursos electrónicos, etc.

1.2.1. Eficacia en la prestación de servicios1.2.1.1. Estándares1.2.1.2. Objetivos1.2.1.3. Actividad

1.2.2. Eficiencia en la prestación de servicios1.2.2.1. Prestación de servicios1.2.2.2. Distribución del gasto en adquisiciones-suscripciones1.2.2.3. Resumen

Puntos fuertesPuntos débilesPropuestas de mejora


1.3. Grado de satisfacción de los usuarios.1.3.1. Existencia de mecanismos y estrategias de evaluación

continuada de la calidad.1.3.2. Nivel de uso de los servicios1.3.3. Grado de satisfacción

1.3.3.1. Satisfacción general con la prestación del servicio de los servicios de biblioteca. 1.3.3.2. Satisfacción con los fondos bibliográficos.1.3.3.3. Satisfacción con los diferentes servicios ofertados.1.3.3.4. Satisfacción con la información sobre los servicios de biblioteca.1.3.3.5. Satisfacción con las actividades de formación desarrollados.1.3.3.6. Satisfacción con las instalaciones y equipamientos.

Puntos fuertesPuntos DébilesPropuestas de Mejora


2. ELEMENTOS RELACIONADOS CON LOS PROCESOS.

2.1. Grado de integración de la biblioteca en la institución.



2.2. Nivel de relación de la biblioteca y sus usuarios: biblioteca/docencia; biblioteca/investigación.

2.2.1. Biblioteca / usuarios.2.2.1. Biblioteca / Docencia.2.2.2. Biblioteca / Investigación.



2.3. Gestión, organización y procesos.2.3.1. Gestión y Organización.2.3.2. Procesos.2.3.3. Oferta de servicios a

distancia.



2.4. Política de personal: capacitación, formación promoción, etc.

2.4.1. Tipología, dotación y distribución del personal

2.4.2. Políticas de acceso y promoción2.4.3. Formación2.4.4. Implicación, satisfacción y

motivación del personal



3. ELEMENTOS RELACIONADOS CON LA MEJORA DERIVADA DEL PROCESO DE EVALUACIÓN.

3.1. Criterios referidos a los planes de mejora y su desarrollo.

3.2. Criterios referidos a la participación activa de la biblioteca en proyectos de innovación y cooperación.

Puntos fuertesPuntos DébilesPropuestas de MejoraPlan de Mejoras

LibQual (1/3)

En el año 2000 la Universidad A&M de Texas y ARL (Association of Research Libraries) desarrollaron LibQual, herramienta de evaluación de la calidad para bibliotecas basado en ServQual.

LibQual (2/3)

LibQual es un estándar para medir el grado de satisfacción de los usuarios con los servicios que ofrecen las bibliotecas, así como identificar carencias y lagunas en la prestación de los servicios, siempre basándose en las percepciones subjetivas de los usuarios.

LibQual (3/3)

LibQual establece tres dimensiones de calidad a evaluar: a. La biblioteca como local (espacio funcional, señalización y ambiente de estudio)b. El control de la información (rapidez, comodidad, facilidad de navegación, equipamientos modernos)c. Apariencia del servicio (empatía, responsabilidad, seguridad, confiabilidad).

Encuesta LibQual (1/7)

La herramienta fundamental de LibQual para medir la satisfacción de los usuarios es la encuesta.


La encuesta está basada en 22 preguntas, en cada una de las cuales hay que contestar a tres cuestiones:

Nivel de servicio mínimo exigible. Nivel de servicio deseado. Nivel observado (percepción del

servicio)


La encuesta está dividida en cuatro grandes apartados:


I. El valor del servicio. Se compone, a su vez, de tres elementos:

• Empatía, responsabilidad y seguridad• Fiabilidad• Dimensión humana de la calidad del

servicio


II. Acceso la información. 4 elementos: Cobertura del alcance, temporalidad,

conveniencia en el acceso Adecuación de las colecciones Comprensibilidad, calidad y profundidad de los

recursos de información Información solicitada proporcionada en formato,

espacio y tiempo escogido


III. Control del personal. 3 elementos: Cobertura de navegación, conveniencia y

servicios de apoyo Control del personal de la información y

de Internet en particular Interactuación de los usuarios con la

biblioteca tecnológica


IV. Biblioteca como espacio. 3 elementos: Cobertura de las necesidades de espacio,

valor simbólico de la biblioteca y refugio para el estudio y el trabajo

Reunión de los requerimientos comunitarios en un espacio para el estudio y la colaboración (tangibilidad)

Proporcionar las facilidades físicas adecuadas

CMI (1/2)

Herramienta de gestión basada en indicadores de evaluación de rendimiento a largo plazo:

Indicadores e inductores de resultados Indicadores financieros y no financieros Indicadores cuantitativos y cualitativos

CMI (2/2)

MUCHAS GRACIAS

Javier [email protected]@gmail.com

”Perder es [también] cuestión de método”

(Santiago Gamboa. Novelista colombiano)

Práctico 1: Evaluación de un proceso bibliotecario. Diseño y aplicación de indicadores de calidad

Práctico 2: Evaluación de un servicio bibliotecario. Diseño y aplicación de indicadores de calidad

I. Introducción. Los indicadores de calidad

Documents

Transcript of I. Introducción. Los indicadores de calidad