UIVERSIDAD DE ALCAL
DEPARTAMETO DE CIECIAS SAITARIAS Y
MDICO-SOCIALES
Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede
de Bibliotecas Municipais de Lisboa (1989-2009)
Memoria presentada por Leonor Gaspar Pinto para acceder al
Ttulo de Doctor por la Universidad de Alcal
Director: Professora Doutora Purificacin Moscoso Castro
Programa de Doctorado: D264: Bibliografia y Documentacin
Retrospectiva en Humanidades
Alcal de Henares, 2012
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
2
DEPARTAMENTO CIENCIAS SANITARIAS Y MEDICO-SOCIALES
D. Purificacin Moscoso Castro, Catedrtica de Universidad del rea de
Biblioteconoma y Documentacin de la Universidad de Alcal, como Directora de la
Tesis realizada por la doctoranda D Leonor Gaspar Pinto
CERTIFICA
Que el presente Trabajo de Investigacin titulado Dimenses estratgicas e
emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de
Bibliotecas Municipais de Lisboa (1989-2009), presentado por D Leonor Gaspar
Pinto, rene los mritos suficientes para que su autora pueda optar al grado de Doctora,
y pueda ser defendido ante el tribunal correspondiente que ha de juzgarlo.
Y para que as conste se firma el presente certificado en Alcal de Henares a
diecisiete de julio de 2012.
Directora de la Tesis
Fdo.- Purificacin Moscoso Castro
Facultad de Medicina Campus Universitario Ctra. Madrid-Barcelona, Km. 33.600 E-28871 Alcal de Henares (Madrid) Telf. 91 8854532 Fax: 91 8854874
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
4
DEPARTAMENTO CIENCIAS SANITARIAS Y MEDICO-SOCIALES
D. Agustn Silva Mato como Director del Departamento de Ciencias Sanitarias
y Mdico-Sociales de la Universidad de Alcal.
CERTIFICA
Que el presente Trabajo de Investigacin titulado Dimenses estratgicas e emergentes
da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas
Municipais de Lisboa (1989-2009), presentado por D Leonor Gaspar Pinto, rene los
mritos suficientes para que su autora pueda optar al grado de Doctora, y pueda ser
defendido ante el tribunal correspondiente que ha de juzgarlo.
Y para que as conste se firma el presente certificado en Alcal de Henares a
diecisiete de julio de 2012.
El Director del Departamento
Fdo.- Agustn Silva Mato
Facultad de Medicina Campus Universitario Ctra. Madrid-Barcelona, Km. 33.600 E-28871 Alcal de Henares (Madrid) Telf. 91 8854532 Fax: 91 8854874
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
6
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
7
Para a Ana, Lus, Joaquim Pedro,
Rodrigo e Carolina
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
8
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
9
AGRADECIMETOS
Professora Doutora Purificacin Moscoso Castro, orientadora desta tese, por ter
acreditado em mim, dando-me a liberdade necessria explorao das questes de
investigao e descoberta das respostas, mas temperando-a com preciosas orientaes
e palavras de nimo.
Professora Doutora Gislia Felcio, coordenadora do Convnio celebrado entre a
Universidade Lusfona de Humanidades e Tecnologias e a Universidad de Alcal, que
com a sua tenacidade, dedicao e disponibilidade viabilizou e facilitou o acesso de
estudantes portugueses ao Programa de Doutoramento em que se enquadra o presente
trabalho.
Aos meus pais, Ana e Lus, pela presena e apoio incondicional nas pequenas e grandes
coisas da minha vida.
Ao Joaquim Pedro, ao Rodrigo e Carolina foi com eles e por eles que percorri este
caminho solitrio, sem nunca me sentir s.
Paula Ocha, a quem devo anos de amizade, de incentivo e de uma parceria dirigida
ao infinito e mais alm e sem a qual este passo no teria talvez sido dado... mas se o
fosse, no teria seguramente o mesmo significado.
Cmara Municipal de Lisboa pelas vrias possibilidades que me concedeu, ao longo
de duas dcadas, para que pudesse desenvolver as minhas qualificaes acadmicas e
profissionais.
A todos os colegas da Cmara Municipal de Lisboa que contribuiram para que muitas
das evidncias que suportam esta investigao emergissem, em especial Clara,
Ftima, Maria Joo, Manuela, Conceio e Paulo.
Por fim, um ltimo agradecimento: a J. Sousa Martins pelo apoio prestado, sobretudo
nos momentos mais difceis.
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
10
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
11
SUMRIO
LISTA DAS SIGLAS UTILIZADAS O TEXTO .................................................... 17 RESUME .................................................................................................................... 19 RESUMO ....................................................................................................................... 27 ABSTRACT ................................................................................................................... 25 DICE DE QUADROS .............................................................................................. 29 DICE DE FIGURAS ................................................................................................ 33 DICE DE GRFICOS ............................................................................................. 35 PARTE I OBJETO E PLAO METODOLGICO DA
IVESTIGAO .................................................................................................. 39
CAPTULO 1 - ITRODUO ................................................................................. 41 1.1 Da tradio s novas fronteiras na avaliao do desempenho de bibliotecas 42
1.2 Conceitos implicados no desenvolvimento da investigao ............................. 54
1.2.1 Teorias, modelos e bibliotecas ....................................................................... 55
1.2.2 (Meta-)avaliao do desempenho .................................................................. 58
1.2.3 Tipos de objetos de avaliao ........................................................................ 64
1.2.4 Processos e tcnicas de avaliao .................................................................. 70
1.2.5 Metodologia e mtodo(s) ............................................................................... 72
CAPTULO 2 OBJETO, MTODO E FOTES DA IVESTIGAO ............ 81 2.1. O objeto da investigao .................................................................................... 81
2.1.1 Objetivos ........................................................................................................ 82
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
12
2.1.2 Principais questes de investigao ............................................................... 83
2.2 Opes metodolgicas.......................................................................................... 84
2.2.1 Reviso da literatura ...................................................................................... 87
2.2.2 Hermenutica ................................................................................................. 88
2.2.3 Estudo de caso ............................................................................................... 89
2.3 Fontes documentais ............................................................................................. 90
2.4 Estrutura do estudo ............................................................................................. 92 PARTE II (META-)AVALIAO DO DESEMPEHO DE
BIBLIOTECAS ...................................................................................................... 95
CAPTULO 3 A SEDA DO GRAAL: MODELOS, TEDCIAS E EXPERICIAS AVALIATIVAS ........................................................................... 97 3.1 Marcos histricos ............................................................................................... 100
3.2 (Meta-)modelos de avaliao do desempenho ................................................. 116
3.2.1 Categorizaes ............................................................................................. 117
3.2.2 A biblioteca como um sistema aberto .......................................................... 120
3.3 Modelos, mtodos e experincias avaliativas .................................................. 124
3.3.1 A perspetiva da biblioteca ............................................................................ 124
3.3.1.1 Modelo Input-Processo-Output ................................................................ 124
3.3.1.2 7ormalizao ............................................................................................ 130
3.3.1.3 Estatsticas ................................................................................................ 136
3.3.1.4 Objetivos, diretrizes e padres de desempenho ........................................ 143
3.3.1.5 Benchmarking ........................................................................................... 146
3.3.1.6 Sntese das abordagens segundo a perspetiva da biblioteca .................... 150
3.3.2 A perspetiva do utilizador e demais partes interessadas .............................. 152
3.3.2.1 Clientes e satisfao ................................................................................. 153
3.3.2.2 Dimenses da qualidade de servio .......................................................... 156
3.3.2.3 Impactos .................................................................................................... 163
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
13
3.3.2.4 Sntese das abordagens segundo a perspetiva do utilizador e demais partes interessadas .......................................................................................................... 170
3.3.3 Abordagens holsticas .................................................................................. 171
3.3.3.1 Gesto da Qualidade Total ....................................................................... 171
3.3.3.2 Modelos de auto-avaliao organizacional ............................................. 173
3.3.3.3 Balanced Scorecard .................................................................................. 178
3.3.3.4 Seis Sigma ................................................................................................. 181
3.3.3.5 Modelos integrados ................................................................................... 182
3.3.3.6 Sntese das abordagens holsticas ............................................................ 187
CAPTULO 4 IMPACTOS DA AVALIAO DO DESEMPEHO EM BIBLIOTECAS ......................................................................................................... 195 4.1 O contexto do Desenvolvimento Organizacional ............................................ 196
4.2 A utilizao da avaliao do desempenho: prticas de gesto e impactos ... 199
4.3 Fatores organizacionais de (in)sucesso ............................................................ 207
4.3.1 Cultura de avaliao ..................................................................................... 211
4.3.2 Liderana ..................................................................................................... 218
4.3.3 Aprendizagem e conhecimento organizacionais .......................................... 220
4.3.4 Prtica Baseada em Evidncias .................................................................... 223
4.4 Impactos dos modelos de avaliao do desempenho de bibliotecas .............. 227
CAPTULO 5 AVALIAO DO DESEMPEHO DAS BIBLIOTECAS
PORTUGUESAS ...................................................................................................... 231 5.1 Investigao e prticas de avaliao do desempenho de bibliotecas em
Portugal: um olhar longitudinal sobre as evidncias ....................................... 232
5.2 A emergncia do primado do utilizador .......................................................... 239
5.3 A valorizao da informao sobre o desempenho ......................................... 243
5.3.1 O Sistema de Informao de Gesto sobre o desempenho da RNLP .......... 246
5.3.2 O Modelo de Avaliao do Desempenho da RCRC .................................... 252
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
14
5.4 Em busca da Qualidade (Total) ........................................................................ 255
5.4.1 A conquista da visibilidade para a Gesto da Qualidade nas bibliotecas .... 256
5.4.2 Estratgias de aprendizagem e partilha de conhecimento ........................... 263
5.4.2.1 Observatrio da Qualidade em Servios de Informao e Conhecimento .............................................................................................................................. 265
5.5 Os modelos integrados....................................................................................... 269
5.5.1 Modelo SIADAP+B ...................................................................................... 271
5.5.2 Modelo misto CAF-BSC(-AHP) ................................................................. 274
5.5.3 Modelo Integrado de Avaliao da b-on ...................................................... 275
5.6 Categorizaes segundo a Matriz CTADB ........................................................ 276
PARTE III ESTUDO DE CASO .................................................................. 281
CAPTULO 6 PROCEDIMETOS METODOLGICOS ................................. 283
6.1 A preparao ...................................................................................................... 284
6.2 As evidncias ...................................................................................................... 285
6.2.1 A recolha dos dados ..................................................................................... 285
6.2.2 A anlise ...................................................................................................... 287
6.2.2.1 Modelo de anlise DIADB .......................................................................... 288
6.2.2.2 Ferramentas DIADB ................................................................................... 292
CAPTULO 7 - BIBLIOTECAS MUICIPAIS DE LISBOA: 126 AOS DE
AVAOS, RECUOS E EQUVOCOS ................................................................. 297 7.1 As primeiras bibliotecas municipais ................................................................ 300
7.2 O desenvolvimento da Rede .............................................................................. 304
7.2.1 O legado da Primeira Repblica .................................................................. 304
7.2.2 Do Estado Novo aos primeiros tempos em democracia .............................. 308
7.3 ovos modelos de organizao ......................................................................... 318
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
15
7.3.1 A criao de bibliotecas de leitura pblica modernas .................................. 319
7.3.1.1 7ovas bibliotecas para a Cidade de Lisboa: sonho e realidade .............. 323
7.3.2 O Programa Rede de Bibliotecas Escolares ................................................. 334
7.3.2.1 Bibliotecas municipais / bibliotecas escolares do Concelho de Lisboa ... 336
7.3.3 O(s) impulso(s) de base tecnolgica ............................................................ 339
7.3.3.1 Inovao tecnolgica na RBML ............................................................... 344
7.4 Construtos de biblioteca e prticas de avaliao do desempenho: uma perspectiva longitudinal retrospetiva................................................................. 347
7.4.1 A biblioteca popular-municipal ................................................................... 348
7.4.2 Uma rede de bibliotecas municipais para vrios pblicos ........................... 351
7.4.3 Bibliotecas municipais para todos e s para alguns ................................. 356
CAPTULO 8 DIMICAS DE AVALIAO DO DESEMPEHO A REDE
DE BIBLIOTECAS MUICIPAIS DE LISBOA (1989-2009) ............................. 367 8.1 Dinmica 1: a Estatstica ............................................................................... 370
8.1.1 A preparao ................................................................................................ 370
8.1.2 O desenvolvimento e a apresentao de resultados ..................................... 372
8.2 Dinmica 2: Recolha e disponibilizao de informao sobre o desempenho ............................................................................................................................... 379
8.2.1 A preparao ................................................................................................ 379
8.2.2 O desenvolvimento e a apresentao de resultados ..................................... 381
8.3 Dinmica 3: Programa de Avaliao do Desempenho da Rede de Bibliotecas Municipais de Lisboa ........................................................................................... 387
8.3.1 A preparao ................................................................................................ 387
8.3.2 O desenvolvimento e a apresentao de resultados ..................................... 392
8.3.2.1 Dinmica 3a Medidas e indicadores de desempenho BLX .................. 392
8.3.2.2 Dinmica 3b Avaliao da Qualidade de Servios e Satisfao dos Utilizadores .......................................................................................................... 408
8.3.2.3 Dinmica 3c Melhoria Contnua SATT ................................................ 422
8.3.2.4 Dinmica 3d Gesto do Conhecimento ................................................ 433
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
16
8.3.2.5 Dinmica 3e Benchmarking ................................................................. 443
8.4 Dinmica 4: Impactos das bibliotecas .............................................................. 469
8.4.1 A preparao ................................................................................................ 469
8.4.2 O desenvolvimento e a apresentao de resultados ..................................... 472
8.5 Duas dcadas de prticas avaliativas: aspetos salientes da avaliao do desempenho na RBML ........................................................................................ 478
8.5.1 Objetos e mtodos ........................................................................................ 479
8.5.2 Organizao ................................................................................................. 483
8.5.3 Disseminao dos resultados da avaliao .................................................. 487
CAPTULO 9 IMPACTOS DA AVALIAO DO DESEMPEHO A REDE
DE BIBLIOTECAS MUICIPAIS DE LISBOA .................................................. 497 9.1 Quando as ideias modelam a realidade ........................................................... 499
9.2 Impactos da avaliao do desempenho da RBML .......................................... 506
9.2.1 Utilizaes e impactos da informao sobre o desempenho ........................ 507
9.2.2 Alteraes na cultura organizacional ........................................................... 512
9.2.2.1 Alteraes nas competncias de avaliao do desempenho dos colaboradores ....................................................................................................... 519
9.3 Modelo explicativo das relaes entre modelos, dinmicas e impactosADB .. 521
CAPTULO 10 COCLUIDO ........................................................................ 523
10.1 Concluses e principais contributos ............................................................... 523
10.2 Limitaes da investigao ............................................................................. 540
10.3 Linhas de investigao futuras ....................................................................... 542
FOTES DOCUMETAIS .................................................................... 545 BIBLIOGRAFIA ..................................................................................... 561 AEXOS ................................................................................................... 627
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
17
LISTA DAS SIGLAS UTILIZADAS O TEXTO
ADB Avaliao do
Desempenho de
Bibliotecas
AML Arquivo Municipal de Lisboa
APDIS Associao Portuguesa de Documentao e Informao na Sade
ARL Association of Research Libraries
BAD Associao Portuguesa de Bibliotecrios, Arquivistas e Documentalistas
BD Biblioteca Digital
BE Biblioteca Escolar
BLX Bibliotecas Municipais de Lisboa
BM Biblioteca Municipal
BMC Biblioteca Municipal Central da CML
BN Biblioteca Nacional [de Portugal]
CML Cmara Municipal de Lisboa
DBD Diviso de Bibliotecas e Documentao da CML
DBA Departamento de Bibliotecas e Arquivos da CML
DGB Diviso de Gesto de Bibliotecas da CML
DO Desenvolvimento Organizacional
DMC Direco Municipal de Cultura da CML
IC Informante-chave
I-D Informao-documentao
IFLA International Federation of Library Associations and Institutions
INCITE Associao Portuguesa para a Gesto da Informao
IPLB Instituto Portugus do Livro e das Bibliotecas
IPLL Instituto Portugus do Livro e da Leitura
ISO International Organisation for Standardisation
Oe Objetivo especfico de investigao
OPAC Online Public Access Catalogue [Catlogo Pblico em Linha]
PAD-BLX Programa de Avaliao do Desempenho da Rede de Bibliotecas Municipais de Lisboa
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
18
PNL Plano Nacional de Leitura
PORBASE Base Nacional de Dados Bibliogrficos
Qi Questo de investigao
RBE Rede de Bibliotecas Escolares
RBML Rede de Bibliotecas Municipais de Lisboa
RCRC Rede de Centros de Recursos em Conhecimento
RNBP Rede Nacional de Bibliotecas Pblicas
RNLP Rede Nacional de Leitura Pblica
SATT Servio de Aquisies e Tratamento Tcnico da CML
SCONUL Society of College, National and University Libraries
SIADAP Sistema Integrado de Avaliao do Desempenho na Administrao Pblica
TIC Tecnologias de Informao e Comunicao
UNESCO United Nations Educational Scientific and Cultural Organization
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
19
RESUME Dimensiones y estrategias emergentes en la evaluacin del desempeo: modelos,
dinmica e impacto en la Red de Bibliotecas Municipales de Lisboa (1989-2009)
La evaluacin del desempeo1 de las bibliotecas ha centrado la atencin de investigadores
y profesionales a lo largo de los ltimos cincuenta aos (Shi y Levy, 2005; Pacios, 2011). La
abundante literatura cientfica sobre el tema se caracteriza por la diversidad de enfoques, que
reflejan, a su vez, la evolucin del concepto y de la prctica de la evaluacin (Pool y Payne,
2006; Markless y Streatfield, 2006). La irrupcin del concepto de calidad en la dcada de los 90
del siglo pasado, acompaada de la paulatina implantacin de la llamada gestin de la calidad,
influy en la idea tradicional de evaluacin -que expresa la relacin entre recursos consumidos y
resultados obtenidos-, y favoreci la evolucin del concepto y la prctica hacia nuevos modelos
que incidan en el protagonismo de los usuarios. Al mismo tiempo, el impacto empez a
considerarse como elemento clave de los procesos de evaluacin.
Sin embargo, es necesario sealar que si analizamos la evolucin de las principales
tendencias en la investigacin y la prctica de la evaluacin del desempeo de las bibliotecas,
los trabajos centrados en el impacto se perciben como una lnea emergente que todavia hoy no
ha llegado a consolidarse.
Por otra parte, el anlisis de las principales tendencias en el mbito internacional revela
un frente de investigacin en el que la evaluacin del desempeo es, en s misma, el objeto de
estudio. Se trata, pues, de trabajos que se enmarcan dentro del (sub-)campo de la meta-
evaluacin, concepto que constituye uno de los elementos fundamentales del marco terico de
esta investigacin, as como de su desarrollo. A este respecto, es preciso aclarar que en el marco
de esta investigacin el concepto de meta-evaluacin sigue el propuesto por Scriven (1991, p.
228) y el adoptado por el United 7ations Development Programme, que se refieren a la meta-
evaluacin como la evaluacin de una evaluacin o de un cluster interrelacionado de
evaluaciones.
1 La traduccin de desempenho por desempeo se adecua a la terminologa utilizada en la disciplina de Documentacin (7orma ISO 11620: 1998 (E) Information and Documentation Library Performance Indicators-), as como a la acepcin que se recoge en el Glosario de los principales trminos sobre evaluacin y gestin basada en resultados de la OCDE.
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
20
En la literatura cientfica relacionada con la evaluacin del desempeo de las bibliotecas
podemos distinguir tres grandes grupos. El primero est formado por estudios de revisin
histrica y crtica que se ocupan de la evolucin de las prcticas de evaluacin del desempeo
(Goodall, 1988; Cullen, 1999; Neuhaus, 2005; Brophy, 2005; y Aab, 2009; entre otros).
El segundo grupo lo forman trabajos que se centran en el anlisis y la aplicacin de los
diversos modelos de evaluacin, con el fin de identificar los ms idneos para evaluar el
desempeo (Du Mont,1981; Cullen, 1998, 1999; White, 2002; Calvert, 2008; y Matthews, 2010,
entre otros).
Por ltimo, se identifica un tercer grupo constituido por estudios dedicados
especficamente al impacto de la evaluacin del desempeo, que, en relacin con el corpus
bibliogrfico general, ocupan una posicin residual (Cullen, 1999; Lakos, 1998, 2001, 2007;
White, 2002; Hiller, 2002; Beck, 2003a; Hiller, Kyrillidou y Self, 2006a, 2008; y Broady-
Preston, 2011, entre otros). En estos trabajos se aborda tanto la evaluacin del desempeo desde
un punto de vista general como especfico, pudiendo ser el objeto de evaluacin un tipo
concreto de biblioteca o un determinado servicio. Markless y Streatfield (2006) advierten sobre
la importancia de este tipo de estudios en los procesos de evaluacin basados en evidencias. En
esta lnea caben mencionar algunos trabajos pioneros, como los de Powell (1992), Ocha (1993)
y Lindauer (1998).
En lo que respecta a Portugal, destacan las contribuciones centradas en la construccin,
anlisis y aplicacin de modelos, tales como el Modelo de Sistema de Gesto de Informao
sobre o desempenho da Rede 7acional de Leitura Pblica (Pinto, 1994), el Modelo de
Avaliao do Desempenho da Rede de Centros de Recursos em Conhecimento (Observatrio da
Qualidade em Servios de Informao e Conhecimento, 2002b), el Modelo da Qualidade de
Servio da Rede de Bibliotecas Municipais de Lisboa (Neves, Vinagre, Pinto e Runkel, 2005),
la Estrutura de Avaliao de Impactos E7TITLE (Pinto, 2009, 2009a), el Modelo Integrado de
Avaliao do Desempenho desarrollado para esta Red (Pinto, Silva e Figueiredo, 2007) y el
Modelo SIADAP+B (Ocha e Pinto, 2007), entre otros.
Nos encontramos tambin con algunos estudios dedicados al impacto de la evaluacin del
desempeo (Ocha, coord., 1998; Ocha y Pinto, 2000a, 2000b; Pinto, 2006; Pinto y Ocha,
2006; Segurado, 2009), pero, al igual que ocurre en el caso de los trabajos de mbito
internacional, no son muy representativos dentro del conjunto de investigaciones sobre
evaluacin del desempeo.
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
21
META-AVALIAO
MODELOS DIMICAS IMPACTOS
AVALIAO
DO DESEMPENHO
BIBLIOTECAS
e outros SERVIOS DE INFORMAO
PO
RT
UG
AL
Abo
rdag
em
dia
crn
ica
La estructura de la Tesis Doctoral consta de tres partes. La primera est compuesta por
un captulo introductorio -dedicado al tema de la investigacin y a su justificacin- y por el
captulo 2, que se ocupa del objeto, la metodologa y las fuentes de la investigacin. La segunda
parte presenta el estado de la cuestin sobre la evaluacin del desempeo en las bibliotecas,
desde la perspectiva de la meta-evaluacin, y comprende los captulos 3, 4 y 5. La tercera parte
se corresponde con el estudio de caso realizado, e incluye los captulos 6, 7, 8 y 9. El captulo
10 recoge las conclusiones de la investigacin.
El marco terico de esta investigacin puede sintetizarse a travs de la siguiente figura,
que representa los conceptos implicados en su desarrollo:
El objeto de la investigacin se centra en los propios modelos y dinmicas de la
evaluacin del desempeo, con el fin de determinar su impacto en la Red de Bibliotecas
Municipales de Lisboa (RBML), en el periodo comprendido entre 1989 y 2009. Se investiga,
pues, un periodo de veinte aos, que se inicia en 1989, ao en el que se lleva a cabo una
remodelacin de la Red atendiendo al concepto de biblioteca pblica impulsado por la
UNESCO.
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
22
Los objetivos especficos son:
1) Identificar y categorizar los principales modelos y enfoques de evaluacin del
desempeo en las bibliotecas.
2) Determinar el estado de la cuestin de la investigacin referida a los impactos de la
evaluacin del desempeo de las bibliotecas.
3) Identificar y categorizar los principales modelos y enfoques de evaluacin del
desempeo de las bibliotecas en Portugal.
4) Caracterizar el contexto organizativo, macro y micro, de la RBML, atendiendo
fundamentalmente a los modelos y prcticas de evaluacin del desempeo.
5) Identificar y categorizar las dinmicas de evaluacin del desempeo desarrolladas en
la RBML, entre 1989 y 2009.
6) Analizar los impactos de la evaluacin del desempeo en la RBML.
Los objetivos definidos enmarcan esta Tesis Doctoral dentro de la lnea de investigacin
que se designa como Investigacin en evaluacin. Asimismo, al elegir los propios modelos y
dinmicas de evaluacin del desempeo de bibliotecas como objetos de investigacin, la Tesis
se sita en el (sub-)campo de la meta-evaluacin.
En la metodologa empleada para la consecucin de los objetivos enunciados convergen
tres mtodos: revisin de la literatura, hermenutica y estudio de caso.
La revisin bibliogrfica es el mtodo empleado para dar alcance a los objetivos 1, 2 y 3,
as como para configurar el marco terico de la investigacin.
Los pasos que rigen el mtodo hermenutico permiten la elaboracin de un modelo
conceptual que recoge las principales categoras y caractersticas de los diversos modelos de
evaluacin del desempeo de las bibliotecas. As, a partir de la reflexin e interpretacin de la
literatura especializada que incide en meta-modelos de evaluacin del desempeo, se desarroll
una matriz (la referida en la Tesis como Matriz CTADB -Categorizao das Tipologias de Avaliao do Desempenho de Bibliotecas-). La matriz nos permiti categorizar las tipologas de
evaluacin del desempeo de las bibliotecas y, por consiguiente, dar alcance a los objetivos 1, 3
y 6.
Para analizar los modelos, prcticas, dinmicas e impactos de la evaluacin del
desempeo de la RBML (objetivos 4, 5 y 6) se realiz un estudio de caso. Para el desarrollo del
estudio de caso se construy un modelo exploratorio de anlisis de dinmicas e impactos (el
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
23
referido en la Tesis como Modelo de anlise DIADB -Dinmicas e Impactos da Avaliao do Desempenho de Bibliotecas-).
Los resultados de la aplicacin de la Matriz CTADB evidencian, por una parte, las
principales tendencias, modelos y experiencias de evaluacin de bibliotecas, tanto en el mbito
internacional como en Portugal. Por otra parte, los resultados de la aplicacin de esta matriz
para analizar la evolucin de la teoria y las prcticas de la evaluacin del desempeo permiten
relacionar los principales modelos/enfoques identificados con la perspectiva dominante en cada
caso: perspectiva interna, externa y holstica.
Los resultados relativos a la evolucin de la RBML a lo largo de 126 aos se refieren a su
modelo organizativo, as como a las prcticas, dinmicas e impactos de la evaluacin del
desempeo en la Red.
En lo que se refiere a su organizacin se presenta un retrato de la evolucin de la Red en
el que se distinguen tres periodos. El primero coincide con la aparicin de las primeras
bibliotecas municipales y se extiende hasta la primera dcada del siglo pasado. El segundo es
una fase de consolidacin que se inicia con la llegada del rgimen republicano. El tercero, que
comienza en los aos 80 del siglo pasado, se caracteriza por la transformacin de la Red a partir
de la creacin de bibliotecas pblicas modernas, la incorporacin de las TICs y la formalizacin
de relaciones estables con la Red de Bibliotecas Escolares.
Asimismo, el estudio diacrnico de la Red resulta en una categorizacin de su modelo de
organizacin atendiendo al patrn de biblioteca predominante en cada fase de su historia, as
como a los servicios prestados y al tipo de usuario final.
Los resultados del anlisis de las prcticas implementadas nos permiten identificar cuatro
dinmicas en la evaluacin del desempeo: Estadstica (Dinmica 1 - D1); Recogida y
disponibilidade de informacin sobre el desempeo (Dinmica 2 - D2); Programa de
Evaluacin del Desempeo de la RBML (Dinmica 3 - D3) e Impactos en las bibliotecas
(Dinmica 4-D4). En el Programa de Evaluacin del Desempeo de la RBML (Dinmica 3 -
D3) se identifican, a su vez, cinco sub-dinmicas: Medidas e indicadores de desempeo BLX
(D3a), Evaluacin de la calidad de los servicios (D3b), Iniciativa para la Mejora Continua
SATT (D3c), Iniciativa Gestin del Conocimiento (D3d) y Benchmarking (D3e).
Los resultados de la aplicacin del Modelo DIADB presentan las caractersticas de las
dinmicas identificadas, clasificndolas segn el objeto y los mtodos empleados, la
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
24
organizacin del proceso y la forma adoptada para difundir los resultados (estadsticas, informes
y comunicaciones y presentaciones en eventos cientficos del mbito de la Documentacin).
Por ltimo, se presentan los resultados referidos a los impactos de la evaluacin del
desempeo en la RBML. Estos resultados se completan con los relativos a la relacin entre
patrn de biblioteca y modelos y dinmicas de evaluacin , as como con los que se refieren a la
fase de evaluacin de los impactos.
Y, a este respecto, al adoptar un enfoque de meta-evaluacin, uno de los resultados ms
significativos de la investigacin tiene que ver con los propios conceptos, como es el caso del
referido al impacto, que resulta en un concepto ms amplio al relacionarlo con, por ejemplo, el
concepto de modelo: cualquier tipo de efecto o alteracin causado por un modelo, iniciativa u
organizacin, de forma directa o indirecta, en un individuo, un grupo o una comunidad.
Palabras clave: Meta-evaluacin; Evaluacin del desempeo; Impactos de la evaluacin del
desempeo; Modelos de evaluacin del desempeo; Dinmicas de evaluacin del desempeo;
Bibliotecas; Red de Bibliotecas Municipales de Lisboa; Portugal
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
25
RESUMO
Dimenses estratgicas e emergentes da avaliao do desempenho: modelos,
dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
Tendo como enquadramento terico macro a rea da Investigao em avaliao e,
especificamente da meta-avaliao, a presente dissertao incide sobre os impactos dos modelos
e dinmicas de avaliao do desempenho de bibliotecas.
Com base numa metodologia eminentemente qualitativa apoiada na combinao de
mtodos de pesquisa (reviso da literatura, construo e aplicao de modelos conceptuais de
anlise e estudo de caso), a investigao meta-avaliativa desenvolveu-se segundo duas
abordagens principais: a identificao, caracterizao e categorizao dos principais modelos e
abordagens de avaliao do desempenho de bibliotecas que emergiram da anlise do corpus
internacional, bem como daquele que incide especificamente sobre o contexto das bibliotecas
em Portugal; e o estudo dos impactos dos modelos e dinmicas de avaliao do desempenho na
Rede de Bibliotecas Municipais de Lisboa (RBML), no perodo de 1989 a 2009.
Ao nvel da primeira abordagem, destacam-se a proposta e aplicao de uma matriz para
a Categorizao das Tipologias da Avaliao do Desempenho de Bibliotecas (Matriz CTADB), a
identificao dos principais tipos de abordagens meta-avaliativas e de reas de pesquisa sobre os
impactos da avaliao do desempenho de bibliotecas e a criao de um meta-modelo do
processo avaliativo do desempenho. O estudo do caso da RBML desenvolveu-se em funo de
trs eixos fundamentais: o contexto, macro e micro, desta rede; as dinmicas de avaliao do
desempenho desenvolvidas entre 1989 e 2009: e os impactos da avaliao do desempenho na
RBML. Desta segunda abordagem resultaram a identificao dos construtos dominantes de
biblioteca/rede, o reconhecimento das principais prticas avaliativas desenvolvidas na RBML, a
criao de um meta-modelo para anlise das dinmicas e impactos da avaliao do desempenho
de bibliotecas (Modelo DIADB) e a sua aplicao s evidncias resultantes do estudo do caso, a
sinalizao das relaes entre os construtos, modelos e dinmicas identificados e ainda a
identificao e discusso dos impactos da avaliao do desempenho na RBML no perodo
estudado.
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
26
Palavras-chave: Meta-avaliao; Avaliao do desempenho; Bibliotecas; Impactos; Modelos;
Dinmicas de avaliao do desempenho; Rede de Bibliotecas Municipais de Lisboa; Portugal.
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
27
ABSTRACT
Strategic and emerging dimensions of performance evaluation: models,
dynamics and impacts on Lisbon Municipal Librariesetwork Lisbon (1989-2009)
Having Evaluation research and specifically meta-evaluation as a theoretical framework,
this dissertation focused on the impact of library performance evaluation models and dynamics.
Based on a methodology eminently qualitative supported by a combination of research
methods (literature review, construction and application of conceptual models for analysis and
case study), meta-evaluation research has developed along two principal approaches: the
identification, characterization and categorization of main library performance evaluation
models and approaches that emerged from the analysis of the international corpus, as well as
from the specific context of libraries in Portugal; and the study of impacts of performance
evaluation models and dynamics on Lisbon Municipal Library (LMLN) in the period from 1989
to 2009.
In what concerns the first approach, emphasis is given to the proposal and
implementation of a matrix for Categorizing Library Performance Evaluation Typologies (the
CLPET Matrix), the identification of main types of meta-evaluative approaches and research
areas on library impact assessment and the creation of a meta-model of the performance
evaluation process. The case study of LMNL was developed around three main axes: library
network context, at macro and micro level; LMNLs performance evaluation dynamics progress
made between 1989 and 2009; and performance evaluation impacts on this network. The second
approach resulted in the identification of dominant library / network constructs, the recognition
of main evaluation practices developed in LMNL, the creation of a meta-model for analyzing
dynamics and impacts of library performance evaluation(DILPE Model) and its application to
evidences from the case study, pinpointing the relationship between constructs, models and
dynamics and the identification and discussion of performance evaluation impact on LMNL
during the period that was set.
Keywords: Meta-evaluation; Performance evaluation; Libraries; Impacts; Models;
Performance evaluation dynamics; Lisbon Municipal Libraries Network; Portugal.
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
28
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
29
DICE DE QUADROS Quadro 1 Instrumentos e dimenses de meta-avaliao .............................................. 64
Quadro 2 - Matriz de Medio de Nicholson ............................................................... 121
Quadro 3- Matriz de inter-relacionamento das tipologias de avaliao do desempenho de bibliotecas de Calvert ........................................................................................ 122
Quadro 4 Matriz CTADB (Categorizao das Tipologias de Avaliao do Desempenho de Bibliotecas) ......................................................................................................... 123
Quadro 5 - Indicadores de desempenho de bibliotecas ................................................. 135
Quadro 6 - Medidas de desempenho para as Estatsticas Globais de Bibliotecas (2008) ................................................................................................................................ 141
Quadro 7 - Perspetiva interna sobre a avaliao do desempenho de bibliotecas: principais (sub-)tpicos .......................................................................................... 151
Quadro 8 - Perspetiva externa sobre a avaliao do desempenho de bibliotecas: principais (sub-)tpicos .......................................................................................... 171
Quadro 9 - Perspetiva holstica sobre a avaliao do desempenho de bibliotecas: principais (sub-)tpicos .......................................................................................... 188
Quadro 10- Marcos da literatura sobre avaliao do desempenho de bibliotecas ........ 191
Quadro 11 Evoluo dos Produtos de InformaoADB em Portugal .......................... 234
Quadro 12 Principais (sub-)tpicos do corpusADB analisado (1965-2010) ................ 235
Quadro 13 - Categorizao segundo a Matriz CTADB dos (sub-)tpicosADB verificveis em Portugal ............................................................................................................ 278
Quadro 14 - Categorizao segundo a Matriz CTADB dos principais ModelosADB desenvolvidos em Portugal .................................................................................... 280
Quadro 15 - Caracterizao genrica dos Informantes-chave ...................................... 287
Quadro 16 - Ferramentas de apoio anlise das dinmicas e impactos da avaliao do desempenho de bibliotecas ..................................................................................... 292
Quadro 17 - Mecanismos de suporte a uma cultura de avaliao em bibliotecas ........ 295
Quadro 18 - Marcos do desenvolvimento da Rede de Bibliotecas Municipais de Lisboa: 1989-2009 .............................................................................................................. 361
Quadro 19- Caracterizao da Fase de preparao da Estatstica ................................ 371
Quadro 20 - Perfil genrico dos intervenientes na Estatstica ...................................... 374
Quadro 21 - Perfil genrico dos responsveis pela coordenao da Estatstica ........... 375
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
30
Quadro 22 Caracterizao da Fase de preparao da Recolha e disponibilizao de informao sobre o desempenho ............................................................................ 380
Quadro 23 Dinmica 2: medidas de desempenho ...................................................... 382
Quadro 24- Perfil da equipa da Dinmica 2 ................................................................. 383
Quadro 25 - Perfil da coordenao da Dinmica 2 ....................................................... 384
Quadro 26 Caracterizao da Fase de preparao do PAD-BLX .............................. 391
Quadro 27 - Dinmica 3a - principais objetos de medio (2009) ............................... 398
Quadro 28 - Dinmica 3a - painel de indicadores de desempenho BLX (2009) .......... 400
Quadro 29 - Evoluo do perfil da Equipa da Dinmica 3a ......................................... 401
Quadro 30 - Evoluo do perfil da coordenao da Equipa da Dinmica 3a ............... 403
Quadro 31 Relatrios produzidos no mbito da Dinnica 3a .................................... 405
Quadro 32 Dinmica 3b: variveis contempladas nos questionrios aplicados na primeira fase do estudo .......................................................................................... 412
Quadro 33 - Perfil da Equipa de Projecto Avaliao da qualidade de servio e satisfao dos utilizadores da RBML (Fase 1) ....................................................... 414
Quadro 34 - Dinmica 3b: variveis contempladas nos questionrios Crianas e Pais ...................................................................................................................... 419
Quadro 35 - Perfil da Equipa de Projecto Avaliao da qualidade de servio e satisfao dos utilizadores da RBML (Fase 2) ....................................................... 420
Quadro 36 Perfil da coordenao da Equipa de Projecto Avaliao da qualidade de servio e satisfao dos utilizadores da RBML (Fases 1 e 2) ................................ 421
Quadro 37- Dinmica 3c - principais objetos de medio ............................................ 427
Quadro 38 - Perfil da equipa da Iniciativa Melhoria Contnua SATT .......................... 430
Quadro 39 - Perfil dos responsveis pela coordenao da Iniciativa Melhoria Contnua SATT ...................................................................................................................... 431
Quadro 40 Dinmica 3d: ferramentas de captura do conhecimento sobre avaliao do desempenho ............................................................................................................ 436
Quadro 41 - Competncias de avaliao do desempenho na RBML............................ 439
Quadro 42 - Perfil do responsvel pela coordenao da Dinmica 3c ......................... 441
Quadro 43 - Painel de indicadores de desempenho Tibidabo: comparao com os indicadores BLX .................................................................................................... 447
Quadro 44 - Perfil das Equipas dos projetos desenvolvidos no mbito da Dinmica 3e ................................................................................................................................ 452
Quadro 45 - Perfil da coordenao das Equipas de projeto da Dinmica 3e ................ 453
Quadro 46 Anlise do contedo informativo do estudo sobre o desempenho da RBML entre 2005 e 2008 ................................................................................................... 456
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
31
Quadro 47 - Dinmica 3e - Projeto de Benchlearning em Gesto de Autoridades: itens do guio de visita/entrevista ................................................................................... 461
Quadro 48 - Perfil das Equipas dos projetos desenvolvidos no mbito da Dinmica 3e (Benchlearning) ...................................................................................................... 463
Quadro 49 - Perfil da coordenao das Equipas de Projeto da Dinmica 3e (Benchlearning) ...................................................................................................... 464
Quadro 50 Caracterizao da Fase de preparao da Dinmica 4 ............................. 471
Quadro 51 Exemplo de aplicao da metodologia EEIRA ........................................ 474
Quadro 52 - Perfil da Equipa de Projeto da Dinmica 4 .............................................. 475
Quadro 53 - Perfil da coordenao da Equipa de Projeto da Dinmica 4..................... 477
Quadro 54 - Mapeamento dos principais objetos de avaliao na RBML (1989-2009) ................................................................................................................................ 480
Quadro 55 Mtodos de avaliao utilizados na RBML (1989-2009) ........................ 482
Quadro 56 - Representatividade das funes desempenhadas pelos coordenadores nas dinmicas de avaliao do desempenho da RBML (1989-2009) ........................... 487
Quadro 57 - Mapeamento dos principais produtos de informao sobre o desempenho da RBML (1998-2009) ........................................................................................... 488
Quadro 58 - Representatividade do pblico-alvo nas dinmicas de avaliao do desempenho da RBML (1989-2009) ...................................................................... 490
Quadro 59 - Representatividade dos mtodos de disseminao usados nas dinmicas de avaliao do desempenho da RBML (1989-2009) ................................................. 490
Quadro 60 - Marcos das dinmicas de avaliao do desempenho da RBML (1989-2009) ................................................................................................................................ 494
Quadro 61 - Modelos utilizados no mbito das dinmicas de avaliao do desempenho da RBML (1989-2009) ........................................................................................... 500
Quadro 62 - Categorizao segundo a Matriz CTADB dos modelosADB usados na RBML ................................................................................................................................ 504
Quadro 63 - Construtos, modelos e dinmicas de avaliao do desempenho na RBML (1989-2009) ............................................................................................................ 505
Quadro 64 - O ponto de vista dos coordenadores BLX e facilitadores sobre a dinmicaADB em curso ............................................................................................ 511
Quadro 65 - Evidncias da cultura de avaliao na RBML (1989-2009) ..................... 513
Quadro 66 - Quociente Organizacional da cultura de avaliao discriminado (1989-2009) ...................................................................................................................... 516
Quadro 67 Principais barreiras culturais existentes na RBML .................................. 519
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
32
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
33
DICE DE FIGURAS
Figura 1 - Meta-avaliao do desempenho de bibliotecas: principais abordagens de investigao .............................................................................................................. 50
Figura 2 Delimitao do universo conceptual proposto para o estudo ........................ 54
Figura 3 - Tipologia de objetos de avaliao .................................................................. 65
Figura 4 - O conceito de impacto .................................................................................... 67
Figura 5 - Nveis e tipos de impacto ............................................................................... 69
Figura 6 - Proposta de modelo conceptual explicativo das relaes entre modelos, dinmicas e impactos da avaliao do desempenho de bibliotecas ......................... 84
Figura 7 - Plano da investigao ..................................................................................... 86
Figura 8 Modelo sistmico do desempenho de bibliotecas ....................................... 120
Figura 9 - Indicadores de desempenho-chave para as Estatsticas Globais de Bibliotecas ................................................................................................................................ 142
Figura 10 - Matriz de Cullen ......................................................................................... 184
Figura 11 - Novo modelo do processo de avaliao do desempenho de bibliotecas .... 229
Figura 12- Modelo de anlise DIADB (Dinmicas e Impactos da Avaliao do Desempenho de Bibliotecas) .................................................................................... 290
Figura 13 - A Rede de Bibliotecas Municipais de Lisboa em 1969 ............................. 316
Figura 14 - A Rede de Bibliotecas Municipais de Lisboa em 1989 ............................. 324
Figura 15 - A Rede de Bibliotecas Municipais de Lisboa em 2009 ............................. 332
Figura 16 - Exemplo de boletim estatstico referente ao desempenho da primeira Biblioteca Popular Municipal ................................................................................ 350
Figura 17 Principais construtos de biblioteca/Rede e prticas de avaliao do desempenho da RBML ........................................................................................... 359
Figura 18 - Modelo de senha para requisio de documentos para leitura de presena 372
Figura 19 - Mapa estatstico mensal da Biblioteca Municipal do Poo do Bispo (maro de 1990) .................................................................................................................. 377
Figura 20 - Modelo de Sistema Integrado de Avaliao do Desempenho (PAD-BLX) ................................................................................................................................ 389
Figura 21 Dados estatsticos sobre o desempenho da RBML disponveis no stio web do Projeto Tibidabo ................................................................................................ 450
Figura 22 - Metodologia para avaliao dos impactos das bibliotecas na aprendizagem ................................................................................................................................ 473
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
34
Figura 23- Eixos de anlise dos impactos dos modelos e dinmicas da avaliao do desempenho na RBML ........................................................................................... 498
Figura 24 - Raz conceptual dos ModelosADB utilizados na RBML (1989-2009) ........ 501
Figura 25 - Modelo explicativo das relaes entre modelos, dinmicas e impactos .... 521
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
35
DICE DE GRFICOS Grfico 1 - Evoluo das temticas da investigao e prticas de avaliao do
desempenho em bibliotecas em Portugal (1965-2010) .......................................... 238
Grfico 2 - A evoluo da estrutura da Rede de Bibliotecas Municipais de Lisboa .... 334
Grfico 3 - Evoluo da tipologia de objetos de avaliao na RBML (1989-2009) .... 481
Grfico 4 - Principais reas de competncia mobilizadas no quadro das dinmicas de avaliao do desempenho da RBML (1989-2009) ................................................. 484
Grfico 5 - Tipologia dos produtos de informao das dinmicas de avaliao do desempenho da RBML (1989-2009) ...................................................................... 489
Grfico 6 - Pblico-alvo dos produtos de informao gerados pelas dinmicas de avaliao do desempenho da RBML (1989-2009) ................................................. 491
Grfico 7 - Mtodos de disseminao dos produtos de informao gerados pelas dinmicas de avaliao do desempenho da RBML (1989-2009) ........................... 492
Grfico 8 - Evoluo do Quociente Organizacional da cultura de avaliao da RBML (1989-2009) ............................................................................................................ 517
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
36
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
37
A avaliao tem muitas faces. Significa muitas coisas, se apresenta de muitos modos e busca cumprir distintas finalidades. Tambm oculta muitos significados. 7o a podemos compreender simplesmente como instrumento ou mecanismo tcnico. Ela produz sentidos, consolida valores, afirma interesses, provoca mudanas, transforma.
J. D. Sobrinho Avaliao: tcnica e tica
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
38
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
39
PARTE I OBJETO E PLAO METODOLGICO DA IVESTIGAO
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
40
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
41
CAPTULO 1 - ITRODUO
At present, there is no lack of opinions and views related to outcomes and outcomes assessment. But, there is a lack of empirical research related to outcomes, outcomes assessment, and conceptual frameworks that would help practitioners to understand better the basis for, application of, and use of outcomes assessment.
J. C. Bertot e C. R. McClure - Outcomes assessment in the networked environmen
avaliao do desempenho de bibliotecas um dos temas que, ao longo de
mais de cinquenta anos, tem merecido a ateno dos investigadores e dos
profissionais que nelas trabalham, mas tambm dos organismos que, de
forma diversa, tutelam ou apenas coordenam este tipo de servios. Em 2005, Shi e Levy
(2005, p.266) reconheciam que Over the past decade, both academics and practitioners
in the field of library and information science (LIS) have increasingly recognized the
significance of assessing library services. Library assessment applications have been
encouraged at all scales, massive amounts of data have been collected and published,
and processes and results have been reported. Esta tendncia internacional surge
ilustrada, por exemplo, nos resultados da anlise efetuada por A. R. Pacios Lozano
(2011) dos temas que, entre 2005 e 2010, suscitaram maior interesse na gesto de
bibliotecas em Espanha, tanto em matria de investigao acadmica como de
aplicaes prticas: a avaliao, a par com a qualidade e o planeamento, continuava a
ser um tema recorrente2. Se a atualidade desta matria parece inquestionvel, a
2 Na anlise das tendncias em gesto de bibliotecas em Espanha durante esse perodo de cinco anos, esta investigadora identificou trs tipos de tendncias (temas): temas estrela (temas no top eBooks, redes sociais, Espao Europeu de Educao do Ensino Superior e crise econmica), temas emergentes
A
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
42
justificao da escolha da avaliao do desempenho de bibliotecas como tema genrico
para a presente dissertao de doutoramento exige ainda a compreenso da evoluo das
principais linhas de fora desta temtica. Por outro lado, a determinao em adicionar
ao estudo do tema da avaliao do desempenho de bibliotecas um foco de investigao
alicerado no contexto portugus, torna imperativo o enquadramento da situao
verificada em Portugal nas principais tendncias da investigao e prticas neste
domnio.
Num captulo de natureza introdutria pareceu-nos que seria tambm adequado
clarificar os conceitos implicados no desenvolvimento da investigao e, por esse
motivo, ao enquadramento e justificao do tema proposto para esta dissertao, segue-
se uma seco dedicada aos conceitos-chave.
1.1 Da tradio s novas fronteiras na avaliao do desempenho de bibliotecas
A abundante literatura internacional sobre a avaliao do desempenho de
bibliotecas caracteriza-se por uma diversidade de abordagens, que vo da pura teoria
prtica mais detalhada, e que, naturalmente, refletem as mudanas ocorridas no
ambiente envolvente. A abordagem tradicional restringe o desempenho contagem
anual dos recursos consumidos (inputs - pessoal, colees, instalaes, etc.) e dos
resultados ou efeitos imediatos sobre os utilizadores (outputs emprstimos, visitas,
sesses em bases de dados, etc.). Estes nveis de medio tm a sua expresso mais
frequente nas estatsticas sobre bibliotecas que so produzidas a nvel nacional ou
regional. Fortemente impulsionada pela importncia adquirida pelo conceito de
Qualidade no setor dos servios, na dcada de 90 do sculo passado, a questo da
avaliao do desempenho no s se tornou objeto de renovado interesse, como viu
ampliado o seu contexto funcional atravs do enquadramento na teoria e prticas
genericamente designadas por Gesto da Qualidade. Desenvolveram-se modelos,
mtodos, medidas e indicadores de desempenho para avaliar a qualidade dos servios
(responsabilidade social das bibliotecas, elaborao do Cdigo de tica) e temas recorrentes (avaliao, qualidade e planeamento).
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
43
prestados pelas bibliotecas, enfatizando-se o protagonismo do cliente/utilizador na
conceo e operacionalizao de sistemas de gesto. Porm, comeou a ter-se tambm a
noo de que a qualidade do desempenho, tal como a quantidade da utilizao, no eram
verdadeiramente demonstrativas do benefcio que o utilizador obtinha pelo contacto
com o servio de informao.
R. Pool e P. Payne (2006, p.3) sintetizaram as principais linhas de fora da
evoluo da investigao e prticas de avaliao do desempenho em bibliotecas do
seguinte modo: Libraries have always been able to calculate the inputs into services
(funding, staff, collections, space, equipment) and have become increasingly
sophisticated in measuring the outputs of those services (e.g. loans, visits, downloads,
reference transactions). Measures have also been developed to assess the quality of
library services and the cost-efficiency of the librarys performance. But quantity of use
and quality of performance do not yet prove that users benefited from their interaction
with a library. Measuring impact or outcome means going a step further and trying to
assess the effect of services on users. Importa, assim, ampliar o espectro da avaliao
do desempenho e contemplar os impactos que os produtos e/ou servios
disponibilizados pelas bibliotecas tm sobre os indivduos, grupos ou comunidade
servidos (Markless e Streatfield, 2006, p.XIV).
A avaliao dos impactos corresponde efetivamente a uma das novas linhas de
investigao no mbito da avaliao do desempenho de bibliotecas que, a partir da
dcada de 90, comeou a ser explorada por alguns estudiosos e profissionais da rea da
Informao-documentao (I-D)3, com destaque para os trabalhos pioneiros de R. R.
Powell (1992), P. Ocha (1993) e Lindauer (1998). Note-se que, apesar da publicao
em 1998 de uma norma internacional sobre Indicadores de desempenho de bibliotecas -
a ISO 11620 - constituir um marco inequvoco na rea da avaliao do desempenho de
bibliotecas, nesta norma no estavam ... includos indicadores para a avaliao do
3 O Referencial europeu de informao e documentao (European Council of Information Associations, 2001, p.125) define a profisso de Informao-documentao como a Profisso cuja a misso encontrar informao de uso profissional (depois de ter sabido pesquis-la), trat-la para aumentar as suas qualidades de utilizao, geri-la, torn-la facilmente acessvel e transmiti-la aos que dela necessitem, utilizadores ou clientes. o que fazem os bibliotecrios, os documentalistas, os arquivistas, os conservadores e outros.
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
44
impacte das bibliotecas, tanto nos indivduos, como na sociedade (NP ISO 11620, p.5).
Dez anos mais tarde, esta situao no havia ainda sofrido alteraes significativas, pois
como refere a 2 edio desta norma There are some library activities and services for
which, during the development of this International Standard, there was a general lack
of tested and well-documented performance indicators. These include outcome and
impact measures for libraries. E acrescenta: This International Standard does not
include performance indicators for the evaluation of the outcomes of library services
either on individuals, the communities that libraries serve, or on society at this time.
This is an evolving area of performance measurement for libraries (ISO 11620:2008,
p.V). O recente relatrio tcnico normativo sobre indicadores de desempenho para
bibliotecas nacionais (ISO/TR 28118:2009) faz idntica ressalva: This Technical
Report does not include performance indicators for evaluating the outcomes or impact
of library services either on individuals, on the communities that libraries serve, or on
society at this time. Since this is an evolving area of performance measurement for
libraries, such performance indicators can be added at a later time (p.1). Numa
comunicao em que perspetivava a situao das bibliotecas em 2026, J. Broady-
Preston (2011) considerava a necessidade de demonstrar o valor e o impacto dos
servios prestados por estas organizaes como uma das respostas mudana e uma das
tendncias futuras4.
Em Portugal, o interesse dos profissionais de I-D pela medio e avaliao do
desempenho de bibliotecas s comearia a despontar na dcada de 70 do sculo passado
e, ainda assim, de modo errtico e centrado apenas nalguns aspetos do tpico
habitualmente designado por Estudos de utilizador (Pereira, 1973; Paulo e Vasconcelos,
1974; Mendes e Cepeda, 1974; entre outros). Ao retrocesso verificado globalmente na
investigao e prticas nesta rea nos anos 80, seguir-se-ia um perodo de crescimento
em que, a par com o interesse pelo utilizador e pela utilizao da informao nos seus
diversos contextos (Barata, Rafael e Ocha, 1992; Cardoso e Rodrigues, 1994;
Amndio, 2007; Costa e Lopes, 2010; entre outros), despontariam duas novas
4 As outras respostas/tendncias futuras apontadas por esta investigadora so: a computao em nuvem (riscos e desafios), a literacia digital e digitalizao e os clientes como co-criadores de servios e contedos (Broady-Preston, 2011).
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
45
tendncias avaliativas uma, centrada na valorizao da informao sobre o
desempenho e a outra, impulsionada pela Gesto da Qualidade.
A perceo de que a existncia de estatsticas (frequentemente irregulares,
centradas nos recursos despendidos e utilizados e descontextualizadas) era insuficiente
para avaliar o desempenho das bibliotecas ou to s para apoiar a gesto destes
equipamentos, levaria elaborao, em 1992, do primeiro estudo realizado no nosso
Pas sobre a temtica da avaliao do desempenho de bibliotecas A medio da
performance de bibliotecas pblicas portuguesa (Pinto, 1992). Na sequncia deste
estudo, a Direco de Servios de Leitura Pblica do Instituto da Biblioteca Nacional e
do Livro, iniciaria em 1993 o processo de implementao de um Sistema de Gesto de
Informao sobre o desempenho da Rede Nacional de Leitura Pblica (Pinto, 1994;
1998, 1998a). A valorizao da informao sobre o desempenho de biblioteca surge
refletida em diversas iniciativas, designadamente no desenvolvimento de um sistema de
recolha de dados e disponibilizao de informao sobre o desempenho da Rede de
Bibliotecas Municipais de Lisboa, entre 1991 e 2003 (Rodrigues e Pinto, 1994); na
definio e implementao de medidas e indicadores de desempenho no quadro do
Programa de Avaliao do Desempenho daquela Rede, a partir de 2003 (Pinto, 2006); e
na criao do Modelo de Avaliao do Desempenho da Rede de Centros de Recursos
em Conhecimento, o qual, tendo sido concebido em 2001, constitui o primeiro modelo
de avaliao do desempenho desenvolvido em Portugal para o Sector da Informao e
Documentao (Ocha e Pinto, 2004a).
Se excetuarmos a experincia pioneira, inovadora e diversificada na rea da
Gesto da Qualidade (Total) do Centro de Documentao da Secretaria-Geral do
Ministrio da Educao, iniciada em 1996 com a implementao de um Programa da
Qualidade (Ocha e Pinto, 2006), e os contributos de algumas investigadoras para a
divulgao desta temtica junto dos profissionais I-D portugueses (Pinto, 1997, 1998c,
1999; Ocha e Pinto, 2000; etc.), s a partir do incio do novo milnio que, fortemente
impulsionada pela Reforma da Administrao Pblica portuguesa, a Qualidade se
assumiria como uma das principais tendncias na avaliao do desempenho das
bibliotecas no nosso Pas. No caminho percorrido por estes servios de informao em
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
46
direo Qualidade, merecem destaque as seguintes experincias nacionais: a criao
do OQSIC Observatrio da Qualidade em servios de Informao e Conhecimento,
em 2001 (Ocha e Pinto, 2004a); o projeto de investigao sobre a Qualidade de servio
e satisfao dos utilizadores das Bibliotecas Municipais de Lisboa (2004-2006), baseado
na aplicao e adaptao (pioneira no nosso Pas) do Modelo de Discrepncias a este
tipo de organizao (Neves, Vinagre, Pinto e Runkel, 2005); a aplicao da CAF -
Estrutura Comum de Avaliao na Biblioteca Pblica e Arquivo Regional de Ponta
Delgada em 2006 (Freitas et al., 2007); a certificao segundo a NP EN ISO 9001:2000
da primeira biblioteca portuguesa - a Biblioteca Municipal de Santa Maria da Feira, em
20065; e a criao pelo Gabinete Rede das Bibliotecas Escolares de um modelo de auto-
avaliao especfico para estas bibliotecas o MABE - em 2008 (Portugal. Ministrio
da Educao. Gabinete da Rede Bibliotecas Escolares, 2008).
Em Portugal, a primeira dcada do sculo XXI seria tambm marcada pela
valorizao da perspetiva holstica sobre o desempenho das bibliotecas e pelo
consequente desenvolvimento de modelos integrados de avaliao. Esta tendncia,
pouco visvel a nvel internacional, resultaria na criao, no ltimo semestre de 2003, do
primeiro modelo integrado especfico para a avaliao do desempenho de servios de
informao no nosso Pas o Modelo de Sistema Integrado de Avaliao do
Desempenho da Rede de Bibliotecas Municipais de Lisboa (Pinto, Silva e Figueiredo,
2007), ao qual se seguiram outros um modelo integrado adequado avaliao das
bibliotecas da Administrao Pblica Portuguesa o SIADAP+B (Pinto e Ocha,
2006b), o Modelo misto CAF-BSC(-AHP) (Melo, 2005) e o Modelo Integrado de
Avaliao do Desempenho da b-on (Pinto, Ocha e Vinagre, 2007).
Quanto introduo do tema dos impactos no corpus nacional sobre avaliao do
desempenho de bibliotecas, podemos considerar que esta ter ocorrido em 1993 com a
apresentao de uma tese para a obteno do grau de Master of Science in Information
Management da Universidade de Sheffield intitulada Estudo do impacte dos projectos
5 Ainda que constitua uma abordagem (ainda) residual ao nvel das bibliotecas portuguesas, no podemos deixar de mencionar as certificaes segundo a ISO 9001:2008 recentemente obtidas pelas bibliotecas municipais da Maia (2008), Oeiras (2009) e Portimo (2010), enquadradas numa estratgia mais ampla definida para a globalidade dos respetivos municpios.
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
47
comunitrios para bibliotecas no Instituto da Biblioteca 7acional e do Livro (1989-
1993) (Ocha, 1993). At ao final da dcada de 90, h apenas a assinalar a realizao de
um estudo pioneiro sobre o impacto da Gesto da Qualidade nas bibliotecas da
Administrao Pblica portuguesa (Ocha, coord., 1998) e a publicao de uma
comunicao (Campos, 1994) e de um artigo (Usherwood, 1999), o que demostra o
pouco interesse que o estudo dos impactos das bibliotecas despertou junto dos
profissionais de I-D portugueses durante um perodo em que, noutros pases, esta era
uma tendncia em crescimento. De facto, s a partir dos ltimos anos da primeira
dcada do sculo XXI que o estudo dos impactos neste tipo de servios de informao
comearia a granjear maior ateno por parte dos profissionais e investigadores
portugueses. A atestar a valorizao desta temtica no nosso Pas est o aparecimento de
diversos trabalhos de mbito terico e prtico nas reas da avaliao do impacto
econmico (Oliveira e Coelho, 2007; Melo e Pires, 2009, 2009a, 2009b, entre outros) e
da avaliao do impacto direto em indivduos e grupos especficos, correspondendo esta
ltima rea de trabalho s iniciativas desenvolvidas pela Rede Municipal de Bibliotecas
de Lisboa a partir de 2007 no mbito do Programa ULISSES Programa de
Desenvolvimento de Competncias em Literacia da Informao para a Rede Municipal
de Bibliotecas de Lisboa (Alvim et al., 2008; Pinto, 2008, 2008a) e da participao da
direo desta Rede no projeto comunitrio ENTITLE (Fernandes et al., 2009; Ferreira et
al., 2009; Pinto, 2009, 2009a, 2010).
A anlise dos dois principais produtos de informao cientfica e tcnica na rea
da Cincia da Informao editados pela BAD Associao Portuguesa de
Bibliotecrios, Arquivistas e Documentalistas Portugueses, entre 1963 e 2010, confirma
as tendncias que identificmos no panorama nacional e permite ainda constatar que,
apesar de avaliao do desempenho ter vindo progressivamente a conquistar a ateno
dos profissionais e investigadores desta rea, esta temtica ainda pouco representativa
enquanto objeto de estudo: do total de 1.366 artigos e comunicaes que foram
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
48
examinados, apenas 82 (6%) podem ser referenciados como (sub-)tpicos do universo
conceptual da avaliao do desempenho de bibliotecas6.
O olhar panormico que lanmos sobre a evoluo da avaliao do desempenho
de bibliotecas, para alm de nos permitir uma leitura sobre as principais tendncias
internacionais e o seu inter-relacionamento com a situao portuguesa, chama ainda a
ateno para uma outra dimenso da investigao, uma dimenso em que a avaliao do
desempenho pode ser , ela prpria, objeto de apreciao a meta-avaliao.
Na reviso que faz sobre a literatura sobre avaliao de bibliotecas digitais, T.
Saracevic (2005, p.1) considera que esta pode ser dividida em dois grupos distintos: a
meta-literatura (ou about literature), que compreende os trabalhos que sugerem
conceitos, modelos, abordagens, metodologias de avaliao ou que discutem a questo
da avaliao, mas no contm dados; e a literatura de objetos (ou on literature), que
reporta avaliaes efetivas e contm dados, sejam estes dados propriamente ditos ou
impresses. Segundo este investigador, se os trabalhos dedicados s questes da
avaliao destes sistemas de informao so residuais no quadro da literatura sobre
bibliotecas digitais, a literatura de objetos ainda menos significativa do que a meta-
literatura (Saracevic, 2005, p.2). Ainda que no disponhamos de dados bibliomtricos
que permitam verificar se essa tendncia extensvel generalidade do corpus sobre
avaliao do desempenho de bibliotecas, a reviso da literatura que realizmos parece
indicar o contrrio, confirmando, como referem Cullen (1998, 1999) e White (2002),
que os estudos de meta-avaliao constituem ainda uma via pouco explorada.
Assim, a partir deste sub-conjunto que toma como objeto de estudo a prpria
avaliao do desempenho de bibliotecas, segundo um ponto de vista terico ou terico-
prtico, possvel identificarmos trs tipos principais de abordagens investigao em
meta-avaliao:
Reviso histrica e crtica: privilegiando uma perspetiva longitudinal, a
investigao centra-se na avaliao do desempenho em geral ou em objetos
6 A anlise ao contedo das atas dos Encontros e Congressos BAD e aos artigos publicados nos Cadernos
de Biblioteconomia, Arquivstica e Documentao apresentada e discutida no Cap. 5 deste trabalho.
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
49
especficos de avaliao (Goodall, 19887; Cullen, 1999; Neuhaus, 2005;
Brophy, 2005, Aab, 2009; entre muitos outros). Frequentemente, este gnero
de abordagem procura compreender e explicar a evoluo da aplicao de
prticas avaliativas.
Construo, anlise e/ou aplicao de modelos: esta linha de investigao
tem subjacente a reflexo sobre qual o melhor modelo para avaliar o
desempenho de bibliotecas. Se extrapolarmos as caractersticas que Buckland
(1999)8 atribua a uma boa teoria, podemos dizer que um modelo tanto
melhor quanto maior for a sua adequao nossa percepo do objecto. Os
modelos podem ser utilizados para analisar processos avaliativos especficos
numa biblioteca ou sistema de informao ou para examinar a evoluo da
avaliao do desempenho num contexto nacional ou internacional. Quando a
investigao adota uma perspetiva macro e procura identificar e categorizar os
modelos em determinadas classes ou tipos, poder-se- falar em construo /
anlise de meta-modelos de avaliao do desempenho de bibliotecas. Inserem-
se neste tipo de (meta-)abordagens os contributos de autores como Du Mont e
Du Mont (1981); Cullen (1998, 1999), White (2002), Calvert (2008) e
Matthews (2010), entre outros.
Impactos da avaliao do desempenho: sendo o estudo dos impactos uma
rea ainda emergente no domnio da avaliao do desempenho de bibliotecas,
como j vimos, a investigao sobre os impactos (sobretudo organizacionais)
da prpria avaliao do desempenho deste tipo de organizaes reflete esse
estado, ocupando uma posio bastante residual em relao ao corpus geral.
7 O estudo realizado por D. L. Goodall (1988) - Performance measurement: a historical perspective continua a ser uma referncia para o conhecimento desta temtica at ao ano de 1987, ainda que segundo uma perspectiva anglfona. Desde ento, esta linha de investigao no tem merecido a ateno dos profissionais e acadmicos do setor I-D, pelo que no dispomos de estudos deste tipo para o perodo que se estende de finais da dcada de 80 do sculo XX at primeira dcada do corrente sculo. Podemos, todavia, encontrar revises de enquadramento integradas em trabalhos sobre aspectos ou aplicaes especficas da avaliao do desempenho de bibliotecas (Poll e Payne, 2006, entre outros), algumas abordagens macro que sistematizam as principais tendncias (Powell, 2006, entre outros) e ainda bibliografias temticas (Pool, 2007).
8 Este autor considera que uma boa teoria aquela se ajusta bem perceo que temos do(s) objeto(s) que ela representa (Buckland, 1999, cap.5).
Leonor Gaspar Pinto Dimenses estratgicas e emergentes da avaliao do desempenho: modelos, dinmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)
50
Ainda assim, diversos investigadores tm vindo a estudar neste mbito as
questes da utilizao de dados estatsticos e/ou de informao resultante da
avaliao na gesto (com especial incidncia no processo de tomada de
deciso), dos impactos resultantes dessa utilizao e dos fatores
organizacionais que afetam a eficcia da avaliao do desempenho (com
destaque para a questo da cultura organizacional, da liderana e da
aprendizagem organizacional) (Cullen, 1999; Lakos, 1998, 2001, 2007; White,
2002; Hiller, 2002; Beck, 2003a; Hiller, Kyrillidou e Self, 2006a, 2008; entre
outros). Na adoo de uma abordagem centrada na avaliao dos impactos da
prpria avaliao do desempenho de bibliotecas , pois, importante contar com
os contributos tericos do Desenvolvimento Organizacional e, em particular,
do Comportamento Organizacional.
Conforme surge ilustrado na Figura 1, a literatura sobre meta-avaliao do
desempenho de bibliotecas revela que os diversos tipos de abordagens de investigao
frequentemente cruzam-se, sendo comum, por exemplo, a incluso de revises
histricas e criticas em estudos centrados na temtica dos modelos ou dos impactos.
Figura 1 - Meta-avaliao do desempenho de bibliotecas: principais abordagens de investigao
L. G. Pinto, 2012
ME
TA
-AV
AL
IA
O
DO
DE
SE
MP
E
HO
DE
B
IBL
IOT
EC
AS
Reviso histrica e crtica
Impactos Modelos
Bibliografias
Top Related