Avaliação no Ciclo da Gestão Pública Surge associada ao planejamento, após a Segunda Guerra...
Transcript of Avaliação no Ciclo da Gestão Pública Surge associada ao planejamento, após a Segunda Guerra...
Avaliação no Ciclo da Gestão Pública
Surge associada ao planejamento, após a
Segunda Guerra
Ganha relevância no âmbito das novas relações
do Estado com a sociedade, que têm como
tônica a busca de resultados e foco no cidadão
ETAPAS DA CONCEPÇÃO DA AVALIAÇÃO Primeira geração (fim do século XIX) Medição INTERESSE: Identificação do nível de êxito de certos objetivos específicos, mediante a medição quantitativa.
ETAPAS DA CONCEPÇÃO AVALIAÇÃO Segunda geração - Descrição/comparação - Décadas de 1920 a 1950)
INTERESSE: Identificação de conjuntos de aspectos otimizadores e limitadores em relação a certos objetivos estabelecidos; comparação de enfoques usando métodos experimentais, ou de fenômenos, em grupo e em situações de ocorrência natural.
ETAPAS DA CONCEPÇÃO DA AVALIAÇÃO Terceira geração (Década de 1950 a 1980)
INTERESSE: Comparação de resultados múltiplos com metas e normas estabelecidas a priori; avaliação normativa relacionada com dados de referência e indicadores.
ETAPAS DA CONCEPÇÃO DA AVALIAÇÃO Quarta geração - (Década de 1980 até hoje)
INTERESSE: Transparência, responsabilidade executiva e desempenho coordenados por meio de análise de todos os dados disponíveis, utilizando uma variedade de métodos e medições múltiplas, e incorporando o conhecimento, as perspectivas e os valores de todos os envolvidos
Avaliação ferramenta que contribui para integrar as atividades do ciclo de gestão pública:
Deve estar presente – como componente estratégico - desde a identificação dos problemas e o planejamento até o controle
Pode subsidiar desde o planejamento e formulação de uma intervenção, o acompanhamento de sua implementação, os conseqüentes ajustes a serem adotados, e até as decisões sobre sua manutenção, aperfeiçoamento, mudança de rumo ou interrupção.
Favorece a formulação de metas e objetivos.
Propicia ganhos de eficácia, eficiência e efetividade.
Facilita a busca e obtenção de ganhos das ações
governamentais em termos de satisfação dos usuários e
de legitimidade social e política.
Contribui para a viabilização de todas as atividades de
controle interno, externo, por instituições públicas e pela
sociedade levando maior transparência e accountability
às ações de governo. É decisiva para o processo de aprendizagem
institucional.
Implementação espaço privilegiado de avaliação É processo crucial de tomada de decisão e não apenas
execução Informa a própria formulação: o que já foi ou está sendo
realizado
Envolve:
Limitações cognitivas
Contingências ambientais
Formulação genérica de cursos de ação
Formulação de políticas como espaço de conflito: preferências não consensuais
Questões estratégicas: viabilidade política e operacional, coordenação inter e intra-organizacional
Obstáculos à avaliação:
Modelos gerenciais orientados para processos/ Ausência de cultura de accountability
Ameaça: avaliação alheia à gestão, estritamente por avaliadores externos
Falta de domínio conceitual e metodológico
Falta de clareza dos critérios
Reduzida utilidade: Falta de conexão entre avaliação e tomada de decisão impede o aprendizado organizacional
Desafios para a institucionalização da avaliação:
definição clara dos objetivos e valores que orientam o ciclo de gestão e a atividade de intervenção.
definição clara dos objetivos da avaliação definição de critérios claros e consolidados
para mensuração e julgamento Construção e utilização precisa de indicadores
fidedignos estabelecimento e consolidação de marco
conceitual e metodológico.
Desafios para a institucionalização da avaliação:
utilização das abordagens compatíveis com o objeto e sua complexidade.
superação do dilema entre abordagens qualitativas e quantitativas.
identificação e pactuação de indicadores e informações relevantes com os atores envolvidos
definição e manejo efetivo de fluxos da informação gerada pelo processo avaliativo
adoção de mecanismos efetivos de disseminação dos resultados e de aprendizagem organizacional
Mitos da Avaliação
Neutralidade e racionalidade do planejamento X influência do contexto e da política
Abordagens estritas X triangulação
Avaliação como mensuração X resultados intangíveis e peso do contexto
Confiança no Grupo de controle X dificuldade de isolamento e de identificação da relação de causalidade
Crença na natural integração das etapas dos planos X baixa coordenação dos sistemas de avaliação
Conceitos Básicos
Avaliação formal
é o exame sistemático de certos objetos, baseado em critérios explícitos e mediante procedimentos reconhecidos de coleta e análise de informação sobre o conteúdo, estrutura, processo, resultados, qualidade e/ou impactos de quaisquer intervenções planejadas na realidade
Avaliação: envolve tanto julgamento como atribuição de valor e mensuração não é tarefa neutra, mas comprometida com princípios e seus critérios
Requer uma uma cultura: uma disciplina intelectual e uma familiaridade prática, amparadas em valores
Avaliação: objetivos geraisidentificar e mensurar os resultados, efeitos,
impactos obtidos
compreender como e porque foram obtidos ou não
permitir julgar as intervenções tendo como referência critérios como eficácia, eficiência, sustentabilidade, etc – a ser definidos
proporcionar informações necessárias para a tomada de decisão sobre o projeto, programa ou política
viabilizar estratégias de responsabilizaçao e accountability
proporcionar “policy learning”
Avaliação X MonitoramentoAvaliação X Monitoramento
Avaliação é o exame discreto de processos, produtos, qualidade, resultados, impactos, das ações realizadas.
Monitoramento é o exame contínuo de processos, produtos, resultados, impactos, das ações realizadas.
Monitoramento: Objetivos
identificar mudanças parciais a partir da linha de base das metas;
controlar o cumprimento das metas estabelecidas
acompanhar a execução de um Plano de Atividades para facilitar sua correta implementação
identificar erros e omissões na concepção do próprio projeto ou programa
proporcionar informações necessárias para a tomada de decisão sobre o projeto ou programa
proporcionar “policy learning”
Pode-se monitorar atividades, processos, resultados, impactos.
Monitoramento também é chamado de “avaliação em processo” quando incide sobre os processos de implementação das ações.
Monitoramento baseia-se principalmente nos dados da implementação (internos)
Pode ter como referência – ou não - o “Plano de Ação” ou “Plano de Atividades”.
Pesquisa Avaliativa: procedimentos de coleta de dados primários:
Análise quantitativa:
Censos e pesquisas por amostragem probabilística e não probabilística questionários aplicados ou entrevistador ou auto-aplicáveis
Análise qualitativa:
Entrevistas em profundidade, individuais ou em grupos focais, semi-estruturadas ou não estruturadas
Observação
Análise documental (de informação e/ou de conteúdo)
Tipologia (s) de Avaliação- Avaliação Política- Avaliação Jurídica ou de conformidade- Avaliação de situação, ambiental ou de
contexto- Avaliação de desempenho- Avaliação de processo- Avaliação de produto- Avaliação de impacto
Tipologia (s) de Avaliação- Avaliação de qualidade - Avaliação de satisfação do usuário- Avaliação Interna - Avaliação Externa- Avaliação Mista
Tipologia (s) de Avaliação- Avaliação participativa- Avaliação por pares- Avaliação ex-ante- Avaliação ex-post- Avaliação Somativa - Avaliação Formativa ou Retroalimentadora
Objetivos/critérios para avaliação: Eficácia capacidade de produzir os resultados
esperadosEconomicidade capacidade de reduzir custos Eficiência elevação da produtividadeEfetividade capacidade de maximizar a eficácia
e a eficiência Equidade capacidade de contribuir para a
redução de assimetriasSustentabilidadecapacidade de manter e/ou
expandir os ganhos obtidos, para além da intervenção
análise custo-benefício, análise custo-efetividade.
Elementos Essenciais à Avaliação Condições de Avaliabilidade
Critérios de avaliação estabelecidos
Objetivos e Metas especificados
Indicadores e linhas de base
Dados, registros do processo
Fontes de dados/meios de verificação
Abordagens consistentes com a natureza dos dados e do objeto de avaliação
Métodos/Modelos de Avaliação
Custo-efetividade e custo-benefício são métodos de planejamento e de avaliação
ambas são comparativas
ambas estimam custos e resultados
ambas quantificam os custos financeiros de uma intervenção
custo-benefício quantifica da mesma forma os resultados obtidos
custo-efetividade, tratando com resultados não quantificáveis em termos financeiros usa outras unidades (naturais)
Métodos/Modelos de Avaliação - Meta-avaliação- Avaliação Experimental- Avaliação quasi-experimental: sincrônica
e diacrônica- Modelo causal: Marco Lógico(BID) ou
Matriz Lógica (BIRD) ou Quadro Lógico (GTZ)
Métodos/Modelos de Avaliação Modelo orientado pela teoria ou Teoria do
Programa: compara os resultados diretos e indiretos de uma intervenção com os pressupostos teóricos que orientaram a formulação da mesma. Pode usar abordagem dedutiva, indutiva ou focalizada no cliente.
Análise de discrepâncias ou Teoria da Implementação: compara desempenho com padrões estabelecidos para insumos, processos e resultados. A discrepância refere-se às diferenças entre a situação real prévia e o padrão e entre o desempenho e o padrão.
Pesquisa Avaliativa: principais técnicas
Participatory Impact Monitoring (PIM) – não focaliza planos ou sistemas de objetivos formalizados, mas as percepções individuais dos stakeholders, com a finalidade de analisar as atividades e mudanças introduzidas por uma intervenção em suas vidas e ambiente.
Avaliação Independente de Objetivos – não se inicia pelos objetivos da intervenção, mas com a população-alvo mais afetada pelo mesmo. Destina-se a apurar os resultados e impactos da política ou programa, examinando como e quanto a população-alvo é afetada e comparando esses dados com o que a intervenção especificamente indica como objetivos.
Avaliação de Quarta Geração – focaliza as queixas, interesses e reinvidicações dos stakeholders. Visa a compreender as percepções dos atores envolvidos e afetados pela intervenção, quanto os custos, riscos e benefícios da mesma.
Mapeamento Organizacional – examina o arranjo organizacional para uma intervenção para verificar se, e como, as agências envolvidas estão ou não, organizadas de modo a perseguir objetivos comuns, evitar superposições e contradições, e oferecer interface consistente e facilmente compreensível com os usuários.
Mapeamento Cognitivo: examina como os indivíduos percebem a operação de uma intervenção (focalizando os problemas, as vantagens, os pontos fortes e as fraquezas desta) e seus resultados e impactos.
Mistery Shopping (Cliente Oculto) – é uma técnica observacional, baseada no princípio de que a melhor maneira de avaliar a qualidade de um serviço ou de compreender os seus efeitos sobre os usuários é experimentar a condição de usuário daquele serviço. Diferencia-se de outras formas de observação participante pelo fato de que o avaliador não revela a sua identidade ou condição.
Planejamento de um Sistema de M & A
1. Objetivo e periodicidade2. Usuários3. Critérios questões gerais4. Dimensões focais perguntas específicas5. Instrumentos e Mecanismos de M&A 6. Arranjo institucional 7. Estratégia de disseminação e aprendizado
organizacional8. Estratégia de sustentabilidade9. Orçamento
1-Objetivo e periodicidade das avaliaçõesObjetivo e periodicidade das avaliações
*Testar a estratégia inicial para gerar os resultadosmomento inicial do ciclo do programa (1-2 anos)
*Averiguar a necessidade e identificar quais os ajustes para melhorar a obtenção dos resultados
momento intermediário do ciclo do programa (2-3 anos)
*Tomar decisões sobre prosseguimento ou extensão do programa, extrair lições
momento final do programa: meados do último ano
2-Usuários: a quem se destina cada produto do sistema de M&A, conforme os objetivos definidos
3- Critérios: economicidade, conformidade, tempestividade, celeridade, eficácia, eficiência, efetividade, equidade, sustentabilidade, etc
4-Dimensões focais: processo, atividades, produtos, resultados, efeitos, impactos definem as perguntas a serem respondidas
5-Instrumentos e Mecanismos: Relatórios de Monitoramento; Relatórios de Avaliações Iniciais, Intermediárias e Final; Visitas de Validação; Oficinas de Avaliação de Efeitos; Exame Final
6-Arranjo institucional: definição das funções e responsabilidades de cada ator no sistema de M&A
7-Estratégia de disseminação e aprendizado organizacional: alcance da divulgação de cada tipo de produto do sistema (quem recebe o quê, quando e por que meios) + mecanismos, instrumentos e dinâmicas a serem adotadas para aprendizagem (oficinas, reuniões, audiências de revisão, etc)
8-Estratégia de sustentabilidade avaliação das reações ao sistema de M&A: monitoramento da implementação das recomendações e das lições aprendidas; identificação das necessidades e oferta de sensibilização e de capacitação dos stakeholders; exame crítico do sistema de M&A e ajustes necessários.
9-Orçamento
Desenho de uma Avaliação1-Usuário: a quem se destina a presente avaliação?
2-Objetivo: o que o usuário deseja com a avaliação?
3-Critérios da avaliação
4-Indicadores e suas linhas de base
5-Métodos e técnicas para a avaliação
6-Informação necessária: que dados qualitativos e quantitativos serão necessários, suas fontes e meios de verificação permitem validação
7-Métodos e período de coleta dos dados
8-Métodos e técnicas de análise dos dados
9-Limites e restrições da pesquisa avaliativa
10-Equipe e orçamento
Desenho de um Monitoramento
1-Objetivo: processo de implementação, resultados e efeitos parciais ou ambos.
2. Periodicidade
3. Critérios questões gerais
4. Dimensões focais perguntas específicas
5. Indicadores e suas linhas de base
6. Informações necessárias, fontes, bases de dados e suas memórias
7. Instrumentos e Mecanismos
8. Arranjo institucional
9. Estratégia de retroalimentação
Itens para avaliar a avaliação
1-Clareza na identificação dos usuários, dos objetivos gerais e específicos, dos critérios e dos indicadores utilizados.
2-Qualidade das perguntas específicas
3-Qualidade metodológica: Consistência da estrutura lógica, dos métodos e das técnicas frente ao objeto e aos critérios; identificação das fontes de informação, amostras e instrumentos utilizados; consistência dos métodos de coleta e análise de dados; indicação dos limites da metodologia utilizada.
Itens para avaliar a avaliação
4-Acurácia: relato da confiabilidade e validade dos dados, contexto dos dados, defensibilidade e limites das informações, correção e precisão da análise
5-Qualidade do Relatório:presença de sumário executivo; resposta às perguntas de pesquisa; consistência lógica e pertinência das conclusões; achados e conclusões fundados em dados e fontes identificáveis, inclusive sem limites de confidencialidade quando possível; adequação ao usuário; correção, parcimônia e imparcialidade do estilo.
Itens para avaliar a avaliação
Sugestões e recomendações:
Devem ser pertinentes e embasadas na análise;
Devem apontar a necessidade de outros estudos;
Sempre que possível devem estar exemplificadas em “boas práticas”;
Devem ser apresentadas por ordem de prioridade;
Devem indicar linhas de tempo para implementação e, se possível e se for o caso, estimativas de custos;
Devem ser consistentes com o nível de autoridade e poder de decisão dos usuários.