Aprender a definir e melhorar estratégias organizacionais através da avaliação Professora...
-
Upload
gabriel-natan-bandeira-caminha -
Category
Documents
-
view
215 -
download
0
Transcript of Aprender a definir e melhorar estratégias organizacionais através da avaliação Professora...
Aprender a definir e melhorar estratégias organizacionais através da avaliação
Professora Patricia RogersBetterEvaluaçãoRoyal Melbourne Institute of Technology, Melbourne, Australia
Avaliação para o Investimento Social Privado: Estratégia Organizacional
www.betterevaluation.org
2
Aprender a definir e melhorar as estratégias organizacionais através da avaliação
2
A avaliação para definir e melhorar estratégias
organizacionais
O que queremos dizer com avaliação?
Diferentes tipos de avaliação
nos diferentes estágios de um programa ou projeto
Como apoiar o aprendizado
através da avaliação?
2
3RMIT University
Avaliação
Combina valores e evidência para responder a perguntas como:
• Estamos fazendo a coisa certa?
• Estamos fazendo as coisas de maneira certa?
3 3
4RMIT University
Uma visão estreita, menos útil da avaliação – vem no final, e foca a pergunta: “Cumprimos nossos objetivos”?
4
Mainstreaming Social Inclusion http://www.europemsi.org/index.php
Implementação
1. Rationale
2. Objectivos3. Apreciação
4. Monitoramento
5. Avaliação 6. Feedback
4
Análise Situacional –necessidades e oportunidades
Desenho de programa ou política
Implementação das atividades e gerenciamento em curso
Melhoria contínua
Resultados e impactos Avaliação
(incluindo o monitoramento)
Uma visão mais ampla, mais útil da avaliação – feita ao longo do ciclo da política/programa
Baseado em Funnell 2006 Designing an Evaluation
O que é necessário? O que devemos dar
conta?
Como deveria ser feito isto?
Como está indo?Como podemos
melhorar à medida que avançamos?
Funcionou? Valeu a pena?
5
6
Tipos de avaliação – classificação por foco e momento
Análise das necessidades O que é preciso? Quais são as necessidades não atendidas?
Desenho da intervenção Qual a mehor maneira de desenhar a intervenção?
Monitoramento Como está indo o processo? (Relatórios regulares das métricas)
Avaliação do processo Como está indo? (pesquisas periódicas)?A implementação está indo de acordo com o planejado? O que foi feito em um programa inovador?
Resultado/Avaliação do impacto
Que mudanças ocorreram? Para quem?
Avaliação Econômica A intervenção foi custo/efetiva? (comparada às alternativas)? Qual foi a relação custo/benefício?
Adaptado de Owen (2006), Rossi, Lipsey & Freeman (2003)
6
7RMIT University
A avaliação para definir estratégias organizacionais
7
O ABC DO PLANEJAMENTO ESTRATÉGICO
AONDE VOCÊ ESTÁ Missão e mandatos Estrutura e Sistemas
ComunicaçõesProgramas e Serviços
Pessoas e capacidadesOrçamento
Apoio
BAONDE VOCÊ QUER
Missão e mandatosEstrutura e Sistemas
ComunicaçõesProgramas e Serviços
Pessoas e capacidadesOrçamento
Apoio
CCOMO CHEGAR LÁPlano estratégicoplanos de TI e
RHComunicaçõesContratações e treinamentoReestruturação e
EngenhariaAlocação orçamentária
QUESTÕES ESTRATÉGICAS
Visão, Missão e Meta
Formulação da Estratégia
Imple
men
taçã
o da
Estr
atég
ia
7
8RMIT University
A avaliação para definir estratégias organizacionais
8
O ABC DO PLANEJAMENTO ESTRATÉGICO
AONDE VOCÊ ESTÁ Missão e mandatos Estrutura e Sistemas
ComunicaçõesProgramas e Serviços
Pessoas e capacidadesOrçamento
Apoio
BAONDE VOCÊ QUER
Missão e mandatosEstrutura e Sistemas
ComunicaçõesProgramas e Serviços
Pessoas e capacidadesOrçamento
Apoio
CCOMO CHEGAR LÁPlano estratégicoplanos de TI e
RHComunicaçõesContratações e treinamentoReestruturação e
EngenhariaAlocação orçamentária
QUESTÕES ESTRATÉGICAS
Visão, Missão e Meta
Formulação da Estratégia
Imple
men
taçã
o da
Estr
atég
ia
9
Avaliação para apoiar o aprendizado sobre onde você está
• Análise da Situação
• Avaliação das necessidades
• Análise SWOT – Fortalezas (S), Fraquezas (W), Oportunidades (O), Ameaças (T)
• Mapeamento dos Recursos
• Análise das fortalezas
9
10
Avaliação para apoiar o aprendizado sobre onde você quer chegar
• Esclarecimento sobre os Valores
10
11
O Que é sucesso em termos de:
11
Resultados e Impactos
Distribuição dos benefíciosProcessos
12
Tipos de valores
12
Valores Tácitos
Valores Negociados
Valores Formais,Explícitos
12
13
Avaliação para apoiar o aprendizado sobre como chegar lá
• Teoria da mudança– Uma teoria sobre como ocorre a mudança (mecanismo de mudança)– Uma teoria sobre quais ações podem acionar esse mecanismo de mudança
• Síntese do que podemos aprender com os outros
13
14
Avaliação para apoiar o aprendizado sobre como melhorar as estratégias organizacionais
• Avaliação de programas e projetos• Como está indo?
– Monitoramento do desempenho– Controle de Qualidade – estamos fazendo certo?– Melhoria da Qualidade/pesquisa da ação – como podemos melhorar a
implementação?
14
15
Avaliação para apoiar o aprendizado sobre como melhorar as estratégias organizacionais
• Avaliação dos programas e projetos• Funcionou? De que maneira, em quais situações e para quem funcionou? O
que contribuiu para que funcionasse?– A Teoria da mudança informa a avaliação de impacto
– Métodos para responder às questões descritivas (o que aconteceu?) – mensurações, indicadores, descrições
– Métodos para responder às questões causais (o que fez a mudança ocorrer?) – delineamentos e estratégias de pesquisa experimental, quase-experimental e não experimental
– Métodos para responder às questões avaliativas (foi bom o resultado? Valeu a pena)
15
16
Especifique questões chave de Avaliação
Tipo Escopo ExemplosDescritivo
O que ocorreu? Qual é a situação?
Como foi implementado o programa ?•Quem participou do programa?•Onde foi aplicado? Quais foram as mudanças?•Os objetivos foram atingidos?•Que outras mudanças ocorreram?
16
17
Especifique questões chave de Avaliação
Tipo Escopo ExemplosCausal O que produziu as
mudanças observadas?
Quais foram os impactos do programa?•O programa contribuiu para que os impactos e outros resultados pretendidos fossem produzidos? •Qual foi a contribução de outros programas e de outros fatores?
17
18
Especifique questões chave de Avaliação
Tipo Escopo ExemplosAvaliativo
Foi positivo? De que maneiras poderia ser melhor? É essa a melhor opção?
De maneira geral, foi bem sucedido?•O serviço entregue estava de acordo com os padrões combinados?•O programa foi custo/efetivo? •Quais foram seus pontos fortes e fracos?•Para quem o programa foi efetivo?
18
19
Especifique questões chave de Avaliação
Tipo Escopo ExemplosAção O que deveria ser
feito?O programa deveria ser continuado/deveria ganhar escala?Que mudanças deveriam ser feitas?
19
19
20
Avaliação para apoiar o aprendizado sobre como melhorar as estratégias organizacionais
• Avaliação da carteira de programas e projetos• Qual é a cobertura transversal nas áreas de importância?
20
Não lucrativo Lucrativo
Fortemente vinculado à missão
Vínculo fraco com a missão
Bell, Masaoka & Zimmerman (2010) Non Profit Sustainability: Making Strategic Decisions for Financial Viability. Jossey-Bass
21RMIT University
Avaliação para apoiar o aprendizado sobre como melhorar as estratégias organizacionais
• Avaliação da carteira de programas e projetos• Qual é o equilíbrio entre valor e certeza?
21
Valor
Certeza
21
22
Tipos de aprendizado necessários
Quando … É sensato …Sabemos o que funciona e porque Assegurar o acompanhamento dos processos
(monitorar)Demonstrar o valor do que está sendo feito (advocacy)
Não sabemos se funciona Analisar processo e resultados (teoria do teste)
Não sabemos qual é o melhor caminho
Documentar os processos e o contexto e comparar desempenhos (resultados, eficiência)
Não sabemos o que poderia funcionar
Usar a pesquisa/aprendizado e compartilhar os resultados
22
23
Fontes de informação sobre métodos e processos de avaliação
23
24
Fontes de informação sobre métodos e processos de avaliação
24
25
26
27
28
Avaliação para apoiar o aprendizado sobre como melhorar as estratégias organizacionais
28
Que tipos de avaliação precisamos? Como podemos fazer isso?
Que tipos de aprendizado pecisamos que a avaliação apoie? Como podemos fazer isso?