1 Avaliação em um Mundo Real Desenhando Avaliações sob restrições orçamentárias, de tempo,...

1

Avaliação em um Mundo Real

Desenhando Avaliações sob restrições orçamentárias, de tempo, de informação e

políticas

III Seminário da Rede Brasileira de Monitoramento e Avaliação

Brasília, DF, Brasil01 de junho de 2011

Workshop Coordenado porJim Rugh

A apresentação é um resumo do capítulo do livro que está disponível em :

www.RealWorldEvaluation.org

Traduzida para o portugues por Marcia Joppert

Objetivos do Workshop

1. Os sete passos do enfoque da Avaliação em um Mundo Real para responder a assuntos comuns e restrições enfrentadas por avaliadores, tais como: quando o avaliador é convocado não momento de finalização do projeto e não existe linha de base nem grupo de comparação; ou quando a avaliação tem que ser realizada com um orçamento inadequado ou prazo insuficiente; e quando existem pressões políticas e expectativas a respeito de cómo a avaliação deveria ser conduzida ou quais deveriam ser as conclusões.

2


2. Definir qual deveria ser o impacto da avaliação;

3. Identificar e analisar várias opções de desenho que poderiam ser usados em um contexto particular de avaliação;

4. Maneiras de reconstruir a linha de base quando a avaliação inicia quando o projeto já está muito avançado ou finalizado;

5. como minimizar as ameaças à validade ou adequação usando uma apropriada combinação de enfoques qualitativos e quantitativos (métodos mistos) em relação a um contexto específico de Avaliações em um Mundo Real.

3


Nota: Este workshop tem como foco a avaliação de impactos em projetos. Naturalmente, há muitas outras propostas, escopos e tipos de avaliação. Alguns desses métodos podem ser aplicáveis a eles, mas nossos exemplos se basearão em avaliações de impacto de projetos, principalmente no contexto de países em desenvolvimento.

4

Agenda de Trabalho

1.Introdução [10 minutos] 2. Resumo da abordagem Avaliação em um Mundo Real (AMR) [30 minutos] 3. Apresentação de participantes em pequenos grupos e intercâmbio de experiências relacionadas com a AMR. [30 minutos] 4. AMR (passos 1, 2 e 3): Definindo o escopo da avaliação e as estratégias para resolver as restrições de tempo e orçamentos [75 minutos]

--- intervalo curto [15 minutos]---

5. AMR (passo 4): Enfrentando restrições de informação [30 minutos]6. Pequenos grupos lêem seus estudos de caso e iniciam a discussão [30 minutos]

--- almoço [60 minutos] ---

7. Métodos qualitativos, quantitativos e mistos [20 minutos]

8. Os grupos completam a preparação dos estudos de caso. Exercícios sobreTermos de Referência (TORs) [30 minutos]

9. Negociação de Termos de Referência entre gurpos [60 minutos] 10. Resultados do exercício [15 minutos]

11. Conclusão das discussões. Avaliação do workshop [30 minutos]

6

Resumo do enfoque AMR


Desenhando Avaliações sob restrições orçamentárias, de tempo, de informação e

políticas

7

Cenários de Avaliação em um Mundo Real

Cenário 1: avaliadores não participam até quase o final do projeto

Por razões políticas, técnicas ou orçamentárias:

• Não houve plano de avaliação do ciclo de vida do projeto

• Não houve pesquisa de linha de base

• Os executores não coletaram informação adequada sobre os participantes nem no início nem durante a implementação do projeto

• É difícil conseguir informações de grupos de controle comparáveis

8

Cenário 2: A equipe de avaliação é convocada no início do projeto

Mas, por razões orçamentárias, políticas ou metodológicas:

A linha de base foi uma avaliação de necessidades, não é comparável em uma avaliação eventual

Não foi possível coletar dados de linha de base de um grupo de comparação

Cenários da Avaliação em um Mundo Real

9

Checando a realidade – Desafios da Avaliação do Mundo Real • Em geral, os formuladores de projetos não pensam

avaliativamente e a avaliação acaba sendo desenhada ao final do projeto

• Não houve linha de base; ao menos não uma com dados comparáveis na avaliação

• Não houve e nem pode haver grupos de comparação/controle.

• Tempo e recursos limitados para a avaliação • Os clientes têm suas próprias expectativas sobre o que

eles querem que os resultados digam• Muitos atores não entendem avaliação; não confiam no

proceso ou o vêm como uma ameaça (não gostam de ser julgados)

10

Avaliação em um Mundo Real Metas de Controle de Qualidade

Conseguir o máximo rigor possível na avaliação dentro das limitações de um dado contexto

Identificar e controlar as debilidades metodológicas no desenho de uma avaliação

Negociar com os clientes as vantagens e desvantagens entre o rigor desejado e os recursos disponíveis

A apresentação de achados deve reconhecer as debilidades metodológicas e como estas podem causar generalizações a outras populações/comunidades

11

A necessidade da abordagem Avaliação em um Mundo Real

Como resultado destas restrições , muitos dos principios básicos para um rigoroso desenho de avaliação de impacto são frequentemente sacrificados, como por exemplo: pré-teste comparável, desenho pós-teste, grupo de controle, desenvolvimento e teste de instrumentos adequados, seleção de amostra aleatória, controle dos viéses dos investigadores, minuciosa documentação da metodologia de avaliação, etc.

12

A abordagem Avaliação em um Mundo Real

um enfoque integrado para assegurar padrões aceitáveis de rigor metodológico enquanto se trabalha sob restrições políticas, orçamentárias, de tempo e de informação .

Ver o livro RealWorld Evaluationou, ao menos, o capítulo resumo para mais detalhes

13


Desenvolvido para ajudar avaliadores e clientes

• Gerentes de Projetos, agências de financiamento e consultores externos

Um trabalho ainda em construção (continu-se aprendendo a partir de workshops como este)

Inicialmente desenhado para países em desenvolvimento, mas igualmente aplicável em países desenvolvidos

14

Desafios particulares da avaliação em países em desenvolvimento

Falta de acesso ou inexistência de dados secundários Escassos recursos locais para avaliação Orçamentos limitados para avaliação Restrições institucionais e políticas Falta de uma cultura em avaliação (ainda quando as

associações de avaliação tentam dar resposta a esta questão)

Muitas avaliações desenhadas por e em função dos interesses das agências financeiras e raras vezes em função das prioridades dos atores locais ou nacionais

15

Apesar desses desafios, existe uma crescente demanda por avaliações metodologicamente “sérias”, capazes de captar os impactos, a sustentabilidade e a replicabilidade dos projetos e programas de desenvolvimento.

(Falaremos disto mais tarde…!)

Expectativas para avaliações “rigorosas”

16

A maioria das ferramentas da Avaliação em um Mundo Real não são novas, mas promovem um enfoque holístico e integrado

A maioria das ferramentas para coleta e análise de dados da abordagem Avaliação em um Mundo Real serão familiares para avaliadores experientes.

O que se enfatiza é um enfoque integrado, o qual combina uma ampla gama de ferramentas adaptadas para obter a melhor qualidade da avaliação sob as restrições e condicionantes do mundo real.

17

O que há de especial na abordagem Avaliação em um Mundo Real?

Existe uma serie de passos definidos, cada um com uma lista de verificação das restrições e a maneira de enfrentá-las.

Esses passos estão resumidos no próximo slide e depois em um fluxograma mais detalhado.…

18

Os passos do Enfoque Avaliação em um Mundo Real

passo 1: Planejar e definir o escopo da avaliação passo 2: Abordar as restrições orçamentáriaspasso 3: Abordar as restrições de tempo passo 4: Abordar as restrições de Informação passo 5: Abordar as restrições políticaspasso 6: Avaliar e abordar as fortalezas e

debilidades do desenho da avaliação passo 7: Ajudar os clientes a usar a avaliação


passo 1: Planejando e definindo o escopo da avaliação A. Definir as necessidades de informação do cliente e comprender o contexto políticoB. Definir o modelo teórico do programaC. Identificar as restrições de tempo , orçamento, informação e políticas a seren endereçadas pela AMR D. Selecionar o desenho que melhor atenda as necessidades do cliente dentro das restrições da AMR

passo 2Abordar restrições

orçamentárias A. Modificar o desenho da avaliação B. Racionalizar necessidades de informação C. Pesquisar informações secundárias confiáveisD. Revisar o desenho amostralE. Definir métodos econômicos de coleta de dados

passo 3Abordar restrições de tempo

Todo o passo 2 + :F. Realizar Estudos preparatóriosG. Contratar mais recursos humanosH. Revisar formatos de registro do projeto para incluir dados críticos para a avaliação de impacto.I. Tecnologia moderna para coleta e análise de dados

passo 4Abordar restrições de

informação A. Reconstruir linha de baseB. Recriar os grupos de controle/comparação C. Trabalhar con grupos de controle não equivalentesD. Coletar informação em temas sensibles ou de grupos difíceis de acessarE. Uso de métodos múltiplos

passo 6Avaliar e abordar as fortalezas e debilidades do desenho de

avaliação Uma lista de verificação integrada para desenhos multi-métodosA. Objetividade/confirmabilidadeB. Replicabilidade/dependência C. Validade interna/credibilidade/autenticidadeD. Validade externa/transferência/adaptabilidade

passo 7

Ajudar os clientes a usar a avaliação A. Utilização B. Aplicação C. Orientação D. Ação

passo 5Abordar influências

políticasA. Acomodar as pressões das agências de financiamento ou dos clientes sobre o desenho da avaliação B. Endereçar as preferências metodológicas dos atores sociaisC. Reconhecer a influência dos paradigmas de investigação profissional .

19

tempo tempo para para discussãodiscussão em em gruposgrupos 20

21

1.1. Apresentação de cada Apresentação de cada participanteparticipante

2.2. Que Que restrições restrições destes destes tipos tipos vocês enfrentaram vocês enfrentaram em em suas prática de suas prática de avaliação avaliação ??

3.3. Como lidaram com elasComo lidaram com elas??

22

passo 1

Planejando e definindo o escopo da avaliação


Desenhando avaliações sob restrições orçamentárias, de tempo, de informação e

políticas

23

Passo1: Planejando e definindo o escopo da avaliação

Comprender as necessidades de informação dos clientes

Definir o modelo teórico do programa Identificação preliminar de restrições a

serem endereçadas pela Avaliação em um Mundo Real

24

A. Comprendendo as necessidades de informação do cliente

Perguntas típicas que os clientes desejam responder:

O projeto está alcançando seus objetivos? Está tendo o impacto desejado? Todos os setores da população-alvo estão

sendo beneficiados? Os resultados serão sustentáveis? Que fatores contextuais determinam o grau de

êxito ou fracasso?

25

Uma completa compreensão das necessidades de informação do cliente frequentemente reduzem os tipos de informação coletada, o nível de detalhe e o rigor necessário.

No entanto, esta completa compreensão também pode incrementar a quantidade de informação requerida!

A. Comprendendo as necessidades de informação do cliente

26

B. Definindo o modelo teórico do Programa

Todos os programas baseiam-se em um conjunto de pressupostos (hipóteses) acerca de como as intervenções deveriam contribuir para o alcance dos resultados desejados.

Às vezes isso está claramente explicitado nos documentos de projeto.

Às vezes está apenas implícito e o avaliador tem que ajudar os diferentes atores a articularem as hipóteses através de um modelo lógico.

27

Definir e testar os pressupostos críticos são elementos essenciais (mas frequentemente ignorados) do modelo da teoria de programas.

O slide a seguir mostra um exemplo de um modelo para avaliar os impactos do micro-crédito no empoderamento social e econômico de mulheres

B. Definindo o modelo teórico do Programa

28

Sustentabilidade• Mudanças estruturais contribuirão com impactos de longo prazo.

Impactos de médio e longo prazo• Incremento do empoderamento econômico e social das mulheres. • Melhora do bem-estar econômico e social das mulheres e suas

famílias. Resultados a curto prazo

• Se as mulheres obtêm empréstimos, elas iniciarão atividades geradoras de renda.

• As mulheres serão capazes de controlar o uso dos empréstimos e pagá-los.

Produtos• Se há oferta de crédito, as mulheres estarão dispostas e aptas a

obter empréstimos e assistência técnica.

Hipóteses críticas da cadeia lógica em um programa de micro-crédito com inclusão de gênero

PROBLEMA

CAUSA PRIMARIA 2

CAUSA PRIMARIA 1

CAUSA PRIMARIA 3

Causa Secundaria 2.2



Causa Terciaria 2.1.1

Causa Terciaria 2.2.2.

Causa Terciaria 2.2.3.

Consequências Consequências Consequências

IMPACTO DESEJADO

RESULTADO 2

RESULTADO 1

RESULTADO 3

PRODUTO 2.2 PRODUTO 2.3PRODUTO 2.1

Intervenção 2.2.1

Intervenção 2.2.2

Intervenção 2.2.3

Consequências Consequências Consequências

MULHERES EMPODERADAS

Mulheres jovens educadasMulheres em

funções de liderança

Oportunidades Econômicas

para mulheres

Aumento da participação das

mulheres

Melhora nos currículos

Melhores políticas

educacionais

Pais estimulados

a mandar suas filhas

para a escola

Construção de escolas

Contratação e remuneração

justa de professores

Redução da Pobreza

Promoção do Objetivo do

projeto : Políticas

educacionais melhoradas

Objetivo do Programa: mulheres jovens instruídas

Objetivos constructivos

do projeto Mais salas de aula construídas

Objetivos de formação de educadores: Melhorar a

qualidadr do currículo

Objetivos de Programa em nivel de Objetivos de Programa em nivel de impactoimpacto

PRESSUPOSTO(que outros farão isto) PARCEIROS farão isto

NOSSO

projeto

Para ter sinergia e gerar impactos tudo isso precisa envolver

O mesmo público alvo.

O Que é preciso para medir indicadores em cada nível?

Resultados: Resultados: Mudanças de comportamento dos participantes

(Pode ser checado anualmente)

Produto:Produto: Medido e reportado pela equipe do projeto (anualmente)

Actividades: Actividades: Durante (monitoramento da intervenção )

Insumos: Insumos: Durante (acompanhamento financeiro)

Impacto: Impacto: Pesquisa junto à população Pesquisa junto à população (avaliação da linha de base e da linha final)

Nós precisamos reconhecer qual processo avlaiativo é mais apropriado para a

medição em diferentes níveis

• Impacto

• Resultados

• Produtos

• Atividades

• Insumos

MONITORAMENTO do MONITORAMENTO do DESEMPENHODESEMPENHO

AVALIAÇÃO do AVALIAÇÃO do Projeto Projeto

AVALIAÇÃO de IMPACTOAVALIAÇÃO de IMPACTO

35

Desenho InsumosProceso

de Implementação

Produtos Resultados Impactos Sustenta-bilidade

Contexto Econômico no qual

opera o projeto

Contexto Político no qual opera o

projeto

Contexto institucional e operacional

Características sócio-econômicas e culturais das populações afetadas

Nota: os quadros laranja estão incluidos nos modelos teóricos convencionais de programas. Os quadros azuis agregados permitem uma análise mais completa

Uma forma de Modelo Teórico (lógico) de um Programa

Insumos

Produtos

Resultados Intermediários

Impactos

Financiador 1 Governo outros financiadores

Crédito para pequenos produtores

Estradas em zonas rurais

EscolasServiços de Saúde

Renda familiar rural aumentada

Produção aumentada

Aumento do nº de matrículas na escola

Aumento do uso de serviços de saúde

Acesso a emprego não agrícola

Desempenho educacional melhorado

Saúde melhorada

Participação política aumentada

Expandindo a cadeia de resultados para um programa com multi-financiadores e multi-componentes

Atribuir efeitos é muito difícil! Considere a possibilidade de identificar as contribuições plausíveis de cada intervenção.

Lógica de uma Intervenção Educacional

Gestão institucional

Materiais educativos e Currículo

Emprego e capacitação educadores

Servicios Educacionais

Saúde

Melhor alocação de recursos

educacionais

Aumento asequibilidad

Educativa

Emprego ótimo

Incremento de habilidades e aprendizado

Acesso equitativo a educação

Qualidade da Educação

Melhores oportunidades

de Renda

CrescimentoEconómico

Desenvolvimento Social

Redução da Pobreza

Grupo de produtos

Resultados Impactos específicos

Impactos Intermediários

Impactos Globais

Maior participação da

Sociedade

Planejamento familiar e seguros de saúde

melhorados

ODM 3

ODM 2

ODM 1ODM 2

Fonte: OECE/DAC Network on Development Evaluation

39

1. Relação causa-efeito direta entre um produto (ou um limitado número de produtos) e um resultado que pode ser medido ao final do projeto ? Atribuição muito clara.

… Ou …

l Mudanças em indicadores de alto nível de melhorias sustentadas na qualidade de vida da população, ex: os ODMs (Objetivos de Desenvolvimento do Milenio)? Mais significativos, mas muito mais difícil analisar la atribução .

Então, o que deveríamos incluir em uma “avaliação de impacto rigorosa”?

40

OECD-DAC (2002: 24) define impacto como “os efeitos de longo prazo, positivos e negativos, primários e secundários, produzidos por uma intervenção de desenvolvimento, direta ou indiretamente, esperados ou não. Tais efeitos podem ser econômicos, socio-culturais, institucionais, ambientais ou de outros tipos”.

Isto menciona ou implica em atribuição direta?, ou ressalta a necessidade de estabelecer grupos de controle (contrafactuais) ou Ensaios Aleatórios de Controle (RCTs)?

Então, o que deveríamos incluir em uma “avaliação de impacto rigorosa”?

41

Este pode ser um tema delicado: em geral, não agrada a equipe de projeto ter responsabilidade além de produtos, enquanto que os financiadores (e o púbico-alvo) podem insistir em avaliar resultados de mais alto nível.

Se a correlação entre efeitos intermediários e impactos foi adequadamente estabelecida em estudos e avaliações prévios, então aferir indicadores intermediários pode ser suficiente, uma vez que os contextos podem mostrar-se suficientemente similares para que tais correlações causa-efeito sejam consideradas testadas

Chegando a um acordo sobre que níveis do modelo lógico incluir na avaliação

42

Avaliação de Programa é a coleta sistemática de informação acerca das atividades, características e resultados de um programa para realizar julgamentos, melhorar ou desenvolver a sua efetividade, subsidiar futuras tomadas de decisões e aumentar a compreensão sobre a intervenção .

-- Michael Quinn Patton, Utilization-Focused Evaluation, 4th edition, 2008, page 39

Definição de avaliação de Programas

43

Formativa: aprendizagem e melhoria, incluindo a identificação antecipada de possíveis problemas

Geradora de Conocimiento: identificaras relações de causa-efeito e princípios gerais acerca da efetividade.

Prestadora de Contas: demonstra que os recursos foram usados eficientemente para obter os resultados esperados

Juízos Somativos: determina o valor e o futuro do programa Avaliação do Desempenho: adaptação em condições

complexas, emergentes e dinámicas

-- Michael Quinn Patton, Utilization-Focused Evaluation, 4th edition, pages 139-140

Alguns Propósitos da Avaliação de Programas

44

Determinando um desenho de avaliação apropriado e viável

Com base no principal propósito de conduzir uma avaliação, na compreensão das necessidades de informação do cliente, no nivel de rigor requerido e o que é viável dadas as restrições, o avaliador e o cliente têm que determinar que desenho de avaliação é requerido e possível sob as circunstâncias.

45

Algumas considerações para o desenho de uma avaliação

1: Quando se realizam os eventos de avaliação? (linha de base, avaliação intermediária, avaliação final)

2. Análise de diferentes desenhos de avaliação (experimentais, quasi-experimentais, outros)

3: Nível de rigor desejado4: Métodos qualitativos e quantitativos5: um desenho de avaliação basado no “ciclo

de vida” do projeto.

linha de baselinha de base Avaliação Final Avaliação Final

do projeto do projeto

iIustrando a iIustrando a necessidadenecessidade de desenhos de de desenhos de avaliação avaliação quasi-quasi-experimentaisexperimentais e e de sériesde séries de tempo de tempo ou longitudinais ou longitudinais

ParticipantesParticipantes do projeto do projeto

Grupo de Grupo de comparacomparação ção

avaliação avaliação pós pós projeto projeto

Uma IntroduUma Introdução ção a vários desenhos de a vários desenhos de avaliação avaliação

Escala do principal indicador de impacto46

OK, vamos dar uma paradinha para identificar cada um dos

principais tipos de desenho de avaliação (investigação ) …

… um de cada vez, começando pelo desenho mais rigoroso.

47

Antes de tudo; a chave dos símbolos tradicionais:

X = Intervenção (tratamento), ou seja: que faz o projeto numa comunidade?

O = Evento de Observação (ex: linha de base, avaliação intermediária, avaliação final do projeto)

P (fila superior): Participantes do Projeto C (fila inferior): Grupo de Comparação (ou

de controle)

48

Nota: os 7 desenhos de AMR se encontram na página 41 do documento resumo do livro Avaliação em um Mundo Real

Linha Linha

de basede base

Avaliação FinalAvaliação Final

Do ProjetoDo Projeto

Grupo de comparaGrupo de comparação ção

avaliação avaliação posterior de posterior de Projeto Projeto

desenho desenho # 1: Quasi-experimental Longitudinal# 1: Quasi-experimental Longitudinal

P1 X P2 X P3 P4

C1 C2 C3 C4

ParticipantesParticipantes do do Projeto Projeto

Interme-Interme-

diáriodiário49

Linha de Linha de basebase

Grupo de ComparaGrupo de Comparação ção

Desenho Desenho # 2: Quasi-experimental (pre+pós, com compara# 2: Quasi-experimental (pre+pós, com comparação ção ) )

P1 X P2

C1 C2

Participantes do Participantes do Projeto Projeto

50


Do ProjetoDo Projeto

linha de baselinha de base

Grupo de Grupo de ControleControle

Desenho Desenho ##2+2+: Teste de Controle Aleatório: Teste de Controle Aleatório

P1 X P2

C1 C2

Participantes de Participantes de Projeto Projeto

51

Temas de investigação selecionados aleatoriamente seja para o grupo de projeto ou o grupo de controle


do Projetodo Projeto

Grupo de Grupo de ComparaComparação ção

desenho desenho #3: Longitudinal Truncado #3: Longitudinal Truncado

X P1 X P2

C1 C2

Participantes de Participantes de Projeto Projeto

Interme-Interme-

diáriadiária52



Linha de Linha de basebase


desenho desenho #4: Pre+pós #4: Pre+pós do Projetodo Projeto; compara; comparação só posterior ção só posterior

P1 X P2

C

Participantes do Participantes do ProjetoProjeto

53




Desenho Desenho #5: #5: apenas pós-teste do Projeto e apenas pós-teste do Projeto e comparacomparação ção

X P

C

Participantes Participantes do do ProjetoProjeto

54



linha de baselinha de base Avaliação Final do Avaliação Final do ProjetoProjeto

Desenho Desenho # 6: Pre+posterior# 6: Pre+posterior do Projeto do Projeto; sem compara; sem comparação ção

P1 X P2

ParticipantesParticipantes do do projeto projeto

55

desenho desenho #7: Pós-teste apenas de Participantes do #7: Pós-teste apenas de Participantes do Projeto Projeto

X P

Participantes do Participantes do projeto projeto

56

Avaliação Final do Avaliação Final do ProjetoProjeto

57

Desenho

T1

(linha de base)

X(intervenção )

T2

(momento intermediário)

X(intervenção

cont.)

T3

(Linha Final)

T4

(posterior)

1 P1

C1

XP2

C2

XP3

C3

P4

C4

2 P1

C1

X XP2

C2

3X

P1

C1

XP2

C2

4P1 X X

P2

C2

5X X

P1

C1

6 P1 X X P2

7 X X P1

58

Atribução e contrafactuais

Como saber se as mudanças observadas nos participantes do Projeto ou comunidade• renda, saúde, atitudes, assistência escolar, etc.

se devem à implementação do projeto • crédito, abastecimento de água, vale-transporte,

construção de escolas, etc.

ou a outros fctores não relacionados?• Mudanças na economia, mudanças demográficas,

outros programas de desenvolvimento, etc.

59

O contrafactual

Que mudanças teriam ocorrido na condição da população alvo se não houvesse existido a intervenção através deste Projeto ?

60

Onde está o contrafactual?

Depois de viver por 3 anos em novas casas (obtidas a partir do Projeto), um estudo descobriu que sua renda cresceu 50 %

Isto mostra que as casas são uma maneira efetiva para elevar a renda?

Comparando o Projeto com dois possíveis grupos de comparação

2004 2009

250

500

750

Grupo de projeto . Melhora em 50%

Cenário 2. 50% de melhorana renda do grupo de comparação. Não há evidência de impacto

do Projeto

Cenário1. Renda do grupo de comparação não melhora.

Potencial evidência de impacto do Proejto

Ingr

eso

62

Grupo de Controle e Grupo de Comparação

Grupo de controle = atribuição aleatoria de temas a grupos do Projeto e grupos sem ‘tratamento’

Grupo de Comparação = procedimento separado de amostragem para grupos beneficiados (do Projeto) e sem tratamento (não beneficiários), grupos que são praticamente idênticos salvo pelo tratamento (intervenção)

1 Avaliação em um Mundo Real Desenhando Avaliações sob restrições orçamentárias, de tempo,...

Documents

Transcript of 1 Avaliação em um Mundo Real Desenhando Avaliações sob restrições orçamentárias, de tempo,...