1

Avaliação de Impacto:

Transformando Promessas em

Evidência

Secretaria Municipal de Educação do Rio de Janeiro

Rio de Janeiro, Brasil

Abril 2010

Primeira Avaliação de Impacto do Programa de

Premiação por Desempenho nas Escolas da Rede Pública

Municipal de Ensino da Cidade do Rio de Janeiro:

Meta de Acréscimo do IDEB

http://www.worldbank.org/hdchiefeconomist

2

1. Antecedentes

Intervenção: diferentes metas de acréscimo no IDEB.

Objetivo: Aumento do Índice da Educação Básica de cada escola:

Melhoria de desempenho do aluno.

Estágio: Iniciado.

2

3

2. Cadeia de Resultados

Insumos Atividades Produtos Resultados Resultados

de longo

prazo

INSUMOS•Recursos financeiros;• Recursos materiais;

• Recursos Humanos (comunidade escolar)• Recursos tecnológicos

ATIVIDADES• Decreto que institucionalizou a Política Pública;• Termo de compromisso do gestor;• Campanha de Informação da MultiRio;

• Capacitação dos professores, gestores e estagiários nos projetos específicos;• Aplicação de avaliações bimestrais. Desenvolver projetos pedagógicos específicos; Elaborar materiais pedagógicos.

PRODUTOS•Desempenho do gestor e professor;

•Número de professores e gestores capacitados;•Número de projetos implementados•Número de alunos participantes;•Aperfeiçoamento do Projeto Político Pedagógico das escolas.

RESULTADOS

A variação

percentual do IDEB.

RESULTADOS A LONGO

PRAZO

Salto da qualidade da

Educação carioca.

4

3. Pergunta básica da pesquisa

Qual o impacto na aprendizagem, observado no primeiro ano de implantação do Programa Prêmio Anual de Desempenho, considerando as diferentes metas de acréscimo do IDEB?

3

5

4. Indicadores de Resultado

Variações do IDEB ocorridas entre 2007 e 2009 (desempenho e aprovação).

6

5. Estratégia/Método de Identificação

Descontinuidade do desenho (Regressão descontínua),

capturando efeito local, uma vez que existem metas

diferentes para cinco faixas de IDEB.

Na estratégia, será aplicada a Regressão Descontínua

Multivariada (para controlar as características como: bairro,

área conflagrada, tamanho da escola, outros programas

pedagógicos etc.).

Os grupos são comparáveis, já que os Grupos de Tratamento

e de Controle serão definidos pelos limites das faixas de IDEB -

intervalo próximo ao ponto de corte.

Obs.: O resultado poderá estar contaminado por não ter sido corrigidopela Reversão à Média, já que é possível uma apresentação de IDEBbaixo ou alto, apenas naquele ano-base que determinou a meta, tendohistórico anterior de IDEB fora da média.

IDEB - Município do Rio de Janeiro

2,6

3,1

3,6

4,1

4,6

5,1

5,6

6,1

E.M. PEDRO

ALEIXO

E.M. EQUADOR E.M. JORGE DE

GOUVEA

E.M. MAL

MASCARENHAS

DE MORAES

CIEP FRANCISCO

C P. DE

MIRANDA-

E.M. PRESIDENTE

ROOSEVELT

E.M. GUSTAVO

ARMBRUST

E.M. MAESTRO

PIXINGUINHA

EM PROF

TEOFILO

MOREIRA DA

COSTA

E.M. GAL JOAO

MENDONCA

LIMA

E.M. ORESTES

BARBOZA

E.M. THOMAS

MANN

E.M. MONTE

CASTELO

E.M. MIGUEL

RAMALHO

NOVO

E.M. EMB B

HURTADO

E.M. SAO JOAO

BATISTA

E.M. ALBERTO

JOSE SAMPAIO

E.M. JOSE

PIQUET

CARNEIRO

E.M. EMB

ARAUJO

CASTRO

E.M. PEREIRA

PASSOS

E.M. SILVIO

ROMERO

E.M. PROFA

LEOCADIA

TORRES

E.M. PRES

EURICO DUTRA

E.M. STA

CATARINA

E.M. ACRE E.M. GIL

VICENTE

E.M. EMILIO

CARLOS

E.M. NERVAL DE

GOUVEIA

E.M. PROF ARY

QUINTELLA

E.M. MARIA

BAPTISTINA D T

LOTT

E.M.

CASTELNUOVO

Escolas

IDE

B

2007

meta2009

(EF - Anos Finais)IDEB - Município do Rio de Janeiro (EF - Anos Iniciais)

2,6

3,1

3,6

4,1

4,6

5,1

5,6

6,1

E.M. LEONIDAS

SOBRINO

PORTO

E.M. BARAO

HOMEM DE

MELLO

E.M. PROF

ARTUR THIRE

E.M. FLORIPES

ANGLADAS

LUCAS

E.M. HAITI CIEP 06.25.501

DR ADAO

PEREIRA NUNES

E.M. RUBEN

BERTA

E.M. PEDRO

ERNESTO

E.M. DENISE

MARIA TORRES

E.M. PEDRO

AMERICO

E.M. MANUEL DE

ABREU

E.M. ABRAHAM

LINCOLN

E.M. CONDE

AFONSO CELSO

E.M. MAL

ESPIRIDIÃO

ROSAS

E.M. NELSON

ROMERO

E.M. NORONHA

SANTOS

CIEP 03.12.503

CORONEL

SARMENTO

E.M. PROF

ALVARO

ESPINHEIRA

E.M.GIUSEPPE

MELCHIORI -

PADRE JOSÉ

E.M. BARAO DE

ITACURUSSA

E.M. SANTA

ISABEL

E.M.

GUATEMALA

E.M.

PROFESSOR

AUGUSTO

PAULINO FILHO

CIEP ZUMBI DOS

PALMARES

E.M. CARLOS

DE LAET

E.M. SAO

CAMILO DE

LELLIS

E.M. ESTADO DE

ISRAEL

E.M. EMA

NEGRAO DE

LIMA

E.M. BRICIO

FILHO

E.M. JOAQUIM

MANOEL DE

MACEDO

E.M. ANTONIO

AUSTREGESILOEscolas

IDE

B

2007

meta2009

4

7

6. Dados e Amostra

Dados:

IDEB 2007 (T0) e 2009 (T1);

Metas estabelecidas para cada escola;

Outras variáveis de controle (ex: localização das escolas)

Amostra:

Escolas da Rede Pública Municipal do Rio de Janeiro.

8

7. Calendário/Plano de Trabalho

Iniciado em julho de 2009, com base no IDEB de 2007.

Primeiro resultado do IDEB a ser divulgado,provavelmente, em julho de 2010.

O prêmio será pago após a divulgação doIDEB.

Possibilidades de desdobramento: assiduidade do professor, desempenho do professor, aperfeiçoamento do Projeto Pedagógico da escola, aprimoramento da gestão da escola.

5

9

8. Fontes de Financiamento

Orçamento do Município.

Equipe

SME:

Ana Lucia de Moraes Barros

André Ramos

Antonio Augusto Alves Mateus Filho

Beatriz Alqueres

Denise Palha

Heloisa Mesquita

Jurema Holperin

Lucinda Faria

Luiz Eduardo Conde

Natalino Pontual Filho

Simone Monteiro

Sonia Mercadante

PUC:

Clarissa Gandour

Natalia Cupello

IPP:

Alcides Carneiro