Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos.
Transcript of Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos.
Oficina de Apropriação de Resultados
Avaliação em Larga Escala:Conceitos Básicos
Como funciona a avaliação em larga escala?
O que é avaliado?
• O conteúdo de uma avaliação é algo importante a ser definido.
• Isso tem implicações para os instrumentos da avaliação.
• A elaboração de uma Matriz de Referência é fundamentada pelas noções de competências e habilidades.
Matriz de Referência
• A Matriz de Referência tem como fonte as diretrizes curriculares da rede avaliada (estado ou município).
• Em uma avaliação em larga escala, priorizamos competências e habilidades basilares/essenciais dos currículos: selecionamos habilidades muito importantes e passíveis de serem medidas pelo formato dos testes.
Matriz de Referência
• Então quer dizer que...1. A Matriz é uma parte do Currículo.2. Ela não substitui o Currículo, apenas o resume.3. A Matriz contém apenas competências e habilidades
essenciais que podem ser medidas em testes padronizados.
4. As escolas e sistemas ensinam muito mais do que os conteúdos contemplados nas Matrizes. O desenvolvimento dos estudantes é muito mais amplo.
Matriz de Referência
Matriz de Referência (1)
Matriz de Referência (2)
SuporteEnunciado
Comando
Alternativas de reposta
Gabarito
Distratores
O item e suas partes
A Medida de Desempenho
• A produção da medida de desempenho dos estudantes pode ser feita de duas formas:
1) Teoria Clássica dos Testes (TCT).2) Teoria de Resposta ao Item (TRI).
A Medida de Desempenho
1) Teoria Clássica dos Testes.– É calculada de uma forma muito próxima das notas
dadas pelas avaliações realizadas pelo professor.– Consiste, basicamente, no percentual de acertos em
relação ao total de itens do teste, apresentando também o percentual de acerto para cada descritor avaliado.
A Medida de Desempenho
2) Teoria de Resposta ao Item:– produz uma medida mais robusta do desempenho
dos estudantes porque leva em consideração características importantes dos itens que compõem o teste e que são medidas antes dele, nos chamados pré-testes.
– A TRI é, portanto, um conjunto de modelos estatísticos capazes de determinar um valor/peso diferenciado para cada item que o estudante respondeu no teste de proficiência.
Parâmetros da Teoria de Resposta ao Item – TRI – utilizada para correção dos testes aplicados pelo CAEd
Como os testes são corrigidos?
2 + 2
2 x 3
2/7³
2² x (√3)
Como os testes são corrigidos?
Como os testes são corrigidos?
http://blogs.estadao.com.br/mateus-prado/o-primeiro-simulado-que-te-ajuda-a-entender-o-calculo-da-nota-do-enem/
Como são montados os testes?
Itens Organizados em blocos Distribuídos em várioscadernos
Como são montados os testes?
100 200 300 400 500
Como são montados os testes?
100 200 300 400 500
Como são montados os testes?
100 200 300 400 500
Como são montados os testes?
100 200 300 400 500
Como são montados os testes?
100 200 300 400 500
Como são montados os testes?
Como são montados os testes?
• Então quer dizer que...1) Um Item é mais que uma questão comum: ele precisa
atender aos requisitos estatísticos da TRI.2) Os Itens são independentes das características dos
estudantes: sua discriminação, dificuldade e acerto ao acaso não mudam quando os alunos mudam.
3) Cada estudante nos responde sobre apenas uma pequena parte em relação ao total da Matriz de Referência, e a contribuição de cada um deles é importante para sabermos a qualidade do ensino no sistema ou rede avaliados.
Exemplo hipotético:
Construindo uma escala para medir altura Nossa altura afeta nossas ações e o que somos capazes de fazer.
Possíveis questões: Você consegue guardar as malas no bagageiro interno de
um ônibus? Quando dorme à noite, seus pés ficam do lado de fora? Você consegue alcançar produtos que ficam na prateleira
de cima dos supermercados?
Como os valores de proficiência são gerados?
Exemplo de escala para a altura de uma pessoa
• Item 1 Você consegue guardar as malas no bagageiro interno de um ônibus?
• Item 2 Você consegue subir ou descer dois degraus de cada vez em uma escada?
• Item 3 Para conversar com as pessoas, você precisa olhar para baixo?
Nome Item 1 Item 2 Item 3Carolina Sim Não NãoPriscila Sim Sim Não
Leonardo Sim Sim Sim
Nome Item 1 Item 2 Item 3Carolina Sim Não NãoPriscila Sim Sim Não
Leonardo Sim Sim Sim
1,5 1,6 1,7 1,8 1,9
Item 1 Item 2 Item 3
Carolina Priscila Leonardo
Exemplo de escala para a altura de uma pessoa
Como as questões estão associadas à altura da pessoa...podemos estimar sua medida com base no que ela é capaz, ou não, de fazer.
Guardar a bagagemPés fora da cama
Atrás na fila
17169 4 15 7 20 18
12
11
10
14 5 13 6 3 2 19 8
1
1,5 1,6 1,7 1,8 1,9
Carolina Priscila Leonardo
Relação entre Escala-Item
Escala de Proficiência - Matemática
A escala de proficiência:
Cada item mede algo que o aluno sabe fazer, todos eles associados à proficiência.
Isso permite colocar numa mesma “régua” – escala – todas as habilidades.
Como há uma progressão no desenvolvimento de competências e habilidades, podemos ordenar estas habilidades segundo sua complexidade e ordená-las nessa “régua” comum para estimar o desempenho.
Como os valores de proficiência são gerados?
• Traduz as medidas em diagnósticos qualitativos do desempenho escolar.
• Régua de ordenamento dos valores dos testes, relacionados simultaneamente com as habilidades desenvolvidas pelos estudantes para alcançar determinados valores de proficiência.
Escala de Proficiência
• Os Padrões de Desempenho são grandes intervalos de valores dentro da Escala de Proficiência.
• Conferem uma interpretação pedagógica mais ampla do resultado dos estudantes, agrupando-os segundo diferenças de aprendizado apresentadas pelos mesmos nos testes.
Padrões de Desempenho
Projetos de intervenção pedagógica a partir dos Padrões de Desempenho
Baixo Recuperação
Intermediário Reforço
Adequado Aprofundamento
Avançado Desafio
Escala de Proficiênciae Padrões de Desempenho
• Então quer dizer que...1) Valores na Escala de Proficiência e Itens estão
diretamente relacionados: cada item tem uma proficiência associada a ele.
2) Logo, a Proficiência é um número com relação direta ao conhecimento: seu valor tem interpretação pedagógica.
3) Os Padrões de Desempenho auxiliam não apenas na interpretação pedagógica, mas também na obtenção de metas, na verificação da efetividade de políticas educacionais, e no planejamento pedagógico.
Padrões de desempenho
estudantil
Estabelecimento e monitoramento das metas de qualidade
educacional
Caracterização do desempenho
escolar
Grau de realização das ações
educacionais
Políticas públicas voltadas à
promoção da equidade
Identificação do percentual de alunos em
risco pedagógico (evasão, reprovação ou
abandono)