Avaliação de Projectos Alguns Modelos de Avaliação.

Avaliação de Projectos

Alguns Modelos de Avaliação

Modelos de avaliaçãoPredomínio

Abordagens centradas na verificação do cumprimento de objectivos de aprendizagem (Tyler)

Abordagens centradas no processo formativo (Stufflebeam)

Abordagens centradas nos resultados/benefícios da formação para os destinatários (Kirkpatrick)

Modelos de avaliação

Multinível de KirkPatrick RACR

CIRO de Warr

CIPP de Stufflebeam

Hadji, Figari e Roegiers

R. Brinkerhoff (sete áreas de intervenção FDRAAGM)

Abordagem P E R T A

Donald KirkpatrickModelo hierárquico de resultados da formação

Visa medir a qualidade de uma intervenção formativa a partir da análise de quatro níveis de avaliação:

Nível 1 - Avaliação da reacção dos participantes

Nível 2 - Avaliação das aprendizagens dos participantes

Nível 3 - Avaliação do comportamento dos participantes

Nível 4 - Avaliação dos resultados da formação

Donald KirkpatrickPressupostos do modelo hierárquico de resultados da formação

Cada nível é importante e tem impacto no nível seguinte

Conforme se avança nos níveis, o processo torna-se mais complexo

Nenhum dos níveis deve ser ignorado, por considerar o nível seguinte mais importante

Donald KirkpatrickNível 1 - Avaliação do grau de satisfação

Os formandos gostaram do curso?

É uma das formas mais utilizadas na avaliação

É fácil, rápida e com baixo custo de aplicação

Os resultados negativos podem significar dificuldades de aprendizagem no curso


Tem por objectivos:

Recolher as reacções, as opiniões dos formandos sobre determinados aspectos da formação (formador, métodos...)

Detectar disfuncionalidades no sistema de formação

Regular as práticas formativas, tendo em conta as necessidades do público alvo


Pode ser efectuada de forma contínua...

Assim os formandos são avaliados de acordo com vários critérios:

A forma como participam na acção O desempenho nas actividades propostas A forma como utilizam os recursos disponibilizados A capacidade de interacção com o grupo de formação


A generalidade as avaliações efectuadas consiste na recolha de opinião e do grau de satisfação dos formandos com determinados aspectos da formação

Neste sentido, importa considerar diferentes tipos de reacção:

As reacções afectivas, de satisfação As reacções instrumentais, de utilidade As reacções de dificuldade, da aprendizagem


Técnicas mais utilizadas:

Inquéritos por questionário sobre o grau de satisfação

Realização de focus group Inquérito por entrevista Registo de comentários em fóruns de discussão Realização de observações de comportamentos

dos participantes


Dimensões de análise nos questionários de satisfação:

Expectativas iniciais Objectivos de aprendizagem Desempenho do formador Conteúdos programáticos Estratégicas pedagógicas Suportes de apoio utilizados na formação Documentação de apoio à formação Apoio logístico Espaços/instalações

Donald KirkpatrickNível 2 - Avaliação das aprendizagens

Os formandos aprenderam com base nos objectivos do curso?

Objectivos: Verificar se os formandos estão a adquirir as aprendizagens

pretendidas

Proporcionar ao formando um feedback sobre o modo como está a evoluir na auto-aprendizagem orientada

Permitir a reformulação da acção, corrigindo eventuais fragilidades, e a melhoria constante dos formandos


Diz respeito à aquisição, aumento ou melhoria das competências e atitudes dos formandos

Este nível pode-se realizar-se através de uma abordagem mais completa:

Que contempla a recolha de dados antes, durante e após a formação

Que não se circunscreve apenas ao aprofundamento de conhecimentos, mas inclui a demonstração prática de aptidões e competências apreendidas


Técnicas mais utilizadas

Testes escritos (de entrada/de progresso/finais) e orais Role playing (simulação/dramatização sobre situações) Elaboração de projectos Jogos pedagógicos para a resolução se situações/problemas Estudos de caso (análise de situações e construção de planos) Aplicação de instrumentos de auto-avaliação Realização de observações Registo e análise de incidentes críticos Elaboração de portefólios de competências Elaboração de mapas conceptuais

Donald KirkpatrickNível 3 - Avaliar a transferência da formação

O que mudou ao nível dos comportamentos dos indivíduos?

Sinalizar com rigor antes da formação que comportamentos se pretendem alterar...

Em que medida as alterações nos comportamentos contribuíram para alcançar os objectivos individuais de desempenho?

Determinar quais os indicadores para avaliar o impacto da formação nos desempenhos dos formandos


Objectivo:

Averiguar em que medida os formandos transferem para o contexto de trabalho as aprendizagens (conhecimentos, competências e comportamentos)

Requer o desenvolvimento de planos que permitam comparar o comportamento antes e depois da formação, podendo ser feito através de:

Auto-relatos Observações de superiores hierárquicos Pares

Donald Kirkpatrick (1998)Nível 3 - Avaliar a transferência da formação


Entrevista de chegada (quando o formando regressa...) Aplicação de questionários para avaliar a transferência e resultados

no desempenho individual Aplicação do instrumento LTSI - Learning Transfer System Inventory

www.edholton.com; http://reviewing.co.uk/reviews/evaluation-transfer.htm Construção de um plano de intervenção específico Observações no posto de trabalho Análise de performance (através de avaliação inter-pares) Registo de análise de incidentes críticos (análise comparativa) Auto-avaliação


Modelo de análise da transferência da formação

Características dos formandos (motivação, experiência profissional, prontidão para mudar, atitude face à formação, auto-eficácia

Design da formação (características do projecto de mudança, modelos pedagógicos, conteúdos, conhecimento e oportunidade para transferir)

Contexto organizacional (valores e cultura, política de recursos humanos, apoio e suporte, consequências da transferência)


Características dos formandos

Competências capacidade cognitiva (tempo, energia, disponibilidade mental no

trabalho para transferir) experiência profissional (nível de proficiência atingido, cargo

ocupado e antiguidade na organização)

Factores de personalidade - satisfação com o trabalho, crenças de auto-eficácia, atitude face à mudança

Variáveis motivacionais - Motivação para aprender e motivação para transferir

Donald Kirkpatrick Nível 3 - Avaliar a transferência da formação

Concepção/design da formação

Garantir o ajustamento dos conteúdos (relevância e aprofundamento) às exigências do trabalho dos formandos

Assegurar que os modelos e práticas pedagógicas permitem aos formandos aprender o que se pretende que aprendam

Incluir conhecimentos sobre o modo de transferir a aprendizagem para o local de trabalho


Contexto organizacional

Capaz de promover a aprendizagem contínua dos trabalhadores terá maior probabilidade de obter comportamentos pós-formativos

Capaz de propiciar um clima facilitador de transferência concretizado:

pela frequência de feedback sobre o desempenho pelo apoio dos pares e da hierarquia pela percepção das consequências positivas da utilização das

aprendizagens no desempenho profissional

Donald KirkpatrickNível 4 - Avaliação de Resultados

Qual o impacto da formação nos resultados da organização?

Objectivos:

Avaliar o impacto da formação em termos de resultados na actividade da organização

Ou avaliar a variação de indicadores concretos previamente estabelecidos que resultaram da análise de necessidades


Indicadores de eficácia da formação:

Mais reuniões de trabalho em equipa entre professores

Melhoria nas práticas pedagógicas e de avaliação

Menor número de reclamações por parte dos pais relativamente às avaliações dos alunos

Melhoria no sucesso escolar dos alunos

Aumento da procura da escola por parte dos pais e alunos



Análise dos resultados de intervenção específicos

Análise de painel de indicadores de performance

Aplicação da fórmula ROI (Return of Investment)

Análise custo-benefício

Donald Kirkpatrick

Segundo a American Society for Training and Development (2002):

78% das organizações avaliam as acções formativas ao nível da satisfação dos formandos - nível 1 reacção;

Somente 32% avaliam o nível 2, aprendizagem;

9% o nível 3, comportamento;

6% o nível 4, resultados

Assim, os níveis mais interessantes são os menos utilizados

Retorno do investimento (ROI)

Não basta obter bons resultados

É preciso garantir a recuperação do investimento feito

Objectivos do cálculo do Retorno do Investimento

Conhecer se a implementação de uma acção é rentável para a organização do ponto de vista financeiro

Identificar as vantagens e os inconvenientes de uma dada acção formativa


Não confundir Retorno do Investimento com Índice custo/benefício

ICB= benefícios brutos da formação/custos do programa

ROI= benefícios líquidos da formação/custos do programa

Retorno do investimento (ROI)Benefícios da formação

Evidentemente que a formação em qualquer organização gera benefícios e custos

É mais complexa a identificação dos benefícios

Existem três tipos de benefícios Melhorias no trabalho (mais fácil de quantificar) Inovação e a criatividade Satisfação/realização (mais difícil de quantificar)


Exemplo:

Os custos de um dado programa de formação são 20.000 euros (custos podem ser relativos a viagens, à realização da formação, à preparação material...) e os benefícios são de 100.000 euros (os benefícios podem ser relativos ao aumento da produtividade, à redução do absentismo...)

ICB = 100.000/20.000 = 5 Benefícios brutos

ROI = 80.000/20.000 x 100% = 400% Benefícios líquidos

KirkpatrickQuais os objectos de avaliação?

A satisfação dos formandos

O desempenho dos formadores

A adequação dos programas aos formandos

A aplicação dos conhecimento adquiridos

Os efeitos inesperados da formação

O impacto nos resultados da instituição

Modelo CIRO de WarrDomínios da avaliação

Contexto ou ambiente de partida da formação

Inputs a mobilizar para a intervenção educativa

Reacções dos participantes à formação

Outcomes (resultados) da formação

Modelo CIRO de Warr

A avaliação do contexto pretende compreender:

As razões que justificam a intervenção formativa

A distância entre as competências reais dos formandos e as desejadas

O tipo de saber a desenvolver na formação

O que se deseja modificar com a intervenção

Modelo CIRO de Warr

A avaliação dos inputs pretende analisar:

O processo de selecção dos formandos e dos formadores

Os conteúdos e a estratégia de formação

Os recursos materiais, humanos e financeiros de apoio

Modelo CIRO de Warr

A avaliação das reacções pretende:

Averiguar o grau de satisfação dos participantes em relação à formação desenvolvida

Modelo CIRO de Warr

A avaliação dos outcomes visa aferir os resultados da formação em termos:

Das competências desenvolvidas

Da aplicação das competências nos contextos de trabalho

Importa responder à questão: que mudanças ocorreram após a realização da formação?

StufflebeamModelo CIPP

A intenção da avaliação é servir de guia à tomada de decisões

A avaliação tem por finalidade o aperfeiçoamento do processo formativo a partir do levantamento de necessidades

O processo de decisão não acaba num dado momento é cumulativo e orientado por reajustamentos constantes rumo ao aperfeiçoamento

Modelo CIPPDomínios de análise

Contexto

Inputs da formação

Processo formativo

Produtos resultantes da formação

Modelo CIPP

A avaliação de contexto incide sobre:

As suas características

As necessidades de formação

As características dos participantes da formação

Os problemas que originaram as necessidades identificadas

A coerência entre necessidades sinalizadas e os objectivos

de aprendizagem propostos

Questões para avaliar o contexto Que objectivos se pretendem alcançar ao realizar o

diagnóstico de necessidades? Que tipo de informação se obtém quando se efectua o

diagnóstico?

De quem se obtém essa informação e com que métodos?

Quanto tempo é necessário?

Como se processam os dados?

Modelo CIPP

A avaliação de inputs incide sobre:

A suficiência de recursos materiais e humanos

Medidas alternativas à formação

A capacidade de resposta do sistema de formação

A sinalização de eventuais entraves à formação

A adequação da proposta formativa e as estratégias de intervenção

Questões para avaliar os “inputs”

Quais os critérios para seleccionar os formandos e os formadores?

Os formadores têm provas dadas na área da formação?

Quais são as expectativas dos formandos?

Qual o conhecimento, os interesses, as atitudes e as preocupações dos formandos?

Modelo CIPP

A avaliação do processo incide na: Implementação das intervenções formativas

Observação de processos de ensino-aprendizagem Conduta do formador Conduta dos formandos Relação entre formador e formandos Interacção dos formandos com os materiais pedagógicos

Sinalização de eventuais aspectos a melhorar

Questões para avaliar o processo

Como está a decorrer a formação?

Os conteúdos planificados estão a ser desenvolvidos?

O formador demonstra conhecimento e competência?

Os formandos tiveram oportunidade de praticar (simulações)?

Houve um equilíbrio entre as componentes teóricas e práticas?

Qual foi o ambiente durante a formação?

Os conteúdos têm aplicabilidade nos contextos de trabalho?

Modelo CIPP

A avaliação dos produtos incide sobre:

Resultados da formação (satisfação)

Resultados face a objectivos pré-definidos

Resultados face a necessidades do contexto

Questões para avaliar o produto

O que muda em consequência da proposta formativa:

A formação proporcionou aos formandos conhecimentos, competências, atitudes que antes não possuíam ?

Teve repercussões no contexto de trabalho (melhor desenvolvimento das tarefas, maior motivação e satisfação) ?

Teve repercussões na instituição (coesão, organização, participação, trabalho em equipa, resolução de conflitos) ?

Modelo CIPP

Segundo Roegiers (1997) este modelo teve sucesso na avaliação da formação devido:

À associação entre a avaliação e a tomada de decisão

À superação da avaliação reduzida aos produtos

À ênfase dada ao contexto

Hadji (1994)Modelo de “avaliação plural”

Remete para a dimensão pragmática e instrumental da avaliação: para que é que serve ?

Realça a temporalidade que é inerente ao processo de avaliação de uma acção (antes, durante e depois)

Destaca as diversas funções da avaliação

HadjiFunções na sequência da acção

Temporalidade Antes Durante Depois

Avaliação DiagnósticaPrognóstica

Formativa“Progressiva”

SumativaTerminal

Função OrientarAdaptar

RegularAperfeiçoar

VerificarCertificar

Centrada No produtor e suas

características

Nos processosNas actividades

Nos produtos

Hadji e os dispositivos de avaliação

Dispositivo é o conjunto das modalidades previstas de levantamento e tratamento da informação:

Circunstâncias e momentos Natureza das informações a recolher Instrumentos de ajuda nesse trabalho

Não pode haver dispositivo sem plano prévio

Hadji e os dispositivos de avaliação

Construir um dispositivo é organizar os meios (instrumentos, actores) de acordo com um plano estruturado em função:

Da natureza do projecto de avaliação

Da natureza do projecto de formação

Operações essenciais para construir dispositivos de avaliação

Questionar-se sobre o projecto de avaliação

Precisar o projecto de formação

Prever os procedimentos

Questionar-se sobre o projecto de avaliação

Qual é a intenção dominante do projecto de avaliação

Medir, apreciar, interpretar? Controlar, regular, compreender?

Que concepção dominante se tem da realidade avaliada (Para que serve?)

Modelo de funcionamento privilegiado

Precisar o projecto de formação

Finalidades

Transformações desejadas (a que níveis?)

Tipo de expectativa em relação aos formandos Actualização de conhecimentos? Competências? Qualidades pessoais? Atitudes?

Prever os procedimentos

Determinar a informação útil Porquê é que nos vamos interessar (objecto)?

Explicitar como é recolhida a informação útil

Quem vai efectuar a recolha? Quando? Por meio de que Instrumentos?

Definir o quadro de interpretação dessa informação

HadjiObjectos na avaliação das acções

O processo de formação

Os efeitos da formação

O processo de formação

O dispositivo O projecto (coerência e rigor) O plano (exequibilidade) Formadores (Quem? Lugar e papel? Formação?

Competências? Função? Estatuto?

O processo pedagógico (acção propriamente dita) Trabalho dos formadores (escolha dos conteúdos, das

actividades) Funcionamento da acção (métodos de trabalho, técnicas de

animação e dispositivo de avaliação)

Os efeitos da formação

Efeitos pedagógicos (resultados dos formandos)

Aprendizagens realizadas Evoluções assinaláveis Satisfação dos formandos

Impactes (consequências)

Evolução das práticas Eficácia das práticas

Figari e os conceitos em cascata Referente, referencial, referencialização

Para Lesne (1984) “avaliar é por em relação, de forma explícita ou implícita, um referido (o que é constatado ou aprendido de maneira imediata, o que é objecto de uma investigação sistemática) com um referente (o que desempenha o papel de norma, o que deve ser, o objectivo pretendido...)

Figari e os conceitos em cascata Referente, referencial, referencialização

Referencial

Modelo geral preexistente

Sistema de referências construído em torno da experiência e que apela a critérios elaborados em função da situação específica a tratar, representando a combinação de um conjunto de factores:

População em formação Contexto económico e técnico Competências dos professores e formadores Meios e métodos...

Referencialização: o que é?

“ (...) é um processo de elaboração do referente (...). A referencialização consiste em assinalar um contexto e em construir, fundamentando-o com os dados, um corpo de referências relativo a um objecto (ou a uma situação), em relação ao qual poderão ser estabelecidos diagnósticos, projectos de formação e avaliações (...).

Pretende ser um método de delimitação de um conjunto de referentes e nisso se distingue do referencial que, por sua vez, designa um produto acabado e, mais exactamente, uma formulação momentânea da referencialização” (Figari, 1996, 52)

Referencialização como metodologia de avaliação

Operação de avaliação = elucidação do pedido Qual a origem? Qual é o contexto e as finalidades da avaliação?

Objecto a avaliar O quê avaliar? Que dimensões do objecto vão ser avaliadas?

Referentes Em relação a quê se vai atribuir um sentido à informação? (leis, projectos, contexto

nacional e internacional) Critérios

Que aspectos representativos do objecto a avaliar vão ser escolhidos para proceder ao julgamento?

Referencialização como metodologia de avaliação

Indicadores Que índices, que características observáveis são escolhidas para verificar o grau de

alcance do critério Itens de recolha de dados

Quais serão, para cada critério,os descritores tomados em linha de conta? Que instrumento(s) construir ?

Interpretação dos resultados Que cruzamento de dados efectuar? Que significados atribuir aos resultados

Divulgar os resultados Que dizer aos diferentes actores da avaliação?Como? Como explorar os dados?

Modelo ICP de FigariDimensões Lógica de

GestãoFunção de Avaliação

Sequência temporal

Contexto de Análise

Induzido Projecto Prognóstica Antes Social, profissional e

individual

Construído Aprendizagem Formativa Durante Institucional e as estratégias

deliberdade

Produzido Avaliação Sumativa Depois Pedagógico Efeitos e

Resultados

Características do modelo de Figari

Dinâmico Embora haja uma sequencialidade temporal irreversível (antes-

durante-depois) as dimensões têm um carácter relacional e interaccional

Indissociável Porque não só as dimensões estão imbricadas entre si e têm zonas

de intersecção, como também se legitimam mutuamente

Iterativo As várias dimensões são interdependentes e mutuamente

enriquecedoras: o “induzido” é a base do “construído” que, por sua vez, dá origem ao “produzido” e este novamente ao “induzido”

Roegiers (1997)Modelo de “caixa aberta”

A construção de um dispositivo de formação é um processo de “referencialização progressiva”, atendendo à diversidade de referentes

Esta referencialização procura responder à necessidade de:

Situar o dispositivo de avaliação no seu contexto

Relacionar as diversas componentes internas a partir dos dados do contexto


É assim caracterizado por duas razões:

Porque há uma permamente interacção com o meio, numa lógica de mútua influência

Porque permite delimitar os seus componentes internos para efeitos de análise de uma acção de formação


Existe assim um duplo conjunto de elementos na análise de uma acção de formação:

Os referenciais que contribuem para contextualizar a acção (elementos externos)

Os componentes que caracterizam a acção (elementos internos)


O autor distingue quatro tipos de referenciais em interacção:

O contexto geral

As necessidades dos actores

O funcionamento da instituição

O quadro normativo


O contexto geral

Contexto alargado e abrangente

No qual devem ser considerados os aspectos sociais, culturais, económicos e políticos

Que directa ou indirectamente influenciam o funcionamento da instituição ou do dispositivo de formação


As necessidades dos actores

Trata-se das “necessidades que estão ligadas às estratégias

dos actores, às pessoas e às histórias, ao funcionamento

quotidiano, às interacções de diversa natureza, aos desafios e

aos projectos”


O funcionamento da instituição

É o conjunto de desafios que se consubstancia na política

oficial da instituição (plano estratégico, política educativa,

projecto educativo, plano de formação...) e nas informações

sobre o seu funcionamento (organigramas, regulamentos...).


O Quadro normativo

É constituído pelo conjunto de dispositivos normativos

(legislativos, jurídicos, éticos, deontológicos...) aos quais a

instituição está submetida, quer sejam de natureza externa,

quer sejam de natureza interna.


O autor identifica os seguintes componentes internos que caracterizam uma acção:

Os objectivos

Os produtos

Os meios

Meios previstos e meios efectivos


Os objectivos

Dizem respeito à definição das acções a

desenvolver, tendo em vista a modificação de um

contexto esperado.


Os produtos

Embora se possam distinguir vários tipos (os

resultados, os efeitos indirectos e os produtos

intermédios), este elemento constitui os efeitos do

desenvolvimento da acção.


Os meios

É o conjunto de estratégias e recursos através do

qual se realiza o trânsito entre os objectivos e os

produtos, garantindo o sucesso da acção de

formação


Meios previstos e meios efectivos

É a diferença relevante entre o que se previu

potencialmente utilizar e o que efectivamente se

realizou, relacionando-se com o próprio

desenvolvimento da acção.


Para compreender a importância deste modelo não podemos ficar por esta apresentação analítica e estática

Trata-se de um modelo complexo e dinâmico, que implica uma combinatória de elementos e factores que entram em jogo numa acção de formação

Modelo de R. BrinkerhoffSete áreas de intervenção

Focalizar a avaliação Desenhar a estratégia avaliativa Recolher informação Analisar e interpretar a informação recolhida Apresentar resultados Gerir o processo avaliativo Avaliar a avaliação

(atenção à checklist que agora vamos desenvolver por área cf. pag. 27 do Guia de avaliação da formação)

Modelo de R. BrinkerhoffFocalizar a avaliação/questões críticas

Que dimensões avaliar? Qual a finalidade da avaliação? Quem será implicado no processo de avaliação? Que factores poderão afectar o processo? Quais as principais questões avaliativas? A avaliação tem potencial para ser bem

sucedida?

Modelo de R. BrinkerhoffDesenhar a estratégia/questões críticas

Quais as abordagens avaliativas disponíveis?

Que aspectos deve contemplar uma estratégia avaliativa?

Modelo de R. BrinkerhoffRecolher informação /questões críticas

Que tipo de informação deverá ser recolhida? Que procedimentos utilizar na recolha de

informação? Que quantidade de informação é preciso

recolher? Que instrumentos serão seleccionados? Como proceder para recolher informação ao

mais baixo custo?

Modelo de R. BrinkerhoffAnalisar informação /questões críticas

Como se pretende tratar os dados recolhidos?

Vale a pena tratar os dados recolhidos?

Como se pretende analisar a informação e interpretar os resultados obtidos ?

Modelo de R. BrinkerhoffApresentar resultados /questões críticas

Quem deverá receber os resultados da avaliação?

Qual deverá ser a estrutura do relatório?

Como poderão ser apresentados os relatórios?

Como poderão ser ajudados os destinatários na

interpretação dos resultados?

Quando devem ser apresentados os relatórios?

Modelo de R. BrinkerhoffGerir o processo /questões críticas

Quem pode acompanhar o processo de avaliação?

A quem compete a responsabilidade pelo processo?

Quanto custa implementar o processo?

Como poderão ser sequenciadas e calendarizadas

as actividades avaliativas?

Que obstáculos poderão surgir no processo?

Modelo de R. BrinkerhoffMeta-avaliação /questões críticas

Em que circunstâncias deverão ser implementados processos

meta-avaliativos?

A quem compete desenvolver o processo meta-avaliativo?

Que critérios deverão ser definidos?

Como poderá ser implementado um processo meta-avaliativo?

Que procedimentos podem ser associados ao processo?

Questões para orientar a Meta-avaliação0’ Sullivan, Jones e Reid (1990)

A avaliação foi suficientemente abrangente? Foram obtidos dados suficientes através de múltiplas fontes? Podem ser tomadas decisões com base nas avaliações? O desenho da avaliação teve qualidade técnica? Os dados foram apresentados de forma clara e compreensível? Os resultados foram válidos? A avaliação foi realizada de modo adequado? Os participantes foram implicados?

Modelos de avaliaçãoAbordagem PERTA

Preparar a intervenção avaliativa

Elaborar e testar instrumentos para recolha de dados

Realizar a estratégia de avaliação

Tratar e analisar os dados

Apresentar os resultados da avaliação (ver guia de avaliação da formação que enviei em pdf , sobretudo a parte que diz

respeito ao desenvolvimento de uma estratégia avaliativa pag.83-111 )

Fase I - Preparar a intervenção avaliativa

Conhecer o contexto de partida da formação

Planear as intervenções avaliativas

Conhecer o contexto

Compreender as razões que deram origem à formação

Analisar a proposta de formação

Sinalizar e compreender as características dos destinatários da formação

Sinalizar as características da organização de acolhimento

Planear as intervenções avaliativas

Quais os objectivos da avaliação pretendida?

Quais as questões avaliativas a efectuar?

Em que momentos deverão ser desenvolvidas as

intervenções avaliativas?

Quem são os actores da avaliação?

Qual o quadro de referência avaliativo ?

Que métodos de avaliação são os mais adequados?

Como serão apresentados os resultados?

Fase II - Elaborar e testar instrumentos para recolher dados

Construir instrumentos para aplicar nas actividades de avaliação

Que tipo de informação deverá ser recolhida? Que procedimentos utilizar na recolha de informação? Que quantidade de informação é preciso recolher? Que instrumentos serão seleccionados? Como proceder para recolher informação ao mais baixo custo?

Analisar os instrumentos de avaliação do ponto de vista da validade e fidelidade

Fase III - Realizar a abordagem avaliativa

Realizar intervenções avaliativas antes da execução da formação (avaliação ex-ante)

Realizar intervenções avaliativas durante a execução da formação (avaliação on-going)

Realizar intervenções avaliativas após a execução da formação (avaliação ex-post)

Realizar intervenções avaliativas antesAvaliação ex-ante

Ter presente as várias perspectivas da avaliação diagnóstica

Os objectivos que norteiam a realização de uma avaliação diagnóstica Reanalisar resultados de diagnósticos de necessidades já realizados Decidir qual a abordagem mais adequada para o contexto em análise Informar os vários actores dos objectivos da avaliação a realizar Decidir a intervenção de avaliação diagnóstica

Preparar resultados para serem comparados com resultados intermédios e finais da formação

Reanalisar os resultados da avaliação diagnóstica no decurso da formação Reanalisar os resultados da avaliação diagnóstica no final da formação

Realizar intervenções avaliativas duranteAvaliação on-going

Preparar e realizar as avaliações de reacções (nível 1)

Ter presente o âmbito de uma avaliação de reacção Verificar se são contempladas na avaliação as dimensões críticas da formação Considerar a diversidade de técnicas disponíveis Preparar os formandos para participarem na avaliação Realizar as intervenções antes e no final

Preparar as avaliações de aprendizagens (nível 2)

Ter presente o âmbito de uma avaliação de aprendizagens Verificar se são contempladas na avaliação os saberes e competências a desenvolver Considerar a diversidade de técnicas disponíveis Preparar os formandos para participarem na avaliação Realizar as intervenções antes, durante e no final

Realizar intervenções avaliativas apósAvaliação ex-post

Preparar uma avaliação de 3º nível

Ter presente o âmbito de uma avaliação de 3º nível Sinalizar os factores que podem inibir ou facilitar o processo de transferência Mobilizar os actores para a realização de actividades que potenciam a transferência Sinalizar as técnicas a aplicar numa avaliação de 3º nível Reflectir sobre a importância da entrevista de “saída”

Realizar a intervenção (uma proposta possível)

Realizar uma entrevista de “chegada” Elaborar um plano de acção Disponibilizar ao ex-formando um instrumento para autoavaliação e acompanhamento de

progressos Realizar uma reunião de acompanhemento/avaliação de progressos

Realizar intervenções avaliativas apósAvaliação ex-post

Generalizar as mais valias da formação no contexto da organização

Definir estratégias de acção Mobilizar os actores a implicar na execução das estratégias pré-definidas

Avaliar impactes da formação na organização (nível 4)

Ter presente as razões fundamentais que conduziram à formação Analisar os indicadores susceptíveis de sofrerem impacte na sequência da

formação Sinalizar outras medidas que possam ter impactes nos mesmos indicadores Estimar os benefícios da formação (valor acrescentado percepcionado pelos vários

actores directos ou indirectos da formação)

Fase IV - Tratar e analisar os dados e produzir relatórios de avaliação

Tratar os dados recolhidos

Decidir que tipo de dados tratar e como tratar Validar os dados seleccionados Codificar os dados seleccionados para respectivo tratamento Verificar se a amostra de respondentes é representativa Verificar se os métodos de recolha de dados foram adequados

Analisar os dados após respectivo tratamento Verificar se as questões avaliativas pré-estabelecidas foram respondidas Aferir sobre o tipo de análise mais adequada Verificar se da análise efectuada resulta informação relevante para a tomada

de decisão Verificar se a informação produzida é suficientemente credível

Fase IV - Tratar e analisar os dados e produzir relatórios de avaliação

Produzir os conteúdos do relatório

Discutir com os actores a natureza e os conteúdos dos relatórios Destacar as mensagens mais importantes do processo de avaliação Apresentar vários cenários para propostas de melhoria de práticas Utilizar uma linguagem acessível Optar por uma estrutura adequada

Elaborar recomendações Elaborar recomendações com base nas informações produzidas Considerar os custos associados à concretização de cada recomendação Considerar na elaboração das considerações a capacidade de decisão dos

actores para as pôr em prática Sinalizar os resultados a alcançar com a concretização das recomendações

Fase V - Apresentar os resultados da avaliação

Definir uma estratégia para apresentar os resultados da avaliação

Decidir a quem, como, quando, quem e onde devem ser apresentados os resultados

Ter presente as várias possibilidades para apresentação dos resultados Recolher informação sobre a satisfação relativa à forma como foram

apresentados os resultados

Elaborar planos de acção Sinalizar previamente recomendações de melhoria a implementar Sinalizar acções e os actores que vão implementar as medidas propostas Identificar os resultados que se espera alcançar Desenvolver o calendário mais adequado à produção dos resultados

Bibliografia

Consultar textos:

Barbier (1990). A avaliação em formação. Porto: Ed. Afrontamento

Figari (1996). Avaliar: que referencial? Porto: Porto Editora

Flor Cabrera, A. (2003). Evaluación de la formación.Madrid: Ed. Síntesis

Garcia (1999). Formação de Professores. Porto Editora (pp. 212-222)

IQF (2006). Guia para a avaliação da formação (pp. 78-110).

Rodrigues (2002). Avaliação da formação pelos participantes em entrevista de investigação.Lisboa: FCG

Avaliação de Projectos Alguns Modelos de Avaliação.

Documents

Transcript of Avaliação de Projectos Alguns Modelos de Avaliação.