Avaliação da extensão: Aspectos teóricos e metodológicos

Começo de conversa...A ideia de uma universidade que dialoga com o social

Concepção marcada pelo interação dialógica pertinente e permanente com os distintos grupos humanos e sociais, criando canais de comunicação e participação para o desenvolvimento do potencial humano.

A universidade, seus saberes e valores, se fazem socialmente úteis.A investigação e a docência se nutrem da ação social- repensam o currículo e os projetos de investigação.

O que se sabe sobre o tema?• A instauração de processos avaliativos

da extensão universitária, nos últimos anos, indica a forte tendência de uma gestão da extensão que intenciona conhecer e analisar suas ações na sociedade.

• Há um espaço descoberto para a avaliação dos programas e projetos quanto aos seus efeitos e impactos na comunidade interna e na sociedade.

Dados de 2004- pesquisa Forproext

IPES que declararam possuir um sistema de avaliação implantado

Ações Total F% (n=38)Programas 29 76,32Projetos 33 86,84Cursos 32 84,21Prestação de serviços 13 34,21Eventos 20 52,63Produtos acadêmicos 15 39,47

Histórico da CPAE

1999 – XV Encontro Nacional, Campo Grande - criação do GT Avaliação

2001 – Publicação: Avaliação Nacional da Extensão Universitária – FORPROEX-MEC/SESu ( UFPR )

2001 – Criação da CPAE

Quatro elementos da avaliação

• (I) a atribuição de sentido aos processos avaliativos,

• (II) o uso de métodos e técnicas de investigação da realidade,

• (III) a ética dos processos e • (IV) a necessidade de estímulo ao

desenvolvimento de capacidade avaliativa nos projetos.

O que nos falta?

Sistematizar • A sistematização de

um processo de avaliação útil para o aperfeiçoamento dos projetos existentes,

• Construir diferentes formas de divulgação do que a extensão realiza e produz.

Divulgar

O que nos falta?

Um olhar multidisciplinar Como quebrar a lógica da

disciplinarização no ensino e nos processos de produção do conhecimento ?

Quanto mais multidisciplinares forem os grupos, maiores serão as condições de análise, intervenção e compreensão dos problemas sociais.

A crença na transformação confere a universidade um sentido para os conhecimentos que constrói e recria, propiciando uma ciência com consciência.

Extensão e avaliação

Se a extensão não tem um processo avaliativo sistematizado, como podemos valorá-la?•Como podemos propor a repetição de uma ação?•Como incorporamos as ações de extensão na imagem da universidade?•Como comprovamos que os recursos foram ou serão bem investidos?•Como convencer alunos, técnicos e docentes a participar das ações? E a comunidade externa?

Extensão e avaliação

A necessidade da avaliação da extensão origina-se da sua própria dimensão extra-muros ou extra sala de aula –os outros dois processos de aprendizado e formação de conhecimento –ensino e pesquisa –são naturalmente avaliados de forma constante, tanto interna, quanto externamente.

Por um começo...

• Os propósitos devem estar claramente identificados:

• O que se deseja conhecer?Que decisões se pretende tomar?

• Deve-se definir o pessoal responsável pelo projeto.

• Deve-se identificar os métodos e técnicas a serem utilizados.

Primeiro movimento- vontade política

a. Estabelecer o grau de pertinência, idoneidade, efetividade/eficácia e eficiência/rendimento de um programa, projeto ou serviço.

b. Determinar as razões dos êxitos e fracassos. c. Facilitar o processo de tomada de decisões

para melhorar e/ou modificar o programa ou projeto.

d. Analisar outros objetivos que podem ser alcançados.

e. Resultar em uma cultura organizacional que preze a melhoria continuada.

Definindo avaliação

A avaliação é uma forma de pesquisa social aplicada, sistemática, planejada e dirigida; destinada a identificar, obter e proporcionar de maneira válida e confiável dados e informação suficiente e relevante para apoiar um juízo sobre o mérito e o valor dos diferentes componentes de um programa... de forma tal que sirva de base ou guia para uma tomada de decisões racional e inteligente entre cursos de ação. (Aguilar e Ander-Egg, p. 31-32).

Avaliação: em busca de um sentido

• O melhor sentido da avaliação é que seja utilizada como meio de melhorar os projetos existentes, aprimorar o conhecimento sobre sua execução e contribuir para seu planejamento futuro, tendo como pano de fundo sua contribuição aos objetivos institucionais.

Projetos?

• Até que ponto a extensão trabalha com projetos no sentido da experimentação e aprendizagem contínua?

• Projeto é um empreendimento com objetivo identificável, que consome recursos e opera sob pressão de prazos,custos e qualidade( Kerzner, 2002).Se não podemos considerar nossa ação como projetos ...fica difícil pensar na

avaliação.

Avaliar , acompanhar, monitorar

O planejado foi realizado?O monitoramento é uma avaliação contínua e faz parte integral do gerenciamento do projeto.-O monitoramento diz respeito a observação regular e sistemática do desenvolvimento das atividades . -a avaliação analisa criticamente o andamento do projetos segundo seus objetivos, segundo as informações obtidas pelo MONITORAMENTO.

Avaliar , acompanhar, monitorar

A avaliação é conduzida periodicamente tanto pela equipe do projeto quanto pelos beneficiários e com a ajuda de equipes externas.

Um sistema de monitoramento requer a adoção de indicadores.Indicador - O que demonstra a, sinaliza a evolução, o avanço rumo aos objetivos, as metas?

Avaliação: para quê???

Um processo de avaliação, para ter sucesso, deve contar com a participação efetiva dos avaliados.Mas quem gosta de ser avaliado?A avaliação é considerada◦Punitiva◦Investigativa◦Comparativa

Macro- indicadores• Eficiência – quais os

resultado com menor dispêndio de recursos?

• Eficácia- quais os resultados alcançados com os meios sob controle?

• Efetividade- quais foram osresultados exitosos sob condições reais não controladas?

• Impacto- quais resultados foram mantidos ?

Princípios gerais

• Definidos com precisão, • Consistentes, • Específicos, • Fáceis de coletar,• Mostrar resultados materiais.

Conceitos-chave

• Eficiência - refere-se à rentabilidade econômica que, em alguns casos, deve ser considerada dentro da avaliação. Diz respeito ao custo do projeto em relação aos resultados obtidos.

• Eficácia, analisa-se até que ponto estão sendo alcançados os resultados previstos e mesmo se os resultados previstos são pertinentes

Exemplo:

Eficiência Eficácia

Ex: o projeto foi eficiente pois em 3 meses atendeu 25 pessoas com cinco estudantes a um desembolso de R$ 250, o que significa 5 pessoas por estudante, R$ 10 por pessoa, média de 8,33 pessoas/mês; o projeto não foi eficaz, pois em 60% das pessoas o nível de alfabetização não foi suficiente para uma leitura de um texto de 10 linhas em letra cursiva

Eficiência

• Revela o grau de utilização de recursos

• ◦Quantas horas?• ◦Quantas salas?• ◦Quantas cópias?• ◦Quantas pessoas?• ◦Quantas viagens, almoços, diárias?• ◦Quanto custou?• ◦Quanto rendeu?

Sobre eficáciaAnos 90-dimensões desejáveis de desempenho

das organizações e programas-eficácia, eficiência e efetividade.

Eficácia é o grau de atendimento às metas e objetivos estabelecidos.

O programa ou projeto produziu algum efeito sobre os seus beneficiários? quais?

Não é tarefa fácil...Como cada um percebe?Precisamos de formas para medir o

desempenho perante os objetivos e metas almejados.

EficáciaI

Indicadores de eficácia• 1. Sistema gerencial• 2. Processo de divulgação e

informação• 3. Processos de seleção de

agentes implementadores e beneficiários

• 4. Sistema operacional- financiamento, gasto, provisão dos recursos materiais

• 6. Processos de monitoramento e avaliação interna

Como assim?• Capacidade de implementar

decisões• Diversidade de canais,

suficiência e qualidade das mensagens

• % de publico atingido, agilidade de fluxo

• Suficiência dos recursos, prazos e fluxos qualidade da infra-estrutura, material de apoio

• Regularidade, abrangência e agilidade na identificação dos desvios e incorreções, agilidade para recomendar correções..

Indicadores de impacto/efetividade

Efetividade• Impactos- variações

mudanças na realidade

• Efeitos sociais –opinião e satisfação dos atores

• Efeitos institucionais - sustentabilidade e reprodutibilidade

Como assim?• Taxas de crescimento de

um fenômeno, intensidade da mudança

• Avaliação do atores

• Níveis de aprendizagem institucional, inovações, autonomia, transferência de metodologia, institucionalização dos processos.

Mais conceitos

• Efetividade se refere ao resultado mais imediato provocado pela intervenção. Fizemos o que tinha que ser feito?

• Impacto se refere às consequências ou aos produtos finais que resultam, direta ou indiretamente, de uma intervenção

Impacto

• É a análise das mudanças duradouras ou significativas, previstas ou não, na vida dos indivíduos, grupos familiares ou comunidades, ocasionadas por determinada ação ou série de ações, decorrente de uma política, projeto social ou programa. ( DRAIBE, 2001)

Impacto

• O impacto se reflete nas mudanças na cultura ... É a permanência dos novos hábitos e é também a expansão dos efeitos imediatos em espaços colaterais que se verifica a médio e longo prazos.

• Lembramos que a avaliação de impacto não é trivial. Há muita dificuldade de atribuição do impacto a um determinado Programa ou Projeto pois, no mundo social/relacional há inúmeras fontes intervenientes simultaneamente.

Onde nos metemos?a melhoria da condição humana, nas áreas de saúde, educação e

assistência social, apoio a atividades econômicas das classes de baixa rendaalimentação e nutrição,formação de mão de obra, geração de emprego e renda, habitação popular, melhoria de condições sanitárias de áreas periféricas aos grandes

centros urbanos, renovação de áreas urbanas degradadas, promoção da saúde, assistência médica, preventiva ou curativa, apoio a clínicas de saúde mental, de tratamento de excepcionais, assistência para a preservação das famílias, proteção à criança e ao

adolescente, apoio a menores abandonados ou delinquentes, tratamento de viciados em drogas

Quando avaliar?

• Ex ante– Consiste na análise da relevância e

viabilidade –política, técnica , financeira e institucional para que se possa decidir se o projeto deve ou não ser implementado.

Qual o cenário atual?

Ex-ante em extensão Realiza-se antes de iniciar um programa ou

projeto. Tem o foco na formulação, ou seja, verifica o cumprimento das condições requeridas para a implementação do projeto;

Permite ajustar a formulação do programa ou projeto, produzindo melhorias ainda no desenho;

Pontos a serem analisados: pertinência (se responde ao que se propõe); coerência interna (entre recursos, objetivos, atividades, etc); factibilidade (se estão dadas as condições no contexto para o desenvolvimento do projeto);

É realizada por alguém externo ao programa ou projeto.

Ex-anteExiste um problema?Qual é o problema? Quais

são os elementos essenciais do problema?Quem está(ão) afetado(s) pelo problema? Ou

seja, qual é a população--objetivo?Qual é a magnitude atual do problema e suas

conseqüências?Conta-se com toda a informação relevante

acerca do problema para realizar um estudo acabado?

Dispõe-se de uma visão clara e definida do meio geográfico, econômico e social do problema?

Ex-anteQuais são as principais dificuldades para

enfrentar o problema?Que necessidades serão atendidas e, em conseqüência, quais sãos os bens e/ou serviços que constituirão os produtos do projeto?

Quanto existe de recursos e em que condições?Onde estará localizado?Quando se vai iniciar o projeto? Em alguns casos

há condicionantes temporais que limitam a possibilidade de começar a operação do projeto.

Que alternativas são propostas para levá-lo a cabo?

Quando avaliar?

• Durante a execução• Enfocando seus produtos, eficácia e

repercussão.

Até que ponto a proposta inicial está sendo cumprida?

Quais ações corretivas podem ser tomadas?

Quando avaliar?

• Ex post Ao final do projeto dimensiona sua

eficácia, eficiência e impacto.

Que lições extraímos?

Síntese

• Avaliação ex-ante- O projeto deve ser implementado?

• Monitoramento- Como está o processo?

• Avaliação ex-post - Quais foram os resultados?

Tipos de avaliação

• Externa(Não incide sobre a extensão)• Interna( A avaliação interna é realizada por

técnicos da instituição mas independentes da unidade de implementação, processo de revisão qualitativa, realizado dentro de uma instituição para seu próprio fim/uso (com ou sem o envolvimento de pares externos).

• mista • auto-avaliação- a auto-avaliação é,

necessariamente, realizada por quem está directamente envolvido na gestão e implementação do programa

Av. Externa e Interna

Av. Externa• - uma avaliação externa

nunca terá condições de perceber e compreender todos os contextos da acão, será sempre superficial, situar-se-á sempre nas margens das atividades Será sobretudo uma avaliação ao serviço do controle e da regulação

Av. Interna

Quem quer uma avaliação ao serviço da compreensão, da entre-ajuda, da formação, da melhoria e do desenvolvimento profissional defende uma avaliação interna.

Processos e conversas difíceis

Quem deve fazer?O coordenador da açãoPor quê? Para saber o esforço despendido

na ação, para indicar o retorno do investimento, para qualificar os recursos utilizados, indicar a necessidade de substituição ou aquisição de novos equipamentos ou serviços...

Por quê? Para demonstrar a eficiência da Pró-Reitoria de Extensão no atendimento das demandas

Fará de boa vontade? Não espere um sorriso sincero.

Processos e conversas difíceisQuem deve fazer?–A Pró-Reitoria de Extensão•Por quê? Para saber os recursos

envolvidos na ação, para verificar o retorno do investimento, para identificar a demanda do público, para qualificar os recursos utilizados, indicar a necessidade de substituição ou aquisição de novos equipamentos ou serviços...

•Por quê? Para demonstrar a eficiência da Pró-Reitoria de Extensão no atendimento das demandas

•Fará de boa vontade? Normalmente, sim, mas será que saberá fazer????

Como se pode fazer?

• ◦O coordenador de extensão• Deverá manter os registros da

utilização dos recursos, do recebimento dos inputs solicitados, das horas dedicadas à ação, das razões de falha e dos motivos de sucesso

• Uma dica útil: registro da forma de divulgação da ação, dos motivos que levaram o público a buscar a ação.

Como se pode fazer?

◦A Pró-Reitoria

Deverá manter os registros da real utilização dos recursos solicitados, da entrega dos inputs solicitados, das horas alocadas à ação pelo coordenador e equipe, das razões de falha e dos motivos de sucesso da atitude da Pró-Reitoria

Uma dica útil: registro da forma de divulgação da ação por parte da Pró-Reitoria, um “clipping”

Como se pode fazer?

• ◦A partir de formulários de ação bem construídos

• ◦A partir de roteiros de relatórios bem construídos

• ◦A partir de auditorias• ◦A partir de entrevistas• ◦A partir de sistemas de registro de

ações concebidos a partir da avaliação

Fala sério!

• O Coordenador da ação NÃO faz essa avaliação de forma espontânea... Se for forçado a fazê-la, por conta de Resoluções, o resultado poderá ser ruim, com colocações genéricas do tipo:

• ◦A ação foi executada como planejada;• ◦Os resultados obtidos são plenamente

satisfatórios• ◦Todos gostaram muito.

Conversa difícil!O processo avaliativo é essencialmente

político. Se for adotado, a instituição tem que entender que isso demandará:

–Esforço–Tempo–Dinheiro–Estrutura–Metodologia–Regulamentação

Dá para simplificar?Sim! Mas só depois de pensar no

processo como um todo e na forma de sua execução. Não há uma solução padrão, pois a extensão é uma característica de cada Universidade.

•A forma mais fácil e viável de retirar as informações necessárias é facilitar a vida do coordenador.

Uma possibilidade básica:– Utilizar-se de Sistemas informatizados

de registro e relato de ações

Passo a passoDa ação–Da concepção da ação: capacidade de planejamento

do coordenador, diagnostico, habilidade em determinar os recursos necessários, identificação correta do público alvo, adequação dos horários e locais oferecidos...

–Da realização: capacidade do coordenador em dirigir a ação, em buscar solução para problemas não previstos, facilidade de comunicação com a Pró-Reitoria (ou se os canais de comunicação são adequados), previsão correta de equipamentos, materiais, do cronograma, da especificação

Passo a PassoDo Coordenador–Durante a concepção: capacidade de comunicação

com a Pró-Reitoria e outros docentes; conhecimento do problema e da realidade da Universidade e do público; observação de prazos e normas; destaque dado ao nome da Universidade;

–Durante a realização: organização dos materiais, dos equipamentos, da sala; cumprimento de prazos e normas para a realização do relatório final; conhecimento dos fluxos de processos

Passo a passo Da Pró-Reitoria –Durante a concepção: como as normas e regras são

entendidas pelos coordenadores; como as facilidades oferecidas pela Universidade e pela Pró-Reitoria são acessadas pelos coordenadores; como a equipe atende as solicitações; como apóia a divulgação das ações planejadas

–Durante a realização: organização dos materiais, dos equipamentos, da sala solicitados; cumprimento de prazos para o fornecimento dos materiais solicitados; facilidade de atender demandas inesperadas; atendimento no processo de inscrição; identificação de salas...

O que se faz com isso?

Superar o “achismo”! Discussão da política de extensão.

Desenvolvimento de projetos integrados em parceria com setores da sociedade,

Decisão quanto a oferta de cursos de preparação de projetos e avaliação,

Elaboração de manual de comunicação, Lista de contatos emergenciais para atendimento de

demandas, Comparação de custos entre ações, Análise de horários, equipamentos e locais mais

adequados para cada tipo de ação, Lista de possíveis públicos-alvo para próximas ações.

Avançar no debateDe que forma a experiência de participação em projetos de

extensão é valiosa na formação do estudante, principalmente quanto à construção de sua cidadania profissional?

De que forma a composição de grupos de estudantes de cursos diferentes propicia uma experiência de diálogo multidisciplinar frente a situações concretas da realidade social?

De que forma a participação de professores nos programas vem se constituindo num processo de descoberta de alternativas de trabalho acadêmico no âmbito do seu campo de conhecimento?

Avançar no debateDe que forma as relações professor / aluno, em

programas de extensão permitem a construção de uma pedagogia diferenciada da que é experimentada no âmbito das disciplinas convencionais?

De que forma a flexibilização, a indissociabilidade, a autonomia na construção do conhecimento, a formação do espírito de pesquisa, a criatividade, a criticidade, a articulação entre campos do conhecimento estão presentes nessas experiências?

O que NÃO se deve fazer com isso?

◦Punir◦Restringir◦Reclamar◦Depreciar◦Se nada de bom será feito com a

avaliação, a política avaliativa deve ser revista

◦Se a avaliação é propositiva e construtiva, um ambiente de cooperação e sinceridade começa a ser possível...

Avaliar a favor de quem?• É possível afirmar que a avaliação ao

longo dos últimos anos deixou de ser considerada um processo exclusivamente técnico...

• O estudo das representações sociais vieram mostrar que o processo social é permeado de elementos culturais, sociais e econômicos, sendo compreendido e vivenciado diferentemente pelos vários atores que dele participam

Conflitos, interesses...

• A avaliação, portanto, levaria em conta a análise crítica de se determinado projeto se coadunaria ou não aos valores culturais e expectativas dos vários atores sociais envolvidos, assim como às suas realidades sócio-econômicas (Atkinson, 1993)

Um quadro sempre ajudaInstâncias Categorias Detalhamento Instrumento

Coordenação do Projeto

Relevância Acadêmica A proposta está em consonância com a concepção ediretrizes de extensãoTem potencial para o desenvolvimento deatividades de ensino e/ou pesquisaTem potencial para desenvolver atividadesinterdisciplinaresPrevê envolvimento de alunos

Viabilidade identificação clara de público-alvonecessidade do parecer do Comitê de Éticaos recursos humanos e financeiros estão descritosos agentes financiadores/parceiros estão especificados

Relevância Social Aborda e/ou dissemina conhecimentos sobre questõessociais relevantes para a Universidade / Sociedade

“ A história da extensão nas universidades é também um registro das dificuldades para definir como pode ser desenvolvido o “compromisso social” dessa instituição com a sociedade [...] Desde a sua gênese, a extensão universitária parece ser uma compensação pelo ensino alienado e pela pesquisa descomprometida com a realidade social. “ (Botomé, 1996)

"Hoje é hoje , amanhã será amanhã, é hoje que tenho a responsabilidade,não amanhã, se estiver cega. Responsabilidade de quê. Responsabilidade de ter olhos quando os outros os perderam." José Saramago Texto extraído do livro "Ensaio sobre a cegueira".

Sonia Regina Mendes dos Santossoniamen@superig.com.br