Blog 120715043550-phpapp01-140630042635-phpapp01-140630102643-phpapp01
Avaliacaoartigoscientificos uaveiro-110601092947-phpapp01
Transcript of Avaliacaoartigoscientificos uaveiro-110601092947-phpapp01
Avaliação de Artigos
Científicos
UNIVERSIDADE DE AVEIRO - 20 de Maio de 2011
Seninários de Investigação em Didáctica Programa Doutoral em Didáctica e Formação!
2. BOAS PRÁTICAS DA AVALIAÇÃO!
3. GRELHAS DE AVALIAÇÃO!
4. O RELATÓRIO DO REVISOR!
1. O PROCESSO DA AVALIAÇÃO!
5. TIPOS DE ARTIGOS!
6. NOVAS TENDÊNCIAS!
2. BOAS PRÁTICAS DA AVALIAÇÃO!
3. GRELHAS DE AVALIAÇÃO!
4. O RELATÓRIO DO REVISOR!
1. O PROCESSO DA AVALIAÇÃO!
5. TIPOS DE ARTIGOS!
6. NOVAS TENDÊNCIAS!
1. O PROCESSO DA AVALIAÇÃO!
revisor
editor
revisor revisor
ed. assoc.
editor
revisor revisor revisor
ed. assoc.
revisor revisor revisor
Esta é a terminologia para revistas (journals). No caso das conferências, o papel do editor
é exercido pelo presidente da comissão de programa (ou comissão científica).
Os restantes membros da comissão de programa actuam como editores associados
revisor = avaliador = árbitro (reviewer = referee)
1. O PROCESSO DA AVALIAÇÃO!
NÍVEIS DE ANONIMATO:
Revisão duplamente anónima (double-blind review) –
Revisores não sabem quem são os autores e autores não
sabem quem são os revisores.
Revisão anónima (single-blind review) – Revisores
sabem quem são os autores, mas autores não sabem quem
são os revisores.
Revisão aberta. Vários níveis de anonimato:
•! As identidades das duas partes são conhecidas.
•! As avaliações, assinadas, são enviadas aos autores.
•! São colocadas on-line versões preliminares dos artigos e pedem-se revisões e comentários.
1. O PROCESSO DA AVALIAÇÃO!
COMPENSAÇÕES:
•! Tipicamente, o esforço de revisão não é remunerado.
•! A principal “remuneração” é o prestígio, quer seja reconhecido em
privado, quer seja tornado público em listas de revisores.
•! Nas revistas, pode oferecer-se uma assinatura ou uma autorização de acesso gratuito por tempo limitado.
•! Nas conferências, oferece-se às vezes a participação na conferência ou no programa social.
•! Apesar de não haver pagamentos, o custo estimado da revisão de artigos de revista é da ordem de 25% dos custos totais de publicação e disseminação.
•! Nas conferências, por vezes convidam-se os revisores para as
comissões de programa, para que o destaque possa ser mais evidente.
2. BOAS PRÁTICAS DA AVALIAÇÃO!
3. GRELHAS DE AVALIAÇÃO!
4. O RELATÓRIO DO REVISOR!
1. O PROCESSO DA AVALIAÇÃO!
5. TIPOS DE ARTIGOS!
6. NOVAS TENDÊNCIAS!
2. BOAS PRÁTICAS DA AVALIAÇÃO!
•! A avaliação de artigos científicos deve ser encarada como uma actividade cívica do cientista na sua contribuição para
melhorar o eco-sistema de produção científica
•! O revisor deve auxiliar o editor a defender os interesses do leitor na obtenção de trabalhos de melhor qualidade e utilidade, mas respeitar o
autor, ajudando-o a melhorar o seu trabalho e a progredir como autor
•! Nesse sentido, um avaliador que se limite a preencher grelhas, sem comentar nem justificar os seus julgamentos,
deve ser excluído e remetido para lista negra
•! A decisão de aceitar ou rejeitar um artigo cabe ao editor. O papel do revisor é fornecer ao editor elementos que sustentem a sua decisão, bem como
propor recomendações que ajudem o autor a melhorar o seu trabalho
2. BOAS PRÁTICAS DA AVALIAÇÃO!
•! As avaliações devem ser sempre justificadas, eventualmente com referências que as apoiem (o revisor deve abster-se de
sugerir referências da sua própria autoria, que poderão denunciar arrogância ou parcialidade da sua parte)
•! Na maior parte dos casos, a contribuição do revisor é importante, por representar experiência e competência no domínio, mas por vezes é útil que, como advogado
do diabo, assuma um papel exterior ao domínio
•! O papel do revisor não é dar largas à sua vaidade e mostrar como é competente e superior, mas sim
oferecer, discretamente, uma avaliação útil e objectiva
2. BOAS PRÁTICAS DA AVALIAÇÃO!
•! Um revisor que não seja suficientemente crítico está a prestar um mau serviço à comunidade, encorajando investigação de má qualidade,
iludindo autores inexperientes, incentivando a progressão de autores incompetentes, degradando a qualidade do conhecimento tornado
público, incentivando a proliferação de trabalhos que tornam os processos de revisão insustentáveis. Poderá estar, assim, a contribuir
para um mundo mais ignorante do que aquele em que vivemos
•! Um revisor que seja demasiado crítico pode bloquear o progresso da investigação, matar à nascença ideias promissoras, prejudicar
carreiras, deixar as revistas e conferências sem nada que publicar. Em particular, não deverá rejeitar, sem boas razões, trabalhos que
se oponham às ideias correntes e que, por esse motivo, poderão vir a ser embriões de novos e valiosos desenvolvimentos
2. BOAS PRÁTICAS DA AVALIAÇÃO!
•! Deve-se usar um tom civilizado e não insultuoso nas avaliações. As críticas devem ser dirigidas ao artigo e não ao autor
•! Um revisor deverá evitar, em absoluto, actuar em situação de conflito de interesses, nomeadamente se for parte
interessada na aprovação ou rejeição de um artigo
•! Um artigo submetido a avaliação é confidencial, pelo que, uma vez avaliado, deverá ser esquecido. Não poderá ser copiado nem
divulgado. A apropriação, mesmo que subconsciente, de ideias alheias é uma falta grave, e, neste caso, um abuso de um privilégio
•! Se um revisor não estiver à vontade num tópico em avaliação, não tiver tempo para avaliar um artigo, ou tiver conflito de
interesses, deverá comunicá-lo de imediato ao editor
2. BOAS PRÁTICAS DA AVALIAÇÃO!
•! É frequente os autores de artigos para conferências serem convidados a actuar também como
revisores. Deverão aceitar, a bem do sucesso da conferência, entendida como evento de partilha
•! Quando um artigo é definitivamente mau e irrecuperável, não se deve perder tempo a dar sugestões que tentem
melhorá-lo. O papel do revisor é auxiliar o autor, mas não escrever o artigo por ele. Nesses casos, deve apontar duas
ou três falhas graves e passar ao trabalho seguinte
2. BOAS PRÁTICAS DA AVALIAÇÃO!
3. GRELHAS DE AVALIAÇÃO!
4. O RELATÓRIO DO REVISOR!
1. O PROCESSO DA AVALIAÇÃO!
5. TIPOS DE ARTIGOS!
6. NOVAS TENDÊNCIAS!
3. GRELHAS DE AVALIAÇÃO!
Classificar artigo numa escala de 1 (fraco) a 5 (excelente), para os sucessivos itens:
Relevância. É relevante para a conferência ou revista? Resolve problemas efectivos? De quem? Permite que o leitor passe a utilizar as propostas? Ou, pelo contrário,
é uma acrobacia intelectual, sem utilidade?
Significado. Altera de forma significativa a visão que temos da realidade estudada? Ou, pelo contrário, limita-se a retomar formulações cujo significado está mais do que esclarecido?
Originalidade. Representa um avanço sensível relativamente ao que já existe? Abre novas perspectivas para a compreensão do tema?
3. GRELHAS DE AVALIAÇÃO!
Adequação dos métodos de investigação. Em que medida é que os métodos de investigação adoptados se adequam ao trabalho
realizado? Há inovações na exploração desses métodos?
Adequação dos processos de investigação. O processo usado para chegar às propostas é cientificamente sólido? Fundamentou-se em teorias
e dados experimentais credíveis? Justificou essa fundamentação?
Análise e interpretação dos dados. Em que medida é que a análise e interpretação dos dados são adequadas e rigorosas?
Classificar artigo numa escala de 1 (fraco) a 5 (excelente), para os sucessivos itens:
3. GRELHAS DE AVALIAÇÃO!
Lógica da argumentação. Em que medida é que a lógica da argumentação é rigorosa, fluente e acessível aos leitores?
Adequação do título, resumo, introdução e conclusões. O título é esclarecedor? O resumo satisfaz os requisitos de um resumo? A introdução dá o enquadramento adequado? As conclusões são objectivas e esclarecedoras?
Completude e coerência. Há aspectos importantes que deviam ter sido incluídos? Há aspectos desnecessários que deviam ter sido omitidos?
Profundidade. Explora a temática em profundidades, ou fica-se por generalidades? Deixa em aberto aspectos de
aplicação ou operacionalização das propostas?
Classificar artigo numa escala de 1 (fraco) a 5 (excelente), para os sucessivos itens:
2. BOAS PRÁTICAS DA AVALIAÇÃO!
3. GRELHAS DE AVALIAÇÃO!
4. O RELATÓRIO DO REVISOR!
1. O PROCESSO DA AVALIAÇÃO!
5. TIPOS DE ARTIGOS!
6. NOVAS TENDÊNCIAS!
4. O RELATÓRIO DO REVISOR!
1. ! Sumário do artigo. Uma a cinco frases. Útil para o editor, mas também para o próprio revisor.
2. ! Relevância, significado e originalidade.
3. ! Qualidade do trabalho. Adequação dos métodos, processos e e análise, lógica da argumentação, adequação do título, resumo, introdução e conclusão, profundidade, completude e coerência
4. ! Recomendação. Aprovação, rejeição, aprovação com reservas. Incluir justificação da recomendação, para que o editor possa decidir.
5. ! Sugestões de melhoramentos. Apenas em caso de aprovação ou se a decisão de rejeição for acompanhada da sugestão de
posterior re-submissão ou de submissão noutro local.
2. BOAS PRÁTICAS DA AVALIAÇÃO!
3. GRELHAS DE AVALIAÇÃO!
4. O RELATÓRIO DO REVISOR!
1. O PROCESSO DA AVALIAÇÃO!
5. TIPOS DE ARTIGOS!
6. NOVAS TENDÊNCIAS!
5. TIPOS DE ARTIGOS!
•! Criação de teoria (empírica)
•! Verificação de teoria (empírica)
•! Estudo conceptual-analítico
•! Proposta de criação de inovação
•! Proposta de avaliação de inovação
•! Artigo de opinião •! Levantamento do estado da arte
(Jarvinen, 2004; Smith, 1990; Wiering, 2006)
•! Tutorial
2. BOAS PRÁTICAS DA AVALIAÇÃO!
3. GRELHAS DE AVALIAÇÃO!
4. O RELATÓRIO DO REVISOR!
1. O PROCESSO DA AVALIAÇÃO!
5. TIPOS DE ARTIGOS!
6. NOVAS TENDÊNCIAS!
6. NOVAS TENDÊNCIAS!
•! Introduz atrasos excessivos
•! Nem sempre detecta negligência e más condutas (falsificação, plágio, encobrimento de conflitos de interesses)
•! É prejudicada pela parcialidade dos revisores
CRÍTICAS À AVALIAÇÃO PELOS PARES:
•! Pode ser subjectiva e incoerente
•! Incentiva conservadorismo e reprime inovação
•! Prejudica investigação interdisciplinar
•! Sobrecarrega os avaliadores (muitas submissões de má qualidade)
6. NOVAS TENDÊNCIAS!
•! Circulação dos artigos on-line, em pré-versões, antes da publicação formal, para recolha aberta dos comentários de uma
população alargada de investigadores (Exemplo: arXiv)
EMERGÊNCIA DA “SCHOLARSHIP 2.0”:
•! Avaliações pós-publicação, eventualmente complementadas com comentários informais em blogs, redes sociais e plataformas de
recomendação (recommender systems), quer sociais, quer algorítmicas.
•! Avaliação mista: formal, expedita mas rigorosa na pré-publicação, seguida, na pós-publicação, por avaliações formais
ou informais com base em comentários e/ou classificações
•! Recurso a variantes de crowdsourcing e contagens de downloads em vez de avaliações formais pelos pares.
Avaliação de Artigos
Científicos
UNIVERSIDADE DE AVEIRO - 20 de Maio de 2011
Seninários de Investigação em Didáctica Programa Doutoral em Didáctica e Formação!
FIM
O DESAFIO!
O DESAFIO!
O DESAFIO!
O DESAFIO!
ENCONTRO EM ESPAÇO ABERTO!
REGRA DOS DOIS PÉS
Use os dois pés para se movimentar de acordo com a contribuição que pode dar
QUATRO PRINCÍPIOS
•! Quando começar, é o momento certo
•! Quando acabar, acabou
•! Quem estiver é quem resolve os problemas
•! O que se conseguir é à melhor solução
Owen, H. (1997). Open Space Technology: A User's Guide. Benett-Koechler Publications