Avaliação dos trabalhos: qual o melhor método para o meu evento?

Existem várias formas de fazer a avaliação dos trabalhos submetidos no evento.

Da metodologia mais simples a mais complexa, é preciso definir, de acordo com a proposta do seu evento, aquela que melhor se adéqua a sua necessidade.

Lembre-se sempre que o processo de avaliação dos trabalhos submetidos é um dos fatores mais importantes para a manutenção da qualidade de um evento. Seja ele um congresso científico, uma semana ou uma jornada acadêmica.

–> Você sabe diferenciar um curso de um workshop? Um congresso de um simpósio? Conheça aqui 12 tipos de eventos acadêmicos e científicos.

Por isso, a máxima atenção deve ser dada à avaliação dos trabalhos científicos.

Tipos de avaliação dos trabalhos

Uma dica para facilitar a avaliação dos trabalhos, é padronizar a forma como os participantes deverão entregá-los. Por isso, nessas horas, usar um template de trabalhos é fundamental.

–> Precisa de ajuda para padronizar os trabalhos do seu evento? Envie o nosso modelo, segundo a ABNT, para os seus participantes.

Avaliação padrão

Na avaliação padrão, um trabalho pode ser reprovado, aprovado ou aprovado com ressalvas.

No caso dos trabalhos aprovados com ressalvas, o material é reenviado para o autor para que ele faça ajustes ou correções.

Após feitas as alterações, o autor deve encaminhá-lo à organização do evento para que o trabalho seja novamente conferido pelos avaliadores e, só então, publicado.

Avaliação por pares

Na avaliação dos trabalhos por pares, o material deve ser avaliado por especialistas da área em que o trabalho foi submetido.

Às vezes, a avaliação por pares demora para ser executada, pois há uma dificuldade de encontrar especialistas para avaliarem o trabalho.

Avaliação por critérios

Na avaliação por critérios, como o próprio nome já diz,  os eventos avaliam os trabalhos a partir de critérios específicos. 

Esses critérios podem variar de acordo com o que foi definido pela comissão avaliativa do evento.

Segue, abaixo, alguns critérios bastante recorrentes no meio científico:

• Coesão e Coerência;
• Relevância do problema abordado;
• Contribuição científica;
• Apresentação clara dos resultados;
• Atualidade do tema;
• Ineditismo;
• Ortografia

Neste tipo de avaliação dos trabalhos, é possível, ainda, elencar, em uma escala de importância, cada critério, atribuindo a eles pesos.

Você também pode estabelecer uma nota mínima para que os trabalhos sejam aprovados. 

Por exemplo, a nota mínima necessária para ter um trabalho aprovado no seu evento é 7.

Se um pesquisador submeteu um artigo científico e, de acordo com a média dos critérios estabelecidos, ficou com média 5, ele não estaria apto a participar do seu evento. 

Lembre-se que manter a qualidade dos artigos científicos é essencial para tornar  os anais do seu evento relevantes para o meio acadêmico.

Métodos de avaliação

Os métodos de avaliação dizem respeito à forma como os trabalhos serão avaliados.

Simples-cego

Nesta forma de avaliação dos trabalhos, o autor não sabe quais foram os avaliadores do seu trabalho. 

Em contrapartida, os avaliadores têm acesso ao nome do autor do trabalho.

Pontos positivos

• O anonimato permite que o avaliador não tenha medo das possíveis críticas desenvolvidas pelo autor do trabalho.
• Conhecendo o autor do trabalho, é possível que o avaliador tenha noção do nível de conhecimento prévio que ele tinha sobre o tema de pesquisa.

Pontos negativos

• O conhecimento do autor pode ofuscar a qualidade do trabalho. Autores com histórico negativo no meio acadêmico podem ser pré-julgados pelos avaliadores, assim como os autores com um histórico brilhante.
• Avaliações por critérios não-científicos devem ser absolutamente proibidas. Entretanto, ao conhecer o autor, é possível que um avaliador o avalie por questões externas, como raça, gênero e naturalidade.

Duplo-cego

Essa forma de avaliação é amplamente utilizada tanto em eventos científicos quanto em revistas acadêmicas. 

O método duplo-cego é posto em prática quando tanto o nome dos autores como dos avaliadores são omitidos no momento da avaliação.

Esse é o método mais utilizado nas áreas de Ciências Sociais e Humanas.

É considerado bastante útil pois evita o conflito de interesses nas publicações.

Pontos positivos

• O trabalho é analisado de forma justa. Fatores externos à pesquisa são deixados de lado.
• Tanto o autor do trabalho como seu avaliador estão protegidos, em certo nível, de críticas.
• Encoraja opiniões sinceras dos avaliadores sobre o conteúdo em si.

Pontos negativos

• O anonimato não é 100% garantido, pois pode ser bastante simples descobrir a identidade do autor (seja por causa da área de pesquisa, das referências ou do estilo de escrita).
• Há quem diga que conhecer a identidade do autor pode ser um ponto positivo, pois isso ajuda o avaliador a chegar mais bem informado na hora de avaliar o trabalho.
  

  Aberto

Já no método aberto de avaliação dos trabalhos, tanto o autor como os avaliadores têm a identidade revelada. A avaliação aberta ainda é pouquíssima utilizada no meio científico.

Pontos positivos

• Há uma maior transparência na correção.
• A revisão aberta estimula uma maior responsabilidade do autor e do avaliador.
• O nome dos avaliadores aparecem na publicação – caso o trabalho tenha sido aprovado, claro.

Pontos negativos

• Alguns avaliadores podem se recusar a participar de uma revisão aberta, já que, por terem a identidade revelada, estão mais suscetíveis a retaliações em casos de avaliações negativas.
• Alguns avaliadores podem relutar em avaliar trabalhos de grandes nomes do meio científico, já que a sua carreira depende deles.

Métodos de avaliação menos usuais

1) Avaliação por transferência

Essa é uma metodologia avaliativa ainda muito recente e, por isso, pouco utilizada. Na avaliação por transferência, periódicos semelhantes (de mesma área, por exemplo) podem transferir/trocar trabalhos entre si.

Normalmente, o autor envia o seu trabalho a um periódico ou revista científica específica.

Os editores, após revisarem o trabalho, percebem que ele se encaixaria melhor em um outro periódico/revista.

Por isso, decidem, em comum acordo com o autor, encaminhar o trabalho ao periódico semelhante, onde terá mais chances de ser publicado.

Claro que, ainda assim, não há uma garantia de que o trabalho será publicado pela outra revista.

Pontos positivos

• É vantajoso para o autor, pois aumenta as chances do seu trabalho ser reconhecido e publicado.
• Estabelece uma boa relação entre a comunidade de revisores e de revistas científicas.

Pontos negativos

• Os editores das revistas podem não querer receber novas submissões, já que costumam trabalhar com um grande número de trabalhos a serem revisados.
• Pode ser frustrante para o autor ver o seu trabalho sendo rejeitado por revistas diferentes.

2) Avaliação Colaborativa

Na avaliação colaborativa, o trabalho é avaliado, em conjunto, por um grupo de pessoas. Ainda é pouco utilizada, mas pode fazer total sentido para o seu evento.

Esse tipo de avaliação permite duas abordagens:

1. O grupo (duas ou mais pessoas) discute o trabalho e, ao final, elabora um relatório único com as impressões que tiveram sobre ele.
2. As pessoas avaliam o trabalho em conjunto com o autor. Assim, conseguem passar feedbacks sobre o que precisa ser melhorado no momento da correção.

Pontos positivos

• É uma avaliação mais construtiva que as demais, pois quebra barreiras entre revisores e entre revisores e autores.

Pontos negativos

• Você “perde” a oportunidade de ter duas ou mais avaliações independentes.
• O limite de atuação do autor e do avaliador pode ficar confuso. Não se sabe o que, de fato, é autoria e o que é avaliação.

3) Avaliação pós-publicação

Esse tipo de avaliação acontece após o trabalho ter sido publicado e permite uma maior discussão sobre o tema. Nada impede que esse trabalho tenha sido avaliado antes de ser publicado também.

Pontos positivos

• Permite a evolução e a troca de conhecimentos.
• Dá a oportunidade dos trabalhos serem corrigidos e até aprimorados.

Pontos negativos

• As alterações feitas após a publicação aparecem como “correções” e “erratas”.

Avaliando trabalhos com a Even3

Na Even3, você pode fazer a avaliação dos trabalhos ou de outras atividades submetidas no seu evento, de duas formas: pela avaliação padrão ou por critérios.

Utilizamos o método de avaliação duplo-cego, que omite tanto o nome do autor como dos avaliadores do trabalho. Os organizadores têm a opção de determinar o número de revisores que irão avaliar cada trabalho.

Nós acreditamos que esses tipos de avaliação são os que conferem maior qualidade aos trabalhos científicos, garantindo também a credibilidade do seu evento.

Integrando participantes, trabalhos e avaliadores à plataforma de eventos, você consegue diminuir (e muito!) as preocupações da sua comissão organizadora.

Faça o teste e conheça mais sobre uma ferramenta que veio para facilitar a organização de eventos técnicos e científicos.