UNIVERSIDADE FEDERAL DO ESPIRITO SANTO CENTRO DE EDUCAÇÃO FÍSICA E DESPORTOS

AVALIAÇÃO DE PERIÓDICOS CIENTÍFICOS DA EDUCAÇÃO FÍSICA: O CASO DA REVISTA CORPORIS

Vitória Janeiro de 2003

UNIVERSIDADE FEDERAL DO ESPÍRITO SANTO CENTRO DE EDUCAÇÃO FÍSICA E DESPORTOS

AVALIAÇÃO DE PERIÓDICOS CIENTÍFICOS DA EDUCAÇÃO FÍSICA: O CASO DA REVISTA CORPORIS

por

Amarílio Ferreira Neto Doutor em Educação - UNIMEP

Ana Claudia Silverio Nascimento Graduada em Comunicação Social - UFES Graduada em Educação Física - UFES

Vitória Janeiro 2003

AVALIAÇÃO DE PERIÓDICOS CIENTÍFICOS DA EDUCAÇÃO FÍSICA:

O CASO DA REVISTA CORPORIS

1  INTRODUÇÃO

Visto que o processo de validação de novos conhecimentos demanda julgamento de valor, a avaliação dos periódicos torna-se fator imprescindível à distinção entre literatura científica e não científica.

Dentro desse contexto, a avaliação de periódicos tornou-se uma preocupação atual dos profissionais que se interessam pela qualidade da informação científica, sejam eles autores, editores, publicadores, gerenciadores de sistemas de indexação e, principalmente, pesquisadores.

Isso se deve ao fato de diversas críticas estarem sendo realizadas quanto à publicação de revistas com baixa qualidade, que não cumprem os critérios estabelecidos pela comunidade científica, e com as quais vem se perdendo recursos, material publicado e o prestígio de algumas instituições. Entre essas críticas, podemos destacar: irregularidade na publicação e distribuição da revista, falta de normalização dos artigos e da revista como um todo e falta do corpo editorial.

Dentro do processo de comunicação da ciência, a avaliação apresenta duas funções que merecem ser destacadas. Inicialmente, serve como filtro de qualidade, selecionando as contribuições originais e relevantes para a área. Serve ainda aos próprios pesquisadores, ao fornecer o retorno de seus trabalhos, permitindo-lhes rever, aperfeiçoar ou prosseguir em suas pesquisas.

Assim, a avaliação dos periódicos científicos pode ocorrer de duas formas: avaliação de mérito (conteúdo) e de desempenho (forma).

A primeira, normalmente realizada por pares (especialistas), pretende verificar aspectos como: qualidade dos artigos (originalidade, atualidade, identificação com a temática da revista e percentual de artigos originais); qualidade do corpo editorial e dos consultores (participação de membros da comunidade nacional e estrangeira); natureza do órgão publicador, abrangência, indexação, entre outros.

A segunda verifica aspectos como: normalização, duração, periodicidade, difusão, colaboração de autores e divisão de conteúdo.

No ato da avaliação formal, a verificação do cumprimento dos critérios acima citados é realizada atribuindo-se pontos a cada item atendido, permitindo, assim, não apenas a classificação dos periódicos de acordo com seu grau de normalização, mas também a caracterização de todo o conjunto no que diz respeito aos critérios mínimos cobrados de uma publicação para ser aceita pela comunidade científica. 

Dessa forma, o presente relatório tem como objetivo apresentar alguns aspectos julgados relevantes e que foram tomados como indicadores para proceder à avaliação de periódicos que divulgam a produção científica da Educação Física, tomando como exemplo a Revista Corporis.

Os aspectos apresentados têm como ponto de partida o instrumento de avaliação formal elaborado a partir do modelo proposto por Krzyzanowski & Ferreira (1998), em seu estudo Avaliação de Periódicos científicos e técnicos brasileiros.

2   INSTRUMENTO E CRITÉRIOS DE AVALIAÇÃO

Desde que foi proposto, o modelo citado vem sendo usado em vários estudos sobre periódicos científicos e técnicos, pois permite mensurar aspectos relacionados com a normalização das revistas.

Entretanto, o instrumento elaborado para avaliação dos periódicos das Ciências Exatas e Biológicas apresentou limitações para a avaliação das revistas científicas da Educação Física, principalmente devido ao item “divisão de conteúdo”, evidenciando a necessidade de reformulação do modelo, a fim de que possa captar as particularidades da área, que se apresenta como multidisciplinar.

Como os artigos publicados nas revistas da área, muitas vezes, não têm as características de artigo original exigidas pelas Ciências Naturais, entendemos que seria mais adequado submeter as publicações da Educação Física ao instrumento elaborado para as Ciências Humanas.

Assim, de acordo com o instrumento formulado, os aspectos observados na avaliação das revistas são:

• normalização: os periódicos são avaliados seguindo-se as variáveis estabelecidas no formulário, recebendo pontuação de acordo com sua normalização. Como parâmetro para medir a normalização, consideram-se as normas da Associação Brasileira de Normas Técnicas (ABNT). No caso das referências, verifica-se qual a norma adotada e, a seguir, analisa-se se a revista cumpre a norma declarada.
• duração: considera-se a data de início e o tempo ininterrupto de existência do periódico para pontuação dessa variável.
• periodicidade: a indicação de periodicidade é verificada no próprio periódico e confirmada no Catálogo Coletivo Nacional de Publicações Seriadas (CCN), do IBICT. Recebem um ponto a menos os fascículos atrasados e aqueles com números acumulados.
• indexação: recebem pontuação os fascículos que registram as fontes. São consideradas até três fontes internacionais e atribuem-se a cada uma delas cinco pontos.
• difusão (formas de distribuição): são consideradas de “distribuição gratuita” e recebem um ponto nessa variável as publicações que não registram a forma de distribuição nos fascículos e/ou só fazem difusão por meio de doação e permuta. As publicações que indicam preço de assinatura receberam três pontos nessa variável.
• colaboração de autores: a publicação de trabalhos de autores estrangeiros, em colaboração ou não, é analisada e também pontuada.
• divisão de conteúdo: pretende identificar o tipo de artigo que é publicado pelo periódico. Recebem pontos os fascículos que publicam: artigos originais (75% ou 50% do total de páginas), artigos de revisão, cartas, resenhas bibliográficas e estudo de caso.

A pontuação para cada variável e o total geral alcançado permitem uma classificação geral de desempenho de cada periódico analisado. Cada variável apresenta uma pontuação correspondente (ver formulário) e para cada conjunto de variável é atribuído um peso, ficando assim distribuído: Normalização - 25%; Duração - 5%; Periodicidade - 12%; Indexação - 15%; Difusão - 3%; e Colaboração de autores e divisão de conteúdos - 40%.

Assim, dentro de cada um desses conjuntos, há um número máximo de pontos que pode ser obtido pela revista. Para que se consiga o desempenho do fascículo nesse item, deve-se relacionar o total de pontos obtidos pela revista dentro de determinado conjunto com o peso atribuído a ele.

O desempenho geral é obtido com a soma das pontuações alcançadas em cada um dos conjuntos, considerando a seguinte classificação:

NÍVEL A - acima de 90% (excelente)

NÍVEL B - de 71% a 90% (muito bom)

NÍVEL C - de 51% a 70% (bom)

NÍVEL D - de 31% a 50% (regular)

NÍVEL E- menor ou igual a 30% (fraco)

A pontuação pode ser visualizada melhor no seguinte quadro:

QUADRO 1- PONTUAÇÃO DOS CONJUNTOS

3   RESULTADOS DA AVALIAÇÃO

Para a avaliação da Revista Corporis, consideramos quatro fascículos correspondentes aos seguintes volumes: ano I, número 1; ano II, número 2; ano III, volume 1, número 1 e ano IV, volume 1, número 1. Esse procedimento, também usado por algumas bases de dados, como Lilacs e Scielo, permite confirmar a presença de algumas características da revista e, sobretudo, conhecer sua periodicidade.

Dessa forma, o resultado alcançado foi o seguinte:

*  Normalização 

O conjunto normalização reúne elementos essenciais para definição e identificação dos periódicos e, por isso, é exigido em todos os processos avaliativos.

Os problemas detectados na revista Corporis se referem à inexistência de algumas informações e à apresentação incompleta de outras que podem ser assim relacionadas: Legenda bibliográfica: para ser considerada completa, deve informar o título do periódico, o local da publicação, o volume, o número do fascículo, o número das páginas inicial e final e da data de publicação. Quanto à sua localização, a norma NBR 6026 (ABNT) preconiza que a legenda deve constar no anverso da folha de rosto e em cada uma das páginas do fascículo. Para a avaliação, considera também a inclusão da legenda na capa.

Instruções aos autores: têm funções importantes no fomento da qualidade dos artigos publicados. Refletem a qualidade desejada pelo corpo editorial, que é o que confere autoridade científica ao periódico. Por isso, precisam ser modificadas.

Devem informar, além dos aspectos formais exigidos para apresentação dos textos, os procedimentos seguidos para a aprovação de artigos e a definição do tipo de conteúdo que publica (qualidade acadêmica dos artigos: artigo original, artigo de revisão, estudo de caso, etc.). 

Sumário: precisa ser apresentado também em inglês.

Filiação dos autores: compreende a apresentação do nome completo do autor, titulação, instituição e endereço para contato. Deve-se evitar o uso de siglas na identificação das instituições.

Data de recebimento e/ou publicação dos artigos: a norma NBR 6022, que regulamenta a apresentação de artigos em publicações periódicas, informa que a data de entrega dos originais à redação deve aparecer no rodapé da página de abertura ou como nota editorial ao final do artigo.

A revista não apresenta essa informação, que é considerada um grande indicativo da agilidade da revista, já que permite conhecer o nível de entrosamento entre pareceristas e editor. A omissão dessa informação pode evidenciar as dificuldades enfrentadas pelo editor.

*  Duração, periodicidade, difusão

A pontuação no item duração é atribuída conforme o tempo de existência da revista. Assim, revistas mais antigas recebem pontuação maior. Esse critério privilegia as revistas que conseguem garantir a continuidade de sua publicação.

O conjunto difusão pretende verificar o tipo de distribuição utilizada pelas revistas. As que são distribuídas gratuitamente recebem pontuação inferior àquelas que são vendidas ou trocadas com outras instituições.

O conjunto periodicidade verifica o intervalo de aparição da revista, observando se a periodicidade informada é cumprida. Dessa forma, a revista obteve baixa pontuação nesse item, visto que ainda é descontado um ponto para cada um dos fascículos atrasados.

No momento, esse é o grande problema da publicação, que tem enfrentado dificuldades para cumprir pontualmente sua periodicidade, pois a regularidade de publicação é um dos critérios mais elementares no processo de avaliação e é de importância fundamental.

Dessa forma, para ser incluída em bases de dados, uma revista deve ser publicada de acordo com a freqüência especificada. Indexadores da área da Saúde, como o Lilacs, indicam a periodicidade quadrimestral como a mínima para as revistas dessa área, e a periodicidade trimestral como a ideal. 

Assim, acreditamos que a revista deve investir no compromisso de manter sua regularidade e aumentar sua periodicidade como forma de conseguir ampliar a circulação mediante sua inclusão em bases de dados.

Colaboração de autores e divisão de conteúdo

No item colaboração de autores, pretende-se verificar a participação de autores estrangeiros, em colaboração ou não. Como essa participação, para ser pontuada, precisa representar 10% do total de artigos publicados no fascículo, a revista não recebeu pontuação nesse item, já que não apresenta artigos de autores estrangeiros.

Essa é uma variável bastante observada pelas bases de dados, pois indica a capacidade da revista em atrair a colaboração de autores de instituições de outros países, além de ser indicativa também do prestígio da publicação entre as comunidades científicas nacional e internacional.

Atualmente, uma revista que deseja ser indexada não pode estar circunscrita apenas à entidade responsável por sua publicação. Não se pode aceitar uma revista que sirva somente para escoar a produção “caseira”.

Quanto à divisão de conteúdo, a revista apresenta um bom desempenho. É necessário lembrar que esse item não avalia a qualidade dos artigos, mas sim o tipo de artigo que é publicado.

Destacamos que, para pontuação dos artigos originais, leva-se em consideração o número total de páginas do fascículo. Assim, como nenhum dos quatro fascículos avaliados apresentou 75% de artigos originais, a revista não recebeu pontuação máxima nesse item.

A revista necessita classificar suas seções por tipo de artigo que publica (artigo original, artigo de revisão, estudo de caso, resenhas, etc).

4  

CONSELHO EDITORIAL

Apesar de não constar no instrumento para a avaliação da revista, consideramos relevante destacar a importância do Conselho Editorial.

Inicialmente, devemos ressaltar que a sua composição deve ser pública e seus integrantes especialistas reconhecidos pela comunidade científica. O Conselho deve ser composto por membros de outras instituições e Estados da Federação que tenham representatividade na área, visto que ele pode ser indicador da qualidade necessária ao julgamento abalizado e imparcial dos trabalhos publicados no periódico.

A revista apresenta um quadro de consultores. Entretanto, não informa a titulação e a instituição da qual fazem parte. Assim, é aconselhável que a revista procure disponibilizar também essas informações e ainda que procure contar com a participação de membros de instituições internacionais, como forma de ampliar a circulação e incentivar a participação de autores estrangeiros.

5  ASPECTOS A SEREM APRIMORADOS

-    a legenda da capa precisa ser completa (nome da revista, local de publicação, volume, número, páginas inicial e final do fascículo e data);

-    as instruções aos autores precisam trazer informações sobre a classificação dos artigos (qualidade acadêmica), exemplos de referência e critérios de avaliação dos artigos; 

-  o sumário deve ser bilíngüe;

-   a revista precisa apresentar filiação dos autores completa (nome, titulação, local e endereço para contato);

-  a data de recebimento e aprovação dos artigos deve ser informada;

-  a periodicidade proposta deve ser cumprida pontualmente;

-  a revista deve dar preferência a artigos originais;

-   as seções devem ser classificadas por tipo de artigo publicado (originais, revisão, estudo de caso, etc.).

-  a revista deve observar a pontualidade e aumentar a periodicidade.

6  CONSIDERAÇÕES FINAIS

Após procedermos à análise dos fascículos, verificamos que os resultados obtidos demonstram que a Revista Corporis é classificada como D, apresentando aspectos que ainda precisam ser melhorados, tanto de normalização como de conteúdo.

Os problemas detectados na revista comprometem a sua inserção em circuitos ampliados de leitores, colaboradores, assinaturas, permutas, etc. A carência mais séria consiste na indexação do periódico em centros de referência importantes.

A indexação em centros nacionais e internacionais de referência depende da qualidade do periódico e é concedida em função desses aspectos normativos e de outras exigências. Assim, a adoção de padrões editoriais consistentes e uma periodicidade previsível e regular podem contribuir para maior visibilidade da publicação, uma vez que são fatores observados pelas bases de dados.

Atendidas as observações relacionadas com a normalização e o cumprimento da periodicidade da revista, deve-se estar atento para o problema de maior dificuldade de alguns periódicos: o estabelecimento de uma definição sobre a qualidade acadêmica dos artigos.