AVALIAÇÃO DE PERIÓDICOS CIENTÍFICOS DA EDUCAÇÃO FÍSICA:

O CASO DA REVISTA MOVIMENTO^[1]

Amarílio Ferreira Neto Doutor em Educação pela Universidade Metodista de Piracicaba Professor do Departamento de Desportos da Universidade Federal do Espírito Santo Coordenador do PROTEORIA - Instituto de Pesquisa em Educação e Educação Física

Ana Claudia Silverio Nascimento

Graduada em Comunicação Social e Educação Física pela Universidade Federal do Espírito Santo Membro do PROTEORIA - Instituto de Pesquisa em Educação e Educação Física

1  INTRODUÇÃO

Visto que o processo de validação de novos conhecimentos demanda julgamento de valor, a avaliação dos periódicos torna-se fator imprescindível à distinção entre literatura científica e não científica.

Dentro desse contexto, a avaliação de periódicos tornou-se uma preocupação atual dos profissionais que se interessam pela qualidade da informação científica, sejam eles autores, editores, publicadores, gerenciadores de sistemas de indexação e, principalmente, pesquisadores.

Isso se deve ao fato de diversas críticas estarem sendo realizadas quanto à publicação de revistas com baixa qualidade, que não cumprem os critérios estabelecidos pela comunidade científica, e com as quais vem se perdendo recursos, material publicado e o prestígio de algumas instituições. Entre essas críticas, podemos destacar: irregularidade na publicação e distribuição da revista, falta de normalização dos artigos e da revista como um todo e falta do corpo editorial.

Dentro do processo de comunicação da ciência, a avaliação apresenta duas funções que merecem ser destacadas. Inicialmente, serve como filtro de qualidade, selecionando as contribuições originais e relevantes para a área. Serve ainda aos próprios pesquisadores, ao fornecer o retorno de seus trabalhos, permitindo-lhes rever, aperfeiçoar ou prosseguir em suas pesquisas.

Assim, a avaliação dos periódicos científicos pode ocorrer de duas formas: avaliação de mérito (conteúdo) e de desempenho (forma).

A primeira, normalmente realizada por pares (especialistas), pretende verificar aspectos como: qualidade dos artigos (originalidade, atualidade, identificação com a temática da revista e percentual de artigos originais); qualidade do corpo editorial e dos consultores (participação de membros da comunidade nacional e estrangeira); natureza do órgão publicador, abrangência, indexação, entre outros.

A segunda verifica aspectos como: normalização, duração, periodicidade, difusão, colaboração de autores e divisão de conteúdo.

No ato da avaliação formal, a verificação do cumprimento dos critérios acima citados é realizada atribuindo-se pontos a cada item atendido, permitindo, assim, não apenas a classificação dos periódicos de acordo com seu grau de normalização, mas também a caracterização de todo o conjunto no que diz respeito aos critérios mínimos cobrados de uma publicação para ser aceita pela comunidade científica.

Dessa forma, o presente relatório tem como objetivo apresentar alguns aspectos julgados relevantes e que foram tomados como indicadores para proceder à avaliação de periódicos que divulgam a produção científica da Educação Física, tomando como exemplo a Revista Movimento.

Os aspectos apresentados têm como ponto de partida o instrumento de avaliação formal elaborado a partir do modelo proposto por Krzyzanowski & Ferreira (1998), em seu estudo Avaliação de Periódicos científicos e técnicos brasileiros.

2  INSTRUMENTO E CRITÉRIOS DE AVALIAÇÃO

Desde que foi proposto, o modelo citado vem sendo usado em vários estudos sobre periódicos científicos e técnicos, pois permite mensurar aspectos relacionados com a normalização das revistas.

Entretanto, o instrumento elaborado para avaliação dos periódicos das Ciências Exatas e Biológicas apresentou limitações para a avaliação das revistas científicas da Educação Física, principalmente devido ao item "divisão de conteúdo”, evidenciando a necessidade de reformulação do modelo, a fim de que possa captar as particularidades da área, que se apresenta como multidisciplinar.

Como os artigos publicados nas revistas da área, muitas vezes, não têm as características de artigo original exigidas pelas Ciências Naturais, entendemos que seria mais adequado submeter as publicações da Educação Física ao instrumento elaborado para as Ciências Humanas.

Assim, de acordo com o instrumento formulado, os aspectos observados na avaliação das revistas são:

• normalização: os periódicos são avaliados seguindo-se as variáveis estabelecidas no formulário, recebendo pontuação de acordo com sua normalização. Como parâmetro para medir a normalização, consideram-se as normas da Associação

Brasileira de Normas Técnicas (ABNT). No caso das referências, verifica-se qual a norma adotada e, a seguir, analisa-se se a revista cumpre a norma declarada.

• duração: considera-se a data de início e o tempo ininterrupto de existência do periódico para pontuação dessa variável.
• periodicidade: a indicação de periodicidade é verificada no próprio periódico e confirmada no Catálogo Coletivo Nacional de Publicações Seriadas (CCN), do Instituto Brasileiro de Informação em Ciência e Tecnologia (IBICT). Recebem um ponto a menos os fascículos atrasados e aqueles com números acumulados.
• indexação: recebem pontuação os fascículos que registram as fontes. São consideradas até três fontes internacionais e atribuem-se a cada uma delas cinco pontos.
• difusão (formas de distribuição): são consideradas de "distribuição gratuita” e recebem um ponto nessa variável as publicações que não registram a forma de distribuição nos fascículos e/ou só fazem difusão por meio de doação e permuta. As publicações que indicam preço de assinatura recebem três pontos nessa variável.
• colaboração de autores: a publicação de trabalhos de autores estrangeiros, em colaboração ou não, é analisada e também pontuada.
• divisão de conteúdo: pretende identificar o tipo de artigo que é publicado pelo periódico. Recebem pontos os fascículos que publicam: artigos originais (75% ou 50% do total de páginas), artigos de revisão, cartas, resenhas bibliográficas e estudo de caso.

A pontuação para cada variável e o total geral alcançado permitem uma classificação geral de desempenho de cada periódico analisado. Cada variável apresenta uma pontuação correspondente (ver formulário) e para cada conjunto de variável é atribuído um peso, ficando assim distribuído: Normalização - 25%; Duração - 5%; Periodicidade - 12%; Indexação - 15%; Difusão - 3%; e Colaboração de autores e divisão de conteúdos - 40%.

Assim, dentro de cada um desses conjuntos, há um número máximo de pontos que pode ser obtido pela revista. Para que se consiga o desempenho do fascículo nesse item, deve-se relacionar o total de pontos obtidos pela revista dentro de determinado conjunto com o peso atribuído a ele.

O desempenho geral é obtido com a soma das pontuações alcançadas em cada um dos conjuntos, considerando a seguinte classificação:

NÍVEL A - acima de 90% (excelente)

NÍVEL B - de 71% a 90% (muito bom)

NÍVEL C - de 51% a 70% (bom)

NÍVEL D - de 31% a 50% (regular)

NÍVEL E- menor ou igual a 30% (fraco)

A pontuação pode ser visualizada melhor no seguinte quadro:

3  RESULTADOS DA AVALIAÇÃO

Na avaliação da revista Movimento, consideramos os quatro últimos fascículos, correspondentes aos volumes 8 (1), número 15 (2001/2), número 14 (2001/1) e número 13 (2000/2). Esse é um procedimento utilizado por algumas bases de dados (Lilacs, Scielo) que permite confirmar a presença de algumas características da revista e, sobretudo, saber sua periodicidade.

Dessa forma, o resultado alcançado foi o seguinte:

• Normalização

Com a análise dos últimos quatro fascículos, verificamos que a revista apresentou uma melhora em seu último número publicado, no que se refere aos aspectos formais.

O item normalização, presente na ficha de avaliação de periódicos, reúne elementos essenciais para definição e identificação das revistas, por isso, é exigido em todos os processos avaliativos. Apesar de ter revisto alguns itens, adequando-os melhor às normas exigidas, existem dois que ainda precisam ser observados: instruções aos autores e o sumário.

As instruções aos autores têm funções importantes no fomento da qualidade dos artigos publicados. Refletem a qualidade desejada pelo corpo editorial, que é o que confere autoridade científica aos periódicos. Por isso, precisam ser modificadas.

Além dos aspectos formais exigidos para a apresentação dos textos (tamanho do texto, fonte, espaçamento), as instruções devem informar os procedimentos seguidos para a aprovação de artigos e a definição do tipo de conteúdo que publica (artigo original, artigo de revisão, estudo de caso, etc.).

Outro item que precisa ser revisto é o sumário. Levando em consideração que a presença de sumário bilíngüe é uma exigência para a indexação, a Revista Movimento deve apresentá-lo também em inglês.

Mesmo tendo atendido aos principais itens de normalização, foram detectados nos fascículos avaliados problemas que dizem respeito à normalização dos artigos, entre eles: presença de expressões latinas e, principalmente, descumprimento das normas para referências.

O principal problema diz respeito à falta de cumprimento das normas nas seções: Temas Polêmicos e Mercosul. Mesmo entendendo a proposta diferenciall das duas seções, não se pode aceitar a publicação de artigos que não cumprem as normas mínimas exigidas, como a presença de resumo e apresentação de referências.

Dos quatro fascículos avaliados, apenas o artigo assinado por Celi Taffarel (Ano VII, n. 13, 2000/2) na seção Temas Polêmicos apresenta resumo. Os demais artigos publicados nessa seção não o apresentam. 

Outro problema grave detectado nessa seção diz respeito à falta de referências. Além de não constar em todos os artigos, muitas vezes, as referências são confundidas com notas. Há mesmo artigo sem quaisquer referências como Mediação: esporte de rendimento e esporte da escola (Ano VII, n. 15, 2001/2).

A seção Mercosul também merece cuidados. Começou a ser publicada no fascículo referente ao Ano VII, n. 13, de 2000/2 e, segundo o próprio editor, destina- se a publicar textos em espanhol "...oportunizando aos irmãos do Mercosul a interlocução e sua inclusão nos debates e nas reflexões que se estabelecem no âmbito do movimento humano, da Educação Física e das Ciências do Esporte, tanto no Brasil como na América do Sul”. Entretanto, já nesse número, o artigo publicado é de um autor proveniente da Universidade de Barcelona, na Espanha.

Nesse sentido, acreditamos que há uma incoerência entre o nome da seção e o tipo de artigo que publica, já que o nome Mercosul remete ou a autores dessa região ou a objetos de estudo que envolvam essa região, o que não é o caso do artigo referido.

*  Duração, periodicidade e difusão

A pontuação no item duração é atribuída conforme o tempo de existência da revista. Assim, revistas mais antigas recebem pontuação maior. Esse critério privilegia as revistas que conseguem garantir a continuidade de sua publicação.

O conjunto difusão pretende verificar o tipo de distribuição utilizada pelas revistas. As que são distribuídas gratuitamente recebem pontuação inferior àquelas que são vendidas ou trocadas com outras instituições.

O conjunto periodicidade pretende verificar o intervalo de aparição da revista, observando se a periodicidade informada é cumprida. A periodicidade regular de publicação é um dos critérios mais elementares no processo de avaliação e é de importância fundamental. Dessa forma, para ser incluída em bases de dados, uma revista deve ser publicada de acordo com a freqüência especificada. Por isso, a revista deve investir no compromisso de manter sua regularidade como forma de conseguir ampliar a circulação mediante sua inclusão em bases de dados.

*  Colaboração de autores e divisão de conteúdos

Nesse conjunto, a pontuação da revista foi a seguinte: 

Figura 2 - Colaboração de autores e divisão de conteúdo

Dentre os conjuntos analisados, esse é o mais difícil de ser avaliado. Na sua avaliação, considera-se, além da participação de autores estrangeiros, a qualidade acadêmica dos artigos publicados.

Quanto à colaboração de autores, a revista Movimento apresenta um bom desempenho, visto que, dos quatro fascículos avaliados, apenas o volume 8 não contou com a colaboração de estrangeiros. Isso se deve à presença da Seção Mercosul.

Esse é um item bastante valorizado pelas bases de dados mais importantes, pois indica a capacidade da revista em atrair ampla colaboração. Outro aspecto positivo observado corresponde à participação de autores de diversas instituições do País. Isso demonstra que a revista tem prestígio na comunidade acadêmica.

Atualmente, para ser indexada, uma revista não pode estar circunscrita apenas à entidade responsável por sua publicação. Não se pode aceitar uma publicação que sirva somente para escoar a produção "caseira”. Assim, mesmo sendo órgão de divulgação da Escola de Educação Física da Universidade Federal do Rio Grande do Sul, a Movimento deve buscar a colaboração de autores de outras instituições nacionais e internacionais. Por isso, a publicação de artigos em espanhol e inglês deve ser incentivada.

Quanto à divisão de conteúdo, observamos alguns aspectos que ainda precisam ser modificados. A revista deve priorizar a publicação de artigos originais. Na avaliação de artigos realizada por indexadores internacionais, esse é um dos fatores de maior peso. Assim, deve-se evitar a publicação de resumos de teses ou dissertações, documentos, etc.

Levando-se em consideração a avaliação dos quatro fascículos, a revista obteve o seguinte desempenho:

Figura 3 - Desempenho geral

4  CONSELHO EDITORIAL

Apesar de não constar no instrumento utilizado para a avaliação da revista, consideramos relevante destacar a importância do Conselho Editorial. Inicialmente, devemos pontuar que a sua composição deve ser pública e seus integrantes especialistas reconhecidos pela comunidade científica.

O Conselho Editorial deve ser composto por membros de outras instituições e Estados da Federação que tenham representatividade na área, visto que ele pode ser indicador da qualidade necessária ao julgamento abalizado e imparcial dos trabalhos publicados no periódico.

É desejável ainda, para as revistas que buscam ser indexadas em bases de dados internacionais, a presença de membros de instituições estrangeiras.

5  ASPECTOS POSITIVOS

Podemos citar os seguintes:

-  apresenta legenda bibliográfica completa nas páginas do texto;

-  indica ISSN nos locais determinados;

-    orienta os autores sobre a apresentação dos trabalhos, informa o critério de julgamento e orienta sobre terminologia utilizada para elaboração de descritores;

-  apresenta resumos e descritores em português e inglês;

-  possui qualidade gráfica.

6  ASPECTOS A SEREM APRIMORADOS

Alguns aspectos da revista devem ser observados:

-  apresentar sumário em inglês;

-  priorizar a publicação de artigos originais;

-  classificar as seções por tipo de artigo publicado;

-  incluir resumos e descritores em todos os artigos.

7  CONSIDERAÇÕES FINAIS

Após procedermos à análise dos fascículos, verificamos que os resultados obtidos demonstram que a Revista Movimento é classificada como D (regular), apresentando aspectos que ainda precisam ser melhorados, tanto de normalização como de conteúdo.

As melhorias necessárias quanto à normalização constituem fator essencial para as revistas que buscam indexação, visto que se acredita que, em um futuro próximo, a normalização se tornará um pré-requisito para a avaliação.

Atendidas às observações relacionadas com a normalização da revista, deve­se atentar para o problema de maior dificuldade de alguns periódicos: o estabelecimento de uma definição clara sobre a qualidade acadêmica dos artigos.

A Revista Movimento precisa apresentar de maneira explícita seções baseadas nesta definição (artigo original, artigo de revisão, estudo de caso, etc.). Dessa forma, os pareceristas, com base nessa definição, poderão “classificar” os artigos aprovados para publicação.

É preciso atentar ainda para o fato de que, se a revista deseja ser indexada em bases de dados nacionais e internacionais, precisa priorizar a publicação de artigos originais e de artigos de revisão e aumentar sua freqüência de publicação, já que a divulgação pressupõe a adoção de padrões editoriais consistentes e a manutenção de uma periodicidade pontual e previsível.

Todas as variáveis avaliadas são intervenientes na indexação e simultaneamente na circulação ou vice-versa. É preciso observar também o fato de que, muitas vezes, as revistas regionais de valor não são consultadas por pesquisadores nacionais ou estrangeiros porque não estão em bases de dados nacionais e internacionais.

Assim, ainda que o modelo aplicado possua limitações, acreditamos que os itens analisados correspondem às características que são observadas pelos principais indexadores e, por isso, é adequado à nossa realidade e cumpre as funções para as quais foi desenvolvido.

8  REFERÊNCIAS

CASTRO, R. C. F.; FERREIRA, M. C. G.; VIDILI, A. L. Periódicos latino-americanos: avaliação das características formais e sua relação com a qualidade científica. Ciência da Informação, Brasília, v. 25, n. 3, p. 357-67, set./dez. 1996.

CASTRO, R. C. F. ; NEGRÃO, M. B.; ZAHER, C. R. Procedimentos editoriais na avaliação de artigos para publicação em periódicos de ciências da saúde da América Latina e Caribe. Ciência da Informação, Brasília, v. 25, n. 3, 1996.

GREENE, Lewis Joel. O dilema do editor de uma revista biomédica: aceitar ou não aceitar. Ciência da Informação, Brasília, v. 27, n. 2, 1998.

KRZYZANOWSKI, R. F. e FERREIRA, M. C. Gonzaga. Avaliação de periódicos científicos e técnicos brasileiros. Ciência da Informação, Brasília, v. 27, n. 2, p. 165­175, maio/ago. 1998.

KRZYZANOWSKI, R. F. et al. Programa de apoio às revistas científicas para a FAPESP. Ciência da Informação, Brasília, v. 20, n. 2, 1991.

_______ Periódicos científicos - ProBE, informação em tempo real. Disponível

em: < http://www.fapesp.br.opini42>. Acesso em 23 ago. 2001.

LILACS - Literatura Latino-Americana e do Caribe em Ciências da Saúde. Critérios de Seleção de periódicos para a base de dados LILACS. 2000. Disponível em: <http://www.bireme.br/abd/P/crit Selecao.html> Acesso em: 19 ago.2001.

MEADOWS, A. J. A comunicação científica. Tradução de Antonio Agenor Briquet de Lemos. Brasília, DF: Briquet de Lemos/Livros,1999

MIRANDA, D. B. O periódico científico como veículo de comunicação: uma revisão de literatura. Ciência da Informação, Brasília, v. 25, n. 3, 1996.

MUELLER, S. P. M. O círculo vicioso que prende os periódicos nacionais. DataGramaZero, Brasília, n. 0, dez. 1999.

OHIRA, M. L. B.; SOMBRIO, M. L. L. N.; PRADO, N. P. Periódicos brasileiros especializados em biblioteconomia e ciência da informação. Encontros Bibli:

CONTATO

Amarílio Ferreira Neto - Caixa Postal: 01-9030 ACF - Campus Universitário Vitória - ES CEP: 29.060-973