AVALIAÇÃO DE PERIÓDICOS CIENTÍFICOS DA EDUCAÇÃO FÍSICA:

O  CASO DA REVISTA BRASILEIRA DE CIÊNCIA E MOVIMENTO^[I]

Amarílio Ferreira Neto Doutor em Educação pela Universidade Metodista de Piracicaba Professor do Departamento de Desportos da Universidade Federal do Espírito Santo Coordenador do PROTEORIA - Instituto de Pesquisa em Educação e Educação Física

Ana Claudia Silverio Nascimento

Graduada em Comunicação Social e Educação Física pela Universidade Federal do Espírito Santo Membro do PROTEORIA - Instituto de Pesquisa em Educação e Educação Física

1  INTRODUÇÃO

Visto que o processo de validação de novos conhecimentos demanda julgamento de valor, a avaliação dos periódicos torna-se fator imprescindível à distinção entre literatura científica e não científica.

Dentro desse contexto, a avaliação de periódicos tornou-se uma preocupação atual dos profissionais que se interessam pela qualidade da informação científica, sejam eles autores, editores, publicadores, gerenciadores de sistemas de indexação e, principalmente, pesquisadores.

Isso se deve ao fato de diversas críticas estarem sendo realizadas quanto à publicação de revistas com baixa qualidade, que não cumprem os critérios estabelecidos pela comunidade científica, e com as quais vem se perdendo recursos, material publicado e o prestígio de algumas instituições. Entre essas críticas, podemos destacar: irregularidade na publicação e distribuição da revista, falta de normalização dos artigos e da revista como um todo e falta do corpo editorial.

Dentro do processo de comunicação da ciência, a avaliação apresenta duas funções que merecem ser destacadas. Inicialmente, serve como filtro de qualidade, selecionando as contribuições originais e relevantes para a área. Serve ainda aos próprios pesquisadores, ao fornecer o retorno de seus trabalhos, permitindo-lhes rever, aperfeiçoar ou prosseguir em suas pesquisas.

Assim, a avaliação dos periódicos científicos pode ocorrer de duas formas: avaliação de mérito (conteúdo) e de desempenho (forma).

A primeira, normalmente realizada por pares (especialistas), pretende verificar aspectos como: qualidade dos artigos (originalidade, atualidade, identificação com a temática da revista e percentual de artigos originais); qualidade do corpo editorial e dos consultores (participação de membros da comunidade nacional e estrangeira); natureza do órgão publicador, abrangência, indexação, entre outros.

A segunda verifica aspectos como: normalização, duração, periodicidade, difusão, colaboração de autores e divisão de conteúdo.

No ato da avaliação formal, a verificação do cumprimento dos critérios acima citados é realizada atribuindo-se pontos a cada item atendido, permitindo, assim, não apenas a classificação dos periódicos de acordo com seu grau de normalização, mas também a caracterização de todo o conjunto no que diz respeito aos critérios mínimos cobrados de uma publicação para ser aceita pela comunidade científica.

Dessa forma, o presente relatório tem como objetivo apresentar alguns aspectos julgados relevantes e que foram tomados como indicadores para proceder à avaliação de periódicos que divulgam a produção científica da Educação Física, tomando como exemplo a Revista Brasileira de Ciência e Movimento .

Os aspectos apresentados têm como ponto de partida o instrumento de avaliação formal elaborado a partir do modelo proposto por Krzyzanowski & Ferreira (1998), em seu estudo Avaliação de Periódicos científicos e técnicos brasileiros.

2  INSTRUMENTO E CRITÉRIOS DE AVALIAÇÃO

Desde que foi proposto, o modelo citado vem sendo usado em vários estudos sobre periódicos científicos e técnicos, pois permite mensurar aspectos relacionados com a normalização das revistas.

Entretanto, o instrumento elaborado para avaliação dos periódicos das Ciências Exatas e Biológicas apresentou limitações para a avaliação das revistas científicas da Educação Física, principalmente devido ao item "divisão de conteúdo”, evidenciando a necessidade de reformulação do modelo, a fim de que possa captar as particularidades da área, que se apresenta como multidisciplinar.

Como os artigos publicados nas revistas da área, muitas vezes, não têm as características de artigo original exigidas pelas Ciências Naturais, entendemos que seria mais adequado submeter as publicações da Educação Física ao instrumento elaborado para as Ciências Humanas.

Assim, de acordo com o instrumento formulado, os aspectos observados na avaliação das revistas são:

• normalização: os periódicos são avaliados seguindo-se as variáveis estabelecidas no formulário, recebendo pontuação de acordo com sua normalização. Como parâmetro para medir a normalização, consideram-se as normas da Associação

Brasileira de Normas Técnicas (ABNT). No caso das referências, verifica-se qual a norma adotada e, a seguir, analisa-se se a revista cumpre a norma declarada.

• duração: considera-se a data de início e o tempo ininterrupto de existência do periódico para pontuação dessa variável.
• periodicidade: a indicação de periodicidade é verificada no próprio periódico e confirmada no Catálogo Coletivo Nacional de Publicações Seriadas (CCN), do Instituto Brasileiro de Informação em Ciência e Tecnologia (IBICT). Recebem um ponto a menos os fascículos atrasados e aqueles com números acumulados.
• indexação: recebem pontuação os fascículos que registram as fontes. São consideradas até três fontes internacionais e atribuem-se a cada uma delas cinco pontos.
• difusão (formas de distribuição): são consideradas de "distribuição gratuita” e recebem um ponto nessa variável as publicações que não registram a forma de distribuição nos fascículos e/ou só fazem difusão por meio de doação e permuta. As publicações que indicam preço de assinatura recebem três pontos nessa variável.
• colaboração de autores: a publicação de trabalhos de autores estrangeiros, em colaboração ou não, é analisada e também pontuada.
• divisão de conteúdo: pretende identificar o tipo de artigo que é publicado pelo periódico. Recebem pontos os fascículos que publicam: artigos originais (75% ou 50% do total de páginas), artigos de revisão, cartas, resenhas bibliográficas e estudo de caso.

A pontuação para cada variável e o total geral alcançado permitem uma classificação geral de desempenho de cada periódico analisado. Cada variável apresenta uma pontuação correspondente (ver formulário) e para cada conjunto de variável é atribuído um peso, ficando assim distribuído: Normalização - 25%; Duração - 5%; Periodicidade - 12%; Indexação - 15%; Difusão - 3%; e Colaboração de autores e divisão de conteúdos - 40%.

Assim, dentro de cada um desses conjuntos, há um número máximo de pontos que pode ser obtido pela revista. Para que se consiga o desempenho do fascículo nesse item, deve-se relacionar o total de pontos obtidos pela revista dentro de determinado conjunto com o peso atribuído a ele.

O desempenho geral é obtido com a soma das pontuações alcançadas em cada um dos conjuntos, considerando a seguinte classificação:

NÍVEL A - acima de 90% (excelente)

NÍVEL B - de 71% a 90% (muito bom)

NÍVEL C - de 51% a 70% (bom)

NÍVEL D - de 31% a 50% (regular)

NÍVEL E- menor ou igual a 30% (fraco)

A pontuação pode ser visualizada melhor no seguinte quadro:

3  RESULTADOS DA AVALIAÇÃO

Na avaliação da Revista Brasileira de Ciência e Movimento, consideramos os últimos quatro fascículos correspondentes aos volumes: 9 (1), 9 (2), 9 (3) e 9 (4). Esse procedimento, também usado por algumas bases de dados, como Lilacs e Scielo, permite confirmar a presença de algumas características da revista e, sobretudo, conhecer sua periodicidade.

Dessa forma, o resultado alcançado foi o seguinte:

• • Normalização

25 - 20 - 15 - 10 - 5 0

Volume 9 (1) Volume 9 (2) Volume 9 (3) Volume 9 (4)

21,59              21,59              21,59               21,59

Figura 1 - Normalização

O conjunto normalização reúne elementos essenciais para definição e identificação dos periódicos e, por isso, é exigido em todos os processos avaliativos.

Com a análise dos quatro fascículos, verificamos que todos obtiveram a mesma pontuação. Os problemas detectados dizem respeito à indicação incompleta da filiação dos autores e à falta de registro das datas de recebimento e aprovação dos artigos.

Segundo as normas para apresentação de originais, a filiação do autor é completa quando incluiu, além do nome do autor, sua titulação, instituição e endereço. Deve-se evitar ainda o uso de siglas para se referir às instituições.  

A revista não apresenta padronização quanto a essa informação, deixando de apresentar na maioria dos artigos a titulação dos autores.

É recomendável ainda que o periódico registre as datas de recebimento e aprovação dos artigos. A norma NBR 6022 da ABNT, que regulamenta a apresentação de artigos em publicações periódicas, informa que a data de entrega dos originais à redação dos periódicos deve aparecer no rodapé da página de abertura ou como nota editorial ao final do artigo.

Essa informação é um grande indicativo da agilidade da revista, já que permite conhecer o nível de entrosamento entre pareceristas e editor.

*  Duração, periodicidade, difusão

A pontuação no item duração é atribuída conforme o tempo de existência da revista. Assim, revistas mais antigas recebem pontuação maior. Esse critério privilegia as revistas que conseguem garantir a continuidade de sua publicação.

O conjunto difusão pretende verificar o tipo de distribuição utilizada pelas revistas. As que são distribuídas gratuitamente recebem pontuação inferior àquelas que são vendidas ou trocadas com outras instituições.

O conjunto periodicidade pretende verificar o intervalo de aparição da revista, observando se a periodicidade informada é cumprida. A periodicidade regular de publicação é um dos critérios mais elementares no processo de avaliação e é de importância fundamental, pois indica o fluxo da produção científica do periódico.

Dessa forma, para ser incluída em bases de dados, uma revista deve ser publicada de acordo com a freqüência especificada. Indexadores da área da Saúde, como o próprio Lilacs, indicam a periodicidade quadrimestral como a mínima para as revistas dessa área, e a periodicidade trimestral como a ideal.

A revista apresenta uma periodicidade adequada. O desafio consiste em investir no compromisso de manter sua regularidade como forma de ampliar a circulação mediante a sua inclusão em outros centros de referências.

•Colaboração de autores e divisão de conteúdo

Nesse conjunto, a pontuação do fascículo foi a seguinte:

Figura 2 - Colaboração de autores e divisão de conteúdo

No item colaboração de autores, pretende-se verificar a participação de autores estrangeiros, em colaboração ou não. Dos quatro fascículos avaliados, apenas um conta com participação de autores estrangeiros (v. 9, n. 4).

Essa é uma variável bastante observada pelas bases de dados, pois indica a capacidade da revista em atrair a colaboração de autores de instituições de outros países, além de ser indicativa também do prestígio da publicação entre as comunidades científicas nacional e internacional.

Destacamos que a revista conta com boa participação de autores de outras instituições do País, contribuindo para o aumento da massa crítica do periódico, demonstrando que não está circunscrita à entidade publicadora.

O item divisão de conteúdo não pretende avaliar a qualidade dos artigos, mas sim verificar o tipo de artigo publicado (original, revisão, relato de experiência, etc.).

A Revista Brasileira de Ciência e Movimento apresenta seções definidas com base no tipo de artigo que publica, fato que facilita a avaliação do conjunto. Entretanto, apesar de priorizar a publicação de artigos originais, dois fascículos não obtiveram pontos nessa variável, pois não apresentavam o mínimo de 50% do total de páginas referentes a esse tipo de artigo.

Esse fato evidencia a necessidade de a revista aumentar a quantidade de artigos originais e evitar a publicação de informes, documentos, divulgação de eventos e resumos que, além de não agregar pontos, influencia negativamente na avaliação dos artigos originais.

Assim, levando em consideração todos os conjuntos avaliados, o desempenho geral da revista pode ser visualizado da seguinte maneira:

Figura 3 - Desempenho geral da revista

4  ASPECTOS POSITIVOS DA REVISTA

Podemos citar os seguintes:

-  possui qualidade visual e gráfica;

-há orientação nas normas para publicação sobre aspectos técnicos para apresentação dos artigos e exemplos de referências;

-  apresenta normas em português, inglês e espanhol;

-  apresenta legenda completa nos locais indicados;

-  apresenta sumário, resumo e descritores no idioma do fascículo e em inglês;

-  reúne trabalhos de autores e/ou grupos atuantes no País;

-  indica localidade e titulação dos membros do Conselho Editorial;

-  possui Conselho Editorial internacional;

-  possui boa periodicidade;

-  classifica as seções por tipo de artigo: original, revisão, ponto de vista, etc.

-  registra número de ISSN na capa;

-  é indexada em base de dado de referência.

5  ASPECTOS A SEREM APRIMORADOS

Alguns aspectos da revista podem ser aprimorados:

-  padronizar a apresentação de filiação dos autores, indicando a titulação;

-  observar a pontualidade e cumprir a periodicidade proposta;

-  registrar as datas de recebimento e aprovação dos artigos;

-  aumentar a quantidade de artigos originais.

6  CONSIDERAÇÕES FINAIS

Após procedermos à análise dos fascículos, verificamos que os resultados obtidos demonstram que a Revista Brasileira de Ciência e Movimento é classificada como C (bom), apresentando aspectos que ainda precisam ser melhorados, tanto de normalização como de conteúdo.

Os problemas detectados na normalização da revista podem ser facilmente corrigidos. O fato de já estar indexada na base de dado Lilacs faz com que a revista passe por um processo contínuo de avaliação. Dessa forma, acreditamos que a melhoria nos aspectos destacados pode contribuir para a sua permanência no indexador.

A indexação em centros internacionais de referência depende da qualidade do periódico e é concedida em função desses aspectos normativos e outras exigências. Assim, a adoção de padrões editoriais consistentes e uma periodicidade previsível e regular podem contribuir para maior visibilidade da publicação, uma vez que são fatores observados pelas bases de dados.

Outro aspecto que precisa ser observado pela revista diz respeito à colaboração de autores estrangeiros. Para isso, a revista precisa também publicar em outra língua, além de português, ampliando, assim, seu circuito de leitores, assinaturas, permutas, etc.

A presença do Conselho Editorial internacional apresentado pela revista deve também ser utilizada buscando atrair contribuições de autores de instituições estrangeiras.

A revista precisa ainda aumentar a quantidade de artigos originais publicados para que possa obter maior pontuação nessa variável. O fato de publicar informes, resumos, etc. prejudica seu desempenho na avaliação da divisão de conteúdo e, por isso, essas publicações devem ser evitadas.

Dessa forma, ainda que o modelo aplicado na avaliação possua limitações, acreditamos que os itens analisados correspondem às características que são observadas pelos principais indexadores, tornando-o adequado à nossa realidade e cumprindo as funções para as quais foi desenvolvido.

7  REFERÊNCIAS

CASTRO, R. C. F.; FERREIRA, M. C. G.; VIDILI, A. L. Periódicos latino-americanos: avaliação das características formais e sua relação com a qualidade científica. Ciência da Informação, Brasília, v. 25, n. 3, p. 357-67, set./dez. 1996.

CASTRO, R. C. F. ; NEGRÃO, M. B.; ZAHER, C. R. Procedimentos editoriais na avaliação de artigos para publicação em periódicos de ciências da saúde da América Latina e Caribe. Ciência da Informação, Brasília, v. 25, n. 3, 1996.

GREENE, Lewis Joel. O dilema do editor de uma revista biomédica: aceitar ou não aceitar. Ciência da Informação, Brasília, v. 27, n. 2, 1998.

KRZYZANOWSKI, R. F. e FERREIRA, M. C. Gonzaga. Avaliação de periódicos científicos e técnicos brasileiros. Ciência da Informação, Brasília, v. 27, n. 2, p. 165­175, maio/ago. 1998.

KRZYZANOWSKI, R. F. et al. Programa de apoio às revistas científicas para a FAPESP. Ciência da Informação, Brasília, v. 20, n. 2, 1991.

________ Periódicos científicos - ProBE, informação em tempo real. Disponível

em: < http://www.fapesp.br.opini42>. Acesso em 23 ago. 2001.

LILACS - Literatura Latino-Americana e do Caribe em Ciências da Saúde. Critérios de Seleção de periódicos para a base de dados LILACS. 2000. Disponível em: <http://www.bireme.br/abd/P/crit Selecao.html> Acesso em: 19 ago.2001.

CONTATO

Amarílio Ferreira Neto - Caixa Postal: 01-9030 ACF - Campus Universitário Vitória - ES CEP: 29.060-973

MEADOWS, A. J. A comunicação científica. Tradução de Antonio Agenor Briquet de Lemos. Brasília, DF: Briquet de Lemos/Livros,1999

MIRANDA, D. B. O periódico científico como veículo de comunicação: uma revisão de literatura. Ciência da Informação, Brasília, v. 25, n. 3, 1996.

MUELLER, S. P. M. O círculo vicioso que prende os periódicos nacionais. DataGramaZero, Brasília, n. 0, dez. 1999.

OHIRA, M. L. B.; SOMBRIO, M. L. L. N.; PRADO, N. P. Periódicos brasileiros especializados em biblioteconomia e ciência da informação. Encontros Bibli: revista de Biblioteconomia e Ciência da Informação, Florianópolis, n.10, out.

1. Disponível em: <http://www.ced.ufsc.br/bibliote/encontro>.

SABBATINI, Renato. Ciência perdida no terceiro mundo. Correio Popular, Campinas, 9 out. 1998.

_______ . A morte das revistas científicas no Brasil. Correio Popular, Campinas, 30

out. 1998.

SCHWARTZMAN, Simon. A política brasileira de publicações científicas e técnicas: reflexões. Revista Brasileira de Tecnologia, Brasília, v. 15, n. 3, maio/ jun. 1984.

SCIENTIFIC Eletronic Libray Online. Biblioteca Científica Eletrônica. Sobre o Projeto. Disponível em: <http://www.scielo.br/fbpe/projeto/pintro>. Acesso em 19 ago.

2001.

SOUZA, D. H. F. de. Publicações periódicas: processos técnicos, circulação e disseminação seletiva da informação. Belém: Universidade Federal do Pará, 1992.

STUMPF, I. R. C. Passado e futuro das revistas científicas. Ciência da Informação, Brasília, v. 25, n. 3, p.383-386, 1996.

_______ . Revistas universitárias brasileiras: barreiras na sua produção.

Transinformação, v. 9, n. 1, ,jan./abr. 1997.

_______ . Reflexões sobre as Revistas Brasileiras. In texto, v.1, n. 3, 2000. Disponível

em: <file://A:InTexto_arquivosconteudo_arquivosa-v1n3a3.html> Acesso em: ago.2001.

TARGINO, M. das G; GARCIA, J. C. R. Ciência brasileira na base de dados do Institute for Scientific Information. Ciência da Informação, Brasília, v. 29, n. 1, p. 103-126, jan./abr. 2000.

TARGINO, Maria das Graças. Comunicação científica: uma revisão de seus elementos básicos. Informação & Sociedade, v. 10, n. 2, p. 37-85. 2000.

TESTA, James. A base de dados ISI e seu processo de seleção de revistas. Ciência da Informação, Brasília, v. 27, n. 2, 1998.

YAMAMOTO, O. H. et al. Periódicos científicos em psicologia: uma proposta de avaliação. Infocapes, v. 7, n. 3, p.7-13, jul./set. 1999.