AVALIAÇÃO DE PERIÓDICOS CIENTÍFICOS DA EDUCAÇÃO FÍSICA:

O CASO DA REVISTA MOTUS CORPORIS^[I]

 

Amarílio Ferreira Neto Doutor em Educação pela Universidade Metodista de Piracicaba Professor do Departamento de Desportos da Universidade Federal do Espírito Santo Coordenador do PROTEORIA - Instituto de Pesquisa em Educação e Educação Física

Ana Claudia Silverio Nascimento

Graduada em Comunicação Social e Educação Física pela Universidade Federal do Espírito Santo Membro do PROTEORIA - Instituto de Pesquisa em Educação e Educação Física

 

1  INTRODUÇÃO

Visto que o processo de validação de novos conhecimentos demanda julgamento de valor, a avaliação dos periódicos torna-se fator imprescindível à distinção entre literatura científica e não científica.

Dentro desse contexto, a avaliação de periódicos tornou-se uma preocupação atual dos profissionais que se interessam pela qualidade da informação científica, sejam eles autores, editores, publicadores, gerenciadores de sistemas de indexação e, principalmente, pesquisadores.

Isso se deve ao fato de diversas críticas estarem sendo realizadas quanto à publicação de revistas com baixa qualidade, que não cumprem os critérios estabelecidos pela comunidade científica, e com as quais vem se perdendo recursos, material publicado e o prestígio de algumas instituições. Entre essas críticas, podemos destacar: irregularidade na publicação e distribuição da revista, falta de normalização dos artigos e da revista como um todo e falta do corpo editorial.

Dentro do processo de comunicação da ciência, a avaliação apresenta duas funções que merecem ser destacadas. Inicialmente, serve como filtro de qualidade, selecionando as contribuições originais e relevantes para a área. Serve ainda aos próprios pesquisadores, ao fornecer o retorno de seus trabalhos, permitindo-lhes rever, aperfeiçoar ou prosseguir em suas pesquisas.

Assim, a avaliação dos periódicos científicos pode ocorrer de duas formas: avaliação de mérito (conteúdo) e de desempenho (forma).

A primeira, normalmente realizada por pares (especialistas), pretende verificar aspectos como: qualidade dos artigos (originalidade, atualidade, identificação com a temática da revista e percentual de artigos originais); qualidade do corpo editorial e dos consultores (participação de membros da comunidade nacional e estrangeira); natureza do órgão publicador, abrangência, indexação, entre outros.

A segunda verifica aspectos como: normalização, duração, periodicidade, difusão, colaboração de autores e divisão de conteúdo.

No ato da avaliação formal, a verificação do cumprimento dos critérios acima citados é realizada atribuindo-se pontos a cada item atendido, permitindo, assim, não apenas a classificação dos periódicos de acordo com seu grau de normalização, mas também a caracterização de todo o conjunto no que diz respeito aos critérios mínimos cobrados de uma publicação para ser aceita pela comunidade científica.

Dessa forma, o presente relatório tem como objetivo apresentar alguns aspectos julgados relevantes e que foram tomados como indicadores para proceder à avaliação de periódicos que divulgam a produção científica da Educação Física, tomando como exemplo a Revista Motus Corporis.

Os aspectos apresentados têm como ponto de partida o instrumento de avaliação formal elaborado a partir do modelo proposto por Krzyzanowski & Ferreira (1998), em seu estudo Avaliação de Periódicos científicos e técnicos brasileiros.

 

2  INSTRUMENTO E CRITÉRIOS DE AVALIAÇÃO

Desde que foi proposto, o modelo citado vem sendo usado em vários estudos sobre periódicos científicos e técnicos, pois permite mensurar aspectos relacionados com a normalização das revistas.

Entretanto, o instrumento elaborado para avaliação dos periódicos das Ciências Exatas e Biológicas apresentou limitações para a avaliação das revistas científicas da Educação Física, principalmente devido ao item "divisão de conteúdo”, evidenciando a necessidade de reformulação do modelo, a fim de que possa captar as particularidades da área, que se apresenta como multidisciplinar.

Como os artigos publicados nas revistas da área, muitas vezes, não têm as características de artigo original exigidas pelas Ciências Naturais, entendemos que seria mais adequado submeter as publicações da Educação Física ao instrumento elaborado para as Ciências Humanas.

Assim, de acordo com o instrumento formulado, os aspectos observados na avaliação das revistas são:

• • normalização: os periódicos são avaliados seguindo-se as variáveis estabelecidas no formulário, recebendo pontuação de acordo com sua normalização. Como parâmetro para medir a normalização, consideram-se as normas da Associação

 

Brasileira de Normas Técnicas (ABNT). No caso das referências, verifica-se qual a norma adotada e, a seguir, analisa-se se a revista cumpre a norma declarada.

• duração: considera-se a data de início e o tempo ininterrupto de existência do periódico para pontuação dessa variável.
• periodicidade: a indicação de periodicidade é verificada no próprio periódico e confirmada no Catálogo Coletivo Nacional de Publicações Seriadas (CCN), do Instituto Brasileiro de Informação em Ciência e Tecnologia (IBICT). Recebem um ponto a menos os fascículos atrasados e aqueles com números acumulados.
• indexação: recebem pontuação os fascículos que registram as fontes. São consideradas até três fontes internacionais e atribuem-se a cada uma delas cinco pontos.
• difusão (formas de distribuição): são consideradas de "distribuição gratuita” e recebem um ponto nessa variável as publicações que não registram a forma de distribuição nos fascículos e/ou só fazem difusão por meio de doação e permuta. As publicações que indicam preço de assinatura recebem três pontos nessa variável.
• colaboração de autores: a publicação de trabalhos de autores de várias instituições do País ou de autores estrangeiros, em colaboração ou não, é analisada e também pontuada.
• divisão de conteúdo: pretende identificar o tipo de artigo que é publicado pelo periódico. Existem dois modelos para análise de conteúdo: um para as Ciências Exatas e Biológicas e outro para as Ciências Humanas.

A pontuação para cada variável e o total geral alcançado permitem uma classificação geral de desempenho de cada periódico analisado. Cada variável apresenta uma pontuação correspondente (ver formulário) e para cada conjunto de variável é atribuído um peso, ficando assim distribuído: Normalização - 25%; Duração - 5%; Periodicidade - 12%; Indexação - 15%; Difusão - 3%; e Colaboração de autores e divisão de conteúdos - 40%.

Assim, dentro de cada um desses conjuntos, há um número máximo de pontos que pode ser obtido pela revista. Para que se consiga o desempenho do fascículo nesse item, deve-se relacionar o total de pontos obtidos pela revista dentro de determinado conjunto com o peso atribuído a ele.

O desempenho geral é obtido com a soma das pontuações alcançadas em cada um dos conjuntos, considerando a seguinte classificação:

NÍVEL A - acima de 90% (excelente)

NÍVEL B - de 71% a 90% (muito bom)

NÍVEL C - de 51% a 70% (bom)

NÍVEL D - de 31% a 50% (regular)

NÍVEL E- menor ou igual a 30% (fraco)

 

A pontuação pode ser visualizada melhor no seguinte quadro:

 

 

3  RESULTADOS DA AVALIAÇÃO DA MOTUS CORPORIS

Na avaliação da revista Motus Corporis, consideramos os quatro últimos fascículos correspondentes aos volumes: 8 (1), 7 (2), 7 (1) e 6 (2). Esse é um procedimento utilizado por algumas bases de dados (Lilacs, Scielo) que permitem confirmar a presença de algumas características da revista e, sobretudo, saber sua periodicidade.

Dessa forma, o resultado alcançado foi o seguinte (Figura 1):

14,77

 

Figura 1 - Normalização

Nos últimos quatro fascículos, verificamos uma evolução da revista quanto à sua normalização. Esse conjunto reúne elementos essenciais para definição e identificação dos periódicos e, por isso, é exigido em todos os processos avaliativos.

Os problemas detectados na revista Motus Corporis se referem à inexistência de algumas informações e à apresentação incompleta de outras que podem ser assim relacionadas:

 Legenda bibliográfica: para ser considerada completa, deve informar o título do periódico, o local da publicação, o volume, o número do fascículo, o número das páginas inicial e final e da data de publicação. Quanto à sua localização, a norma NBR 6026 (ABNT) preconiza que a legenda deve constar no anverso da folha de rosto e em cada uma das páginas do fascículo. Para a avaliação, considera também a inclusão da legenda na capa.

Ao observarmos a legenda da revista, constatamos que ela a apresenta nos locais informados, no entanto a legenda indicada na capa é incompleta, pois omite o local da publicação e as páginas inicial e final do fascículo.

Endereço: precisa ser apresentado em local mais apropriado. Sugerimos o verso da folha de rosto, abaixo da ficha catalográfica, como nos fascículos 6 (2), 7 (1) e 7 (2). Instruções aos autores: têm funções importantes no fomento da qualidade dos artigos publicados. Refletem a qualidade desejada pelo corpo editorial, que é o que confere autoridade científica ao periódico. Por isso, precisam ser modificadas.

Devem informar, além dos aspectos formais exigidos para apresentação dos textos, os procedimentos seguidos para a aprovação de artigos e a definição do tipo de conteúdo que publica (qualidade acadêmica dos artigos: artigo original, artigo de revisão, estudo de caso, etc.).

Sumário: precisa ser apresentado também em inglês.

Referências: dentre os aspectos observados na normalização, é o que apresenta maior problema na revista. Apesar de informar, nas regras para apresentação de originais, a norma adotada pela revista para referências (NBR 6023), verificamos que ela não é cumprida.

Alguns artigos incluem as referências em notas e outros sequer a apresentam. O próprio editor científico da revista não cumpre a norma adotada em três artigos publicados, respectivamente, nos fascículos 7 (1): Elogio do pé - Hugo Lovisolo e 7 (2): As nossas revistas: uma primeira aproximação - Hugo Lovisolo e Marizabel Kowalski e em História oficial e história crítica: pela autonomia do campo - Hugo Lovisolo .

Essa situação depõe contra a revista, já que o próprio editor científico não respeita as normas exigidas e abre precedentes para que a comunidade científica não se empenhe no cumprimento das normas, provocando um desconhecimento e comodismo em relação a essa situação.

Filiação dos autores: compreende a apresentação do nome completo do autor, titulação, instituição e endereço para contato. Deve-se evitar o uso de siglas na identificação das instituições. Nem todos os artigos da revista apresentam essa informação que precisa ser observada.

Resumos: segundo a norma NBR 6028, o resumo deve ser apresentado antes do artigo na língua original e ao final do texto na língua de tradução. As normas para publicação da revista exigem que todos os artigos apresentem resumos. Entretanto, a revista publicou artigos sem resumo, como o fascículo 7 (1): Cidade Sportiva”: o turfe e o remo no Rio de Janeiro (1849 - 1903), de Vitor Andrade de Melo; e Ginástica de academia: potência de ser e equilíbrio pessoal, de Guilherme Borges Pacheco Pereira.

Data de recebimento e/ou publicação dos artigos: a norma NBR 6022, que regulamenta a apresentação de artigos em publicações periódicas, informa que a data de entrega dos originais à redação deve aparecer no rodapé da página de abertura ou como nota editorial ao final do artigo.

A revista não apresenta essa informação, que é considerada um grande indicativo da agilidade da revista, já que permite conhecer o nível de entrosamento entre pareceristas e editor. A omissão dessa informação pode evidenciar as dificuldades enfrentadas pelo editor.

• • Duração, periodicidade e difusão

Quanto aos conjuntos: duração, periodicidade e difusão, todos os fascículos obtiveram a mesma pontuação, tendo em vista que todos foram publicados no período entre 5 e 10 anos de existência da revista (3 pontos), têm periodicidade semestral e são distribuídos por meio de compra/permuta e assinatura.

Entretanto, entre esses aspectos, a periodicidade da revista precisa ser observada, principalmente se ela pretende ser indexada em bases de dados internacionais.

Segundo os critérios Scielo Brasil (novembro 2000), a periodicidade desejável para uma revista da área das Ciências Biológicas é trimestral e, das Ciências Humanas, quadrimestral. Por isso, acreditamos que a revista precisa aumentar sua periodicidade, buscando, pelo menos, circular três vezes ao ano (quadrimestral).

A periodicidade é uma informação importante para quem pretende mandar artigos para a publicação, pois a freqüência de uma revista diz muito sobre sua agilidade, evidenciando que a informação circula melhor entre os envolvidos no processo de recebimento, aprovação e publicação dos artigos. Além disso, permite confirmar a regularidade da revista, que é outro dado essencial para quem pretende publicar artigos, pois atesta sobre a confiabilidade do periódico no tocante à circulação de informações.

A Motus Corporis não tem conseguido cumprir sua periodicidade, o que comprova as dificuldades encontradas pelos editores para manter a publicação dentro de uma periodicidade desejável. O não cumprimento da periodicidade proposta aliado à baixa periodicidade da revista, certamente constitui barreiras para a sua indexação em bases internacionais.

• • Colaboração de autores e divisão de conteúdo

No conjunto colaboração e divisão de conteúdo, temos a seguinte situação (Figura 2):

		28,23				28,23
	1,1	7
				9,41

 

Certamente, esse é o conjunto mais difícil de ser avaliado e o mais problemático na revista.

Na avaliação desse conjunto, leva-se em consideração, além da participação de colaboradores, o tipo de artigo publicado pela revista.

Quanto à colaboração de autores, a Motus Corporis apresenta um bom desempenho, visto que, dos quatro fascículos avaliados, dois apresentam participação de autores estrangeiros. Esse é um item bastante valorizado pelas bases de dados mais importantes, pois indica a capacidade da revista em atrair uma ampla colaboração. É, sem dúvida, um reflexo do prestigio do periódico.

Atualmente, uma revista que deseja ser indexada não pode estar circunscrita apenas à entidade responsável por sua publicação. Não se pode aceitar uma publicação que sirva somente para escoar a produção "caseira”.

Assim, apesar de a revista ser um órgão de divulgação do mestrado e doutorado em Educação Física oferecido pela Universidade, ela deve buscar o intercâmbio com a comunidade científica nacional e internacional.

Para isso, precisa publicar em outra língua, além do português. Apesar de estar publicando artigos em espanhol, acreditamos que, se deseja ser indexada internacionalmente, ela precisa buscar publicar artigos em inglês, já que esse fato pode contribuir para a sua melhor disseminação.

A divisão de conteúdo também precisa ser melhorada. Inicialmente, a revista deve definir seções de acordo com o tipo de artigo que publica (artigos originais, artigos de revisão, resenhas, estudos de caso, etc.), o que permitirá melhor avaliação do conteúdo publicado.

É necessário também, que a revista divulgue uma definição da qualidade acadêmica de cada um desses tipos de artigos para os autores interessados. A classificação dos artigos enviados deve ficar a cargo dos pareceristas, desde que eles conheçam a concepção da revista para isso.

Deve-se dar prioridade à publicação de artigos originais e artigos de revisão. A publicação de resumos de dissertações e teses, além de não agregar pontos à revista, puxa sua classificação para baixo, já que, para o julgamento dos artigos originais, leva-se em consideração o número total de páginas da revista. A revista deixou de publicar esses resumos no volume 8 (1). Essa decisão precisa ser seguida.

Assim, tendo em vista os fatores avaliados, o desempenho geral dos fascículos pode ser visualizado conforme a Figura 3:

5 AO Q/1 /io 0-7							3,4	1
		T H		34,59

 

Logo, verificamos que os fascículos 6 (2), 7 (1) e 7 (2) são classificados como nível D (regular) e o último fascículo avaliado, 8 (1), como nível C (bom).

4  CONSELHO EDITORIAL E FORMATO DA REVISTA

Apesar de não constar no instrumento utilizado para a avaliação da revista, consideramos relevante destacar a importância do Conselho Editorial. Inicialmente, devemos pontuar que a sua composição deve ser pública e seus integrantes especialistas reconhecidos pela comunidade científica.

 

Outro fator importante diz respeito à sua abrangência, que deve ser nacional e internacional, sendo composto por membros de outras instruções e Estados da Federação e de outros países.

Periódicos que possuem um Conselho com integrantes ligados predominantemente à instituição publicadora têm poucas chances de ser incluídos em bases de dados internacionais. Esse é o caso da revista Motus Corporis.

Apear de no editorial do volume 7 (1) os editores afirmarem que estavam implantando um novo Conselho Editorial com a participação de membros distribuídos pelo Brasil e pelo exterior, já no volume 8 (1) o Conselho voltou a estar circunscrito à própria instituição. É preciso que a revista "recupere” esse Conselho, visto que ele pode ser indicador da qualidade necessária ao julgamento abalizado e imparcial dos trabalhos publicados no periódico.

Apesar de apresentar boa qualidade gráfica, é preciso que a revista defina um formato e uma marca definitiva. Esses aspectos contribuem para a identificação do periódico.

5  ASPECTOS POSITIVOS DA REVISTA

Podemos citar os seguintes:

-  apresenta ISSN nos locais indicados, o que contribui para localização, indexação e inclusão do periódico em acervos;

-  apresenta legenda bibliográfica completa na folha de rosto e páginas do fascículo;

-  possui qualidade gráfica.

 

6  ASPECTOS A SEREM APRIMORADOS

Alguns aspectos da revista devem ser observados:

-   a legenda da capa precisa ser completa (nome da revista, local de publicação, volume, número, páginas inicial e final do fascículo e data);

-  o endereço da revista precisa ser informado em local mais adequado. Sugerimos no verso da folha de rosto, abaixo da ficha catalográfica;

-   as instruções aos autores precisam trazer informações sobre a classificação dos artigos (qualidade acadêmica), exemplos de referência e critérios de avalidação dos artigos;

-  o sumário deve ser bilíngüe;

-  as referências precisam seguir a norma indicada pela revista;

-  a revista precisa apresentar filiação dos autores completa (nome, titulação, local e endereço para contato);

-   a revista deve apresentar resumos trilingües, principalmente, se deseja publicar artigos em inglês e espanhol;

-  a data de recebimento e aprovação dos artigos deve ser informada;

-  a revista deve dar preferência a artigos originais;

-  as seções devem ser classificadas por tipo de artigo publicado (originais, revisão, estudo de caso, etc.).

 

7  CONSIDERAÇÕES FINAIS

Após procedermos à análise dos fascículos, verificamos que os resultados obtidos demonstram que a Revista Motus Corporis é classificada como C (bom),

apresentando aspectos que ainda precisam ser melhorados, tanto de normalização como de conteúdo.

As melhorias necessárias quanto à normalização não se restringem ao aspecto técnico da revista. Esse é um fator essencial para as revistas que buscam indexação, visto que se acredita que, em um futuro próximo, a normalização se tornará um pré-requisito para a avaliação.

Atendidas as observações relacionadas com a normalização da revista, deve­se estar atento para o problema de maior dificuldade de alguns periódicos: o estabelecimento de uma definição clara sobre a qualidade acadêmica dos artigos.

A revista Motus Corporis precisa apresentar de maneira explícita seções baseadas nessa definição (artigo original, artigo de revisão, estudo de caso, etc.). Dessa forma, os pareceristas, com base nessa definição, poderão “classificar” os artigos aprovados para publicação.

É preciso atentar ainda para o fato de que, se a revista deseja ser indexada em bases de dados das Ciências da Vida, precisa priorizar a publicação de artigos originais e de artigos de revisão.

Assim, ainda que o modelo aplicado possua limitações, acreditamos que os itens analisados correspondem às características que são observadas pelos principais indexadores e, por isso, é adequado à nossa realidade e cumpre as funções para as quais foi desenvolvido.

 

8  REFERÊNCIAS

CASTRO, R. C. F.; FERREIRA, M. C. G.; VIDILI, A. L. Periódicos latino-americanos: avaliação das características formais e sua relação com a qualidade científica. Ciência da Informação, Brasília, v. 25, n. 3, p. 357-67, set./dez. 1996.

 

CASTRO, R. C. F. ; NEGRÃO, M. B.; ZAHER, C. R. Procedimentos editoriais na avaliação de artigos para publicação em periódicos de ciências da saúde da América Latina e Caribe. Ciência da Informação, Brasília, v. 25, n. 3, 1996.

GREENE, Lewis Joel. O dilema do editor de uma revista biomédica: aceitar ou não aceitar. Ciência da Informação, Brasília, v. 27, n. 2, 1998.

KRZYZANOWSKI, R. F. e FERREIRA, M. C. Gonzaga. Avaliação de periódicos científicos e técnicos brasileiros. Ciência da Informação, Brasília, v. 27, n. 2, p. 165­175, maio/ago. 1998.

KRZYZANOWSKI, R. F. et al. Programa de apoio às revistas científicas para a FAPESP. Ciência da Informação, Brasília, v. 20, n. 2, 1991.

_______ Periódicos científicos - ProBE, informação em tempo real. Disponível

em: < http://www.fapesp.br.opini42>. Acesso em 23 ago. 2001.

LILACS - Literatura Latino-Americana e do Caribe em Ciências da Saúde. Critérios de Seleção de periódicos para a base de dados LILACS. 2000. Disponível em: <http://www.bireme.br/abd/P/crit Selecao.html> Acesso em: 19 ago.2001.

MEADOWS, A. J. A comunicação científica. Tradução de Antonio Agenor Briquet de Lemos. Brasília, DF: Briquet de Lemos/Livros,1999

MIRANDA, D. B. O periódico científico como veículo de comunicação: uma revisão de literatura. Ciência da Informação, Brasília, v. 25, n. 3, 1996.

MUELLER, S. P. M. O círculo vicioso que prende os periódicos nacionais. DataGramaZero, Brasília, n. 0, dez. 1999.

OHIRA, M. L. B.; SOMBRIO, M. L. L. N.; PRADO, N. P. Periódicos brasileiros especializados em biblioteconomia e ciência da informação. Encontros Bibli: revista de Biblioteconomia e Ciência da Informação, Florianópolis, n.10, out.

1. Disponível em: <http://www.ced.ufsc.br/bibliote/encontro>.

SABBATINI, Renato. Ciência perdida no terceiro mundo. Correio Popular, Campinas, 9 out. 1998.

______ . A morte das revistas científicas no Brasil. Correio Popular, Campinas, 30

out. 1998.

SCHWARTZMAN, Simon. A política brasileira de publicações científicas e técnicas: reflexões. Revista Brasileira de Tecnologia, Brasília, v. 15, n. 3, maio/ jun. 1984.

SCIENTIFIC Eletronic Libray Online. Biblioteca Científica Eletrônica. Sobre o Projeto. Disponível em: <http://www.scielo.br/fbpe/proieto/pintro>. Acesso em 19 ago.

2001.

SOUZA, D. H. F. de. Publicações periódicas: processos técnicos, circulação e disseminação seletiva da informação. Belém: Universidade Federal do Pará, 1992.

STUMPF, I. R. C. Passado e futuro das revistas científicas. Ciência da Informação, Brasília, v. 25, n. 3, p.383-386, 1996.

______ . Revistas universitárias brasileiras: barreiras na sua produção.

Transinformação, v. 9, n. 1, ,jan./abr. 1997.

______ . Reflexões sobre as Revistas Brasileiras. In texto, v.1, n. 3, 2000. Disponível

em: <file://A:InTexto_arquivosconteudo_arquivosa-v1n3a3.html> Acesso em: ago.2001.

TARGINO, M. das G; GARCIA, J. C. R. Ciência brasileira na base de dados do Institute for Scientific Information. Ciência da Informação, Brasília, v. 29, n. 1, p. 103-126, jan./abr. 2000.

TARGINO, Maria das Graças. Comunicação científica: uma revisão de seus elementos básicos. Informação & Sociedade, v. 10, n. 2, p. 37-85. 2000.

TESTA, James. A base de dados ISI e seu processo de seleção de revistas. Ciência da Informação, Brasília, v. 27, n. 2, 1998.

YAMAMOTO, O. H. et al. Periódicos científicos em psicologia: uma proposta de avaliação. Infocapes, v. 7, n. 3, p.7-13, jul./set. 1999.

Modelo para avaliação de periódicos científicos - Educação Física

Titulo________________________________________________________________________

Instituição____________________________________________________________________

Volume (s)_____ N°______ Estado______________ Agência Financiadora___________

 

 

 

 

Modelo para avaliação de periódicos científicos - Educação Física

Titulo________________________________________________________________________

Instituição____________________________________________________________________

Volume (s)_____ N°______ Estado______________ Agência Financiadora___________