AVALIAÇÃO DE PERIÓDICOS CIENTÍFICOS DA EDUCAÇÃO FÍSICA:

O CASO DA REVISTA MOTRIVIVÊNCIA^[I]

Amarílio Ferreira Neto Doutor em Educação pela Universidade Metodista de Piracicaba Professor do Departamento de Desportos da Universidade Federal do Espírito Santo Coordenador do PROTEORIA - Instituto de Pesquisa em Educação e Educação Física

Ana Claudia Silverio Nascimento

Graduada em Comunicação Social e Educação Física pela Universidade Federal do Espírito Santo Membro do PROTEORIA - Instituto de Pesquisa em Educação e Educação Física

1  INTRODUÇÃO

Visto que o processo de validação de novos conhecimentos demanda julgamento de valor, a avaliação dos periódicos torna-se fator imprescindível à distinção entre literatura científica e não científica.

Dentro desse contexto, a avaliação de periódicos tornou-se uma preocupação atual dos profissionais que se interessam pela qualidade da informação científica, sejam eles autores, editores, publicadores, gerenciadores de sistemas de indexação e, principalmente, pesquisadores.

Isso se deve ao fato de diversas críticas estarem sendo realizadas quanto à publicação de revistas com baixa qualidade, que não cumprem os critérios estabelecidos pela comunidade científica, e com as quais vem se perdendo recursos, material publicado e o prestígio de algumas instituições. Entre essas críticas, podemos destacar: irregularidade na publicação e distribuição da revista, falta de normalização dos artigos e da revista como um todo e falta do corpo editorial.

Dentro do processo de comunicação da ciência, a avaliação apresenta duas funções que merecem ser destacadas. Inicialmente, serve como filtro de qualidade, selecionando as contribuições originais e relevantes para a área. Serve ainda aos próprios pesquisadores, ao fornecer o retorno de seus trabalhos, permitindo-lhes rever, aperfeiçoar ou prosseguir em suas pesquisas.

Assim, a avaliação dos periódicos científicos pode ocorrer de duas formas: avaliação de mérito (conteúdo) e de desempenho (forma).

A primeira, normalmente realizada por pares (especialistas), pretende verificar aspectos como: qualidade dos artigos (originalidade, atualidade, identificação com a temática da revista e percentual de artigos originais); qualidade do corpo editorial e dos consultores (participação de membros da comunidade nacional e estrangeira); natureza do órgão publicador, abrangência, indexação, entre outros.

A segunda verifica aspectos como: normalização, duração, periodicidade, difusão, colaboração de autores e divisão de conteúdo.

No ato da avaliação formal, a verificação do cumprimento dos critérios acima citados é realizada atribuindo-se pontos a cada item atendido, permitindo, assim, não apenas a classificação dos periódicos de acordo com seu grau de normalização, mas também a caracterização de todo o conjunto no que diz respeito aos critérios mínimos cobrados de uma publicação para ser aceita pela comunidade científica.

Dessa forma, o presente relatório tem como objetivo apresentar alguns aspectos julgados relevantes e que foram tomados como indicadores para proceder à avaliação de periódicos que divulgam a produção científica da Educação Física, tomando como exemplo a Revista Motrivivência.

Os aspectos apresentados têm como ponto de partida o instrumento de avaliação formal elaborado a partir do modelo proposto por Krzyzanowski & Ferreira (1998), em seu estudo Avaliação de Periódicos científicos e técnicos brasileiros.

2  INSTRUMENTO E CRITÉRIOS DE AVALIAÇÃO

Desde que foi proposto, o modelo citado vem sendo usado em vários estudos sobre periódicos científicos e técnicos, pois permite mensurar aspectos relacionados com a normalização das revistas.

Entretanto, o instrumento elaborado para avaliação dos periódicos das Ciências Exatas e Biológicas apresentou limitações para a avaliação das revistas científicas da Educação Física, principalmente devido ao item "divisão de conteúdo”, evidenciando a necessidade de reformulação do modelo, a fim de que possa captar as particularidades da área, que se apresenta como multidisciplinar.

Como os artigos publicados nas revistas da área, muitas vezes, não têm as características de artigo original exigidas pelas Ciências Naturais, entendemos que seria mais adequado submeter as publicações da Educação Física ao instrumento elaborado para as Ciências Humanas.

Assim, de acordo com o instrumento formulado, os aspectos observados na avaliação das revistas são:

• normalização: os periódicos são avaliados seguindo-se as variáveis estabelecidas no formulário, recebendo pontuação de acordo com sua normalização. Como parâmetro para medir a normalização, consideram-se as normas da Associação

Brasileira de Normas Técnicas (ABNT). No caso das referências, verifica-se qual a norma adotada e, a seguir, analisa-se se a revista cumpre a norma declarada.

• duração: considera-se a data de início e o tempo ininterrupto de existência do periódico para pontuação dessa variável.
• periodicidade: a indicação de periodicidade é verificada no próprio periódico e confirmada no Catálogo Coletivo Nacional de Publicações Seriadas (CCN), do Instituto Brasileiro de Informação em Ciência e Tecnologia (IBICT). Recebem um ponto a menos os fascículos atrasados e aqueles com números acumulados.
• indexação: recebem pontuação os fascículos que registram as fontes. São consideradas até três fontes internacionais e atribuem-se a cada uma delas cinco pontos.
• difusão (formas de distribuição): são consideradas de "distribuição gratuita” e recebem um ponto nessa variável as publicações que não registram a forma de distribuição nos fascículos e/ou só fazem difusão por meio de doação e permuta. As publicações que indicam preço de assinatura recebem três pontos nessa variável.
• colaboração de autores: a publicação de trabalhos de autores estrangeiros, em colaboração ou não, é analisada e também pontuada.
• divisão de conteúdo: pretende identificar o tipo de artigo que é publicado pelo periódico. Recebem pontos os fascículos que publicam: artigos originais (75% ou 50% do total de páginas), artigos de revisão, cartas, resenhas bibliográficas e estudo de caso.

A pontuação para cada variável e o total geral alcançado permitem uma classificação geral de desempenho de cada periódico analisado. Cada variável apresenta uma pontuação correspondente (ver formulário) e para cada conjunto de variável é atribuído um peso, ficando assim distribuído: Normalização - 25%; Duração - 5%; Periodicidade - 12%; Indexação - 15%; Difusão - 3%; e Colaboração de autores e divisão de conteúdos - 40%.

Assim, dentro de cada um desses conjuntos, há um número máximo de pontos que pode ser obtido pela revista. Para que se consiga o desempenho do fascículo nesse item, deve-se relacionar o total de pontos obtidos pela revista dentro de determinado conjunto com o peso atribuído a ele.

O desempenho geral é obtido com a soma das pontuações alcançadas em cada um dos conjuntos, considerando a seguinte classificação:

NÍVEL A - acima de 90% (excelente)

NÍVEL B - de 71% a 90% (muito bom)

NÍVEL C - de 51% a 70% (bom)

NÍVEL D - de 31% a 50% (regular)

NÍVEL E- menor ou igual a 30% (fraco)

A pontuação pode ser visualizada melhor no seguinte quadro:

3  RESULTADOS DA AVALIAÇÃO

Na avaliação da revista Motrivivência, consideramos os quatro últimos fascículos, correspondentes aos volumes XI (12), XI (13), XI (14) e XI (15). Esse é um procedimento utilizado por algumas bases de dados (Lilacs, Scielo) que permite confirmar a presença de algumas características da revista e, sobretudo, saber sua periodicidade.

Dessa forma, o resultado alcançado foi o seguinte:

• Normalização

Figura 1 - Normalização

O conjunto normalização reúne elementos essenciais para definição e identificação dos periódicos e, por isso, é exigido em todos os processos avaliativos.

Com a avaliação, constatamos que a revista Motrivivência apresenta normalização pouco adequada, deixando de apresentar alguns critérios. Dessa forma, faremos a análise de cada um dos itens que compõem o conjunto que apresenta problemas na revista.  

-Legenda bibliográfica: corresponde ao conjunto de elementos que identificam cada fascículo de um mesmo título de periódico ou de seus suplementos (Souza, 1992). Para ser considerada completa, uma legenda bibliográfica deve informar o título do periódico, o local da publicação, o volume, o número do fascículo, o número das páginas inicial e final e a data de publicação.

Quanto à sua localização, a norma NBR 6026 da ABNT preconiza que a legenda bibliográfica deve constar no anverso da folha de rosto e em cada uma das páginas do fascículo. Para avaliação, verifica-se a localização da legenda em três locais: capa, sumário e páginas do texto.

Como nenhum dos fascículos avaliados apresentou legenda completa, a revista não alcançou pontuação máxima nessa variável. Assim, a revista precisa incluir legenda completa nos três locais indicados acima.

-  ISSN: facilita a identificação do periódico, o intercâmbio, a organização de acervos e a sua indexação. Para pontuação máxima nessa variável, o ISSN deve ser apresentado na capa, no sumário e/ou página de rosto. Como a revista apenas informa o ISSN na página de rosto, não obteve pontuação máxima. Logo, o ISSN precisa ser informado também na capa.

-   Periodicidade: este item se refere à indicação da periodicidade da revista, que pode ser feita na ficha catalográfica (ausente na Motrivivência) ou nas normas para publicação. Essa é uma informação importante para aqueles que desejam enviar trabalhos para serem publicados, pois, além de permitir confirmar a regularidade da revista, possibilita perceber se a informação circula com agilidade. Por isso, ela deve ser apresentada de maneira explícita, em local bastante visível.

-   Instruções aos autores: têm funções importantes no fomento da qualidade dos artigos publicados, pois informam os autores sobre os critérios de julgamento e aspectos formais para apresentação dos trabalhos.

As instruções refletem a qualidade desejada pelo corpo editorial, que é o que confere autoridade científica ao periódico. Para obter pontuação máxima nessa variável, a revista deve incluir exemplos de referências e explicitar o critério adotado para julgamento dos artigos.

-    Sumário: uma revista que pretende ser indexada, garantindo assim maior visibilidade para a produção veiculada, deve apresentar sumário em inglês.

-   Referências: as normas para publicação fazem referência às normas da ABNT. Entretanto, observamos que nem todos os textos apresentam referências normalizadas. Há ainda textos sem referência.

Com a modificação das normas, a partir de 2000, a nomenclatura passou de referências bibliográficas para referências. A revista não se adequou a essa modificação, apresentando falta de padronização, já que, em um mesmo fascículo, encontramos diferentes nomenclaturas para esse item.

-  Filiação dos autores: segundo as normas para apresentação de originais, deve-se incluir, além do nome do autor, sua titulação, instituição e endereço para contato. Como a revista não apresenta essa informação completa, não alcançou pontuação máxima. Deve-se evitar ainda o uso de siglas para se referir às instituições.

-    Descritores: juntamente com os resumos, os descritores dão a conhecer o assunto do artigo. Por isso, também deve ser apresentado em inglês. A revista Motrivivência não apresenta padronização quanto a esse item que aparece somente em alguns artigos.  

-   Data de recebimento e/ou aprovação do artigo: indica a agilidade da revista na relação entre autores, editor e pareceristas. Deve ser apresentada no final do artigo.

*  Duração, periodicidade, difusão

A pontuação no item duração é atribuída conforme o tempo de existência da revista. Assim, revistas mais antigas recebem pontuação maior. Esse critério privilegia as revistas que conseguem garantir a continuidade de sua publicação.

O conjunto difusão pretende verificar o tipo de distribuição utilizada pelas revistas. As que são distribuídas gratuitamente recebem pontuação inferior àquelas que são vendidas ou trocadas com outras instituições.

O conjunto periodicidade pretende verificar o intervalo de aparição da revista, observando se a periodicidade informada é cumprida.

A periodicidade regular de publicação é um dos critérios mais elementares no processo de avaliação e é de importância fundamental. Dessa forma, para ser incluída em bases de dados, uma revista deve ser publicada de acordo com a freqüência especificada.

A revista Motrivivência não tem conseguido cumprir sua periodicidade, o que comprova as dificuldades encontradas para manter sua publicação dentro de uma freqüência desejável. Além disso, a periodicidade semestral não é a mais indicada para as revistas que desejam se indexar, pois esse é um intervalo considerado muito longo para publicações técnico-científicas.

Assim, em contrapartida à sua baixa periodicidade, a revista deve investir no compromisso de manter sua regularidade como forma de conseguir ampliar a circulação mediante sua inclusão em bases de dados.

*  Colaboração de autores e divisão de conteúdos

Nesse conjunto, a pontuação do fascículo foi a seguinte:

Certamente, esse é o conjunto mais problemático da revista. Nesse item, não se avalia a qualidade dos artigos publicados, mas sim, as seções e o tipo de artigos presentes em cada uma delas (artigos originais, artigos de revisão, relatos de experiência, etc.). Além disso, leva-se em consideração a participação de autores estrangeiros.

Nenhum dos quatro fascículos avaliados contou com a colaboração de autores estrangeiros. Esse também é um item importante no processo de seleção das revistas para bases de dados, pois, além de ser indicativo da abrangência da revista, também revela seu prestígio nas comunidades científicas nacional e internacional. Por isso, a Motrivivência deve buscar abrir espaço para a colaboração de autores de instituições estrangeiras, publicando artigos em outra língua além do português.

10

Para que uma revista seja indexada, deve priorizar a publicação de artigos originais, em seguida, de artigos de revisão. Na avaliação desse conjunto, leva-se em consideração o número total de páginas da revista. Por isso, a publicação de resumos de dissertações e teses, entrevistas, documentos e informes deve ser evitada.

Nos quatro fascículos avaliados, verificamos a presença das seguintes seções: editorial, ponto de vista, experimentando, grupo de estudos, cientifique-se e carta ao editor.

Não foi possível, por meio da análise das normas para publicação, identificar o tipo de artigo que cada uma das seções inclui. Assim, consideramos como estudo de caso todos os artigos publicados nas seções: ponto de vista, grupo de estudo e experimentando. Essa opção se deu em função da característica da seção e não da qualidade dos artigos nelas publicados.

Dessa forma, acreditamos que a divisão dessas seções precisa ser modificada, pois a falta de uma definição coerente com o tipo de artigo que publica certamente prejudicou a pontuação da revista nesse item. Encontramos artigos de excelente qualidade acadêmica, por exemplo, na seção experimentando, que remete à idéia de relato de experiência e, por isso, foram avaliados como tal.

Para exemplificar, podemos citar o fascículo correspondente ao número 14, de 2000. Entre os quatro números avaliados, foi o que apresentou maior quantidade de artigos originais. Entretanto, como todos os outros artigos foram avaliados como relato de experiência, devido às seções em que estavam inseridos, o fascículo não conseguiu pontuar no item artigos originais, pois esses não correspondiam ao mínimo de 50% do total de páginas.

Assim, a melhor definição das seções baseadas na qualidade acadêmica dos artigos é uma necessidade da revista.

Além desses, identificamos ainda problemas na normalização dos artigos. A maioria não inclui descritores e apresenta problemas nas referências. Existem ainda artigos de diferentes autores com o mesmo resumo na seção Ponto de vista (número 13).

Apesar de a proposta da seção ser a apresentação de opiniões diversas sobre o mesmo tema, não é possível aceitar que dois artigos diferentes, de autores diferentes, tenham o mesmo resumo.

Dessa forma, a normalização dos artigos e também dos fascículos merece maiores cuidados.

Levando-se em consideração todos os conjuntos avaliados, o desempenho geral da revista pode ser visualizado da seguinte forma: