UNIVERSIDADE FEDERAL DO ESPÍRITO SANTO CENTRO DE EDUCAÇÃO FÍSICA E DESPORTOS

AVALIAÇÃO DE PERIÓDICOS CIENTÍFICOS DA EDUCAÇÃO FÍSICA: O CASO DO FITNESS & PERFORMANCE JOURNAL

Vitória Julho 2003

UNIVERSIDADE FEDERAL DO ESPÍRITO SANTO CENTRO DE EDUCAÇÃO FÍSICA E DESPORTOS

AVALIAÇÃO DE PERIÓDICOS CIENTÍFICOS DA EDUCAÇÃO FÍSICA: O CASO DO FITNESS & PERFORMANCE JOURNAL

por

Amarílio Ferreira Neto Doutor em Educação - UNIMEP Professor da Universidade Federal do Espírito Santo Coordenador do PROTEORIA

Ana Claudia Silverio Nascimento Mestranda do Programa de Pós-Graduação em Educação Física e Cultura da Universidade Gama Filho

Vitória Julho 2003

AVALIAÇÃO DE PERIÓDICOS CIENTÍFICOS DA EDUCAÇÃO FÍSICA: O CASO DO FITNESS & PERFORMANCE JOURNAL

1  Introdução

O objetivo do presente documento é apresentar o resultado da avaliação do periódico Fitness & Performance Journal. Recomenda-se que este documento seja analisado conjuntamente com o artigo “Periódicos científicos da Educação Física: proposta de avaliação”, publicado na revista Movimento (v. 8, n. 2., 2002) tendo em vista que este pode ser tomado como ponto de partida para o presente relatório, pois apresenta o instrumento de avaliação elaborado por Ferreira Neto e Nascimento (2002).

Inicialmente, devemos destacar que a avaliação de periódicos científicos tornou-se tarefa imprescindível perante a proliferação de publicação experimentada nos últimos anos, sobretudo em função da necessidade de publicar que atinge os pesquisadores.

O crescente aumento no número de publicações impõe à comunidade científica a responsabilidade de um padrão de qualidade compatível com o papel de disseminação desse conhecimento - e uma das iniciativas mais importantes tem sido a avaliação dos periódicos científicos.

O exame dos indicadores de qualidade dos periódicos pode contemplar dois aspectos complementares, de natureza intrínseca e extrínseca. Os primeiros dizem respeito aos aspectos formais (normalização, periodicidade, distribuição, etc.), enquanto os segundos se referem ao conteúdo (nível de qualidade dos artigos, formação do conselho editorial, consultores, etc.).

As primeiras tentativas de avaliar as revistas científicas, segundo Ferreira (2001), datam do início da década de 1960, quando surgem na literatura estudos sobre a avaliação dessas publicações que já demonstravam a necessidade de definir parâmetros mensuráveis que pudessem refletir a qualidade da informação científica.

No Brasil, partindo do trabalho originalmente proposto por Braga e Oberhofer (1982), algumas tentativas têm sido realizadas, podendo ser destacadas: Castro e Ferreira (1996), Castro, Negrão e Zaher (1996), Castro, Ferreira e Vidili (1996), Krzyzanowski e Ferreira (1998) e Yamamoto et al. (2000, 2002).

Esses sistemas, com adaptações relacionadas com as finalidades específicas para as quais foram propostas, têm como característica o estabelecimento de um conjunto de parâmetros que contemplam aspectos formais e de mérito, traduzidos por indicadores que possibilitam a pontuação e conseqüente hierarquização dos periódicos.

O modelo proposto por Krzyzanowski e Ferreira (1998) tem servido de base para avaliação de periódicos científicos nacionais de diversas áreas e foi utilizado como parâmetro para a construção do modelo usado na avaliação das revistas da Educação Física.

O modelo proposto por Ferreira Neto e Nascimento (2002)' visa a avaliação formal das revistas da Educação Física, observando os seguintes conjuntos de variáveis: normalização, duração, periodicidade, difusão, colaboração de autores e divisão de conteúdo e indexação (ver apêndice).

O desempenho geral dos fascículos é obtido com a soma das pontuações alcançadas em cada um dos conjuntos, considerando a seguinte classificação:

QUADRO 1 - Classificação das revistas

Para a avaliação de Fitness & Performance Journal, foram utilizados os seis números correspondentes ao ano de 2002. Os resultados obtidos são apresentados na figura 1.

• • Normalização 

Figura 1 - Normalização

O conjunto normalização reúne elementos essenciais para definição e identificação dos periódicos e, por isso, é exigido em todos os processos avaliativos.

Todos os fascículos obtiveram dezenove pontos nesse conjunto, o que corresponde a 21,5% do total de 25% (22 pontos). Para alcançar a pontuação máxima nesse conjunto, a revista deve observar as seguintes informações:

• Referências: devem ser apresentadas com uniformidade em todos os artigos, de acordo com as normas estabelecidas pela publicação, no caso, ABNT para autores nacionais e APA para autores estrangeiros. Nem todos os artigos seguem as normas indicadas nas instruções aos autores.
• Data de recebimento: a norma NBR 6022 da ABNT, que regulamenta a apresentação de artigos em publicações periódicas, informa que a data de entrega dos originais à redação dos periódicos deve aparecer no

rodapé da página de abertura ou como nota editorial ao final do artigo. Essa informação é um grande indicativo da agilidade da revista, já que permite conhecer o processo de tramitação dos artigos e sua atualidade.

• Instruções aos autores: deve conter informações completas sobre o formato de apresentação dos manuscritos e da padronização, com exemplos de citações e referências baseadas em normas de instituições nacionais ou internacionais. Deve conter ainda informações relativas à linha editorial da revista, abrangência e natureza das contribuições publicadas (indicação da categoria de artigos aceitos e orientação quanto à forma de apresentação de cada categoria).

Apesar de ter alcançado pontuação máxima nas demais variáveis analisadas, sugerimos que as seguintes informações sejam observadas:

• Legenda bibliográfica: contém informações essenciais à identificação de um periódico. Para que seja considerada completa, deve apresentar título, local de publicação, volume e número do fascículo, páginas inicial e final, mês e ano (NBR 6026). Portanto, a revista deve incluir na legenda apresentada na capa o local da publicação, na legenda do sumário as páginas inicial e final do fascículo e nas páginas internas a indicação das páginas inicial e final de cada artigo.
• • Duração, periodicidade e difusão

A pontuação no item duração é atribuída conforme o tempo de existência da revista. Assim, revistas mais antigas recebem pontuação maior. Esse critério privilegia as revistas que conseguem garantir a continuidade de sua publicação. Segundo o modelo aplicado, recebem pontuação aquelas com mais de dois anos de existência. Como Fitness & Performance Journal ainda não completou dois anos de existência, não recebeu pontuação nesse item.

O conjunto periodicidade pretende verificar o intervalo de aparição da revista, observando se a periodicidade informada é cumprida. A regularidade da publicação é um dos critérios mais elementares no processo de avaliação e é de importância fundamental, pois indica o fluxo da produção científica do periódico.

A revista apresenta uma periodicidade adequada, acima da média das revistas da área de Educação Física. O desafio consiste em investir no compromisso de manter sua regularidade como forma de ampliar a circulação, mediante a sua inclusão em outros centros de referência. É necessário enfatizar que revistas irregulares não conseguem permanecer indexadas, tendo em vista que a periodicidade é uma das características essenciais de um periódico.

O conjunto difusão pretende verificar o tipo de distribuição utilizada pelas revistas. As que são distribuídas gratuitamente recebem pontuação inferior àquelas que são vendidas ou trocadas com outras instituições.

Tendo em vista que o editorial do volume 1(1) informa que o número zero da revista foi distribuído gratuitamente aos profissionais registrados no CONFEF e a partir do número 1 ela passou a ser distribuída aos associados do COBRASE, consideramos que é vendida. No entanto, verificamos que a tiragem da revista é bastante superior ao número de exemplares distribuídos, já que o documento de solicitação de avaliação enviado pelo editor informa que a revista é distribuída a 10.500 membros do COBRASE e a 600 instituições licenciadas pelo Journal of Citation Report’s. Dessa maneira, é necessário esclarecer o que é feito com o restante dos exemplares para que não surjam dúvidas sobre sua tiragem.

• • Colaboração de autores e divisão de conteúdos

Figura 2 - Colaboração de autores e divisão de conteúdo

No item colaboração de autores, pretende-se verificar a participação de autores estrangeiros, em colaboração ou não. Nos seis fascículos da revista que foram avaliados, identificamos seis artigos de autores estrangeiros, sendo quatro como autores principais e dois em colaboração. Dos seis artigos, cinco são advindos da Universidade Católica de Múrcia, Espanha, e um da Universidade de Lisboa, Portugal.

Essa é uma variável bastante observada pelas bases de dados, pois indica a capacidade da revista em atrair a colaboração de autores de instituições de outros países, além de ser indicativa do prestígio da publicação entre as comunidades científicas nacional e internacional. Assim, acreditamos que a revista precisa ainda estimular a participação de autores de outras instituições internacionais, visto que possui em seu Conselho Editorial pesquisadores de Portugal, Espanha, Itália, Alemanha, Estados Unidos, Rússia e Canadá.

Verificamos também que a participação de autores de outras instituições do País ainda é pequena, se compararmos com o número de artigos publicados. Do total de trinta e três artigos publicados nos seis fascículos, apenas quatorze contam com autores de outras instituições que não a Universidade Castelo Branco (UCB) - instituição de origem do editor - e desses, apenas sete não foram feitos com colaboração de pesquisadores da UCB.

Outro aspecto que chama a atenção na revista é o grande número de artigos assinados pelo próprio editor, como autor principal ou como colaborador (treze do total de trinta e três publicados). É necessário destacar que há uma preocupação no cenário de publicações com periódicos que são criados com o objetivo de fazer circular os trabalhos docentes e discentes de programas de pós-graduação. Apesar de a revista ser um órgão informativo oficial do COBRASE, tem sido utilizada, principalmente, para divulgar a produção do programa de pós-graduação da UCB.

Esses números podem caracterizar uma endogenia, que é hoje um dos assuntos mais discutidos no que concerne às publicações periódicas, inclusive foi tema abordado no editorial do volume 1 (5).

Contudo, devemos destacar que a discussão sobre a endogenia vai muito além do que a simples observação da autoria dos artigos. Devemos apontar que em si a endogenia não é ruim, até porque, se a produção for de qualidade elevada, não deve prejudicar a instituição publicadora. O que preocupa são os veículos criados com o único propósito de escoar a "produção caseira” de programas de pós-graduação, em virtude da avaliação ou mesmo das disputas internas por espaço acadêmico.

Dessa maneira, acreditamos que, apesar da qualidade do material que publica, Fitness & Performance Journal deve ampliar a participação de autores de outras instituições brasileiras e de autores estrangeiros, passando a publicar também em outra língua.²  No item divisão de conteúdos, a revista obteve um bom desempenho, visto que privilegia a publicação de artigos originais. Entretanto, devemos alertar que apenas três fascículos obtiveram pontuação máxima nessa variável

² Visto que a revista informa que os artigos devem ser enviados com versão em português, inglês e espanhol, sugerimos que esses deveriam ser publicados na língua de origem dos autores e não traduzidos, por exemplo, os artigos de autores da Espanha.

 (75% de artigos originais), tendo em vista que se leva em consideração, para essa avaliação, o total de páginas de cada número.

Portanto, a revista deve aumentar o número de artigos publicados por fascículo e incluir em suas normas informações acerca do tipo de trabalho que publica. A classificação (artigos originais, artigos de revisão, etc.) também deve ser apresentada no sumário.

A publicação de publicidades e de informes prejudica o desempenho nesse conjunto. Com base em levantamento realizado, pode-se verificar que todos os números apresentam oito páginas destinadas a seções fixas (Mundo Ativo, Como Fazer, etc.). Essas seções, aliadas à publicidade, que no volume 1 (1) chegou a ocupar seis páginas, puxam o desempenho para baixo, apesar de estarem dentro do limite de 1/3 recomendado pela UNESCO no item equilíbrio.

Assim, acreditamos que a revista deve repensar a manutenção dessas seções e limitar a quantidade de publicidade. Sabemos que esse um item difícil de resolver, pois está diretamente relacionado com a manutenção financeira da publicação, mas precisa ser observado.

Ainda quanto à publicidade, acreditamos que os editores deveriam repensar a sua distribuição nas páginas internas da revista. A menos que seja uma estratégia editorial, a sua utilização no meio dos artigos ou em páginas juntamente com informações desses artigos deve ser evitada. Sugerimos que o material publicitário seja distribuído no início e no final dos fascículos ou em páginas específicas.

Desse modo, levando em consideração a pontuação alcançada nos conjuntos, o desempenho da revista pode ser visualizado da seguinte forma:

Figura 3 - Desempenho geral

3  Conselho Editorial

Apesar de ainda não constar no modelo aplicado como item de avaliação, é necessário destacar a importância do Conselho Editorial, visto que, em princípio, o fato de cientistas e pesquisadores de renome e de diferentes partes do País e do exterior prestarem sua contribuição à revista dá a esta maior respaldo acadêmico.

Entretanto, se, por um lado, essa representatividade parece incontestável; por outro, vale a pena destacar que ela não é obtida pela mera distribuição geográfica de seus membros.

O nível da qualidade do corpo editorial e de árbitros e a definição dos processos de seleção de trabalhos para publicação constituem os elementos principais do prestígio de uma revista.

O Conselho Editorial deve ser formado por um grupo de pesquisadores reconhecidos pela comunidade científica, preferencialmente aqueles oriundos de outras instituições, mas que precisam ter participação ativa nos rumos da publicação. Contudo, em virtude da necessidade de formar um Conselho com membros reconhecidos pela comunidade e de outras instituições, muitas revistas acabam por inflacionar suas comissões com pessoas "notáveis” e pouco participativas.

A propósito da composição do Conselho Editorial e do corpo de pareceristas, vale a pena considerar outro aspecto: algumas revistas apresentam como membros do Conselho Editorial os pesquisadores que são solicitados a emitir pareceres. É necessário frisar que o Conselho Editorial corresponde aos membros que, além de, eventualmente, emitirem pareceres, contribuem de forma efetiva para a definição da linha editorial, atuando nas

decisões administrativas e políticas da revista.Os pareceristas são aqueles requisitados para avaliação dos manuscritos enviados à redação.

No caso da Fitness & Performance Journal, notamos que há um Conselho formado por pessoas de grande reconhecimento acadêmico na área e de abrangência internacional. É necessário, portanto, avaliar a participação de todos esses membros e aproveitar a presença daqueles que efetivamente contribuem com a revista a fim de aumentar a massa crítica do periódico. Aqueles que somente participam como pareceristas devem ter seu nome publicado pelo menos uma vez por ano, juntamente com titulação e instituição de origem.

4  Aspectos positivos da revista

Pudemos constatar como características positivas:

• possui excelente qualidade gráfica;
• apresenta periodicidade bimestral;
• prioriza a publicação de artigos originais;
• apresenta boa normalização;
• apresenta normas em português, inglês e espanhol;
• indica localidade e titulação dos membros do Conselho Editorial;
• possui Conselho Editorial internacional;
• apresenta versão eletrônica;
• é indexada em bases de dados de referência.

5  Aspectos a serem aprimorados

Alguns aspectos devem ser observados para o aprimoramento da revista:

• reformular as normas para publicação, incluindo informações sobre a qualidade acadêmica dos artigos aceitos, exemplos de referências e critérios usados para avaliação dos artigos;
• distribuir melhor as publicidades;
• cuidar para que recursos gráficos não prejudiquem a leitura dos artigos;
• publicar artigos de autores de outras instituições do País e de outras instituições estrangeiras;
• reformular o sumário apresentando o título dos artigos publicados em cada seção;
• aumentar a quantidade de artigos publicados;
• publicar artigos em outra língua;
• registrar as datas de recebimento e aprovação dos artigos.

6  Considerações finais

Após procedermos à análise dos fascículos, verificamos que os cinco primeiros foram classificados como C (bom) e o último (volume 1, número 6) foi classificado como B (muito bom). A média da pontuação obtida pelos seis fascículos avaliados é igual a 67%, que corresponde ao nível C. Entretanto, destacamos que há sempre uma tendência em considerar o último fascículo, tendo em vista que é o mais recente e representa o atual estágio da revista.

Segundo o instrumento a que foi submetido, o periódico precisa adequar alguns aspectos relacionados com a normalização (referências, normas, registro da data de recebimento dos artigos) e aumentar a quantidade de artigos originais de forma que as publicidades veiculadas não prejudiquem seu desempenho nesse item. A pontuação no item duração será obtida assim que a revista alcançar dois anos de existência.

Os problemas detectados na normalização da revista podem ser facilmente corrigidos. O fato de já estar indexada em bases de dados de

referência e pleitear sua indexação em outras faz com que a revista passe por um processo contínuo de avaliação.

Dessa forma, acreditamos que a melhoria nos aspectos destacados pode contribuir para a sua permanência no indexador e sua inclusão em outros, tendo em vista que a indexação depende da qualidade do periódico e é concedida em função desses aspectos normativos e de outras exigências. Assim, a adoção de padrões editoriais consistentes e uma periodicidade previsível e regular podem contribuir para maior visibilidade da publicação, uma vez que são fatores observados pelas bases de dados.

Como Fitness & Performance Journal possui como mentores cientistas da área da saúde acostumados, há muitos anos, a utilizarem os periódicos científicos com o melhor nível de qualidade, acreditamos que os aspectos acima relacionados serão facilmente resolvidos, garantindo à revista maior qualidade.

Considerando, ainda, que a revista é distribuída a todo o País e que conta com pesquisadores de grande reconhecimento na área como membros do Conselho Editorial, deve estimular a participação de autores de outras instituições (do País e de fora) aumentando o número de contribuições aceitas para publicação.

A classificação obtida por Fitness & Performance Journal acende uma discussão que precisa ser realizada na área: a inclusão das revistas em indexadores nacionais e internacionais como parâmetro para classificação da CAPES.

Ao submetermos Fitness & Performance Journal ao instrumento proposto, elaborado a partir dos critérios internacionais usualmente aplicados na avaliação de periódicos científicos, verificamos que ainda existem aspectos a serem observados para que ela alcance um desempenho maior. Esse fato nos mostra que a inclusão de periódicos em bases de dados envolve outros aspectos que vão além do cumprimento dos critérios formais e de qualidade divulgados e, portanto, não pode ser o parâmetro principal para a classificação realizada pela CAPES.

Para finalizar, gostaríamos de destacar que, mais do que a mera classificação dos periódicos, a avaliação que tem sido empreendida tem como objetivo desencadear na área a discussão sobre a editoração e avaliação das nossas revistas e, sobretudo, contribuir para sua melhoria, permitindo que possam ser indexadas e garantindo maior visibilidade para a produção.

Por ser a primeira experiência realizada na área, vários problemas se colocam. Alguns pontos ainda precisam ser amadurecidos, mas para isso é necessário o envolvimento daqueles que estão ligados ao processo de editoração das revistas. Embora os desafios sejam grandes, temos convicção de que o caminho está trazendo resultados positivos.

Assim, ainda que o modelo aplicado nesta avaliação possua limitações, acreditamos que os itens analisados correspondem às características que são observadas pelos principais indexadores e, por isso, é adequado à nossa realidade e cumpre as funções para as quais foi desenvolvido.

REFERÊNCIAS

BUENO, B. O.; AQUINO, J. G.; CARVALHO, M. P. (Org.) Políticas de publicação científica em educação no Brasil hoje. São Paulo: FEUSP, 2002. 110 p.

CASTRO, R. C. F.; FERREIRA, M. C. G. Periódicos latino-americanos: avaliação das características formais e sua relação com a qualidade científica. Ciência da Informação, Brasília, v. 25, n. 3, p. 357-367, set./dez. 1996.

CASTRO, R. C.; NEGRÃO, M. B.; ZAHER, C. R. Procedimentos editoriais na avaliação de artigos para publicação em periódicos de ciência da saúde da América Latina. Ciência da Informação, v. 25, n. 3, p. 352-356, 1996.

FERREIRA, M. C. G. Avaliação de periódicos científicos. Disponível em: <http://www.biblioteca.ufc.br/cecilia.ppt>. Acesso em:

FERREIRA NETO, A.; NASCIMENTO, A. C. S. Periódicos científicos da educação física: proposta de avaliação. Movimento, Porto Alegre, v. 8, n. 2, p. 35-49, maio/ago. 2002.

KRZYZANOWSKI, R. F.; FERREIRA, M. C. G. Avaliação de periódicos científicos e técnicos brasileiros. Ciência da Informação, v. 27, n. 2, p. 165­175, 1998.

NASCIMENTO, A.C.S. Análise das características formais de periódicos científicos da educação física: o caso da Revista Brasileira de Ciências do Esporte. 2002. 101 f. Monografia (Licenciatura em Educação Física) - Centro de Educação Física e Desportos, Universidade Federal do Espírito Santo, Vitória, 2002.

_______ .Avaliação de periódicos científicos da educação física. In:

CONGRESSO DE EDUCAÇÃO FÍSICA E ESPORTE DO ESPÍRITO SANTO, 1., 2002, Santa Teresa. Anais...Santa Tereza: ESESFA, 2002. 1 CD-ROM, GT Epistemologia.

YAMAMOTO, O. H. et al. Periódicos científicos em psicologia: uma proposta de avaliação. Infocapes, v. 7, n. 3, p. 7-13, 1999.

______ . Avaliação de periódicos científicos brasileiros da área da psicologia.

Ciência da Informação, v. 31, n. 2, p. 163-177, maio/ago. 2002.

APÊNDICE

CRITÉRIOS OBSERVADOS PARA AVALIAÇÃO DAS REVISTAS

6- INDEXAÇÃO

A informação deve estar presente na revista. Pontuação para cada indexador internacional (até três)

Fonte: Adaptado a partir de Yamamoto, O. H et al, 2002.