Dentro do processo de comunicação da ciência, a avaliação apresenta duas funções que merecem ser destacadas. Inicialmente, serve como filtro de qualidade, selecionando as contribuições originais e relevantes para a área. Serve ainda aos próprios pesquisadores, ao fornecer o retorno de seus trabalhos, permitindo-lhes rever, aperfeiçoar ou prosseguir em suas pesquisas.

Assim, a avaliação dos periódicos científicos pode ocorrer de duas formas: avaliação de mérito (conteúdo) e de desempenho (forma).

A primeira, normalmente realizada por pares (especialistas), pretende verificar aspectos como: qualidade dos artigos (originalidade, atualidade, identificação com a temática da revista e percentual de artigos originais); qualidade do corpo editorial e dos consultores (participação de membros da comunidade nacional e estrangeira); natureza do órgão publicador, abrangência, indexação, entre outros.

A segunda verifica aspectos como: normalização, duração, periodicidade, difusão, colaboração de autores e divisão de conteúdo.

No ato da avaliação formal, a verificação do cumprimento dos critérios acima citados é realizada atribuindo-se pontos a cada item atendido, permitindo, assim, não apenas a classificação dos periódicos de acordo com seu grau de normalização, mas também a caracterização de todo o conjunto no que diz respeito aos critérios mínimos cobrados de uma publicação para ser aceita pela comunidade científica.

Dessa forma, o presente relatório tem como objetivo apresentar alguns aspectos julgados relevantes e que foram tomados como indicadores para proceder à avaliação de periódicos que divulgam a produção científica da Educação Física, tomando como exemplo a Revista Licere.

Os aspectos apresentados têm como ponto de partida o instrumento de avaliação formal elaborado a partir do modelo proposto por Krzyzanowski & Ferreira (1998), em seu estudo Avaliação de Periódicos científicos e técnicos brasileiros.

 

2  INSTRUMENTO E CRITÉRIOS DE AVALIAÇÃO

Desde que foi proposto, o modelo citado vem sendo usado em vários estudos sobre periódicos científicos e técnicos, pois permite mensurar aspectos relacionados com a normalização das revistas.

Entretanto, o instrumento elaborado para avaliação dos periódicos das Ciências Exatas e Biológicas apresentou limitações para a avaliação das revistas científicas da Educação Física, principalmente devido ao item "divisão de conteúdo”, evidenciando a necessidade de reformulação do modelo, a fim de que possa captar as particularidades da área, que se apresenta como multidisciplinar.

Como os artigos publicados nas revistas da área, muitas vezes, não têm as características de artigo original exigidas pelas Ciências Naturais, entendemos que seria mais adequado submeter as publicações da Educação Física ao instrumento elaborado para as Ciências Humanas.

Assim, de acordo com o instrumento formulado, os aspectos observados na avaliação das revistas são:

• normalização: os periódicos são avaliados seguindo-se as variáveis estabelecidas no formulário, recebendo pontuação de acordo com sua normalização. Como parâmetro para medir a normalização, consideram-se as normas da ABNT. No caso

 

das referências, verifica-se qual a norma adotada e, a seguir, analisa-se se a revista cumpre a norma declarada.

• duração: considera-se a data de início e o tempo ininterrupto de existência do periódico para pontuação dessa variável.
• periodicidade: a indicação de periodicidade é verificada no próprio periódico e confirmada no Catálogo Coletivo Nacional de Publicações Seriadas (CCN), do Instituto Brasileiro de Informação em Ciência e Tecnologia (IBICT). Recebem um ponto a menos os fascículos atrasados e aqueles com números acumulados.
• indexação: recebem pontuação os fascículos que registram as fontes. São consideradas até três fontes internacionais e atribuem-se a cada uma delas cinco pontos.
• difusão (formas de distribuição): são consideradas de "distribuição gratuita” e recebem um ponto nessa variável as publicações que não registram a forma de distribuição nos fascículos e/ou só fazem difusão por meio de doação e permuta. As publicações que indicam preço de assinatura recebem três pontos nessa variável.
• colaboração de autores: a publicação de trabalhos de autores estrangeiros, em colaboração ou não, é analisada e também pontuada.
• divisão de conteúdo: pretende identificar o tipo de artigo que é publicado pelo periódico. Recebem pontos os fascículos que publicam: artigos originais (75% ou 50% do total de páginas), artigos de revisão, cartas, resenhas bibliográficas e estudo de caso.

A pontuação para cada variável e o total geral alcançado permitem uma classificação geral de desempenho de cada periódico analisado. Cada variável apresenta uma pontuação correspondente (ver formulário) e para cada conjunto de variável é atribuído um peso, ficando assim distribuído: Normalização - 25%; Duração - 5%; Periodicidade - 12%; Indexação - 15%; Difusão - 3%; e Colaboração de autores e divisão de conteúdos - 40%.

Assim, dentro de cada um desses conjuntos, há um número máximo de pontos que pode ser obtido pela revista. Para que se consiga o desempenho do fascículo nesse item, deve-se relacionar o total de pontos obtidos pela revista dentro de determinado conjunto com o peso atribuído a ele.

O desempenho geral é obtido com a soma das pontuações alcançadas em cada um dos conjuntos, considerando a seguinte classificação:

NÍVEL A - acima de 90% (excelente)

NÍVEL B - de 71% a 90% (muito bom)

NÍVEL C - de 51% a 70% (bom)

NÍVEL D - de 31% a 50% (regular)

NÍVEL E- menor ou igual a 30% (fraco)

A pontuação pode ser visualizada melhor no seguinte quadro:

 

3  RESULTADOS DA AVALIAÇÃO

Na avaliação da revista Licere, consideramos os quatro fascículos, correspondentes aos volumes 1 (1), 2 (1), 3 (1) e 4 (1). Esse é um procedimento utilizado por algumas bases de dados (Lilacs, Scielo) que permite confirmar a presença de algumas características da revista e, sobretudo, saber sua periodicidade.

Dessa forma, o resultado alcançado foi o seguinte:

• • Normalização

 

 

Figura 1 - Normalização

O conjunto normalização reúne elementos essenciais para definição e identificação dos periódicos e, por isso, é exigido em todos os processos avaliativos.

Com a avaliação da revista Licere, constatamos que ela apresenta normalização pouco adequada, deixando de apresentar alguns critérios. Dessa forma, faremos a análise de cada um dos itens que apresentam problemas na revista.

 

-   Legenda bibliográfica: a revista apresenta legenda completa na folha de rosto e nas páginas do fascículo. Entretanto, não inclui a legenda na página do sumário e apresenta legenda incompleta na capa.

-   Instruções aos autores: têm funções importantes no fomento da qualidade dos artigos publicados, pois informam os autores sobre os critérios de julgamento e aspectos formais para apresentação dos trabalhos. Além disso, refletem a qualidade desejada pelo corpo editorial, que é o que confere autoridade científica ao periódico. Para obter pontuação máxima nessa variável, a revista deve incluir exemplos de referências e explicitar o critério adotado para julgamento dos artigos.

-    sumário: uma revista que pretende ser indexada, garantindo assim maior visibilidade para a produção veiculada, deve apresentar o sumário também em inglês.

-  data de recebimento e/ou aprovação do artigo: indica a agilidade da revista na relação entre autores, editor e pareceristas. A norma NBR 6022 da ABNT, que regulamenta a apresentação de artigos em publicações periódicas, informa que a data de entrega dos originais à redação deve aparecer no rodapé da página de abertura ou como nota editorial ao final do artigo.

• • Duração, periodicidade, difusão

A pontuação no item duração é atribuída conforme o tempo de existência da revista. Assim, revistas mais antigas recebem pontuação maior. Esse critério privilegia as revistas que conseguem garantir a continuidade de sua publicação.

 

O conjunto difusão pretende verificar o tipo de distribuição utilizada pelas revistas. As que são distribuídas gratuitamente recebem pontuação inferior àquelas que são vendidas ou trocadas com outras instituições.

O conjunto periodicidade pretende verificar o intervalo de aparição da revista, observando se a periodicidade informada é cumprida.

Nesse conjunto, a revista obteve somente um, dos doze pontos possíveis. Acreditamos que, no momento, esse é o grande problema da publicação que tem enfrentado dificuldades para manter sua regularidade e cumprir sua periodicidade.

A periodicidade regular de publicação é um dos critérios mais elementares no processo de avaliação e é de importância fundamental, pois indica o fluxo da produção científica do periódico. Dessa forma, para ser incluída em bases de dados, uma revista deve ser publicada de acordo com a freqüência especificada. Indexadores da área da Saúde, como o próprio Lilacs, indicam a periodicidade quadrimestral como a mínima para as revistas dessa área, e a periodicidade trimestral como a ideal.

Assim, em contrapartida à sua baixa periodicidade, a revista deve investir no compromisso de manter sua regularidade como forma de conseguir ampliar a circulação mediante sua inclusão em bases de dados.

• • Colaboração de autores e divisão de conteúdo

O desempenho obtido pela revista nesse conjunto pode ser visualizado da seguinte maneira:

18
9,41 9,41 11,7

 

 

Figura 2 - Colaboração de autores e divisão de conteúdo

Na avaliação desse conjunto, leva-se em consideração, além da participação de colaboradores estrangeiros, o tipo de artigo publicado.

No item colaboração de autores, pretende-se verificar a participação de autores estrangeiros, em colaboração ou não. Nos quatro fascículos avaliados, não identificamos artigo de autor estrangeiro, apesar de aceitar artigos também em espanhol, por isso, a revista não pontuou nesse item.

Essa é uma variável bastante observada pelas bases de dados, pois indica a capacidade da revista em atrair a colaboração de autores de instituições de outros países, além de ser indicativa também do prestígio da publicação entre as comunidades científicas nacional e internacional.

Atualmente, uma revista que deseja ser indexada não pode estar circunscrita apenas à entidade responsável por sua publicação. Não se pode aceitar uma revista que sirva somente para escoar a produção "caseira”.

Todavia, percebemos que, mesmo reservando um espaço para as produções do Centro de Estudo de Lazer e Recreação, a revista conta com boa participação de autores de instituições nacionais, o que contribui para aumentar a massa crítica do periódico.

Quanto à divisão de conteúdo, a revista apresenta um desempenho razoável. É necessário lembrar que esse item não avalia a qualidade dos artigos, mas sim o tipo de artigo que é publicado.

Apesar de a revista especificar em sua "política editorial” as seções que publica e o tipo de artigo aceito em cada uma delas, acreditamos que é necessário apresentar a classificação dos artigos publicados na seção "artigos” (original, revisão).

A revista deve também aumentar a quantidade de artigos originais (atualmente publica cerca de 50% do total de páginas) a fim de obter melhor pontuação no item divisão de conteúdo.

Na avaliação dessa variável, considera-se o número total de páginas do fascículo, assim, a publicação de resumos e informes, além de não agregar pontos, prejudica o desempenho da revista. Acreditamos que essas informações dispõem de outros espaços para sua publicação.

Levando em consideração todos os conjuntos avaliados, o desempenho da revista Licere pode ser visualizado da seguinte forma:

29 4 33,7 36					42,3

 

 

 

 

4  CONSELHO EDITORIAL

Apesar de não constar no instrumento para a avaliação da revista, consideramos relevante destacar a importância do Conselho Editorial.

Inicialmente, devemos pontuar que a sua composição deve ser pública e seus integrantes especialistas reconhecidos pela comunidade científica. O Conselho deve ser composto por membros de outras instituições e Estados da Federação que tenham representatividade na área, visto que ele pode ser indicador da qualidade necessária ao julgamento abalizado e imparcial dos trabalhos publicados no periódico.

A revista Licere apresenta um Conselho composto por membros de instituições nacionais. Acreditamos que ela pode buscar a colaboração de alguns especialistas estrangeiros, visto que esse é um dos requisitos de algumas bases de dados internacionais.

5  ASPECTOS POSITIVOS DA REVISTA

Podemos citar os seguintes:

-  possui qualidade gráfica;

-  apresenta resumo e descritores em inglês e português;

-  apresenta filiação completa dos autores;

-  informa titulação e instituição dos membros do Conselho Editorial;

-  apresenta legenda completa na folha e rosto e nas páginas do texto;

-  reúne trabalhos de autores e/ou grupos atuantes no País;

-  informa a política editorial da revista.

 

6  ASPECTOS A SEREM APRIMORADOS

Alguns aspectos da revista podem ser aprimorados:

-  incluir legenda bibliográfica no sumário

-  indicar ISSN na folha de rosto em local mais visível;

-  apresentar sumário em inglês;

-  informar data de recebimento e aprovação dos artigos;

-  classificar os artigos publicados (artigo original, artigo de revisão);

-  priorizar a publicação de artigos originais.

7  CONSIDERAÇÃO FINAIS

Após procedermos à análise dos fascículos, verificamos que os resultados obtidos demonstram que a revista Licere é classificada como D (regular), apresentando aspectos que ainda precisam ser melhorados, tanto de normalização como de conteúdo.

Os problemas detectados na normalização da revista Licere comprometem a sua inserção em circuitos ampliados de leitores, colaboradores, assinaturas, permutas, etc. A carência mais séria consiste na indexação do periódico em centros de referência importantes.

A indexação em centros internacionais de referência depende da qualidade do periódico e é concedida em função desses aspectos normativos e de outras exigências. Assim, a adoção de padrões editoriais consistentes e uma periodicidade previsível e regular podem contribuir para maior visibilidade da publicação, uma vez que são fatores observados pelas bases de dados.

 

Atendidas as observações relacionadas com a normalização da revista, deve­se estar atento para o problema de maior dificuldade de alguns periódicos: o estabelecimento de uma definição clara sobre a qualidade acadêmica dos artigos.

A revista precisa classificar o tipo de artigo (original, revisão) que publica na seção "Artigos” e necessita ainda priorizar a publicação de artigos originais.

É necessário entender que a publicação de resumos, informes, documentos, etc., prejudica sua avaliação, já que, para pontuação no item "divisão de conteúdo”, leva-se em consideração o número total de páginas do fascículo.

Mais uma vez, destacamos que todas as variáveis avaliadas são intervenientes na indexação e simultaneamente na circulação ou vice-versa. É preciso observar o fato de que, muitas vezes, algumas revistas de valor não são consultadas por pesquisadores nacionais ou estrangeiras porque não estão em bases de dados nacionais e internacionais de referência.

Assim, ainda que o modelo aplicado na avaliação possua limitações, acreditamos que os itens analisados correspondem às características que são observadas pelos principais indexadores e, por isso, é adequado à nossa realidade e cumpre as funções para as quais foi desenvolvido.

8  REFERÊNCIAS

CASTRO, R. C. F.; FERREIRA, M. C. G.; VIDILI, A. L. Periódicos latino-americanos: avaliação das características formais e sua relação com a qualidade científica. Ciência da Informação, Brasília, v. 25, n. 3, p. 357-67, set./dez. 1996.

CASTRO, R. C. F. ; NEGRÃO, M. B.; ZAHER, C. R. Procedimentos editoriais na avaliação de artigos para publicação em periódicos de ciências da saúde da América Latina e Caribe. Ciência da Informação, Brasília, v. 25, n. 3, 1996.

 

GREENE, Lewis Joel. O dilema do editor de uma revista biomédica: aceitar ou não aceitar. Ciência da Informação, Brasília, v. 27, n. 2, 1998.

KRZYZANOWSKI, R. F. e FERREIRA, M. C. Gonzaga. Avaliação de periódicos científicos e técnicos brasileiros. Ciência da Informação, Brasília, v. 27, n. 2, p. 165­175, maio/ago. 1998.

KRZYZANOWSKI, R. F. et al. Programa de apoio às revistas científicas para a FAPESP. Ciência da Informação, Brasília, v. 20, n. 2, 1991.

________ Periódicos científicos - ProBE, informação em tempo real. Disponível

em: < http://www.fapesp.br.opini42>. Acesso em 23 ago. 2001.

LILACS - Literatura Latino-Americana e do Caribe em Ciências da Saúde. Critérios de Seleção de periódicos para a base de dados LILACS. 2000. Disponível em: <http://www.bireme.br/abd/P/crit Selecao.html> Acesso em: 19 ago.2001.

MEADOWS, A. J. A comunicação científica. Tradução de Antonio Agenor Briquet de Lemos. Brasília, DF: Briquet de Lemos/Livros,1999

MIRANDA, D. B. O periódico científico como veículo de comunicação: uma revisão de literatura. Ciência da Informação, Brasília, v. 25, n. 3, 1996.

MUELLER, S. P. M. O círculo vicioso que prende os periódicos nacionais. DataGramaZero, Brasília, n. 0, dez. 1999.

OHIRA, M. L. B.; SOMBRIO, M. L. L. N.; PRADO, N. P. Periódicos brasileiros especializados em biblioteconomia e ciência da informação. Encontros Bibli: revista de Biblioteconomia e Ciência da Informação, Florianópolis, n.10, out.

1. Disponível em: <http://www.ced.ufsc.br/bibliote/encontro>.

SABBATINI, Renato. Ciência perdida no terceiro mundo. Correio Popular, Campinas, 9 out. 1998.

_______ . A morte das revistas científicas no Brasil. Correio Popular, Campinas, 30

out. 1998.

SCHWARTZMAN, Simon. A política brasileira de publicações científicas e técnicas: reflexões. Revista Brasileira de Tecnologia, Brasília, v. 15, n. 3, maio/ jun. 1984.

SCIENTIFIC Eletronic Libray Online. Biblioteca Científica Eletrônica. Sobre o Projeto. Disponível em: <http://www.scielo.br/fbpe/proieto/pintro>. Acesso em 19 ago.

2001.

SOUZA, D. H. F. de. Publicações periódicas: processos técnicos, circulação e disseminação seletiva da informação. Belém: Universidade Federal do Pará, 1992.

STUMPF, I. R. C. Passado e futuro das revistas científicas. Ciência da Informação, Brasília, v. 25, n. 3, p.383-386, 1996.

_______ . Revistas universitárias brasileiras: barreiras na sua produção.

Transinformação, v. 9, n. 1, ,jan./abr. 1997.

_______ . Reflexões sobre as Revistas Brasileiras. In texto, v.1, n. 3, 2000. Disponível

em: <file://A:InTexto_arquivosconteudo_arquivosa-v1n3a3.html> Acesso em: ago.2001.

TARGINO, M. das G; GARCIA, J. C. R. Ciência brasileira na base de dados do Institute for Scientific Information. Ciência da Informação, Brasília, v. 29, n. 1, p. 103-126, jan./abr. 2000.

TARGINO, Maria das Graças. Comunicação científica: uma revisão de seus elementos básicos. Informação & Sociedade, v. 10, n. 2, p. 37-85. 2000.

TESTA, James. A base de dados ISI e seu processo de seleção de revistas. Ciência da Informação, Brasília, v. 27, n. 2, 1998.

YAMAMOTO, O. H. et al. Periódicos científicos em psicologia: uma proposta de avaliação. Infocapes, v. 7, n. 3, p.7-13, jul./set. 1999.

Modelo para avaliação de periódicos científicos - Educação Física

Titulo________________________________________________________________________

Instituição____________________________________________________________________

Volume (s)_____ N°______ Estado______________ Agência Financiadora___________