ESTUDO FALSO É ACEITO PARA PUBLICAÇÃO EM MAIS DE 150 REVISTAS

HERTON ESCOBAR - BLOGS ESTADÃO - Imagine só o seguinte experimento: Você escreve um trabalho científico falso, baseado em dados falsos, obtidos de experimentos sem validade científica, assinado com nomes falsos de pesquisadores que não existem, associados a universidades que também não existem, e envia esse trabalho para centenas de revistas científicas do tipo “open access” (que disponibilizam seu conteúdo gratuitamente na internet) para publicação. O que você acha que aconteceria?

Pois bem, um biólogo-jornalista norte-americano chamado John Bohannon fez exatamente isso e os resultados, publicados hoje pela revista Science, são aterradores (para aqueles que se preocupam com a credibilidade da ciência): ele escreveu um trabalho falso sobre as propriedades supostamente anticancerígenas de uma molécula supostamente extraída de um líquen e enviou esse trabalho para 304 revistas científicas de acesso aberto ao redor do mundo. Não só o trabalho era totalmente fabricado e obviamente incorreto (com falhas metodológicas e experimentais que, segundo Bohannon, deveriam ser óbvias para “qualquer revisor com formação escolar em química e capacidade de entender uma planilha básica de dados”), mas o nome dos autores e das instituições que o assinavam eram todos fictícios. Apesar disso (pasmem!),  mais da metade das revistas procuradas (157) aceitou o trabalho para publicação. Um escândalo.

O que isso quer dizer? Quer dizer que tem muita revista “científica” por aí que não é “científica” coisíssima nenhuma. E que o fato de um estudo ter sido publicado não significa que ele esteja correto (pior, não significa nem mesmo que ele seja verdadeiro para começo de conversa). A ciência, assim como qualquer outra atividade humana, infelizmente não está isenta de falcatruas.

E o que isso não quer dizer? Não quer dizer que o sistema de open access seja intrinsecamente falho ou inválido. Certamente há revistas de acesso livre de ótima qualidade, como as do grupo PLoS, assim como há revistas pagas de baixa qualidade que publicam qualquer porcaria. Nenhum sistema é perfeito. Até mesmo a Science publica umas lorotas de vez em quando, assim como a Nature e outras revistas de alto impacto, que empregam os critérios mais rígidos de seleção e revisão. Além disso, o fato de uma revista ser gratuita não significa que ela não tenha revisão por pares (peer review) e outros filtros de qualidade. Assim, o que deve ser questionado não é a forma de disponibilizar a informação, mas a forma como ela é selecionada e apurada — em outras palavras, a qualidade e a confiabilidade da informação, não o seu preço.

O relato de Bohannon acaba de ser publicado no site da Science, dentro de um pacote de artigos intitulado Comunicação na Ciência: Pressões e Predadores.

Nessa mesma temática, a revista Nature publicou recentemente também uma reportagem sobre o escândalo envolvendo quatro revistas científicas brasileiras que foram acusadas de praticar citações cruzadas — ou “empilhamento de citações”, em inglês –, esquema pelo qual uma revista cita a outra propositadamente diversas vezes, como forma de aumentar seu fator de impacto (e, consequentemente, o prestígio dos pesquisadores que nelas publicam). As revistas são Clinics, Revista da Associação Médica Brasileira, Jornal Brasileiro de Pneumologia e Acta Ortopédica Brasileira.

O suposto esquema foi descoberto pela empresa Thomson Reuters, maior referência internacional na produção de estatísticas de publicação e citações científicas. Como punição, as quatro revistas tiveram seu fator de impacto suspenso por um ano. A reportagem pode ser lida neste link: http://www.nature.com/news/brazilian-citation-scheme-outed-1.13604. O texto inclui explicações de alguns dos atores envolvidos e aborda as críticas aos padrões de avaliação da CAPES, bastante frequentes na comunidade científica brasileira, por enfatizar de maneira supostamente exagerada o fator de impacto das revistas.

Abaixo um comentário na matéria

04/10/2013 - 08:16

Enviado por: Thomaz

Caro Herton,

Entendo que o apelo popular à ciência é a busca de respostas. E entendo também que estes são a grande maioria dos seus leitores. No entanto, vi perdida uma oportunidade de demonstrar o real mecanismo da ciência contemporânea, que é a evolução livre do conhecimento. Concordamos que existem as numerologias produtivas, das quais dependem as captações de recursos. Mas o atual sistema de publicações é a melhor forma que a humanidade encontrou até hoje para a manutenção dessa liberdade.

Não sei até que ponto os revisores das 157 revistas que aceitaram devem ser crucificados. Eles não deveriam aceitar por quê? Porque não conhecem os autores? Nem a instituição a que pertencem? Em que ponto o trabalho era incorreto? Caso tivesse sido realmente realizado, nada útil poderia ser extraído?

Mas não foi realizado. Foi fabricado.

E isto é um escândalo por quê? Por ser um sistema baseado em confiança e credibilidade?

Para mim é isso que este experimento de forjar um artigo demonstrou: é um sistema baseado em confiança e credibilidade.

Por exemplo, no meu caso, é IMPOSSÍVEL que um revisor de um artigo meu reproduza meus experimentos pois trabalho com aranhas brasileiras, e só publico internacionalmente.

Então por que aceitam? Pelo fato de que todos são ouvidos até que se prove a má fé.

Um dado forjado dificilmente terá PERMEABILIDADE no seu meio. Caso publicado em grande impacto, muitos outros irão tentar reproduzir e, ao não conseguirem, irão contestar. Fim da credibilidade do primeiro, e se comprovada a má fé, será banido da ciência. Se publicado em baixo impacto, grande chance de simplesmente parar por ali, até alguém sério retomar, verificar e atestar a má fé.

Um outro ponto é a salada feita com o conceito de forjar dados. Quando você diz que boas revistas publicam “lorotas”, não são necessariamente má fé. Um método ou fato completamente novo não tem como ser verificado por um revisor, e sua publicação vai justamente acelerar o processo de sua ratificação ou desacreditação. Lamarck falou lorota? Não, ele somente estava 90% errado, e seu trabalho motivou aqueles que pensavam o contrário.

Por fim, acho absurdo misturar o ocorrido com as revistas brasileiras. Seu texto é sobre forjar dados. Algo grave o suficiente para banir pessoas da ciência. Aquelas revistas brasileiras nunca fizeram isso. Elas utilizaram o sistema para protestar contra o próprio sistema. E se tivessem escrito o que fizeram, e publicado os resultados sob a forma de “falha do sistema”, seria exatamente o que Bohannon fez, e provavelmente seria positivamente destacado no seu espaço.

Meu nome é Thomaz Rocha e Silva, não tenho absolutamente nenhum parentesco (nem o conheço) com M. Rocha e Silva, envolvido no caso das revistas. Sou cientista, professor de farmacologia de uma grande faculdade desse país, e acho que o aperfeiçoamento da ciência passa pela numerologia, e não pelo método.

Espero ter contribuído com o debate.

Atenciosamente,

Thomaz