Peer review X preprint: apresentada por sua coordenadora, Lisiane Porciúncula, a terceira do 3º Encontro Nacional de Membros Afiliados da Academia Brasileira de Ciências (ABC), que aconteceu de 27 a 29 de julho na Universidade Federal de Minas Gerais (UFMG), em Belo Horizonte, colocou no ringue as diversas formas de publicar artigos científicos e pôs em discussão o sistema de publicação como um todo, suas deficiências e vantagens. Três provocadores foram os responsáveis por introduzir os temas.

A morte do peer review

O médico Olavo Amaral, da Universidade Federal do Rio de Janeiro (UFRJ), falou sobre como o sistema de publicação atual favorece uma ciência menos confiável e como as novas alternativas podem significar a morte do peer review. O sistema de revisão por pares se estabeleceu e a maior parte dos cientistas acha que, de certa forma, ele é necessário. Desde os anos 1800 as publicações científicas passam por revisores, o que se tornou mais corrente no pós-guerra. “A maior parte da história da ciência ocorreu fora do sistema de peer review, então existe ciência fora dele”, afirmou.

De início, é possível constatar-se alguns benefícios no sistema de peer review: ele melhora a qualidade dos artigos publicados, previne a publicação de artigos com deficiências óbvias e aumenta a confiabilidade da literatura publicada. Amaral mostrou, no entanto, que não é bem assim. O sistema de avaliação por pares relega a qualidade científica aos periódicos e isso se relaciona ao número de artigos publicados, citações, índice de impacto. “Mas não temos métricas boas para avaliar o rigor/confiabilidade, se as coisas são verdade ou não. Pensamos: bem, se saiu em um artigo revisado por pares, deve ser verdade.”

O pesquisador provocou: “Cientistas se dizem adeptos do método científico, mas a crença no próprio sistema de publicação científica parece um dogma”. Assim, ele analisou cada uma das supostas vantagens do peer review. Disse que há pouca evidência empírica de melhora de qualidade da pesquisa científica ou de prevenção de publicação de artigos com deficiências óbvias. Um repórter da Science fez o teste em 2012: produziu um paper ruim com erros primários e mal escrito. Submeteu 304 versões e foi aceito em mais da metade das revistas.

O repórter, John Bohannon, repetiu o feito em 2015. Conseguiu publicar um estudo que afirmava que comer chocolate “aumenta significativamente” as chances de emagrecer durante uma dieta. A notícia falsa, evidentemente, foi reproduzida em vários veículos de mídia. Já em relação ao suposto aumento da confiabilidade, Amaral disse que esse benefício também não se aplica, uma vez que, em boa parte das pesquisas publicadas, os pares não conseguem reproduzir os experimentos. E, mesmo assim, esses artigos são mais citados do que aqueles cujos experimentos foram reproduzidos.

“A consequência natural do sistema é uma seleção natural de ciência ruim”, comentou Amaral. “Isso porque as pessoas não vão se esforçar para provar que algo é verdade, e essas pessoas seguem na carreira e formam pessoas.” Ele apontou que há muitos fatores que giram em torno do artigo: replicações, citações, impacto, críticas, mudanças de plano, projetos frustrados. O que sobra do artigo original é um relato a posteriori altamente filtrado e enviesado de um processo cujos detalhes não conhecemos.

O peer review pode, na verdade, piorar a confiabilidade, porque pressiona resultados positivos e impactantes, tornando a publicação o objetivo central, com o conteúdo e sua veracidade uma questão secundária. Cria-se uma falsa segurança de que o que está sendo publicado em periódico científico é confiável, gera-se um custo enorme, além de atrasar e limitar o trabalho.

Olavo Amaral ressaltou que é preciso separar publicação de avaliação científica. A publicação deve ter divulgação irrestrita, rápida e o mais abrangente possível do conhecimento científico. “Não tem por que estar atrelada a um sistema que atrasa e restringe acesso”, afirmou, referindo-se às editoras dos periódicos científicos, que cobram valores altíssimos para publicar artigos. Já a avaliação deve medir a qualidade, rigor e impacto da ciência, antes, durante e depois. Não deve estar atrelada a uma única etapa do processo.

Ou seja, para Amaral, o atual modelo de peer review é uma barreira à publicação, que faz mais mal do que bem à confiabilidade da ciência. “Temos que melhorar a forma com que publicamos ciência para torná-la mais confiável e acessível, e isso deve vir acompanhado de mudanças nos sistemas de avaliação.” Segundo o provocador, essa mudança não será mais cara que o sistema atual – em 2015, o Brasil gastou cerca de 85 milhões de dólares com o Portal de Periódicos Capes, por exemplo – e pode colocar o país na vanguarda de um processo que é inevitável. Acesse a apresentação.


Ao fundo: Olavo Amaral, Stevens Rehen e Eduardo Fraga. Em primeiro plano,o presidente da ABC Luiz Davidovich e o presidente da Fapemig Evaldo Vilela

“Novo” meio de publicação: o preprint

O físico e membro afiliado Eduardo Fraga (UFRJ) falou sobre uma “nova” via de publicação: o compartilhamento por preprint, artigos científicos que ainda não foram publicados nem passaram pela revisão pelos pares, mas são divulgados na comunidade científica para que tenham uma circulação rápida. O ArXiv é, atualmente, o principal repositório de preprint que, na verdade, é algo muito antigo. “Ele está aqui há quase 100 anos. Cópias impressas de preprint eram enviadas pelos correios, e elas poderiam ser publicadas em jornais ou não.”

Mesmo o arXiv é antigo: foi criado em 1991. Antes xxx.lanl.gov, foi criado por Paul Ginzparg na Cornell University, nos Estados Unidos. O ArXiv cobre as áreas de física, matemática, ciência da computação, ciências não lineares, biologia quantitativa e estatística. Os usuários podem obter papers gratuitamente e em vários formatos. Autores registrados podem enviar seus papers, e todas as versões ficam armazenadas no site. “Então, se você escreveu uma besteira e mandou uma versão corrigida depois, a primeira vai continuar lá.”

O ArXiv é regido pelos princípios gerais de ética, honestidade e clareza. É financiado por bibliotecas e centros de pesquisa que representam seus maiores usuários, pela Cornell University, Simon Foundation e doações. O site tem total transparência e um número alto de acessos, que vem crescendo.

Fraga informou que o preprint já é utilizado a física há bastante tempo, como uma prática diária, apesar de no Brasil não ser tão comum. “Em grande parte dos centros de pesquisa, há um registro de preprint (anterior à submissão a um jornal) da própria instituição. É uma prática de muitas décadas de legitimação do artigo antes mesmo da publicação.”

Os preprints geram comentários, críticas, sugestões, pedidos de citação, novas colaborações e mais visibilidade para grupos periféricos. Na física, o comum no mundo é o artigo ser publicado em preprint antes de sair em um jornal. E, como os PDFs do ArXiv são de livre acesso, muitas vezes, até mesmo artigos já publicados são vistos na forma de preprint.

Mais antigo que o ArXiv, o Inspire surgiu para aglutinar todas as publicações na área de física. “Saiu em qualquer lugar, vai para o Inspire. É uma ferramenta usada diariamente, várias vezes por dia, por todas as pessoas na área.” Fraga afirmou que um paper pode ser relevante, muito lido e citado e, ainda assim, enfrentar dificuldades de ser pulicado em um periódico por várias razões. Com Arxiv e Inspire, ele será bem divulgado para a comunidade. “Ainda assim, o preprint não acabou com o sistema de publicação tradicional, porque somos conservadores.”

Além disso, o preprint não resolveu o problema de publicar como um meio e não como um fim em física. “É um problema inseparável de outro: a avaliação pelos pares para a atribuição de grants, promoções, liderança. Na construção de melhores sistemas de avaliação, devemos pensar não apenas na otimização do tempo ou da objetividade, mas também da ciência produzida.”

Acesse a apresentação.

Desafiando o sistema de publicação

O biólogo e membro afiliado da ABC de 2008 a 2012, Stevens Rehen (UFRJ/ Instituto DOr de Pesquisa e Ensino), apontou que sucesso, para um cientista, significa o reconhecimento ao pioneirismo de suas descobertas, e a ciência se alimenta disso. As revistas científicas surgiram como uma forma de tentar agilizar essa disseminação do conhecimento, mas, na década de 90, esse modelo começou a ser questionado. Hoje, 40% do mercado são dominados por editoras comerciais. As sociedades científicas, que criaram esse sistema, correspondem a apenas 25%.

Isso gera conflito de interesses e crise de periódicos, o que leva ao aumento do preço das assinaturas. “É um sistema em que o cientista produz conteúdo com recurso público, revisa, edita de graça, depois a editora publica e a comunidade científica paga. Há empresas nesse ramo que fazem mais dinheiro que o Facebook.” As grandes editoras da atualidade são a Elsevier e a Thomson Reuters. “Em termos de modelo de negócio, é excelente para elas, pois o custo é mínimo e lucro, altíssimo.”

No sistema atual, o mais importante é publicar em uma revista de alto impacto, e o cientista acaba sendo avaliado pela revista em que publica. Rehen comentou, ainda, que a qualidade de revisão por pares está baixando, pois os cientistas não têm o reconhecimento por essa revisão, já que a maioria das revistas não divulga quem revisou. “Muitos acabam passando esse trabalho para seus estudantes de doutorado, que mal olham e já mandam para uma revista, ou fazem críticas que não são as pertinentes. A revisão por pares é importante, mas qual é a importância dela para a validação? É uma grande loteria que acaba atravancando o processo de publicação.”

Essa lógica, afirmou Rehen, está atrapalhando a carreira dos jovens cientistas, que mudam completamente o foco da importância da ciência para a publicação em uma revista de grande impacto. “A quantidade de artigos científicos sendo gerados é imensa e o sistema de peer review não está fazendo uma filtragem.” Ele citou o trágico caso de Yoshiki Sasai, que chegou a ser cotado para o Prêmio Nobel por conta de um artigo publicado na Nature, mas que acabou desmentido depois e se matou. Uma das autoras desse artigo quase foi presa e perdeu o título na universidade. “Foi um artigo que passou por peer review“, comentou Rehen.

Em alguns casos, uma resposta rápida é necessária, por isso o preprint é o ideal. “Caiu como uma luva no problema do zika”, disse o biólogo, referindo-se a artigos nessa área que sua equipe compartilhou como preprint. Rehen submeteu a periódico um artigo sobre a possibilidade do zika destruir as células do sistema nervoso central em desenvolvimento humano, ao mesmo tempo em que compartilhou como preprint. Com esse procedimento, obteve mais de 12 mil visualizações em três dias. Depois, o artigo foi publicado na Science. Isso também foi feito com um estudo sobre a cloroquina, que possivelmente evita a reprodução do vírus nas células-tronco neurais.

“Inclusive, já fizeram outro preprint citando o nosso inicial”, comentou Rehen. “O preprint não muda em nada a avaliação por pares, mas muda a divulgação. E, se comparamos o que foi compartilhado como preprint e depois o que foi submetido a periódico, muda muito pouco. Isso porque você pensa muito mais antes de compartilhar abertamente como preprint do que publicando em uma revista meia boca que, às vezes, ninguém vai ler.”

Ele informou que a maior parte das editoras, atualmente, aceita artigos que foram compartilhados previamente como preprint. Propôs, assim, que a Plataforma Lattes passe a ter uma aba para esse meio de publicação.

Assistindo à sessão ao lado do presidente da ABC, Luiz Davidovich, o presidente da Fundação de Amparo à Pesquisa do Estado de Minas Gerais (Fapemig), o Acadêmico Evaldo Vilela, abriu a possibilidade de ouvir como as FAPs podem interagir com essa realidade, seja com grupos de trabalho ou outras formas de apoio.

Acesse a apresentação.