Enviado por Secretaria em qua, 24/01/2018 – 13:06
O software vem em um momento em que as sociedades e revistas científicas estão alarmadas com a evidência de que as descobertas em muitos artigos publicados não são reprodutíveis e estão lutando para encontrar métodos confiáveis para avaliar se eles são.
A ferramenta, desenvolvida pela firma com fins lucrativos, Verum Analytics em New Haven, Connecticut, gera uma métrica chamada fator r que indica a veracidade de um artigo de periódico com base no número de outros estudos que confirmam ou refutam suas descobertas. A medida do r-fator atraiu muitas críticas de acadêmicos que disseram que sua abordagem, relativamente simples, talvez não seja suficiente para resolver o problema multifacetado que apresenta a reprodutibilidade.
A reação precoce à nova ferramenta sugere que a Verum não aliviou completamente essas preocupações. Os desenvolvedores do Verum reconhecem que a ferramenta ainda possui limitações; eles disseram que o lançaram para receber comentários sobre o bom funcionamento e como poderia ser melhorado. Verum desenvolveu o projeto com o co-fundador Josh Nicholson, que espera que o lançamento da versão inicial da ferramenta atrairá financiadores potenciais para ajudar a melhorar.
A Verum anunciou a metodologia subjacente à ferramenta, baseada no fator r, em um documento pré-impresso em agosto passado e refinou-a na nova ferramenta. Baseia-se exclusivamente em dados de documentos de pesquisa livremente disponíveis no popular mecanismo de busca biomédico PubMed.
Nicholson e seus colegas desenvolveram a ferramenta primeiro examinando manualmente 48.000 trechos de texto em artigos que citavam outros artigos publicados. Os trabalhadores de Verum classificaram cada uma dessas passagens como confirmando, refutando ou mencionando os outros papéis. Verum então usou essas classificações para treinar um algoritmo para reconhecer de forma autônoma cada tipo de passagem em documentos fora deste grupo de amostra.
Com base em uma amostra de cerca de 10 mil excertos, os desenvolvedores da Verum afirmam que sua ferramenta classifica corretamente as passagens exatamente 93% do tempo. A grande maioria dos artigos menciona estudos anteriores sem confirmar ou refutar suas reivindicações; apenas cerca de 8% de todas as citações são confirmatórias e apenas cerca de 1% estão refutando.
Os usuários da ferramenta podem aplicar o algoritmo inserindo o código de identificador PubMed exclusivo de um artigo. O algoritmo examina PubMed para encontrar artigos que citam o paper de interesse e todas as passagens que confirmam, refutam ou mencionam o paper. A ferramenta, em seguida, gera uma pontuação do fator r para o paper, dividindo o número de documentos de confirmação pela soma dos documentos de confirmação e refutação.
Esta fórmula tende a atribuir altas pontuações, perto de 1, a papers raramente refutados. O baixo número de documentos de refutação no banco de dados do Verum significa que muitos artigos têm fatores-r de 1, o que tende a limitar a utilidade da ferramenta. (Os fatores R também contêm um número de subíndice indicando o número total de estudos que tentaram replicar o paper – um fator r de 1 16 significa que a ferramenta digitalizou 16 estudos de replicação.)
O psicólogo Christopher Chartier da Ashland University, Ohio, que desenvolveu uma plataforma online que auxilia na logística de estudos de replicação, tentou a nova ferramenta a pedido da Science Insider. “Parece fazer o que afirma fazer, mas não tenho muito valor nos resultados”, diz ele. Uma razão, ele diz, é que os fatores de r podem ser desviados por um viés de publicação – onde os periódicos acadêmicos publicam resultados positivos positivamente sobre os resultados negativos. “Nós simplesmente não podemos confiar na literatura publicada como um indicador confiável e válido da replicabilidade de uma pesquisa”, disse Chartier.
“A tentativa de estimar a robustez de um achado de pesquisa publicado é notoriamente difícil”, disse Marcus Munafò, um psicólogo da Universidade de Bristol no Reino Unido, uma figura chave para enfrentar a irreproducibilidade. É difícil, segundo ele, conhecer a precisão ou a qualidade dos estudos individuais de confirmação ou refutação sem lê-los.
Outra limitação na ferramenta de Verum é que, porque arrasta apenas documentos disponíveis gratuitamente no PubMed, falta a literatura acadêmica paywalled.
Ainda assim, a equipe do Verum irá pressionar. Em seguida, em sua agenda está aumentar o número de documentos de amostra utilizados para treinar seu algoritmo para melhorar sua precisão ao reconhecer a confirmação e a refutação de documentos.
Fonte imagem: National Eye Institute, National Institutes of Health/Flickr (CC BY NC 2.0)