Um projeto ambicioso que se estabeleceu há quase cinco anos para replicar experimentos de 50 artigos de alto impacto sobre biologia do câncer, foi gradualmente diminuindo esse número, agora espera completar apenas 18 estudos.
“Eu gostaria que pudéssemos ter feito mais”, diz o biólogo Tim Errington, que dirige o projeto do Centro de Ciências Abertas em Charlottesville, Virgínia. Ele acrescenta, “não dá para compreender verdadeiramente como é desafiador até que você faça um projeto como esse”.
O Projeto de Reprodutibilidade: Biologia do Câncer (RP: CP) começou em outubro de 2013 como um esforço aberto para testar a replicabilidade depois que duas empresas farmacêuticas relataram ter dificuldades em reproduzir muitos estudos de câncer. O trabalho foi uma colaboração com a Science Exchange, uma empresa com sede em Palo Alto, Califórnia, que contratou laboratórios para reproduzir alguns experimentos importantes de cada trabalho. O financiamento incluiu uma doação de US $ 1,3 milhão da Fundação Laura e John Arnold, o suficiente para cerca de US $25.000 por estudo. Esperava-se que as experiências durassem 1 ano.
O projeto rapidamente atraiu críticas de autores dos estudos originais e de outros que se preocupavam com o fato de que os estudos de replicação inevitavelmente fracassariam porque os laboratórios terceirizados não tinham o conhecimento necessário para replicar o trabalho.
Os custos subiram e os atrasos se seguiram quando os organizadores perceberam que precisavam de mais informações e materiais dos autores originais; a decisão de ter as replicações propostas revisadas por pares também acrescentou tempo. Os organizadores reduziram a lista de artigos para 37 no final de 2015, depois para 29 em janeiro de 2017. Nos últimos meses, eles decidiram descontinuar 38% ou 11 das replicações em andamento, diz Errington. (Elizabeth Iorns, presidente da Science Exchange, diz que os custos totais dos 18 estudos concluídos são em média de cerca de US $ 60.000, incluindo dois “outliers” de alto preço).
Uma das razões para interromper algumas replicações foi que estava demorando muito para solucionar problemas ou aperfeiçoar experimentos para obter resultados significativos, diz Errington. Por exemplo, para decidir qual densidade de células a placa para um experimento exigia, testava-se uma série de densidades celulares. Embora “essas coisas aconteçam em um laboratório naturalmente”, diz Errington, esse trabalho poderia ter prosseguido mais rápido se detalhes metodológicos tivessem sido incluídos nos trabalhos originais. O projeto também passou muito tempo obtendo ou refazendo reagentes como linhas de células e plasmídeos (DNA inserido nas células) que não estavam disponíveis nos laboratórios originais.
Uma das lições do esforço: revelar mais detalhes do protocolo e disponibilizar os materiais gratuitamente diretamente do laboratório original ou por meio de serviços como o Addgene aceleraria a capacidade dos cientistas de desenvolver o trabalho dos outros. “Comunicação e compartilhamento são frutos que podemos trabalhar para melhorar”, diz Errington. Outro problema, acrescenta Iorns, é que os laboratórios acadêmicos raramente validam seus testes, dificultando saber se um resultado positivo é real ou “apenas ruído”.
O projeto já publicou resultados de replicação para 10 dos 18 estudos da revista eLife. O resultado final é misto: cinco foram repetíveis, três foram inconclusivos e dois estudos foram negativos, mas os resultados originais foram confirmados por outros laboratórios. De fato, muitos dos 50 artigos iniciais foram confirmados por outros grupos, como alguns dos RP (projeto de reprodutibilidade): os críticos de CB (biologia do câncer) apontaram.
A equipe do RP: CB está agora escrevendo os oito estudos concluídos restantes, uma meta-análise e resumo do projeto. Os 11 estudos incompletos, que serão publicados em breve, ainda terão “muito valor, mas não tanto” como as replicações concluídas, diz Errington.
Fonte:
Science