A constatação da crise da reprodutibilidade nas ciências biomédicas (Hirschhorn, Ioannidis e Begley)
No campo da biologia molecular, esse problema é debatido no mainstream há pelo menos 15 anos, vide o estudo de HIRSCHHORN (2002) publicado na Genetics in Medicine, publicação oficial da Escola Americana de Genética e Genômica Médica. Nele, os autores apresentam a seguinte constatação empírica:
Descobrimos que mais de 600 associações positivas entre variantes genéticas comuns e doenças foram relatadas. Essas associações, caso verdadeiras, teriam uma importância tremenda para a prevenção, antecipação e tratamento de doenças muito comuns. Contudo, a maior parte das associações relatadas não são robustas: Das 166 associações que foram estudadas três ou mais vezes, apenas seis foram consistentemente replicadas (HIRSCHHORN, 2002).
O significado dessa revelação é potencializado por ser a saúde humana o campo de investigação científica que mais cresceu desde o pós-guerra com o agigantamento da indústria farmacêutica. Essa área de pesquisa encontra-se abaixo apenas da pesquisa militar como destino do financiamento científico mundial. Apenas o orçamento federal dos Estados Unidos destinou a esse campo, em 2016, mais de 30 bilhões de dólares, quase o triplo do investido em pesquisa de energia, a terceira colocada.
Corroborando essa constatação, encontra-se o famoso artigo de Ioannidis (2005) que se converteu no mais citado da prestigiosa revista PLOS Medicine, de ciências médicas. Após uma revisão de publicações nesta área, o autor afirma categoricamente que: “pode ser provado que a maior parte dos resultados de pesquisas apresentados são falsos”. Sua conclusão está embasada em artigos que demonstram a ausência de consistência e coerência nas assertivas causais estabelecidas como verdadeiras pelos pesquisadores entre diferentes substâncias e seus efeitos, seja na tradicional área da epidemiologia, ou nas mais avançadas pesquisas moleculares.
A metodologia empregada por Ioannidis é a meta-análise, disciplina estatística que combina o resultado de uma série de estudos em busca de uma verdade subjacente aos resultados de cada estudo individual, posto que esses estão mais sujeitos a erros decorrentes de flutuações estatísticas, pelo simples fato de que uma amostra nunca é idêntica ao universo estudado. É, portanto, uma técnica que ajuda a revelar os aspectos quantitativos àqueles que buscam fazer uma revisão sistemática da literatura científica disponível sobre dado tema.
Trataremos mais adiante destes aspectos particulares da meta-análise ao abordarmos a Crise Estatística. Neste momento, interessa apenas o fato de que uma técnica que tem como objetivo diminuir a incidência de flutuações estatísticas nos resultados finais, ou seja, ajustar os desbalanços de diferentes estudos confrontando-os entre si, serviu para comprovar a existência de um problema muito mais profundo, que se convencionou chamar de Crise de Reprodutibilidade. As “simulações demonstram que, para a maioria dos planejamentos e configurações, é mais provável que a assertiva feita em um estudo seja falsa do que verdadeira” (IOANNIDIS, 2005).
Esse descompasso não é de todo ignorado pela sociedade em geral, que acompanha o avanço da ciência através da grande imprensa, tendo acostumado-se com notícias de reviravoltas na condenação ou idolatração de alguns alimentos, apenas um exemplo de um problema mais geral que leva a uma desconfiança generalizada das afirmações dos especialistas. Ovo, carne suína e gordura são alguns exemplos de alimentos que tiveram suas recomendações revistas diversas vezes, alternando-se em uma gangorra de expurgos e de reabilitações, o que gerou um grande número de manchetes bombásticas.
Para descrever essa mesma alternância, só que no campo da genética molecular, Ioannidis cunhou o termo Fenômeno Proteus, em referência ao deus grego que podia mudar de aparência instantaneamente, ao constatar como o viés de publicação faz com que as primeiras replicações de um trabalho quase sempre contradigam os trabalhos originais de forma extrema, não corroborando seus resultados. Ele e seu colega, Trikalinos, apresentam como hipótese que “dados controversos são atrativos para investigadores e editores, e, desta forma, os resultados mais extremos e opostos aparecem cedo, dado que os dados possam ser gerados rapidamente, e não tardiamente, conforme os dados se acumulam” (IOANNIDIS, 2015B).
O mérito principal do artigo de Ioannidis é o de não ficar apenas na constatação do problema, mas, ao analisar as causas que diminuem o valor preditivo positivo (VPP), ou seja, sua probabilidade de serem verdadeiras, ele enuncia sei corolários que lançam luz sobre as raízes deste embaraço:
Corolário 1: Quanto menores forem os estudos conduzidos em um campo científico, menores serão as chances das descobertas da pesquisa serem verdadeiras. (…)
Corolário 2: Quanto menores forem os efeitos em um campo científico, menor a chance de que as descobertas da pesquisa sejam verdadeiras. (…)
Corolário 3: Quanto maior o número e quanto menor for a seleção das relações verificadas em um campo científico, menores serão as chances das descobertas da pesquisa serem verdadeiras. (…)
Corolário 4: Quanto maior for a flexibilidade nos desenhos, definições, resultados e modos analíticos em um campo científico, menores serão as chances das descobertas da pesquisa serem verdadeiras. (…)
Corolário 5: Quanto maiores forem os interesses financeiros e outros interesses e preconceitos no campo, menores serão as chances das descobertas da pesquisa serem verdadeiras. (…)
Corolário 6: O quão mais quente for um campo científico (mais equipes científicas envolvidas), menores serão as chances das descobertas da pesquisa serem verdadeiras. (…) (IOANNIDIS, 2005).
Alguns anos depois do alerta de Ioannidis, uma nova onda de consternação nos círculos especializados ocorreu com a publicação de um artigo na Nature pelo consultor e ex-vice-presidente e líder global de hematologia e pesquisa oncológica da Amgen1, no qual relata os esforços de seu laboratório em reproduzir 53 estudos considerados marcos na pesquisa de tratamentos para o câncer, tendo conseguido confirmar as descobertas científicas em apenas seis estudos, o que representa 11% dos casos (BEGLEY, 2012). Aqui, a novidade advém do fato de que não se trata mais da voz de um pesquisador influente, mas independente, remando contra a correnteza, e sim da posição de um cientista que personifica os interesses do multibilionário capital da indústria farmacêutica.
Begley chama atenção para o fato de que seus dados estão em harmonia com outros publicados um ano antes, em 2011, por uma equipe de pesquisadores da Bayer2 que, em um esforço similar de replicação, relatou que apenas “25% dos estudos pré-clínicos publicados puderam ser validados ao ponto além do qual os projetos poderiam prosseguir” (PRINZ, 2011).
A principal indagação a ser feita, caso aceitemos os resultados destes estudos, é sobre como foi possível tantos resultados falsos terem sido publicados com tão pouca ponderação em uma área que movimenta bilhões de dólares de financiamento público e privado, e da qual depende a vida de diversos pacientes. Como será aprofundado ao longo desta dissertação, acompanhando a natureza dual da ciência cativa do capital, usar ou não uma substância em um tratamento aparece como um problema dual que compreende não apenas o benefício e o malefício causado ao doente, mas também o retorno esperado de quem investiu em determinada droga. É um processo de descolamento da produção científica que passa a flutuar sobre a investigação da realidade, passando a responder mais à lógica de acumulação do capital do que coadunar com a verdade material dos objetos estudados.
1Conglomerado estadunidense com faturamento anual de 22,99 bilhões de dólares em 2016.
2A Bayern, com faturamento de 46 bilhões de euros em 2016, investiu no mesmo ano 4,7 bilhões de euros em pesquisa científica.
Comentários