A constatação da crise da reprodutibilidade nas ciências biomédicas (Hirschhorn, Ioannidis e Begley)

No campo da biologia molecular, esse problema é debatido no mainstream há pelo menos 15 anos, vide o estudo de HIRSCHHORN (2002) publicado na Genetics in Medicine, publicação oficial da Escola Americana de Genética e Genômica Médica. Nele, os autores apresentam a seguinte constatação empírica:

Descobrimos que mais de 600 associações positivas entre variantes genéticas comuns e doenças foram relatadas. Essas associações, caso verdadeiras, teriam uma importância tremenda para a prevenção, antecipação e tratamento de doenças muito comuns. Contudo, a maior parte das associações relatadas não são robustas: Das 166 associações que foram estudadas três ou mais vezes, apenas seis foram consistentemente replicadas (HIRSCHHORN, 2002).

O significado dessa revelação é potencializado por ser a saúde humana o campo de investigação científica que mais cresceu desde o pós-guerra com o agigantamento da indústria farmacêutica. Essa área de pesquisa encontra-se abaixo apenas da pesquisa militar como destino do financiamento científico mundial. Apenas o orçamento federal dos Estados Unidos destinou a esse campo, em 2016, mais de 30 bilhões de dólares, quase o triplo do investido em pesquisa de energia, a terceira colocada.

Corroborando essa constatação, encontra-se o famoso artigo de Ioannidis (2005) que se converteu no mais citado da prestigiosa revista PLOS Medicine, de ciências médicas. Após uma revisão de publicações nesta área, o autor afirma categoricamente que: “pode ser provado que a maior parte dos resultados de pesquisas apresentados são falsos”. Sua conclusão está embasada em artigos que demonstram a ausência de consistência e coerência nas assertivas causais estabelecidas como verdadeiras pelos pesquisadores entre diferentes substâncias e seus efeitos, seja na tradicional área da epidemiologia, ou nas mais avançadas pesquisas moleculares.

A metodologia empregada por Ioannidis é a meta-análise, disciplina estatística que combina o resultado de uma série de estudos em busca de uma verdade subjacente aos resultados de cada estudo individual, posto que esses estão mais sujeitos a erros decorrentes de flutuações estatísticas, pelo simples fato de que uma amostra nunca é idêntica ao universo estudado. É, portanto, uma técnica que ajuda a revelar os aspectos quantitativos àqueles que buscam fazer uma revisão sistemática da literatura científica disponível sobre dado tema.

Trataremos mais adiante destes aspectos particulares da meta-análise ao abordarmos a Crise Estatística. Neste momento, interessa apenas o fato de que uma técnica que tem como objetivo diminuir a incidência de flutuações estatísticas nos resultados finais, ou seja, ajustar os desbalanços de diferentes estudos confrontando-os entre si, serviu para comprovar a existência de um problema muito mais profundo, que se convencionou chamar de Crise de Reprodutibilidade. As “simulações demonstram que, para a maioria dos planejamentos e configurações, é mais provável que a assertiva feita em um estudo seja falsa do que verdadeira” (IOANNIDIS, 2005).

Esse descompasso não é de todo ignorado pela sociedade em geral, que acompanha o avanço da ciência através da grande imprensa, tendo acostumado-se com notícias de reviravoltas na condenação ou idolatração de alguns alimentos, apenas um exemplo de um problema mais geral que leva a uma desconfiança generalizada das afirmações dos especialistas. Ovo, carne suína e gordura são alguns exemplos de alimentos que tiveram suas recomendações revistas diversas vezes, alternando-se em uma gangorra de expurgos e de reabilitações, o que gerou um grande número de manchetes bombásticas.

Para descrever essa mesma alternância, só que no campo da genética molecular, Ioannidis cunhou o termo Fenômeno Proteus, em referência ao deus grego que podia mudar de aparência instantaneamente, ao constatar como o viés de publicação faz com que as primeiras replicações de um trabalho quase sempre contradigam os trabalhos originais de forma extrema, não corroborando seus resultados. Ele e seu colega, Trikalinos, apresentam como hipótese que “dados controversos são atrativos para investigadores e editores, e, desta forma, os resultados mais extremos e opostos aparecem cedo, dado que os dados possam ser gerados rapidamente, e não tardiamente, conforme os dados se acumulam” (IOANNIDIS, 2015B).

O mérito principal do artigo de Ioannidis é o de não ficar apenas na constatação do problema, mas, ao analisar as causas que diminuem o valor preditivo positivo (VPP), ou seja, sua probabilidade de serem verdadeiras, ele enuncia sei corolários que lançam luz sobre as raízes deste embaraço:

Corolário 1: Quanto menores forem os estudos conduzidos em um campo científico, menores serão as chances das descobertas da pesquisa serem verdadeiras. (…)

Corolário 2: Quanto menores forem os efeitos em um campo científico, menor a chance de que as descobertas da pesquisa sejam verdadeiras. (…)

Corolário 3: Quanto maior o número e quanto menor for a seleção das relações verificadas em um campo científico, menores serão as chances das descobertas da pesquisa serem verdadeiras. (…)

Corolário 4: Quanto maior for a flexibilidade nos desenhos, definições, resultados e modos analíticos em um campo científico, menores serão as chances das descobertas da pesquisa serem verdadeiras. (…)

Corolário 5: Quanto maiores forem os interesses financeiros e outros interesses e preconceitos no campo, menores serão as chances das descobertas da pesquisa serem verdadeiras. (…)

Corolário 6: O quão mais quente for um campo científico (mais equipes científicas envolvidas), menores serão as chances das descobertas da pesquisa serem verdadeiras. (…) (IOANNIDIS, 2005).

Alguns anos depois do alerta de Ioannidis, uma nova onda de consternação nos círculos especializados ocorreu com a publicação de um artigo na Nature pelo consultor e ex-vice-presidente e líder global de hematologia e pesquisa oncológica da Amgen1, no qual relata os esforços de seu laboratório em reproduzir 53 estudos considerados marcos na pesquisa de tratamentos para o câncer, tendo conseguido confirmar as descobertas científicas em apenas seis estudos, o que representa 11% dos casos (BEGLEY, 2012). Aqui, a novidade advém do fato de que não se trata mais da voz de um pesquisador influente, mas independente, remando contra a correnteza, e sim da posição de um cientista que personifica os interesses do multibilionário capital da indústria farmacêutica.

Begley chama atenção para o fato de que seus dados estão em harmonia com outros publicados um ano antes, em 2011, por uma equipe de pesquisadores da Bayer2 que, em um esforço similar de replicação, relatou que apenas “25% dos estudos pré-clínicos publicados puderam ser validados ao ponto além do qual os projetos poderiam prosseguir” (PRINZ, 2011).

A principal indagação a ser feita, caso aceitemos os resultados destes estudos, é sobre como foi possível tantos resultados falsos terem sido publicados com tão pouca ponderação em uma área que movimenta bilhões de dólares de financiamento público e privado, e da qual depende a vida de diversos pacientes. Como será aprofundado ao longo desta dissertação, acompanhando a natureza dual da ciência cativa do capital, usar ou não uma substância em um tratamento aparece como um problema dual que compreende não apenas o benefício e o malefício causado ao doente, mas também o retorno esperado de quem investiu em determinada droga. É um processo de descolamento da produção científica que passa a flutuar sobre a investigação da realidade, passando a responder mais à lógica de acumulação do capital do que coadunar com a verdade material dos objetos estudados.

1Conglomerado estadunidense com faturamento anual de 22,99 bilhões de dólares em 2016.

2A Bayern, com faturamento de 46 bilhões de euros em 2016, investiu no mesmo ano 4,7 bilhões de euros em pesquisa científica.

Crise de Replicabilidade e da Reprodutibilidade

Entre os grandes problemas contemporâneos que afetam a produção científica, talvez nenhum tema tenha perpassado de forma tão longitudinal o debate entre os mais díspares campos do conhecimento como a questão da Crise de Reprodutibilidade, que se tornou objeto de estudo da filosofia e da sociologia da ciência.

Existe uma diferença entre replicabilidade e reprodutibilidade, ainda que sem um consenso absoluto sobre o que distingue esses termos, que são algumas vezes utilizados de forma trocada (LIEBERMAN, 2015). A distinção entre ambos mais comumente utilizada parece ser a de que a replicabilidade pode ser definida como a obtenção dos mesmos resultados de um estudo por uma equipe de pesquisadores que repita um experimento de forma totalmente independente, incluindo uma nova coleta de dados, enquanto que a reprodutibilidade é a verificação dos resultados de uma pesquisa por outra equipe que tenha acesso aos dados e aos códigos utilizados pela primeira, submetendo-os a uma análise alternativa (PENG, 2009). Logo, a replicabilidade é mais difícil de ser obtida do que a reprodução de resultados. Contudo, na abordagem dessas reflexões, o rigor com essa distinção não modifica em nada os argumentos, por isso trataremos ambos os conceitos de forma conjunta, seguindo a terminologia de cada um dos autores citados.

A crise orgânica do capital: o valor, a ciência e a educação

Com efeito, ao assumirmos o método de Marx, consideramos que causa e consequência de um processo histórico não existem separadamente ou relacionadas apenas em caminhos de mão única. Desta forma, a crise na produção científica, que pode ser vista como uma consequência da crise econômica, produto, por exemplo, de cortes de investimento no setor, como destacam diversas matérias de jornal, é, ao mesmo tempo, uma das causas da mesma. O método com o qual Marx analisa o capitalismo permite pensar este complexo fenômeno em suas múltiplas determinações, o que leva à definição de uma Crise Orgânica do Capital. Com a conversão da ciência na principal força produtiva, as contradições inerentes à Lei Geral da Acumulação Capitalista (MARX, 1988) levam à erosão do paradigma do valor, conforme antecipou Marx nos Grundrisse, o que emperra a acumulação de capital e, consequentemente, coloca a própria relação-capital em cheque. Além disso, para entender qualquer movimento dialético e a forma como se articula uma unidade de seus contrários, deve-se dar a devida importância à escolha das categorias que nos possibilitam compreender o real significado deste processo.

O ponto de partida que nos permitirá transcender a aparência deste fenômeno é a argumentação apresentada na tese A crise orgânica do capital: o valor, a ciência e a educação de Aluisio Pampolha Bevilaqua (2015). Em seu trabalho, o autor defende que a crise do capital, momento de autonegação dialética da própria relação-capital, que por sua vez é a relação social dominante da formação econômica-social atual, generaliza-se para todas as esferas da sociedade e se expressa particularmente na produção científica mundial como uma crise de paradigmas. Em trabalho anterior, intitulado A Crise do Capital em Marx e suas implicações nos Paradigmas da Educação, o autor já mostrara como as categorias produção, ciência e educação encontram-se subsumidas à categoria capital através dos conceitos de crise, paradigma e pedagogia. Durante a crise, a ciência, cativa do capital e convertida em mais uma de suas manifestações, precisa desesperadamente ser mensurada como valor de troca, o que entra em choque com seu estatuto de conhecimento organizado e validado através de sua confrontação com a realidade material (na prática). Ele mostra como o caráter dessa crise é responsável pelo descompasso entre os objetivos postulados pela comunidade científica para seu trabalho e os resultados destes percebidos pela sociedade. Trata-se de um processo que se retroalimenta, pois a incorporação da ciência como investimento na produção acentua a erosão do paradigma do valor, logo agrava a crise econômica ao prejudicar a acumulação capitalista de trabalho vivo (BEVILAQUA, 2015, p. 9 e 356) (BEVILAQUA, 2011, p. 235).

Da mesma forma, toma-se como base a tese de Theotonio dos Santos, também referenciada no trabalho de Bevilaqua, que demonstra o impacto da Revolução Científico-Técnica, cujo início pode ser situado após a Segunda Guerra Mundial, quando a ciência passou a ser, cada vez mais, vista como investimento. Este processo, que pode ser classificado como a terceira fase da Revolução Industrial e que deriva na crescente automação da produção, é raiz de profundas transformações, ainda em curso, que apontam para os limites históricos do modo de produção baseado na apropriação privada da riqueza social (SANTOS, 1983, p. 52 e 247;1987, p.275).

Existe uma crise da ciência? A pesquisa da Nature de 2016.

Quando falamos em crise na ciência, podemos distinguir diversos problemas, alguns deles debatidos abertamente na comunidade científica, outros nem sempre bem enunciados ou definidos, que transparecem como um mal-estar nos meios acadêmicos, enquanto brota no público em geral uma desconfiança a respeito das pessoas apontadas como especialistas. Mesmo com muitas omissões da grande mídia, eventualmente circulam notícias de fraudes envolvendo alguma instituição de destaque, ou ainda ocorre alguma catástrofe não prevista por toda uma comunidade de cientistas.

Entre os grandes problemas contemporâneos que afetam a produção científica, talvez nenhum tema tenha perpassado de forma tão longitudinal o debate entre os mais díspares campos do conhecimento como a questão da Crise de Reprodutibilidade, que se tornou objeto de estudo da filosofia e da sociologia da ciência.

Muitos cientistas e também filósofos da ciência têm se debruçado sobre este problema. Uma de suas faces mais palpáveis, que tem um maior destaque na imprensa e nas publicações acadêmicas, e para a qual surgiram diferentes iniciativas profiláticas, é a Crise de Reprodutibilidade, a percepção de que muitas das afirmações feitas em estudos científicos não se sustentam quando um grupo independente tenta replicá-los.

Uma enquete de 2016, publicada na Revista Nature, da qual participaram 1.576 pesquisadores de diferentes áreas do conhecimento (703 biólogos, 106 químicos, 95 cientistas da terra, 203 médicos, 136 físicos e engenheiros e 233 de outras áreas), mostrou que 90% deles afirmam existir uma crise de reprodutibilidade na produção científica, sendo que 52% do total afirmaram tratar-se de uma crise significativa. Apenas 3% refutaram taxativamente tal diagnóstico (BAKER, 2016).

Se, como vimos, na comunidade científica, a existência de problemas é praticamente um consenso, o debate em torno da natureza dos mesmos e consequentemente de suas causas e efeitos é uma polêmica em aberto.

Figura 1: Há uma crise de reprodutibilidade?

Fonte: NATURE, 2016

A pesquisa da Nature nos mostra também não existir ainda um consenso sobre o que enseja essa crise, que tem até sua denominação em debate. Os pesquisadores também foram instados a responder sobre fatores que levassem a problemas com a reprodutibilidade e as respostas se distribuíram em 15 fatores distintos. As principais causas apontadas relacionam-se com problemas no processo de produção científica mais geral, e não meras questões técnicas, mas o que sobressai é a sensação difusa de um mal-estar crescente, uma percepção emergente comum à grande maioria dos pesquisadores, sem que haja um diagnóstico mais preciso, em que pese o deficit real de reprodutibilidade já ter sido objetivamente constatado há mais de uma década.

No artigo publicado com os resultados da enquete, consta uma afirmação de Arturo Casadevall, um microbiólogo da Johns Hopkins Bloomberg School of Public Health e defensor da necessidade de uma reforma na ciência, de que reconhecer que há um problema é um passo adiante (CASADEVALL, 2012) e que “o próximo passo pode ser identificar qual o problema e obter-se um consenso” (CASADEVALL apud BAKER, 2016, tradução nossa). Desta forma, o tema da crise na produção científica merece ser objeto de uma investigação mais profunda, que inclusive descreva a relação dialética entre essa crise específica e a crise do capital, a qual, conforme demonstrou Bevilaqua (2011, 2015), se generaliza em seu auge para todas as esferas da sociedade.

Resumo da dissertação

ROCHA, R. C. Crise do capital e crise na produção científica. 2018. 150f. Dissertação (Mestrado em Políticas Públicas e Formação Humana) – Instituto de Ciências Humanas, Universidade do Estado do Rio de Janeiro, Rio de Janeiro, 2018.

A presente dissertação de mestrado tem por objetivo sustentar a hipótese da existência de uma crise na ciência, tomando por fundamento a crise na produção científica, sua existência como crise de paradigmas em diferentes campos científicos e sua relação com a Crise Orgânica do Capital. A relevância deste tema advém das implicações da crise no desenvolvimento de políticas públicas. A pesquisa empírica realizada demonstra que existem diversas concepções de crise em diferentes campos da ciência, como Crise de Reprodutibilidade, Crise Estatística, Crise do Produtivismo Acadêmico, etc. Todas estas problemáticas são ardorosamente debatidas pela comunidade de pesquisadores. Contudo, observa-se a ausência, na maioria das interpretações da revisão bibliográfica desta dissertação, de uma preocupação com as causas mais fundamentais destes problemas. A crise de paradigmas nas ciências deve ser compreendida à luz da Crise Orgânica do Capital, que por sua vez se manifesta como crise econômica mundial. A tendência à erosão do paradigma do valor, conforme apontada por Marx nos Grundrisse, resultado do processo de automação identificado com a terceira fase da Revolução Industrial, constrange a produção científica, que deve ser considerada em seu duplo aspecto: através do seu valor de uso, derivado do acúmulo do conhecimento humano sobre os objetos estudados, mas também através do seu valor de troca, o que explica sua moldagem ao papel que ela crescentemente passa a ocupar no centro do processo de valorização de capital.

Palavras-chave: crise. ciência. paradigmas. marx.

Bem vindo ao meu blog sobre a Crise da Ciência.

Prazer, meu nome é Rafael Carduz Rocha! Neste espaço pretendo expor reflexões e comentários sobre a crise corrente na produção científica, tema que objeto da minha dissertação de mestrado e do meu doutorado (em curso).

Tendo me debruçado sobre o tema da crise na produção científica e suas relações com a crise do capital nos últimos anos, farei deste blog um espaço para compartilhar algumas reflexões e dados que utilizei em minha pesquisa e outras anotações que não estiveram presentes no trabalho final.

Alguns posts desse blog serão reproduções de trechos da minha dissertação, mas também escreverei comentários para notícias sobre o tema. Compartilho aqui o link para a minha dissertação de mestrado, defendida em 2018 no Programa de Pós-Graduação em Políticas Públicas e Formação Humana da UERJ. Ela foi orientada pelos professores Theotonio do Santos e Aluisio Pampolha Bevilaqua.

Na dissertação abordo algumas das formas através das quais a crise na ciência é percebida pela comunidade de cientistas em distintos campos do conhecimento como, por exemplo, a Crise da Reprodutibilidade, a Crise da Responsabilidade Acadêmica, a Crise da Estatística e o problema das fraudes e dos enviesamentos. Defendo que, vistos em conjunto, esses impasses comprovam a existência de uma Crise de Paradigmas na Ciência.

Busco correlacionar essa crise de paradigmas com aspectos mais gerais da sociedade, a partir da descrição de Bevilaqua (2017) de como a crise orgânica do capital se generaliza para todas as esferas da sociedade, por ser a relação-capital a base da produção material da vida humana, o que impacta a produção científica que passa a vivenciar diversas crises específicas. Não o faço a partir de um abuso reducionista, ignorando a especifidade de cada um desses problemas, mas almejando entender como essas questões se unificam através do desenvolvimento histórico.