Diante de um diagnóstico tão drástico, existem aqueles que relativizam a importância da replicabilidade, como o pesquisador do Instituto de Tecnologia da Informação e do Conselho Nacional de Pesquisa do Canadá, Chris Drummond. Para ele, na área de inteligência artificial, não existiria o problema de fraude de resultados, logo não há necessidade da replicação de experimentos (DRUMMOND, 2009).
Drummond responde diretamente àqueles que defendem a publicação de todos os códigos-fonte utilizados pelos pesquisadores na área de aprendizado de máquinas:
O compartilhamento de todos os artefatos dos experimentos de todas as pessoas não é uma atividade trivial. Isso exigirá uma grande parcela de trabalho extra não apenas dos autores, mas também dos revisores. Estou longe de estar convencido de que isso trará os benefícios que muitos pensam (DRUMMOND, 2009).
Fica claro que, por trás da problematização de Drummond focada na aparente inutilidade de um trabalho extra, estão os interesses dos detentores de direitos autorais e patentes de propriedade intelectual, uma forma jurídica de estabelecer um valor de troca para um tipo de mercadoria na qual a crise do valor já se expressa com uma nova qualidade há bastante tempo. É acerca disso que Marx se refere nos Grundrisse quando fala sobre a impossibilidade de se quantificar o valor do produto do trabalho científico de acordo com o tempo de seu desenvolvimento.
Outra voz que desestima a importância da replicabilidade é a premiada pesquisadora do Lawrence Berkeley National Laboratory, a especialista em câncer de mama Mina Bissell, para quem a propensão a trabalhar na replicação de descobertas poderia ter o efeito colateral de “esconder pesquisas promissoras e prejudicar injustamente a reputação de cientistas cuidadosos e meticulosos” (BISSELL, 2013).
Por isso, a autora assume um tom anedótico e não de consternação ao relatar que “de quando em quando, alguns dos meus pós-doutores ou estudantes, (…) com terror nos olhos, me diz que não puderam replicar um dos experimentos anteriores do meu laboratório, não importa o quão obstinadamente tentassem” (BISSELL, 2013).
Para explicar seu ponto, sem usar o termo explicitamente, ela recorre ao conceito de conhecimento tácito: experiências acumuladas que não podem ser propriamente descritas, faculdades obtidas por dado pesquisador após décadas de trabalho árduo com certa técnica específica, o que impediria que um outro laboratório pudesse obter o mesmo resultado, seguindo os procedimentos descritos no trabalho. Um argumento do tipo a mão da boleira e não a receita é o que impede o bolo de solar (BISSELL, 2013).
Desta forma ela coloca em dúvida os índices obtidos de trabalhos como os de BEGLEY (2012) e sua taxa de apenas 11% de replicação. Para Bissel, a falta de interação entre os laboratórios é a causa do problema ao impedir que os procedimentos e as condições sejam satisfatoriamente repetidos e a supervisão dos autores dos artigos originais na tentativa de replicação poderia resultar em uma confirmação de resultados muito maior.
Bissel afirma que
a coisa correta a ser feita como replicador da descoberta de alguém é consultar o autor original atentamente. Se e-mails e ligações telefônicas não resolverem o problema da replicação, peça para ir ao laboratório original reproduzir os dados conjuntamente, ou convide alguém do outro laboratório para vir ao seu (BISSELL, 2013).
O artigo de Bissel foi comentado no blog de Andrew Gelman, professor de estatística e ciência política e diretor do centro de estatística aplicada da Universidade de Columbia. Para ele o impulso pela replicação é positivo. Se os pesquisadores “estão achando que o movimento pela replicação é forte o suficiente para que eles precisem combatê-lo, isso representa boas notícias”. Sobre a solução apresentada por Bissel ele comenta:
Caso seu material publicado não seja claro – se um artigo não puder ser replicado sem e-mails, telefonemas, ou visitas a laboratórios – isso parece um problema para mim! Se pessoas de fora não podem replicar o estudo exato que você relatou, elas poderão ter problemas ao usar seus resultados em pesquisas futuras (GELMAN, 2013).
Gelman chama atenção para um outro problema decorrente da não concentração de esforços na replicabilidade. Muitas pesquisas partem de resultados anteriores acriticamente, assumindo-os como pressupostos de seus trabalhos. Richard Feynman faz uma observação similar ao relatar ter ficado
chocado ao saber de um experimento feito no grande acelerador do National Accelerator Laboratory, no qual um pesquisador usava deutério. Para comparar seus resultados utilizando hidrogênio pesado com o que poderia acontecer com o hidrogênio leve, ele precisou utilizar dados do experimento de uma outra pessoa sobre hidrogênio leve, que foi feito em um aparelho diferente. Quando perguntado, ele disse que não conseguiu marcar um horário na programação (porque há pouco tempo disponível e é um aparelho extremamente caro) para fazer o experimento com hidrogênio leve neste aparelho porque não haveria nenhum resultado novo. E assim, os responsáveis pelos programas da NAL estão tão ansiosos por novos resultados, para obter mais dinheiro para manter a máquina funcionando para propósitos de relações-públicas, que eles estão destruindo, possivelmente, o valor dos próprios experimentos, que é todo o propósito da coisa (FEYNMAN, 1974).
Para Bissel, contudo, o problema da replicabilidade é superestimado, sendo o verdeiro risco criado por essa insistência na replicabilidade:
As pessoas que tentam repetir a pesquisa dos outros frequentemente não têm tempo, financiamento ou recursos para obter a mesma experiência com o protocolo experimental, como os autores originais, que talvez estivessem operando sob uma bolsa federal de vários anos e visando uma publicação de alto perfil. Se um pesquisador gastar seis meses, digamos, tentando replicar esse trabalho e relatar que é irreprodutível, isto pode dissuadir outros cientistas de prosseguir uma linha de pesquisa promissora, comprometendo as chances dos cientistas originais de obter financiamento para continuar e potencialmente danificar suas reputações (BISSEL, 2013).
Comentários