A crise de reprodutibilidade na psicologia
Na psicologia o debate entre os pesquisadores que afirmam que não há problema algum e o crescente grupo dos que acreditam que todo o campo está em uma profunda crise divide atualmente, de forma bastante antagônica, membros influentes da comunidade científica.
A polêmica se acirrou com um artigo do Open Science Collaboration (2015), que se tornou um marco no debate ao relatar a tentativa frustrada de se replicar 100 estudos publicados em 2008 em revistas de prestígio, o que resultou em apenas 31 casos de sucesso, ou seja, 69 dentre os estudos analisados não puderam ser replicados de forma independente.
O Open Science Collaboration, liderado por Brian Nosek, psicólogo e professor da Universidade da Virgínia, se define como um grupo aberto de pesquisadores, que afirma ter como objetivo promover a melhoria das práticas científicas. Para as replicações desse estudo, colaboraram 270 pesquisadores vinculados ao grupo.
Ironicamente, uma equipe de cientistas detratores da ideia de crise de reprodutibilidade, formada por dois pesquisadores de Harvard e um da Universidade da Virgínia, alegaram que não puderam reproduzir os resultados do estudo do Open Science Collaboration. Pelo contrário, afirmaram que os dados do Open Science Collaboration, se olhados criticamente, ajudavam a comprovar que a reprodutibilidade na psicologia era plenamente satisfatória. Para argumentar seu ponto, apontaram uma série de erros metodológicos do polêmico artigo (GILBERT, 2016).
A tréplica do Open Science Collaboration, publicada na revista Science e assinada por 41 pesquisadores de universidades da Europa e dos Estados Unidos, rebate as críticas apresentadas, apontando que foi o grupo do dr. Gilbert quem errou ao fazer uma avaliação otimista demais, “decorrente de equívocos estatísticos e de tecer inferências causais de dados correlatos interpretados seletivamente” (ANDERSON et al., 2016).
Gilbert afirmara que, dentre os estudos selecionados, aqueles entre os quais os autores originais não aprovaram a metodologia dos experimentos de replicação tiveram uma taxa de replicação de 15,4%, pior do que os 59,7% de replicações que obtiveram o aval dos autores dos estudos originais. Contudo, Anderson e seus colegas responderam lembrando que o fato de um cientista alegar que não confia na metodologia daqueles que farão a replicação poderia esconder a falta de confiança nos resultados de seu próprio estudo original, e não apenas da replicação em si.
Antes do estudo do Open Science Collaboration, uma edição especial da Social Psychology, que tratou de replicação em 2014, já havia chegado a semelhante conclusão ao não conseguir replicar 10 de 27 estudos da área. Um dos que não puderam ser replicados foi o de SCHNALL (2008), no qual os pesquisadores afirmavam que se limpar, faria com que uma pessoa ficasse menos inclinada a perceber falhas morais nos outros. Os autores chegaram a essa conclusão após dividir um grupo de voluntários em dois e pedir que uma parte lavasse as mãos e outra não. Após isso foram feitas perguntas a esses mesmos indíviduos sobre o que eles achavam de determinadas ações, como fraudar um documento. Na época o artigo foi amplamente publicizado, tendo recebido cobertura nas páginas do The Economist, ABC News, Huffington Post, entre outros. Além disso ele foi citado mais de 200 vezes por outros pesquisadores.
Os dois estudantes de graduação e seu orientador, Brent Donnellan, da Miching State University, encarregados de replicar o estudo, não o puderam mesmo realizando o teste com quatro vezes mais voluntários do que o estudo original.
Inicialmente Schnall cooperou com os pesquisadores que se propuseram a replicar seu estudo, fornecendo-lhes os materiais que utilizou no estudo original. Além disso ela aceitou o convite dos editores da Social Psychology, na qual a tentativa de reprodução fracassada havia sido publicado, para revisar o protocolo experimental e a análise estatística que os replicadores seguiriam.
Contudo, após os resultados divergirem, Schnall passou a criticar a tentativa de reprodução, afirmando à revista Science que todo o processo fazia com que ela se sentisse uma criminosa, que seu trabalho havia sido difamado, e que isso havia prejudicado sua chance de receber financiamentos (BOHANNON, 2014).
Sua corrente, dos que buscam comprovar fenômenos explicados pelo efeito priming é uma das que mais recebem financiamento dentro da psicologia, o que é alvo da crítica daqueles que consideram essas conclusões exageradas e desprovidas de fundamento. Estes pesquisadores buscam correlações entre memórias implícitas após a exposição a um estímulo e a resposta não consciente a um outro estímulo posterior. Neste caso, lavar as mãos e tomar uma decisão moral.
A polêmica em torno da replicação se tornou mais virulenta, quando Susan Fiske, ex-presidente da Association for Psychological Science, e uma pesquisadora de renome de Princeton atacou aqueles que ela chamou de “adversários” da psicologia, segundo ela, verdadeiros “terroristas metodológicos”, “autoproclamados policiais de dados”. Para Fiske, para que o debate seja honesto, o mesmo não deveria ser público e deveria se restringir às publicações acadêmicas. Suas críticas, que vazaram antes de serem publicadas em uma coluna da revista de divulgação da Association for Psychological Science geraram uma grande reação de outros pesquisadores que resultaram na não publicação do mesmo.
Quando dois grandes grupos de cientistas estão debruçados sobre os mesmos dados chegando a conclusões completamente diferentes, está exposta uma fratura que nos permite cogitar a existência de um problema mais profundo.
Comentários