Um pouco sobre a Inferência Bayesiana
Caso observássemos a caixa de correio dos vizinhos para saber mais informações acerca do bebê que eles esperam, poderíamos testar nossas hipóteses partindo de uma provável correlação entre a cor das roupas e o sexo do bebê. Se em vez de um enxoval encontrássemos caixas com ração de gatos, arranhadores e areia para gatos, isso não nos permitiria testar a hipótese de que os vizinhos deram a luz a um gato. O fato de descartarmos essa hipótese, apesar da “evidência” dos dados colhidos, se deve ao fato desta hipótese ser a priori considerada muito, muito pequena. Essa é a ideia de outro quadrinho do XKCD, que mostra o absurdo permitido pela abordagem frequentista de se estar vivo e ainda assim acreditar que o sol explodiu como uma supernova. Mesmo que se argumentasse que os neutrinos medidos tivessem chegado antes do plasma da explosão e estivéssemos vivos neste intervalo, nunca foi...
Significância estatística, correlação e causalidade
Após tudo que publicamos, insistimos que o problema da Crise Estatística não pode ser solucionado apenas a partir de uma interpretação técnica dos resultados, sendo um problema epistemológico que aponta para uma crise de paradigmas. O Modus Tollens é a forma de abstração presente na formulação de Popper, que acreditava ter resolvido o problema da indução conforme apresentado por Hume. É importante notar que, na sua forma estatística, ele não nos permite nunca afirmar, com certeza, que a hipótese alternativa está correta, apenas que há uma grande probabilidade de podermos descartar a hipótese nula (ROSA, 2005, p. 220). Mesmo que pudéssemos ter certeza estatística de que os dados coletados representarem uma correlação (digamos, além de 99,999999% de confiabilidade), a natureza dessa correlação constitui um outro problema sobre o qual o teste de significância pouco pode nos dizer. Para...
Os neutrinos mais rápidos que a luz
O uso da significância estatística não garante a eliminação dos erros. Vejamos o caso da anomalia dos neutrinos mais rápidos do que a luz. Em março de 2011, uma observação do experimento OPERA, realizado com a colaboração de dois laboratórios, o CERN e o LNGS, supostamente teria observado neutrinos se deslocarem a velocidades superiores à da luz com uma significância de 6 sigma, ou seja, um grau de certeza estatística ainda maior que o já consagrado padrão 5 sigma. O resultado foi, oito meses depois, novamente replicado pela mesma equipe de pesquisadores, desta vez com um nível de significância ainda maior, 6.2 sigma. Isso causou um furor na imprensa, pois a constância da velocidade da luz no vácuo e o fato desta ser o limite para todo o deslocamento de matéria ou de informação é um dos pilares da física. Cabe ressaltar que neste caso os físicos ligados ao experimento se abstiveram de...
Valor-p, falsos positivos e falsos negativos: um exemplo
Pensemos, no seguinte problema: uma versão simplificada da simulação apresentada por Colquhoun (2014), cujo código fonte do script foi disponibilizado para reprodução. Em um determinado campo, um total de mil hipóteses estão sendo investigadas. Estabelecemos arbitrariamente que, dentre essas, 100 refletem relações verdadeiras presentes na realidade, ainda que ninguém saiba quais sejam. Digamos que os experimentos, quando diante das hipóteses verdadeiras, identifiquem 80% delas. Neste caso, a taxa de falso-negativo β é de 20%. Imaginemos uma taxa de falso-positivo α mais baixa, de apenas 5%. Como temos um grande número de hipóteses falsas a serem testadas, o que é natural, descartamos corretamente 855 hipóteses falsas, mas geramos 45 falsos positivos. A nova verdade estabelecida neste campo compreenderá 125 hipóteses alternativas, das quais mais de um terço é falsa. Desta forma, mesmo...
Equilibrando-se entre falsos-positivos e falsos-negativos
A própria ideia de certeza probabilística, se tomada mecanicamente, como comumente o é, pode ser considerada uma aporia. Pela própria natureza do conhecimento estatístico, ele nunca é livre de erro, ainda que teoricamente (e em alguns casos muito excepcionais) possamos fazer com que a possibilidade de um erro seja tão remota que não fosse plausível sua ocorrência, nem que o nosso universo fosse de ordens de magnitude mais velho do que se acredita que ele seja. Contudo, os modelos com os quais os pesquisadores lidam na prática sempre contêm a possibilidade real da ocorrência de dois tipos de erros que coexistem em uma relação dialética. O Erro de tipo 1, também conhecido como falso-positivo, ocorre quando a hipótese nula (H0) é verdadeira, mas a rejeitamos. Dessa forma enxergamos uma relação que não existe na realidade. O Erro de tipo 2, ou falso-negativo, ocorre quando a hipótese nula...
O valor-p, além da confusão em torno de si
Um quadrinho bastante popular, e que trata de diversos temas científicos, chamado XKCD ironiza essa situação. Na tirinha, os cientistas pesquisam se jujubas causam acne. Após um resultado negativo, os cientistas são novamente instigados a investigar a relação entre acne e as jujubas de diferentes cores. Eles realizam 20 testes e finalmente acreditam ter descoberto uma relação entre jujubas verdes e acne, o que é publicado com destaque pelos jornais. O que a charge ilustra é a debilidade de um experimento projetado erroneamente, pois diante de tantos testes, é esperada a ocorrência de um falso positivo com uma probabilidade muito maior do que os 5% que um valor de p igual a 0.05 intuitivamente pareceria indicar. Este problema não advém apenas de uma incompreensão acerca das ferramentas e técnicas estatísticas por parte dos pesquisadores que as utilizam e da comunidade científica em...
A Crise estatística
Em 2011, o prestigioso Journal of Personality and Social Psychology, da Associação Americana de Psicologia, publicou um artigo com o curioso título Sentindo o futuro: evidência experimental de influências anômalas retroativas sobre a cognição e o afeto. O artigo, publicado após revisão pelos pares, trata sobre o psi, um suposto “processo anômalo de transferência de informação e energia que não pode ser explicado pelos mecanismos físicos ou biológicos conhecidos” (BEM, 2011). O autor Daryl Bem relata nove experimentos nos quais eram pedidos que os participantes adivinhassem qual das duas cortinas exibidas na tela de um computador esconderia uma imagem e qual apenas cobriria um muro. Somente após o processo de escolha, o computador aleatoriamente posicionava uma imagem (que provinha de um desses três conjuntos: neutras, eróticas e negativas) atrás de uma das cortinas e, finalmente,...
Como o materialimo histórico e dialético nos permite pensar a crise?
O método utilizado neste trabalho é o materialismo histórico e dialético, originado nas formulações de Marx e Engels e que foi sendo enriquecido através dos últimos dois séculos pelo aporte de autores de todas as partes do mundo. Quando pensamos nas causas de um fenômeno, sempre se mostra pertinente a distinção do historiador grego Tucídides, ao expor as razões que levaram à Guerra do Peloponeso, entre alethestate prophasis e aitia. O primeiro vocábulo, que este toma da medicina e utiliza como “causa mais verdadeira” (explicação mais verídica na tradução consultada), distingui-se do segundo, utilizado no sentido de razão alegada, antecedentes: As razões [aitia] pelas quais eles a romperam [a guerra do Peloponeso] e os fundamentos de sua disputa eu exporei primeiro […] A explicação mais verídica [alethestate prophasis], apesar de menos frequentemente alegada, é, em minha opinião, que os...
Os negacionistas da importância da replicabilidade
Diante de um diagnóstico tão drástico, existem aqueles que relativizam a importância da replicabilidade, como o pesquisador do Instituto de Tecnologia da Informação e do Conselho Nacional de Pesquisa do Canadá, Chris Drummond. Para ele, na área de inteligência artificial, não existiria o problema de fraude de resultados, logo não há necessidade da replicação de experimentos (DRUMMOND, 2009). Drummond responde diretamente àqueles que defendem a publicação de todos os códigos-fonte utilizados pelos pesquisadores na área de aprendizado de máquinas: O compartilhamento de todos os artefatos dos experimentos de todas as pessoas não é uma atividade trivial. Isso exigirá uma grande parcela de trabalho extra não apenas dos autores, mas também dos revisores. Estou longe de estar convencido de que isso trará os benefícios que muitos pensam (DRUMMOND, 2009). Fica claro que, por trás da...
A crise de reprodutibilidade na psicologia
Na psicologia o debate entre os pesquisadores que afirmam que não há problema algum e o crescente grupo dos que acreditam que todo o campo está em uma profunda crise divide atualmente, de forma bastante antagônica, membros influentes da comunidade científica. A polêmica se acirrou com um artigo do Open Science Collaboration (2015), que se tornou um marco no debate ao relatar a tentativa frustrada de se replicar 100 estudos publicados em 2008 em revistas de prestígio, o que resultou em apenas 31 casos de sucesso, ou seja, 69 dentre os estudos analisados não puderam ser replicados de forma independente. O Open Science Collaboration, liderado por Brian Nosek, psicólogo e professor da Universidade da Virgínia, se define como um grupo aberto de pesquisadores, que afirma ter como objetivo promover a melhoria das práticas científicas. Para as replicações desse estudo, colaboraram 270...