Utilizador:Solstag/Sistemas, informação e a confiabilidade do conhecimento científico-acadêmico

Fonte: Wikiversidade

Ale Abdo

<abdo@member.fsf.org>

5ª Semana de Sistemas de Informação

EACH - USP

20-08-2015

Dados, código e austeridade[editar | editar código-fonte]

"Does High Public Debt Consistently Stifle Economic Growth? A Critique of Reinhart and Rogoff"

por Thomas Herndon, Michael Ash, Robert Pollin (UMASS)

Assunto: Dívida/GDP

Original: Growth in a Time of Debt, por Reinhart e Rogoff (Harvard), publicado no American Economic Review (AER)

Resultado original:

Países com relação Dívida/GDP maior que 90% tem queda brusca no crescimento do GDP

Consequência: Políticos e economistas basearam-se no trabalho para defender políticas de austeridade

Problemas:

  • Erros no código
  • Exclusão seletiva de dados disponíveis e lacunas nos dados
  • Pesos não convencionais nas estatísticas resumidas

Resultado corrigido:

Países com relação Dívida/GDP maior que 90% tem pouca queda no crescimento do GDP, não é claro se é causa ou consequência, varia muito entre países e épocas, e nos anos recentes esse padrão aparece levemente invertido, com esses países apresentando crescimento igual ou levemente maior.

Journal tem política de acesso a dados, mas não foi seguida para esse artigo.

Agravante: uso de Excel - fácil de provocar erros (conflui visualização e estrutura de dados), difícil de acompanhar modificações

Dados, código e parasitas[editar | editar código-fonte]

"Scientists Are Hoarding Data And It’s Ruining Medical Research"

por Ben Goldacre

Assunto: benefícios do tratamento de parasitas intestinais

Original: Worms: Identifying Impacts on Education and Health in the Presence of Treatment Externalities

Resultado original:

Tratar os parasitas melhora vários aspectos da saúde, performance escolar e presença escolar das crianças

Consequência: OMS promoveu aplicação massiva de tratamento ao redor do mundo, "deworm everybody"

Problemas:

  • Lacunas nos dados
  • Erros no cálculo da significância
  • Erros primários no código das análises

Resultado corrigido:

Apenas o peso das crianças melhora significativamente. Todas as outras características permanecem inalteradas.

Atenção: o estudo original não era melhor nem pior que a média e foi até um marco de boas práticas por promover testes aleatorizados

Enfim?[editar | editar código-fonte]

Esses não eram estudos ruins, eles seguem o que ainda é considerado boa prática em muitas áreas.

Em ambos os casos, as correções ocorreram após os autores fazerem circular os dados e instrumentos da pesquisa.

Proliferação de resultados irreprodutíveis, seja por uma queda nos padrões admissíveis, seja por incentivos perversos, seja pela complexidade dos problemas atuais (Retraction Watch).

A confiabilidade da ciência depende do compartilhamento de dados e instrumentos, para além da publicação.

Compartilhamento viabiliza o estudo e a replicação, permitindo criticar e aprimorar trabalhos. Isso está na base do método científico.

Sistemas de informação científica precisam atender a esses pressupostos.

Meios[editar | editar código-fonte]

Software livre: GPL, GIT

Dados científicos abertos: CC0, Re3Data

E para além de dados e software?

Sistematização dos processos de descoberta[editar | editar código-fonte]

ClinicalTrials.gov[editar | editar código-fonte]

Likelihood of Null Effects of Large NHLBI Clinical Trials Has Increased over Time

Implementado em 2000, provável causa de uma queda de 57% para 8% dos estudos demonstrando benefícios no resultado primário.

BioBoxes.org[editar | editar código-fonte]

http://bioboxes.org/

Facilita a reproducibilidade de análises publicando o ambiente de pesquisa como uma máquina virtual.

The Aquarium[editar | editar código-fonte]

http://klavinslab.org/aquarium.html

Especificando protocolos experimentais a ponto de permitir um técnico realizar todo o experimento sem participação do pesquisador.

Jogos e simbiose[editar | editar código-fonte]

Vídeo de Zoran Popovic

Sintonize[editar | editar código-fonte]

Grupo de trabalho em Ciência Aberta