Utilizador:Solstag/Sistemas, informação e a confiabilidade do conhecimento científico-acadêmico
Ale Abdo
<abdo@member.fsf.org>
5ª Semana de Sistemas de Informação
EACH - USP
20-08-2015
Dados, código e austeridade
[editar | editar código-fonte]"Does High Public Debt Consistently Stifle Economic Growth? A Critique of Reinhart and Rogoff"
por Thomas Herndon, Michael Ash, Robert Pollin (UMASS)
Assunto: Dívida/GDP
Original: Growth in a Time of Debt, por Reinhart e Rogoff (Harvard), publicado no American Economic Review (AER)
Resultado original:
Países com relação Dívida/GDP maior que 90% tem queda brusca no crescimento do GDP
Consequência: Políticos e economistas basearam-se no trabalho para defender políticas de austeridade
Problemas:
- Erros no código
- Exclusão seletiva de dados disponíveis e lacunas nos dados
- Pesos não convencionais nas estatísticas resumidas
Resultado corrigido:
Países com relação Dívida/GDP maior que 90% tem pouca queda no crescimento do GDP, não é claro se é causa ou consequência, varia muito entre países e épocas, e nos anos recentes esse padrão aparece levemente invertido, com esses países apresentando crescimento igual ou levemente maior.
Journal tem política de acesso a dados, mas não foi seguida para esse artigo.
Agravante: uso de Excel - fácil de provocar erros (conflui visualização e estrutura de dados), difícil de acompanhar modificações
Dados, código e parasitas
[editar | editar código-fonte]"Scientists Are Hoarding Data And It’s Ruining Medical Research"
por Ben Goldacre
Assunto: benefícios do tratamento de parasitas intestinais
Original: Worms: Identifying Impacts on Education and Health in the Presence of Treatment Externalities
Resultado original:
Tratar os parasitas melhora vários aspectos da saúde, performance escolar e presença escolar das crianças
Consequência: OMS promoveu aplicação massiva de tratamento ao redor do mundo, "deworm everybody"
Problemas:
- Lacunas nos dados
- Erros no cálculo da significância
- Erros primários no código das análises
Resultado corrigido:
Apenas o peso das crianças melhora significativamente. Todas as outras características permanecem inalteradas.
Atenção: o estudo original não era melhor nem pior que a média e foi até um marco de boas práticas por promover testes aleatorizados
Enfim?
[editar | editar código-fonte]Esses não eram estudos ruins, eles seguem o que ainda é considerado boa prática em muitas áreas.
Em ambos os casos, as correções ocorreram após os autores fazerem circular os dados e instrumentos da pesquisa.
Proliferação de resultados irreprodutíveis, seja por uma queda nos padrões admissíveis, seja por incentivos perversos, seja pela complexidade dos problemas atuais (Retraction Watch).
A confiabilidade da ciência depende do compartilhamento de dados e instrumentos, para além da publicação.
Compartilhamento viabiliza o estudo e a replicação, permitindo criticar e aprimorar trabalhos. Isso está na base do método científico.
Sistemas de informação científica precisam atender a esses pressupostos.
Meios
[editar | editar código-fonte]Dados científicos abertos: CC0, Re3Data
E para além de dados e software?
Sistematização dos processos de descoberta
[editar | editar código-fonte]ClinicalTrials.gov
[editar | editar código-fonte]Likelihood of Null Effects of Large NHLBI Clinical Trials Has Increased over Time
Implementado em 2000, provável causa de uma queda de 57% para 8% dos estudos demonstrando benefícios no resultado primário.
BioBoxes.org
[editar | editar código-fonte]Facilita a reproducibilidade de análises publicando o ambiente de pesquisa como uma máquina virtual.
The Aquarium
[editar | editar código-fonte]http://klavinslab.org/aquarium.html
Especificando protocolos experimentais a ponto de permitir um técnico realizar todo o experimento sem participação do pesquisador.