WikiConecta/O Wikidata/Obtendo dados: Wikidata Query Service e Scholia/script

Sim, o Wikidata é um projeto muito legal. Mas você deve estar se perguntando o que é possível fazer com seus itens, uma vez que estejam criados? Nesta unidade, trazemos algumas respostas.

Já falamos sobre como a inserção de dados no projeto contribui para ampliar o escopo das respostas de assistentes virtuais, como a Siri e a Alexa, trazendo mais contexto e mais informação para as pessoas que fazem uso dessas tecnologias. Também, falamos sobre como o Wikidata ajuda a popular a internet com informações de livre acesso e de fácil utilização sobre países, culturas e regiões que historicamente têm pouca visibilidade – como o Brasil, a América Latina e o Sul Global de uma forma geral.

Mas a inserção de itens no Wikidata também traz aplicações mais práticas: seus itens podem gerar visualizações em diferentes formatos, servir como banco de pesquisa sobre vários assuntos ou ajudar a enxergar relações não antecipadas entre itens.

Por exemplo, a visualização de redes bibliográficas é um dos resultados da criação de itens de artigos acadêmicos no Wikidata. Na figura ao lado, podemos ver a representação de um grafo de coautores produzido pela ferramenta Scholia com base em dados dos Anais do Museu Paulista. Esse resultado é fruto de uma parceria realizada entre o Museu Paulista e o Wiki Movimento Brasil^[1]. Na imagem, observamos que nessa rede de autores, Maria Aparecida de Menezes Borrego atua como uma ligação entre pesquisadores que não escrevem juntos, por exemplo.

Gerando visualizações - Scholia

O Scholia (Q45340488) é um serviço disponível na internet que permite a criação e a visualização de perfis acadêmicos com base em informações bibliográficas obtidas por consultas realizadas pelo Wikidata Query Service (WDQS) – descrito abaixo – e algumas outras ferramentas. Como as visualizações são construídas a partir do serviço de consulta do Wikidata, as informações no Scholia são atualizadas à medida que itens no Wikidata são adicionados e aprimorados.

Os perfis no Scholia podem ser criados para indivíduos, organizações, obras, locais, eventos, prêmios e tópicos de pesquisa. E são mais completos, quanto mais completos forem os itens referentes a eles no Wikidata. Isso significa que perfis de pesquisadores com pouca informação disponível no Wikidata geram pequenas redes de visualizações, redes incompletas ou mesmo não geram visualizações. Para criar um perfil no Scholia, basta editar as informações correspondentes no Wikidata. No caso de periódicos acadêmicos, o Scholia exibe listas de publicações, tópicos de pesquisa e informações sobre autores e citações.

O projeto usa vários formatos de exibição disponíveis, predefinidos, como listas de publicações para pesquisadores e organizações individuais. Dentre os conteúdos disponíveis para visualização estão: lista de empregados ou afiliados; gráfico de coautoria; gráfico de orientação; tópicos sobre os quais os empregados e afiliados têm publicado; publicações recentes; usos; produção de páginas; citações; prêmios; e distribuição por gênero.

Ao acessar a ferramenta Scholia, a visualização de dados é sugerida pela barra de menus que lista "autor", "trabalho", "organização", "tópico", entre outras opções. Qualquer pessoa que queira ver um perfil acadêmico de um pesquisador, com base nas informações do Wikidata, pode procurar por seu nome no menu "author" (autor). Para ver o perfil de uma publicação, pode procurar por "work" (trabalho), e assim por diante.

Exemplos de perfis

Abaixo, selecionamos alguns perfis que têm muitos itens correspondentes no Wikidata e, portanto, são bastante completos.

Finn Årup Nielsen

Finn Årup Nielsen (Q20980928) é um pesquisador em engenharia, dinamarquês e criador da ferramenta Scholia. Veja aqui o perfil dele na ferramenta.

É possível ver o gráfico de coautoria, o número de publicações por ano, o número de citações feitas ao autor por ano, os eventos nos quais esteve, sua árvore acadêmica (quem ele orientou e quem foi orientado pelo seu orientador), a linha do tempo da sua carreira, a localização geográfica dos seus coautores (nenhum no Sul Global), dentre outras informações.

Observe que ao passar o mouse no canto esquerdo dos gráficos, é possível acessar um menu com outras opções de visualização, além daquela exibida na tela. Recomendamos separar um tempo para navegar pelas opções disponíveis para entender todas as possibilidades que o Scholia oferece.

Helder Nakaya^[2]

Helder Nakaya (Q42614737) é um imunologista e bioinformartista (bioinformática + artes) brasileiro, coordenador do laboratório Computational System Biology Laboratory. Ele também possui um perfil bastante completo no Scholia que pode ser acessado aqui.

Anais do Museu Paulista

A publicação "Anais do Museu Paulista" é um perfil interessante, fruto das informações inseridas no Wikidata através da parceria entre o Museu Paulista e o Wiki Movimento Brasil. Acesse o perfil da revista aqui^[1].

Após acessar o perfil no Scholia, veja também o item dos Anais do Museu Paulista no Wikidata (Q50426299).

CEPID Neuromat USP

O Centro de Pesquisa, Inovação e Difusão em Neuromatemática (CEPID NeuroMat) é um centro universitário de pesquisa científica, estabelecido em 2013 no Instituto de Matemática e Estatística da Universidade de São Paulo (USP).

O perfil do NeuroMat no Scholia é um exemplo das visualizações que podem ser geradas a partir da inserção de dados no Wikidata. O perfil individual do coordenador do centro, professor Antonio Galves, oferece uma amostra bem completa das opções disponíveis para perfis individuais.

Após acessar o perfil do pesquisador no Scholia, observe o item correspondente ao pesquisador no Wikidata para entender como as informações são organizadas. O item do artigo acadêmico produzido no NeuroMat, "Infinite Systems of Interacting Chains with Memory of Variable Length—A Stochastic Model for Biological Neural Nets", exemplifica como cada publicação é inserida no Wikidata.

Programa de Pós-graduação Interunidades em Bioinformática (USP)^[2]

Esse programa é constituído por diversas unidades de pesquisa em biologia e informática da USP, abrangendo áreas como estudo do genoma, metagenomas, transcritoma, proteoma, metaboloma, biologia estrutural e biologia sistêmica. Seus pesquisadores atuam tanto em pesquisa quanto em desenvolvimento e inovação, em situações que demandem conhecimento especializado em biologia e em métodos computacionais. O perfil do programa no Scholia também exemplifica os vários tipos de visualizações disponíveis na ferramenta.

Tópicos - febre amarela^[2]

Além da pesquisa por indivíduos, organizações e artigos acadêmicos, também é possível visualizar o perfil de um tópico. Veja esse exemplo do perfil da febre amarela no Scholia.

Outras visualizações possíveis

Além do Scholia, há outras ferramentas de geração de visualizações criadas pela comunidade. Acesse a lista aqui e navegue pelas possibilidades disponíveis.

Consultando o Wikidata - Wikidata Query Service

O Wikidata Query Service (WDQS) é uma poderosa ferramenta que fornece informações sobre o conteúdo do Wikidata. As informações exibidas no Scholia são fruto de consultas feitas através do WDQS. A diferença entre elas é que o Scholia oferece opções padronizadas de consultas, enquanto o acesso direto ao WDQS permite formular qualquer consulta de seu interesse.

Para usar a ferramenta é preciso saber SPARQL, uma linguagem para formular perguntas (consultas) para bancos de dados como o Wikidata e, assim, consultar, modificar e fazer o melhor uso possível do Wikidata.

O WDQS é uma impressionante porta de entrada para explorar os dados do Wikidata. A seguir, apresentamos os conceitos básicos para começar a usar a ferramenta.

Legenda de cores do WDQS^[3]

O WDQS usa uma legenda de cores para determinadas palavras em SPARQL, o que ajuda a entender e a explicar o código:

Cinza: texto precedido de hashtag (#) que indica um comentário, algo que não vai afetar a consulta;

Vermelho: em letras maiúsculas, são palavras "reservadas" para servir de comando;

Verde: em SPARQL, os nomes de variáveis são sempre precedidos por um sinal de interrogação e em verde ("?item");

Azul: são prefixos, abreviações que permitem que as consultas SPARQL sejam apresentadas de forma mais compacta e transparente
- wdt: indica propriedades do Wikidata + o número da propriedade (P);
- wd: indica itens do Wikidata + o QID do valor.

Primeiros passos

Para fazer uma consulta acesse o Wikidata Query Service. Observe que no topo superior direito da tela há uma opção de alteração de idioma: escolha o português para mudar o idioma da interface.

Itens no Wikidata são identificados por um número Q exclusivo e têm um rótulo que representa o nome principal dado a ele em um determinado idioma. A consulta a seguir recupera os filmes de Star Wars (itens) e os seus nomes (rótulos).

A busca a seguir está dizendo à ferramenta: "SELECIONE os itens e os rótulos dos itens ONDE: item dentro da propriedade P179 (série)e do item (Q22092344 Série Star Wars)", em seguida, há uma outra frase que é um atalho para recuperar os rótulos dos itens. Nesse caso, a linguagem que será retornada é a automática. Se você tiver alterado a interface do WDQS para português, o rótulo retornado será em português (ou no idioma da interface).

#Primeira consulta
SELECT ?item ?itemLabel WHERE {
   ?item wdt:P179 wd:Q22092344.
   SERVICE wikibase:label { bd:serviceParam wikibase:language "[AUTO_LANGUAGE]". }
}

Há outras formas de pedir rótulos em determinadas línguas. Por exemplo, em holandês (nl), como no exemplo a seguir. Veja que onde lia-se "[AUTO_LANGUAGE]", no exemplo anterior, substituimos por "nl".

SELECT ?item ?itemLabel WHERE {
  ?item wdt:P179 wd:Q22092344.
  SERVICE wikibase:label { bd:serviceParam wikibase:language "nl". }
}

Em algumas consultas, os itens que você está buscando poderão não ter rótulos nas línguas solicitadas. Nesses casos, você pode adicionar uma lista de prioridades de idiomas a serem exibidos. A lista é organizada em ordem crescente, sendo que o primeiro idioma é o prioritário e o último o que tem menor prioridade de exibição.

Substitua a penúltima linha do código acima por: SERVICE wikibase:label { bd:serviceParam wikibase:language "fr,de,it,es,no,pt". }. Nesse caso, o WDQS vai retornar rótulos dos itens primeiro em francês. Quando não houver essa opção no Wikidata, a ferramenta irá retornar os rótulos em alemão, italiano, espanhol e assim por diante até encontrar um rótulo em uma das línguas determinadas na lista especificada na consulta.

Pode ser bastante difícil decorar todos os comandos, propriedades e itens. À medida que você for usando a ferramenta, algumas palavras e identificadores naturalmente serão guardados na sua memória. Mas a boa notícia é que você não precisa disso para fazer uma boa consulta. O WDQS conta com um serviço de preenchimento automático para te ajudar. Toda vez que pressionar Ctrl + Espaço (ou Alt + Enter, dependendo do seu computador), em qualquer ponto da sua consulta na janela do WDQS, um menu suspenso irá aparecer com sugestões de trechos de código que podem ser úteis para você. Use as setas “para cima” ou “para baixo” do seu teclado para encontrar a opção desejada e pressione “enter” para selecioná-la. Fácil, não é?

O melhor jeito de aprender o WDQS é treinando. Explore as possibilidades da ferramenta e surpreenda-se com as opções disponíveis.

Exemplos de consulta:

Abaixo, preparamos algumas consultas para você exercitar e se encantar com as possibilidades do Wikidata.

Você pode trocar os valores para fazer consultas diferentes, usando os mesmos comandos. Para fazer isso, clique no segundo link indicado em cada um dos exemplos abaixo: "Clique aqui para ver a consulta SPARQL". Então, na tela da ferramenta de consultas, troque os QID correspondentes à universidade, ao gênero ou ao Estado, pelos QIDs correspondentes à busca que deseja realizar. Note que deixamos alguns comentários nos códigos abaixo para que você consiga visualizar melhor onde fazer a troca. Após trocar os dados, clique no botão com uma seta azul no canto inferior esquerdo da tela "Executar Consulta".

Caso não queira inovar, aproveite para rodar os resultados das consultas que já deixamos prontas para você. Basta clicar no primeiro link de cada exemplo, "Clique aqui para ver o resultado".

1. Pesquisadores(as) da Universidade de São Paulo

#title:Pesquisadores(as) da Universidade de São Paulo
#defaultView:ImageGrid
SELECT DISTINCT ?pesquisador ?pesquisadorLabel (SAMPLE(?imagem) AS ?imagem) WHERE {
  #=========================================================================#
  # Mude o QID da linha abaixo para obter o resultado de outra universidade #
  #=========================================================================#
  ?pesquisador wdt:P108 wd:Q835960.
  ?artigo wdt:P31 wd:Q13442814; wdt:P50 ?pesquisador.
  OPTIONAL {?pesquisador wdt:P18 ?imagem.}
  SERVICE wikibase:label { bd:serviceParam wikibase:language "pt, pt-br, en, [AUTO_LANGUAGE]". }
} GROUP BY ?pesquisador ?pesquisadorLabel

2. Pesquisadores(as) da Universidade de São Paulo, por gênero

#title:Pesquisadores(as) da Universidade de São Paulo, por gênero
#defaultView:BubbleChart
SELECT ?generoLabel (COUNT(?genero_) AS ?quantidade) WHERE {
  SELECT DISTINCT ?pesquisador ?generoLabel (COUNT(DISTINCT ?genero) AS ?genero_) WHERE {
    #=========================================================================#
    # Mude o QID da linha abaixo para obter o resultado de outra universidade #
    #=========================================================================#
    ?pesquisador wdt:P108 wd:Q835960; wdt:P21 ?genero.
    ?artigo wdt:P31 wd:Q13442814; wdt:P50 ?pesquisador.
    SERVICE wikibase:label { bd:serviceParam wikibase:language "pt, pt-br,en,[AUTO_LANGUAGE]". }
  } GROUP BY ?pesquisador ?generoLabel
} GROUP BY ?generoLabel

3. Pesquisadores(as) da Universidade de São Paulo, por profissão

#title:Pesquisadores(as) da Universidade de São Paulo, por profissão
#defaultView:BubbleChart
SELECT ?ocupacaoLabel (COUNT(?ocupacao_) AS ?quantidade) WHERE {
  SELECT DISTINCT ?pesquisador ?ocupacaoLabel (COUNT(DISTINCT ?ocupacao) AS ?ocupacao_) WHERE {
    #=========================================================================#
    # Mude o QID da linha abaixo para obter o resultado de outra universidade #
    #=========================================================================#
    ?pesquisador wdt:P108 wd:Q835960; wdt:P106 ?ocupacao.
    FILTER NOT EXISTS {?pesquisador wdt:P106 wd:Q1650915}
    ?artigo wdt:P31 wd:Q13442814; wdt:P50 ?pesquisador.
    SERVICE wikibase:label { bd:serviceParam wikibase:language "pt, pt-br, en, [AUTO_LANGUAGE]". }
  } GROUP BY ?pesquisador ?ocupacaoLabel
} GROUP BY ?ocupacaoLabel

4. Pesquisadores(as) no Estado de São Paulo

#title:Pesquisadores(as) no Estado de São Paulo
#defaultView:ImageGrid
SELECT DISTINCT ?pesquisador ?pesquisadorLabel (SAMPLE(?imagem) AS ?imagem) WHERE {
  #===================================================================#
  # Mude o QID da linha abaixo para obter o resultado de outro estado #
  #===================================================================#
  VALUES ?estado {wd:Q175}
  ?universidade wdt:P31/wdt:P279* wd:Q38723; wdt:P17 wd:Q155; wdt:P131 [wdt:P131 ?estado].
  ?pesquisador wdt:P108 ?universidade.
  ?artigo wdt:P31 wd:Q13442814; wdt:P50 ?pesquisador.
  OPTIONAL {?pesquisador wdt:P18 ?imagem.}
  SERVICE wikibase:label { bd:serviceParam wikibase:language "pt, pt-br, en, [AUTO_LANGUAGE]". }
} GROUP BY ?pesquisador ?pesquisadorLabel

5. Pesquisadores(as) no Estado de São Paulo, por gênero

#title:Pesquisadores(as) no Estado de São Paulo, por gênero
#defaultView:BubbleChart
SELECT ?generoLabel (COUNT(?genero_) AS ?quantidade) WHERE {
  SELECT DISTINCT ?pesquisador ?generoLabel (COUNT(DISTINCT ?genero) AS ?genero_) WHERE {
    #===================================================================#
    # Mude o QID da linha abaixo para obter o resultado de outro estado #
    #===================================================================#
    VALUES ?estado {wd:Q175}
    ?universidade wdt:P31/wdt:P279* wd:Q38723; wdt:P17 wd:Q155; wdt:P131 [wdt:P131 ?estado].
    ?pesquisador wdt:P108 ?universidade; wdt:P21 ?genero.
    ?artigo wdt:P31 wd:Q13442814; wdt:P50 ?pesquisador.
    SERVICE wikibase:label { bd:serviceParam wikibase:language "pt, pt-br, en, [AUTO_LANGUAGE]". }
  } GROUP BY ?pesquisador ?generoLabel
} GROUP BY ?generoLabel

6. Pesquisadores(as) no Estado de São Paulo, por profissão

#title:Pesquisadores(as) no Estado de São Paulo, por profissão
#defaultView:BubbleChart
SELECT ?ocupacaoLabel (COUNT(?ocupacao_) AS ?quantidade) WHERE {
  SELECT DISTINCT ?pesquisador ?ocupacaoLabel (COUNT(DISTINCT ?ocupacao) AS ?ocupacao_) WHERE {
    #===================================================================#
    # Mude o QID da linha abaixo para obter o resultado de outro estado #
    #===================================================================#
    VALUES ?estado {wd:Q175}
    ?universidade wdt:P31/wdt:P279* wd:Q38723; wdt:P17 wd:Q155; wdt:P131 [wdt:P131 ?estado].
    ?pesquisador wdt:P108 ?universidade; wdt:P106 ?ocupacao.
    FILTER NOT EXISTS {?pesquisador wdt:P106 wd:Q1650915}
    ?artigo wdt:P31 wd:Q13442814; wdt:P50 ?pesquisador.
    SERVICE wikibase:label { bd:serviceParam wikibase:language "pt, pt-br, en, [AUTO_LANGUAGE]". }
  } GROUP BY ?pesquisador ?ocupacaoLabel
} GROUP BY ?ocupacaoLabel

Tutoriais completos de consultas no WDQS e exemplos

Caso tenha se interessado pelas consultas ao banco de dados do Wikidata, a ferramenta Construtor de Consultas do Wikidata te ajuda a construir consultas com uma interface mais amigável. Ela fornece uma interface visual para construir consultas simples e é ideal para pessoas com pouca ou nenhuma experiência de SPARQL.

Nesta página, você encontra as principais informações sobre Queries (consultas) e as consultas mais comuns feitas na ferramenta. Aproveite para usá-las no WDQS e entender a sua lógica de funcionamento.

Nesta outra página, a comunidade do Wikidata organizou uma série de exemplos que te ajudam a entender e treinar a construção de consultas no WDQS. Para alterar a busca, use o exemplo de base e altere as variáveis (conforme orientado nos exemplos do tópico anterior).

Caso você queira saber mais sobre o Wikidata Query Service e a linguagem SPARQL, recomendamos três tutoriais bastante completos:

O "Tutorial do Wikidata Query Service" (em português), um guia interativo produzido pela Wikimedia Israel e traduzido para o português pelo Wiki Movimento Brasil. Esse material é comumente considerada mais fácil e amigável por pessoas que não têm familiaridade com linguagem de programação
O vídeo do Wikidata Lab XXXII (em português) é um treinamento para consultas ao banco de dados do Wikidata realizado pelo Wiki Movimento Brasil.
O "Tutorial SPARQL" (em português) foi produzido pela comunidade do Wikidata.

## Caso queira saber mais sobre o WDQS, acesse o vídeo "Querying Wikidata with SPARQL for Absolute Beginners" (em inglês), o vídeo tutorial da Fundação Wikimedia (em inglês), ou esse tutorial do WikiEdu (em inglês).

* O conteúdo desta unidade foi baseado no tutorial "Wikidata Query Service Tutorial", produzido pela Wikimedia Israel, e traduzido para português pelo Wiki Movimento Brasil. Você pode acessar o tutorial completo aqui.

Referências

↑ ^1,0 ^1,1 ALVES, Éder Porto Ferreira; BURLEY, Paul R.; PESCHANSKI, João Alexandre. CAPÍTULO 17 ESTRUTURANDO REFERÊNCIAS BIBLIOGRÁFICAS: LEVANDO A REVISTA ANAIS DO MUSEU PAULISTA PARA O WIKIDATA. Disponível em:https://doi.org/10.3998/mpub.11778416.ch17.pt
↑ ^2,0 ^2,1 ^2,2 Adicionando cientistas ao sistema Wikidata/Scholia. Tiago Lubiana. Mar 26, 2021. Medium. Disponível em: https://tiagolubiana.medium.com/adicionando-cientistas-ao-sistema-wikidata-scholia-6b73ae5e59e2
↑ Wikidata Query Service Tutorial. Wikimedia Israel. Disponível em: https://wdqs-tutorial.toolforge.org

[:0-1] 1,0 ^1,1 ALVES, Éder Porto Ferreira; BURLEY, Paul R.; PESCHANSKI, João Alexandre. CAPÍTULO 17 ESTRUTURANDO REFERÊNCIAS BIBLIOGRÁFICAS: LEVANDO A REVISTA ANAIS DO MUSEU PAULISTA PARA O WIKIDATA. Disponível em:https://doi.org/10.3998/mpub.11778416.ch17.pt

[:1-2] 2,0 ^2,1 ^2,2 Adicionando cientistas ao sistema Wikidata/Scholia. Tiago Lubiana. Mar 26, 2021. Medium. Disponível em: https://tiagolubiana.medium.com/adicionando-cientistas-ao-sistema-wikidata-scholia-6b73ae5e59e2

[3] Wikidata Query Service Tutorial. Wikimedia Israel. Disponível em: https://wdqs-tutorial.toolforge.org

[1]

[2]

[3]