Ir para o conteúdo

Visualização e Qualidade de Dados no Wikidata/Consultas e Representações no Wikidata/Graph Split

Adicionar hiperligações
De Wikiversidade


Editar o índice do MOOC

Graph Split

Conteúdo

Wikidata Graph Split (divisão do Grafo do WDQS) é a denominação informal atribuída a uma iniciativa de engenharia que objetiva dividir o grafo do serviço de consultas do Wikidata (Wikidata Query Service – WDQS) em subgrafos menores, visando mitigar problemas relacionados à escala e ao desempenho. O WDQS é sustentado por uma instância do banco de dados de grafos Blazegraph, que armazena a totalidade dos dados do Wikidata na forma de triplas RDF , atualmente aproximadamente 15 bilhões de triplas, com crescimento estimado de cerca de 1 bilhão por ano. Esse volume massivo de informação tem gerado desafios significativos: os tempos de consulta apresentam aumento progressivo com maior frequência de timeouts, a atualização completa do índice (recarregamento do grafo a partir de dumps) pode demandar meses e falhar devido ao volume de dados, e instabilidades no serviço ocorrem com maior regularidade. Consequentemente, a escalabilidade do WDQS atingiu um limite crítico, comprometendo a disponibilidade da ferramenta de consultas que constitui elemento vital para o acesso aos dados do Wikidata.

Para enfrentar esse gargalo técnico, a equipe de Pesquisa da Wikimedia desenvolveu um experimento de divisão do grafo do WDQS, segregando parte do conteúdo em um grafo separado e estabelecendo interconexão via federação de consultas. A primeira proposta concreta de divisão consiste na separação de todos os itens referentes a publicações acadêmicas (o corpus do WikiCite, que representa aproximadamente um terço de todos os itens do Wikidata) em um endpoint SPARQL distinto, denominado provisoriamente query-scholarly, enquanto os demais dados permaneceriam no endpoint principal query-main. Dessa forma, consultas que envolvam exclusivamente o grafo principal ou somente o grafo de trabalhos acadêmicos continuarão operacionais (e potencialmente mais eficientes, considerando o menor tamanho de cada grafo), enquanto consultas que necessitem combinar dados de ambos poderão utilizar a funcionalidade de federated query do SPARQL para integrar os resultados. A expectativa é que essa divisão reduza a dimensão de cada índice individual, tornando as atualizações e buscas mais eficientes, além de aumentar a estabilidade do serviço mediante a diminuição da carga sobre uma única instância Blazegraph.

Cabe ressaltar que o "Wikidata Split" é considerado, até o momento, uma solução paliativa de médio prazo, proporcionando tempo para implementação de melhorias mais substanciais, e está sendo implementado de forma cautelosa, com ampla discussão junto à comunidade do Wikidata e, especialmente, com os usuários do conjunto WikiCite, que seriam os mais impactados pela separação. A iniciativa compreende análises de impacto sobre consultas existentes (muitas das quais necessitarão ajustes para direcionamento ao grafo adequado ou utilização de junção federada) e coleta de feedback dos usuários acerca da viabilidade da solução proposta. Embora a divisão inicial enfoque o conteúdo acadêmico, também se discute a possibilidade de separar outros domínios de dados no futuro, caso o crescimento contínuo do Wikidata assim o demande.

Em síntese, o Wikidata Split representa um esforço de engenharia destinado a assegurar a continuidade do serviço de consultas diante dos limites de escala alcançados, fragmentando o grafo único em componentes mais manejáveis e explorando arquiteturas distribuídas para o query service. Essa intervenção reflete os desafios inerentes às infraestruturas abertas em acomodar a aspiração de reunir a "soma de todo conhecimento" e a busca por soluções que permitam ao Wikidata expandir-se de forma sustentável nos anos vindouros.

Referências

[editar | editar código]

Conteúdos audiovisuais

Quiz

Caro(a) aluno(a), lembre-se que o quiz é uma autoavaliação.

1

O que é o Wikidata Split (Divisão do Grafo do WDQS)?

Uma iniciativa para dividir o grafo do WDQS em subgrafos menores
Uma ferramenta de edição colaborativa para criar novos itens no Wikidata
Um projeto de substituição completa do banco de dados Blazegraph
Um sistema de backup automático dos dumps do Wikidata

2

Qual é a principal motivação para o Wikidata Split?

Mitigar problemas de escala e desempenho do WDQS
Aumentar o número de editores ativos no Wikidata
Corrigir inconsistências semânticas nos dados
Substituir todas as consultas SPARQL por SQL

3

Qual foi a primeira proposta concreta de divisão?

Separar itens de publicações acadêmicas (WikiCite) em um endpoint distinto
Mover todos os itens biográficos para um grafo separado
Excluir dados duplicados para reduzir o tamanho do grafo
Reescrever todas as triplas RDF em um novo formato proprietário

4

Como serão integrados os resultados de consultas que precisarem acessar dados dos dois grafos?

Por meio da funcionalidade de federated query do SPARQL
Exportando manualmente os dois conjuntos de dados e comparando-os
Usando planilhas compartilhadas fora do Wikidata
Com a criação de um único endpoint central alternativo

5

Qual é a natureza do Wikidata Split, segundo o texto?

Uma solução paliativa de médio prazo para dar tempo a melhorias mais duradouras
A solução definitiva para todos os problemas de escalabilidade do WDQS
Um recurso exclusivo para consultas privadas de grandes instituições
Uma iniciativa temporária apenas para testes internos sem impacto comunitário

Conteúdo adicional

Nenhuma leitura adicional definida.
Você pode definir leituras adicionais aqui.
Você também pode usar o botão de edição no canto superior direito de uma seção para editar seu conteúdo.

Discussão

Obtida de "https://pt.wikiversity.org/w/index.php?title=Visualização_e_Qualidade_de_Dados_no_Wikidata/Consultas_e_Representações_no_Wikidata/Graph_Split&oldid=176381"