Observatório de dados/BI/Std-BI

Ferramentas de BI:

Std-BI   MS-Power-BI   Orange   Tableau

Componentes

O Std-BI (do inglês "Standard Business Intelligence") não é uma ferramenta real, é apenas um Modelo de referência para especificarmos formalmente um produto final, contemplando os requisitos de um exemplo.

NOTA: o objetivo deste modelo é a padronização terminológica e apresentação de abstrações que garantam a interoperabilidade entre as diversas ferramentas, módulos e componentes dos sistemas que apoiam ou implementam ferramentas de BI.
Apesar de ser possível, objetivo aqui não é obter uma taxonomia das ferramentas, mas aumentar a conscientização sobre as vantagens das ferramentas de BI em geral, definir com clareza e universalidade as suas capacidades, e destacar as implementações de software livre interoperáveis. Um padrão promoverá a reutilização, concentrará o conhecimento e a experiência, e destacará as opções.

Modelo de referência

As capacidades de uma ferramenta de BI, no contexto do projeto, são avaliadas em termos do presente modelo de referência.

As convenções e conceitos utilizados para descrever as capacidades de uma ferramenta de BI são baseadas em um modelo de referência da ferramenta de BI, descrito a partir das capacidades.

Requisitos

Em engenharia de software, conforme o padrão IEEE 830, o projeto de uma ferramenta de software nasce dos requisitos desta ferramenta.

No modelo de referência os requisitos são descritos a partir das capacidades típicas de uma ferramenta de BI. Destacam-se como grandes grupos a entrada dos dados (carga e proveniência), a modificação (transformação, filtragem e fusão), análise e a entrega de produtos finais (relatórios):

Carga  -  Efetua o carregamento das fontes de dados, das mais variadas origens (dados externos ou locais) e formatos.	Transformação  -  Permite transformar um item de dado, por exemplo transformar valor R$ em US$, ou fundir dois ou mais itens num só (por exemplo população e área em densidade).	Filtragem  -  Permite reduzir o volume de dados da fonte, por sumarização (resumo) ou por corte seletivo.
Junção  -  Permite aumentar o volume de dados, criando uma nova fonte de dados juntando duas ou mais fontes (originais ou modificadas).	Análise  -  Viabiliza a elaboração de inferências (descritivas ou preditivas), reconhecendo padrões nos dados ou elaborando hipóteses estatísticas sobre eles.
Proveniência  -  Registra as dependências entre fontes, e cataloga a origem e semântica de cada fonte.	Geração de relatórios  -  Gera um produto final, publica-se a informação desejada. Pode ou não depender das capacidades de visualização, componentes opcionais do relatório. Visualizações  -  São componentes dos relatórios, que podem ser também utilizadas independentemente durante a análise. As principais capacidades de visualização são: Gráfica; Template e Widget.

A seguir cada uma destas capacidades é representada através de uma linguagem padronizada para a implementação real da capacidade. Por exemplo, convencionou-se que a linguagem HTML5 é o modelo de referência para expressar ou implementar exemplos de relatórios.

Entrada dos dados

1. Carga SQL por copy, dump ou FOREIGN DATA WRAPPER;
2. Proveniência: ... conforme padrão FrictionLessData, Wikidata e/ou Schema.org

Ver postgREST como paradigma da consulta SQL online.

Modificação

1. View-SQL: ... lembrando que há também recurso de XML e JSON (a rigor JSONb e suas operações o mais adequado)
   1. Sumarização (AGGREGATE/GROUP BY) (incluindo XML, JSON e estatísticas)
   2. Filtragem por seleção (SELECT WHERE)
   3. Filtragem por projeção (SELECT part)
   4. Fusão (FROM JOIN)
   5. Filtragem conjuntiva (UNION, INTERSECTION)
   6. Transformação complex (filtragens e fusões misturadas)

Análise

...

Entrega de produtos finais

Processo de composição do produto final a partir do template e dos dados de entrada (view do template).

1. Template system:
   1. Placeholder template (mais simples), duas opções:
      • Template Javascript direto, por exemplo `Olá ${x}!`.
      • Template Mustache básico, por exemplo Olá {{x}}!.
   2. Regular template (com listas ou agrupamentos), Mustache, exemplo: {{#lista}}Olá {{y}}!{{/lista}}.
   3. Complete (com execução de funções complexas), Mustache com mais recursos, sempre preferindo modificações em SQL.
2. Layout MVC
   • tags HTML5 como (referência para conteúdo)
   • CSS como referência para layout
3. Relatório: livre ou baseado em,
   1. metáfora do dashboard
   2. metáfora do notebook
   3. DTD (data definition type), relatório estruturado
   4. Graphic View
      • plotly (Jupyter Javascript)
      • .. Orange

Exemplos onde a ferramenta foi testada

Amostra (esta listagem não é sistemática) de exemplos:

• Exemplo 1.1
• Exemplo 2.1