Modelo de Dados: Entendendo e “re-”construindo

Modelo de Dados:Entendendo e “re-”construindo...

Wesley Seidel Carvalho

@wseidelwesley.seidel@ltasks.comwesley.seidel@intelidados.com.br

Arquitetura de dados

● Escopo/Contexto● Modelo de Negócios / Conceitual● Modelo de Sistema / Lógico● Modelo Tecnológico / Físico● Configuração de Componentes

Arquitetura de dados● Arquitetura Conceitual de Dados

– Visão de alto nível que dá suporte ao atendimento das necessidades do negócio de uma organização

● Arquitetura Lógica de Dados– Uma arquitetura lógica de dados descreve com precisão as

propriedades e os relacionamentos de cada uma das entidades de dados envolvidas em um domínio organizacional;

● Arquitetura Física de Dados– Engloba "arquitetura de banco de dados", que vem a ser um

esquema da tecnologia de banco de dados utilizado para viabilizar a realização de um projeto de arquitetura de dados;

Arquitetura de dados(Restrições e influências)

● Requisitos organizacionais● Direcionadores tecnológicos● Fatores econômicos● Políticas de negócios● Necessidades de processamento de dados

Arquitetura de dados

● O quê ?● Como ?● Onde ?● Quem ?● Quando ?● Por quê ?

M.E.R.

● É um modelo abstrato cuja finalidade é descrever, de maneira conceitual, os dados a serem utilizados em um sistema de informações ou que pertencem a um domínio.

Dicionário de dados

● É uma coleção de metadados que contêm definições e representações de elementos de dados.

Sistemas legados● Normalmente são aplicações

– complexas;

– antigas;

– difícil manutenção;

– que pelo grau de criticidade e custo para modernização, continuam ativas;

Tá, eae? E sobre os dados abertos?● dados são abertos quando qualquer pessoa pode

livremente usá-los, reutilizá-los e redistribuí-los, estando sujeito a, no máximo, a exigência de creditar a sua autoria e compartilhar pela mesma licença.

Fonte: http://dados.gov.br/dados-abertos/

Tá, eae? E sobre os dados abertos?● Os dados abertos também são pautados ...

– ...por três leis:1.Se o dado não pode ser encontrado e indexado na Web, ele

não existe;

2.Se não estiver aberto e disponível em formato compreensível por máquina, ele não pode ser reaproveitado; e

3.Se algum dispositivo legal não permitir sua replicação, ele não é útil.

Fonte: http://dados.gov.br/dados-abertos/

Tá, eae? E sobre os dados abertos?● Os dados abertos também são pautados ...

– ...e oito principios:1.Completos.

2.Primários.

3.Atuais.

4.Acessíveis.

5.Processáveis por máquina.

6.Acesso não discriminatório.

7.Formatos não proprietários.

8.Livres de licenças.

Fonte: http://dados.gov.br/dados-abertos/

Dados governamentais.● Nem sempre estão bonitos como queríamos, pois

geralmente:– Não seguem todas as pautas do OpenData;

– Não disponibilizam o dicionário de dados;● Talvez não tenha mesmo.

– Não disponibilizam o M.E.R.● Também talvez não tenham...

– Está em formato proprietário;

– Está em formato antigo;

– Etc, etc, etc....

Dados governamentais.

● Em boa parte das vezes que está disponível podemos encontrá-los em:– XL$

– CSV

– DBF ( o.O )

– GDB

– TXT ( seja TSV ou campos posicionais )

– PDF

Então...

…

Engenharia Reversa...

● ... consiste em usar a criatividade para, a partir de uma solução pronta, retirar os possíveis conceitos ali empregados

Data Integration

FONTE TRANFORMAÇÕES CARGA

Pentaho Data Integration

FONTE TRANFORMAÇÕES CARGA

-XL$-CSV-DBF-XML-JSON-TXT...-BLA-BLE-BLI

-SGBD-MySQL-Postgre-MariaDB...

AAAAA aaaaaa

3337775522 33.37.77.55-22

Pentaho Data Integration

FONTE TRANFORMAÇÕES CARGA

Pentaho Data Integration

FONTE TRANFORMAÇÕES CARGA

Pentaho Data Integration

Pentaho Data Integration

Pentaho Data Integration

Pentaho Data Integration (kettle)

● Onde obter:

– http://kettle.pentaho.com/

Obrigado...

...se ainda tiver tempo...

Pesquisas realizadas:

Pesquisas realizadas:

http://www.cgu.gov.br/sorteios/index1.asp

Pesquisas realizadas:

Alocando Locais de votação em setores censitários.

Pesquisas realizadas:

18.097.608

Agora sim...

… Obrigado!

Wesley Seidel Carvalho

@wseidelwesley.seidel@ltasks.comwesley.seidel@intelidados.com.br