Documento confidencial para uso e informação do Ministério dos Transportes

Max Faria Rosângela Oliveira

Pesquisa Nacional de Contagem de Tráfego

(PNCT)

20 de junho de 2017 Brasília - DF

AGENDA

■ Projeto Tratamento de dados históricos

■ Apresentação do projeto

■ Metodologia utilizada

■ Desenvolvimento do Processo de Consolidação

■ Aplicação do Processo de Consolidação

■ Resultados

■ Próximos passos

■ Equipe

■ Bibliografia

APRESENTAÇÃO DO PROJETO3

• O projeto tem objetivo desenvolver um processo que consolide documentos diversos (planilhas eletrônicas principalmente), de pesquisas antigas, em uma base de dados relacional;

• O processo deverá ser capaz de ser repetido para todas as pesquisas antigas que não estejam disponíveis na forma de banco de dados.

APRESENTAÇÃO DO PROJETO4

Documentos de pesquisas de tráfego antigas

Processo de Consolidação

Banco de dados relacional

APRESENTAÇÃO DO PROJETO

• A equipe de pesquisadores da Coppe/UFRJ recebeu ao todo 8 projetos relativos a pesquisas de tráfego, de dois tipos: Volumétrica e Origem e Destino;

• As pesquisas estavam dispostas em mais de 60 pastas com mais de 1000 arquivos eletrônicos do tipo: Planilhas, Documentos texto, fotos e arquivos PDF;

5

METODOLOGIA UTILIZADA

• Para encontrar uma solução para o projeto a equipe de pesquisadores util izou de práticas científicas amplamente utilizadas na academia;

• A metodologia utilizada para encontrar, analisar, testar e revisar uma possível solução foi uma “Pesquisa-ação”;

• A pesquisa-ação é uma forma de investigação interna cujo objetivo é resolver problemas, aperfeiçoar práticas e propor soluções (Espadas et al., 2008).

6

METODOLOGIA UTILIZADA7

Processo de Consolidação

Questão a ser respondida

Metodologia utilizada Pesquisa-ação

DESENVOLVIMENTO DO PROCESSO DE CONSOLIDAÇÃO

• Após ampla revisão da literatura e testes de possíveis so luções , fo i desenvo lv ido um Processo de Consolidação para tratar as pesquisas de tráfego antigas;

• O Processo proposto foi divido em cinco grandes etapas;

• Ao longo da aplicação do Processo de Consolidação nas pesquisas, qualquer etapa poderia ser modificada.

8

DESENVOLVIMENTO DO PROCESSO DE CONSOLIDAÇÃO9

1 2 3 4 5

DESENVOLVIMENTO DO PROCESSO DE CONSOLIDAÇÃO10

Para as atividades de ETL, foi utilizado um software conhecido de “Data Warehouse” chamado Pentaho (Inmon and Hackathorn, 1994) (Avesh Dhakal, 2014).

APLICAÇÃO DO PROCESSO DE CONSOLIDAÇÃO

• O processo apresentado foi aplicado até o momento em 6 pesquisas de tráfego antigas;

• Para cada pesquisa o Processo de Consolidação foi repetido;

• Já foram gerados, até o momento, 6 banco de dados a partir dos arquivos das pesquisas;

• Os seis bancos gerados foram validados, de acordo com os dados dos arquivos originais, por amostragem;

• Todas as consultas executadas estavam condizentes com os dados encontrados nas planilhas originais.

11

APLICAÇÃO DO PROCESSO DE CONSOLIDAÇÃO

• Etapas 1,2 e 3 realizadas. Planilha CSV gerada;

• Atividades importantes nestas etapas:

• Análise dos arquivos recebidos;

• Criação dos banco a partir de modelos pré estabelecidos pelo DNIT;

• Correções de codificações SNV;

• Padronização classe, data e sentido.

12

APLICAÇÃO DO PROCESSO DE CONSOLIDAÇÃO13

Dicionário dedados - PNCT

Dicionário dedados - PNT

PNT

APLICAÇÃO DO PROCESSO DE CONSOLIDAÇÃO14

Planilha original

CSV

APLICAÇÃO DO PROCESSO DE CONSOLIDAÇÃO

• Etapas 4 e 5 realizadas. Banco de dados gerado;

• Atividades importantes nestas etapas:

• Execução das transformações de dados através de ETL (Titirisca and others, 2013);

• Carga de dados, seleção e quebra de colunas, limpeza de dados, codificação de valores, derivações de novos valores, junções entre outros;

• Utilização da ferramenta Pentaho (Casters et al., 2010).

15

APLICAÇÃO DO PROCESSO DE CONSOLIDAÇÃO16

Planilha CSV

Processo ETL

BD populado e modelado

APLICAÇÃO DO PROCESSO DE CONSOLIDAÇÃO17

APLICAÇÃO DO PROCESSO DE CONSOLIDAÇÃO18

RESULTADOS ENCONTRADOS

• Para apresentar alguns resultados encontrados, foram separados dois projetos já finalizados: Edital 551 e PROSUL;

• A seguir um resumo de ambos:

19

RESULTADOS ENCONTRADOS20

• Exemplo de 3 pesquisas volumétricas do projeto Edital 551

RESULTADOS ENCONTRADOS21

• Exemplo de 3 pesquisas volumétricas do projeto Prosul

RESULTADOS ENCONTRADOS22

• Exemplo de visão por classe de uma pesquisa volumétrica do projeto Edital 551, realizada em Março de 2014.

RESULTADOS ENCONTRADOS23

• Exemplo de visão por classe de uma pesquisa volumétricas do projeto Prosul, realizada em Fevereiro de 2015.

RESULTADOS ENCONTRADOS24

• Exemplo de visão por classe de uma pesquisa volumétricas do PNT 2016, realizada em Julho de 2016;

• Existe um padrão no comportamento das contagens por classe

RESULTADOS ENCONTRADOS25

• Demonstração de acesso as bases Edital 551 e Prosul na prática.

PRÓXIMOS PASSOS26

• Finalizar as duas últimas pesquisas;

• Validação pela equipe de Transportes da Coppe/UFRJ;

• Criar a interface de pesquisa;

Equipe de sistema Coppe/UFRJ27

• Maximiliano Martins de Faria (Doutorando)

• Rosângela Oliveira (Mestranda)

• Júlio Barbieri (Mestrando)

• Marco Rodrigues (Graduando)

• Wagner Lobo (Graduando)

BIBLIOGRAFIA

• Avesh Dhakal, 2014. Data Warehouse Architecture [WWW Document]. URL http://www.datasciencecentral.com/profiles/blogs/data-warehouse-architecture (accessed 6.13.17).

• Casters, M., Bouman, R., Dongen, J. van, 2010. Pentaho Kettle Solutions: Building Open Source ETL Solutions with Pentaho Data Integration. John Wiley & Sons.

• Departamento Nacional de Infraestrutura de Transportes, 2006. Manual de Estudos de Tráfego.

• Departamento Nacional de Infraestrutura e Transportes, 2017. Institucional [WWW Document]. DNIT. URL http://www.dnit.gov.br/acesso-a-informacao/insitucional/copy_of_apresentacao (accessed 6.13.17).

• Espadas, J., Romero, D., Concha, D., Molina, A., 2008. Using the Zachman Framework to Achieve Enterprise Integration Based-on Business Process Driven Modelling, in: Meersman, R., Tari, Z., Herrero, P. (Eds.), On the Move to Meaningful Internet Systems: OTM 2008 Workshops, Lecture Notes in Computer Science. Springer Berlin Heidelberg, pp. 283–293.

• Herbert Altrichter, Stephen Kemmis, Robin McTaggart, Ortrun Zuber-Skerritt, 2002. The concept of action research. Learn. Organ. 9, 125–131. doi:10.1108/09696470210428840

• Inmon, W.H., Hackathorn, R.D., 1994. Using the Data Warehouse. Wiley-QED Publishing, Somerset, NJ, USA.

• Presidência da República Federativa do Brasil, 2011. Lei no 12.379.

• Titirisca, A., others, 2013. ETL as a Necessity for Business Architectures. Database Syst. J. BOARD 3.

28

Obrigado !

29

Max Faria Rosângela Oliveira

Rosângela Oliveira

Banco de dados PESC/COPPE/UFRJ