Pentaho IoT Analytics Open Source - Amazon S3 · Palestrante FLOSS em: FISL, LATINOWARE,Campus Party, Pentaho Day, TDC, Ticnova, FTSL. Organizador Geral: Pentaho Day 2017, 2015 e

Pentaho IoT AnalyticsOpen SourceTrilha IoT

Marcio Junior VieiraCEO & Data Scientist, Ambiente Livre

© 2017, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-34382

Marcio Junior Vieira

Mini-cv● 18 anos de experiência em informática, vivência em desenvolvimento e análise de

sistemas de Gestão empresarial e Analise de Dados.● Trabalhando com Free Software e Open Source desde 2000 com serviços

de consultoria e treinamento.● Graduado em Tecnologia em Informática(2004) e pós-graduado em

Software Livre(2005) ambos pela UFPR.● Palestrante FLOSS em: FISL, LATINOWARE,Campus Party, Pentaho Day,

TDC, Ticnova, FTSL.● Organizador Geral: Pentaho Day 2017, 2015 e apoio nas ed. 2013 e 2014.● CEO da Ambiente Livre, Prof de MBA em Big Data da Univ. Positivo.● Data Scientist, Instrutor e Consultor de Big Data com tecnologias abertas.● Ajudou a capacitar equipes de Big Data na IBM, Accenture, Tivit, Serpro,

MP, Netshoes, Embraer entre outras.


Nosso Ecossistema de Serviços

Indústria 4.0.A próxima revolução industrial.baseado no …

Quarto paradigma da ciência


O Quarto Paradigma da Ciência

● Empírica: É uma maneira de adquirir conhecimento por meio de observação ou experiência direta e indireta.

● Investigação: Melhorar as teorias científicas para uma melhorcompreensão ou previsão de fenômenos naturais. Muitas vezesimpulsionado pela curiosidade.

● Computação: Estuda as técnicas, metodologias e instrumentoscomputacionais, que automatiza processos e desenvolve soluçõesbaseadas no uso do processamento digital.

● Baseada em dados ( data-driven )Ciência Sobre os Dados ou Ciência dos Dados


Data Science

● Campo interdisciplinar de pesquisa sobre métodos científicos, processos e sistemas para extrair conhecimentos ou insights a partir de dados em várias formas, estruturadas ou não estruturadas, semelhantes ao KDD.

● Unificar estatísticas, análise de dados e seus métodos relacionados, a fim de compreender e analisar fenômenos reais com dados.

● Emprega técnicas e teorias extraídas das áreas amplas de matemática, estatística, ciência da informação e ciência da computação, aprendizagem de máquinas, classificação, análise de cluster, mineração de dados, bancos de dados e visualização.


Impacto – IoT (Big Data)

● U$ 4 a 11 trilhões a partir de 2025


Vantagens Competitivas – Big Data

● Melhorar a precisão das previsões de demanda;● Desenvolver novos serviços;● Descobrir novos padrões de demanda;● Realizar um planejamento de oferta em tempo real, usando

recursos e dados de sensores de produção e da IOT.


Otimizando Operações com Video Analytics


Video Analytics

● LIDAR - Light Detection And Ranging● Camera: Time of flight (TOF)

3D-LiDAR (TOF) Motion Sensor


IoT – no Campo!

"Congresso Brasileiro de Agricultura de Precisão:""Construção de Dados na Era da Digitalização Agrícola"


Sensores de Voo


Uso dos dados


Inteligência Artificial


Convergência Tecnológica

Data Science

Machine Learning

Deep LearningBig Data

Data Analytics

Business Intelligence

InteligênciaArtificial

Databases

Data MiningBlockchain

RPA

Inteligência Cognitiva

Chatbots



Pentaho Data Integration ( PDI )

● Processa em Paralelo ( Também roda em Cluster Spark)● Acessar dados diretamente (se necessário sem DW )● Permite publicar dados diretamente em Reports, Ad-Hoc Reports

e Dasboards.● “Programação e Fluxo Visual” com aproximadamente 350 steps

diferentes


Ingestão de Dados de Sensores

MQTT● Message Queue Telemetry Transport● Protocolos de rede para a IoT● Padrão para comunicações de IoT● Desenvolvido pela IBM●


IoT Analytics - Arquitetura


CTools / Pentaho Dashboards


IoT Analytics - CTools / Pentaho Dashboards


Dashboards ( Ctools )

● Oferecer métricas em uma atrativa interface intuitiva e visual, painéis proporcionam aos gestores empresariais a informação crítica de que necessitam para entender e melhorar o desempenho organizacional.


Pentaho Data Mining - Weka

Weka● Desenvolvido pela Universidade de Waikato (Waikato Environment for Knowledge

Analysis)● Licença GPL● Desenvolvido em Java● Iniciado o desenvolvimento em 1993.● O software foi adquirido pela Pentaho Corporation em 2016

(Hoje Hitachi Vantara ).

● Site do projeto: http://www.cs.waikato.ac.nz/ml/weka/

http://www.cs.waikato.ac.nz/ml/weka/


Pentaho e Machine Learning / Data Mining

Data Integration● Plugins Machine Learning Intelligence.● Drag-and-Drop Machine Learning ● Engines: python, R, Weka and Spark MLlib..


Machine Learning e Data Science inclusive R, Python, WEKA com Spark

● Automação e orquestração do fluxo


Um exemplo – Data Science / Machine Learning


Extração de Características


Aprendizagem Supervisionada


Modelo Preditivo

Algoritmo de Aprendizagem

Fase 1

Fase 2


Modelo Preditivo Iris Versicolor

Supervisor


Um exemplo para ilustração – Data Science

●


AEL – Arquitetura – Visão Geral


ObrigadoMarcio Junior [email protected]@marviojvieira @ambientelivrehttps://www.linkedin.com/in/mvieira1/

https://www.linkedin.com/in/mvieira1/

Documents

Pentaho IoT Analytics Open Source - Amazon S3 · Palestrante FLOSS em: FISL, LATINOWARE,Campus Party, Pentaho Day, TDC, Ticnova, FTSL. Organizador Geral: Pentaho Day 2017, 2015 e