Web Semântica: IoT, Big Data e Integração dos dados na web · Engine Optimization) em todas as categorias de pesquisa para cada produto. • Necessidade de melhorar a busca dentro

Web Semântica:

IoT, Big Data e Integração dos dados

na web

Regina Cantele

Regina Cantele

Coordenadora na FIAP dos cursos MBA Engenharia de Dados e Digital Data Marketing e professora em diversos cursos como Big Data, Arquitetura de Soluções e Engenharia de Software.

Doutora e mestre em Engenharia Elétrica (Poli/USP), graduada em Ciência da Computação e em Ciências Exatas (Universidade Caxias do Sul).

Atuação em várias empresas na área de TI.

“A utopia está lá no horizonte. Me

aproximo dois passos, ela se afasta

dois passos. Caminho dez passos e o

horizonte corre dez passos. Por mais

que eu caminhe, jamais alcançarei.

Para que serve a utopia? Serve para

isso: para que não deixe de

caminhar.”

Eduardo Galeano

Big Data

Web Semântica

Linked Open Data

Ontologias

BIG DATA - CONTEXTO

“Uma enorme quantidade de registros é criada

continuamente, resultante de interações sociais e

econômicas de bilhões de pessoas em todo o mundo ... redes

sociais, cartões de crédito e débito, equipamentos médicos, etiquetas de RFID, câmeras de vídeo

e radares de vias públicas, GPS, Smart TV’s, entre outros, conectados à

internet.”

BIG DATA - CONTEXTO

“Esses dados precisam ser

coletados,

armazenados,

analisados, processados,

compartilhados e

visualizados por

softwares analíticos de bases

de dados.”

BIG DATA - CONTEXTO

BIG DATA - CONTEXTO

Do ponto de vista tecnológico:

“Big data é um termo genérico para dados que não podem

ser contidos nos repositórios usuais; refere-se a dados

volumosos demais para caber em um único servidor; não

estruturados demais para se adequar a um banco de dados

organizados em linhas e colunas; ou fluídos demais para

serem armazenados em um data warehouse estático.”

(DAVENPORT) (ALECRIM)

BIG DATA - CONTEXTO

Do ponto de vista tecnológico:

“Big data é um termo genérico para dados que não podem

ser contidos nos repositórios usuais; refere-se a dados

volumosos demais para caber em um único servidor; não

estruturados demais para se adequar a um banco de dados

organizados em linhas e colunas; ou fluídos demais para

serem armazenados em um data warehouse estático.”

(DAVENPORT) (ALECRIM)

BIG DATA – NUVEM E OPEN SOURCE

Escabilidade

Processamento

paralelo e

distribuído

Concorrência

BIG DATA – NUVEM E OPEN SOURCE

Escabilidade

Processamento

paralelo e

distribuído

Concorrência

BIG DATA – ECOSSISTEMA HADOOP



Solução Proprietária.

Modernização

In memory, Appliances, Algoritmos embarcados

BIG DATA – SOLUÇÕES PROPRIETÁRIAS



Not Only SQL

BIG DATA – NOSQL

Not Only SQL

BIG DATA – NOSQL

BIG DATA – NOSQL

Integração de Dados

BIG DATA – NOSQL

IoT e Mobile

“Designing a data management pipeline for pervasive sensor communication systems”

Do ponto de vista da ciência:

“... big data como disciplina de uma ciência

que utiliza dados digitais em suas pesquisas -

a Ciência das Redes que combina

matemática, programação e instinto

científico.”

BIG DATA - CONTEXTO






científico.”

BIG DATA - CONTEXTO

Sociologia

Antropologia

Etnografia

Filosofia






científico.”

BIG DATA - CONTEXTO

Sociologia FilosofiaModelos Analíticos

BIG DATA – MODELOS ANALÍTICOS



Ferramentas


Deep Learning no Google TensorFlow.



Gita

- um dispositivo autônomo e de

carga criado pela Piaggio

Fast Forward para ser um

assistente pessoal.

- completamente independente,

podendo ir até o mercado e

voltar para casa, além de

poder ajudar a passear com

o cachorro e carregar

materiais pesados.

Atribuir significado aos dados

Permitir a identificação de

padrões e insights ocultos na

enorme quantidade de dados

Compreender “o que está

acontecendo” em tempo real

Auxiliar na tomada de decisão


Web Semântica

Web Semântica

O que é semântica?

... o significado e a interpretação do

significado de uma palavra, de uma frase ou de uma

expressão em um determinado contexto.

Web Semântica

O que é semântica?

Alguma vez você já

"pagou o pato" por algo

ou por alguém?

Web Semântica

Evolução Web

Web Semântica

Evolução Web

Rec

urs

os W

eb

Web Semântica

Evolução Web

Web 3.0 (Web Semântica)

Web Semântica

A ideia é ter dados definidos e interligados na web de

maneira que possam ser interpretados por máquinas,

não somente por seu objetivo visual mas também para

automação, integração e reuso entre várias aplicações.

Web Semântica

Considerar o tempo necessário para :

(i) tentar distinguir entre o que é relevante, menos relevante ou até não

relevante entre os todos recursos disponibilizados na web; entre o que deve merecer a

nossa atenção imediata e menos imediata; entre o que é prioritário e menos prioritário;

(ii) executar tarefas repetitivas como dado um conjunto de critérios selecionar algo -

restaurantes ou pessoas, e verificar quais é que o satisfazem.

(iii) obter uma perspectiva global, integrada e atualizada da informação

existente sobre um dado recurso - uma pessoa, um projeto, um automóvel.

Web Semântica

Web Semântica

- Anotar semanticamente as paginas da empresa

- Construir um mecanismo de busca para empresa

- Buscar / minerar Recursos de outras empresas

Web Semântica

"Estruturar dados em uma página web é uma maneira padrão de anotar

seu conteúdo para que máquinas possam entendê-la. Quando suas

páginas da web incluem marcação estruturada de dados, o

Google (e outros motores de busca) podem usar esses dados para

indexar melhor seu conteúdo e apresentá-lo mais proeminente nos

resultados de pesquisa das novas experiências de busca, como

respostas de voz, mapas e Google Now."

Anotar semanticamente as páginas da empresa

Web SemânticaWeb Semântica


Web SemânticaWeb Semântica


Modelos conceituais abertos para

serem reutilizados em

diferentes conjuntos de dados

(datasets).Vo

ca

bu

lári

os

Co

ntr

ola

do

s

Web Semântica


Vocabulários Controlados

Objetiva a interoperabilidade no nível de

modelo conceitual.

Útil para modelos recorrentes.

Web Semântica


• Lista de termos autorizados

• Termos com definições

• Termos não podem se repetir

para designar conceitos

diferentes


Web Semântica


FOAF SIOC COGS Data Cube Vocabulary PROV-O DCTERMS WGS84 Geo Positioning SDMX QUDT SSN Schema.org VoID Data Catalog ...http://lov.okfn.org/dataset/lov/


Web Semântica


Rede Globo

Rodrigo Senra - 2014

Web Semântica


Rede Globo

Rodrigo Senra - 2014

Web Semântica


Web Semântica

Busca por um resultado comercial

Polaris - semantic search - novo motor de busca que usa algoritmos

avançados, incluindo a compreensão da consulta e mineração de sinônimos

para obter a intenção de busca do usuário. Isto aumentou o número dos

visitantes que completam a compra de 10% para 15%.

http://www.hardwareretailing.com/360-view-walmart/

Construir um mecanismo de busca para empresa

Web Semântica

http://www.hardwareretailing.com/360-view-walmart/

Construir um mecanismo de busca para empresa

Web Semântica

"O mecanismo de busca perfeito deve ser

capaz de compreender o que você quer dizer e

retornar exatamente o que você precisa."

Web Semântica

Mecanismos de Busca – Buscas Inteligentes

Permite pesquisar coisas, pessoas ou lugares como monumentos, celebridades, cidades,

equipes esportivas, prédios, acidentes geográficos, filmes, objetos celestiais, obras de arte e

mais - e instantaneamente mostrar outras informações relevantes à pesquisa.

Google Now é sua evolução ;))

Google Knowledge Graph(maio 2012)

Hummingbird

RankBrain (2015)

Web Semântica

Googlebot

Ranking >= 200 métricas

Web Semântica

Descrições com Rich Snippets

Compreender o conteúdo do site e a obter

melhores índices de rankeamento.

Ao adicionar descrições como "star

ratings", as mesmas podem ser

apresentadas diretamente nos resultados.

count

nome

rating

Web Semântica

Sitelinks Search Box

Exibe uma caixa de pesquisa dentro

de seu resultado na própria página de

resultados, normalmente para

branded searchs.

Web Semântica

http://bigdata-madesimple.com/top-50-open-source-web-crawlers-for-data-mining/

Buscar / minerar recursos de outras empresas

Web Crawlers

Também conhecido

como bots, web

spiders, web robots

ou web scutters.

Linked data

Conjunto de boas práticas para publicar e conectar

conjuntos de dados estruturados na Web, com o intuito

de criar uma “Web de Dados”

Web Semântica

Base de conhecimentocomum a todos

Base de conhecimento específica de um domínio

Sistema de referência de entidades

Linked data

Web Semântica

Categorias dos conjuntos de dados:

– Mídia

– Geográficos

– Governo

– Publicações

– cross-domain

– Life science

– Gerados pelo usuário

Linked data

Web Semântica

• Fundado em 2007

• Apoiado pelo W3C Semantic

Web Education e Outreach

Group

• Identificar conjuntos de

dados sob licenças abertas e

convertê-lo para RDF

Linked Open Data (LOD)

Web Semântica

1014 datasets sendo 51% em Social Web

2014Linked Open Data (LOD)

Web Semântica


Web Semântica

Google

https://cloud.google.com/bigq

uery/public-data/


Web Semântica

Amazon

https://aws.amazon.com/pt/public-datasets/


Web Semântica

Uso de dados interligados

http://www.tandfonline.com/doi/full/10.1080/19386389.2015.1099979


Web Semântica

Exemplo:

Pesquisar qual jogador de futebol nasceu na província

de Albacete, na Espanha, e marcou um gol na final da

Eurocopa 2008.

A seguinte consulta SPARQL nas LODs :


Web Semântica


Web Semântica

Especificação explícita e formal de uma conceitualização compartilhada.

definições de conceitos, instâncias, relações,

restrições e axiomas são explícitas

declarativamente definida, portanto, compreensível para agentes e sistemas

Conhecimento consensual

Modelo abstrato de parte do conhecimento

Studer et al, 98

Web Semântica - Ontologia

envolve um vocabulárioespecífico usado paradescrever uma certarealidade

captura os conceitos erelações em algum domínioe um conjunto de axiomaslógicos

fixam de forma rigorosa osignificado pretendido parao vocabulário


Inferência

Inferência


)()(),()(:, xgolydefendenãoyxchutexatacanteyx


Tipos de Restrições – Quantificadores – Operadores

GoodRelations

Best Buy

• Descobriu que era impossível ser o melhor em termos de SEO (Search

Engine Optimization) em todas as categorias de pesquisa para cada

produto.

• Necessidade de melhorar a busca dentro do site, o funcionamento de

alguns itens como: produtos relacionados, filtros para produtos em

promoção, produtos disponíveis em certa localidade e além de tudo

melhorar a API de produtos deles.

• Com GoodRelations RDF, os metadados adicionais podem incluir preço,

cor, dimensões, modelo e outros atributos interessantes para o

consumidor.


Style BOT - um robô para o mercado de moda

- auxiliar e-commerces, aplicativos e portais de moda a interagir com o

seu público de forma individual e especializada com o intuito de

fomentar as vendas.

- permitir que sites e aplicativos aprendam sobre os comportamentos

de seus consumidores, interagindo com eles como um consultor de

moda e estilo, resolvendo dúvidas e fazendo recomendações de

acordo com as preferências de cada um.

http://startupi.com.br/2016/03/startup-gaucha-desenvolve-inteligencia-artificial-em-moda/#sthash.ZkRQaKRz.dpuf


Style BOT - um robô para o mercado de moda

O módulo de Busca Semântica identifica itens de

interesse do usuário que não constam em sua busca

original.

Por exemplo, uma pesquisa por “Vivienne

Westwood” num sistema tradicional de busca pode

não trazer resultados como produtos com a

estampa dos britânicos do “Sex Pistols”, no entanto,

a estilista tem relação direta com o movimento

punk e provavelmente um consumidor interessado

nela também se interessaria pela banda ícone punk.


Web Semântica

Web Semântica

Inteligência Artificial

Web

Uma visão da informação compreendida por máquinas para realizar tarefas como buscas, integração, compartilhamento na web

A inteligência das máquinas

Quais as tecnologias envolvidas com a Web?

A Web hoje permite o uso de linguagens mais flexíveis e de

padrões cada vez mais aceitos de representação da

informação. Isso a transforma em uma rede de

conhecimento, e não apenas em um espaço onde coabitam

dados sem conexão.

Web Semântica

Arquitetura proposta W3C

Arquitetura W3C, em suas

camadas, define as tecnologias

necessárias para que os

conteúdos das páginas Web

possam ser compreendidos

pelos computadores.

Cripto

gra

fia (

9)

URI/IRI (1)

RDF-S

(3b)

Consulta:

SPARQL

(4c)

Ontologia:

OWL (4a) Regras:

RIF (4b)

Lógica Unificada (5)

Confiança (7)

Aplicações e Interfaces c/ Usuário (8)

XML (2)

Prova (6)

Intercâmbio de

Dados: RDF (3a)

Cripto

gra

fia (

9)

URI/IRI (1)

RDF-S

(3b)

Consulta:

SPARQL

(4c)

Ontologia:

OWL (4a) Regras:

RIF (4b)

Lógica Unificada (5)

Confiança (7)

Aplicações e Interfaces c/ Usuário (8)

XML (2)

Prova (6)

Intercâmbio de

Dados: RDF (3a)

Web Semântica

“Nós não sabemos ainda como

transformar sistematicamente esse

oceano de dados em conhecimento e

ainda menos como transformar o meio

digital em observatório reflexivo de

nossas inteligências coletivas.”

A Esfera Semântica – Pierre Levy

Contatos:[email protected]

[email protected]

@rcantele – twitter

Regina Cantele – linkedin

http://lattes.cnpq.br/2727638630528041

Documents

Web Semântica: IoT, Big Data e Integração dos dados na web · Engine Optimization) em todas as categorias de pesquisa para cada produto. • Necessidade de melhorar a busca dentro