Visualização de dados

UNIVERSIDADE ESTADUAL PAULISTA “JÚLIO DE MESQUITA FILHO”

FACULDADE DE FILOSOFIA E CIÊNCIAS DE MARÍLIA

Visualização de Visualização de Dados

Aluno: Msc. Lisandro Rogério ModestoDisciplina: Aspectos Tecnológicos do Acesso a Dados AbertosProfessor: Dr. Ricardo César Gonçalves Santana

Assuntos

• Capítulo 9:– Aquisição de Dados.

• Capítulo 10:– Análise / Tratamento de Dados.– Análise / Tratamento de Dados.

Aquisição de Dados

• Primeiro passo para visualização de dados: colocá-los à sua disposição e na sua aplicação.

• Fontes típicas de dados:– Arquivo em um disco;– Arquivo em um disco;– Um fluxo de uma rede;– Um sinal digitalizado (leituras, por exemplo,

áudio, vídeo ou sensor);– Resultado: CONFUSÃO !!!

Aquisição de Dados

• Perguntas interessantes:– Como processar semanas de vídeo de

vigilância?– Como adquirir dados de uma reunião de uma

hora de duração, que envolveu uma discussãohora de duração, que envolveu uma discussãoverbal, desenhos em um quadro branco eanotações feitas pelos participantes ?

Dificuldades para a Aquisição de Dados

• Encontrar uma fonte de dados segura, boa econfiável ou gerar seus próprios dados.

• Obter os direitos de utilização dos dados.• Criar meios alternativos para extração de dados de

uma página web ou de outra fonte que não foiuma página web ou de outra fonte que não foicriada para esse fim.

• Utilizar dados que estão em constantes mutaçõesou grande volume de dados.

• Solução: utilização de linguagens de programaçãoe algorítmos para higienização dos dados parafuturo processamento.

Como encontrar Dados

• Utilizar uma boa ferramenta e um bom motor debusca.

• Especificação correta dos termos para a busca.• Exemplo 1: "download 5ª sinfonia de Betoven" .

– Correto: Download 5ª Sinfonia de Beethoven– Correto: Download 5ª Sinfonia de Beethoven• Exemplo 2: "as estatísticas da fome do mundo

download“.• Exemplo 3: "estatísticas mundiais xls fome“.• Para que os dados possam ser utilizados, o

produtor deve disponibilizar em formatosacessíveis.

Ética na Aquisição de dados

• Na busca de dados é importante saber o terrenoem que se pisa, pois pode se sofrer penas leves ouaté mesmo prisão.

• Situação de risco: Baixar muitas imagens Google• Situação de risco: Baixar muitas imagens GoogleMaps por vários dias resulta em IP banido ourestrito.




Ferramentas para Aquisição de dados na Internet

• Métodos:– loadStrings ();– loadBytes ();– loadImage ().– Protocolos: http, https, FTP, etc.– Protocolos: http, https, FTP, etc.

• Manipulação direta de links:– Salvar Destino Como: Internet Explorer; – Salvar link como: Firefox ou Chrome; – Salvar como: Safari.

Formas de Manipulação Direta

• Wget e Curl:– http://www.oreilly.com/catalog/covers/978059651

5935_cat.gif

• WebCopier• WebCopier

• Extrator de E-mail

Manipulação de Formulários WEB

• Consultas de dados usando formulários WEB.• Problema: em alguns casos não é permitida busca

diretamente no código.• Exemplos:

– http://www.olympic.org/uk/athletes/– http://www.olympic.org/uk/athletes/– http://www.cipedya.com/web/FileDownload.aspx

?IDFile=155453– http://support.acer-euro.com/drivers/– http://support.acer-euro.com/drivers/ftp/ftp.html

Manipulação de Banco de Dados

• Banco de dados (ou base de dados), é umconjunto de registros dispostos em estruturaregular que possibilita a reorganização dosmesmos e produção de informação. Um banco dedados normalmente agrupa registros utilizáveisdados normalmente agrupa registros utilizáveispara um mesmo fim. (Wikipedia)

• Situação: uma tabela de “endereços” contendocolunas para primeiro e último nome, rua, cidade,estado e CEP.

• Exemplos:– SELECT * FROM enderecos WHERE PrimeiroNome=‘Ricardo';

Análise / Tratamento de Dados

• A análise de dados converte um fluxo de dadosbruto em uma estrutura que pode ser manipuladopelo software / máquina.

• A Visualização de dados está intimamente ligada àAquisição de Dados e Análise de Dados.Aquisição de Dados e Análise de Dados.

• Problema: Aquisição de determinada massa dedados em uma fonte que não está sob controle.Após obtidos os dados gasta-se muito tempotentando descobrir como usar os dados que foramadquiridos.

Cenários para Análise de Dados

• Análise simples: dados estáveis / sem mutação.– Procura de "caminho" de dados.

• Análise de Base: utilizado para códigos não muitograndes, por isso pode ser implementado atravésda WEB.da WEB.

• Análise completa da API (Interface deProgramação de Aplicações): análise completaenvolvendo o desenvolvimento de aplicaçõescapazes de “LER” todo o código a ser analisado.

Ferramentas para Obtenção de Dados

• Windows:– UltraEdit;– TextPad;– HexEdit;– HexWorkshop.– HexWorkshop.

• Mac OS X:– TextWrangler;– HexFiend.

Formato de Dados

• Texto (ideal);

• Separação por tabulação (TSV);

• Separação por vírgulas (CSV);• Separação por vírgulas (CSV);

• Estrutura linhas X colunas (BD / Excel);

• Linguagens de Marcação de Texto (HTML, XML,etc).

Formato de Dados

• Formatos:– XML;– XLS;– DOC;– HTML;– HTML;– DOC;– TXT;– HTML;– Etc.

Aplicações para Análise de Dados



Localização de Padrões

VWXYZVWAEHVWXSDVWXYBVWRSAVWETU

Existe algum padrão ???

Substitua:

V �� Pão

W �� Leite


Referências• CAPLAN, Priscilla. Metadata fundamentals for all librarians. Chicago:

American Library Association, 2003.• FÁVERO, Luiz Paulo; BELFIORE, Patrícia; SILVA, Fabiana Lopes da;

CHAN, Betty Lilian. Análise de Dados: Modelagem Multivalorada paraTomada de Decisões. Campus: São Paulo, SP. 2009.

• FRY, Ben. Visualizing Data: exploring and explaining data with theprocessing environment. O'Reilly: Sebastopol, CA. 2007.processing environment. O'Reilly: Sebastopol, CA. 2007.<Visualizing_Data.pdf>

• GARFINKEL, Simson. Database Nation: the death of privacy in the 21stcentury. O'Reilly: Sebastopol, CA. 2001. ,<Database_Nation.pdf>

• HAYNES, David. Metadata for information management and retrieval.London: Facet Publishing, 2004.

• ILIINSKY, Noah. On Beauty. Cap. 1. In STEELE, Julie; ILIINSK Noah.Beautiful Visualization: looking at data through the eyes of experts. O'Reilly:Sebastopol, CA. 2010. <Beautiful_Visualization.pdf>

• MINSKY, M. A framework to represent knowledge. In: In The Psychologyof Computer Vision, 1975. Anais. McGraw-Hill, 1975. p.211.277.

Education

Visualização de dados