Organicer: Organizando informação com Python

ORGANICER

Organizando Informação com Python

Rodrigo Dias Arruda SenraIC-Unicamp / Globo.com

PythonBrasil [8], RJ 2012

Apenas um rapaz latino americano...

• Desenvolvedor e Projetista de Software(no mercado desde 1996, hoje na Globo.com )

• Engenheiro de Computação Graduação-MSc-(defesa PhD 10/12/12) IC-Unicamp

• Entusiasta de FLOSS(atuante na comunidade desde 1999)

2

Roteiro

• Motivação• Problemas• Organografos • Organicer (preview)

• Python Snippets

3

Motivação

5

5

Organization

Hierarchies

Automation

Clustering

Classification

Data Sharing

EvaluationDatabases

Classification

Information Extraction

Information Retrieval

CognitionDigital Libraries

Content Management

RDF

XML

RSS

Semantic Web

Personal Desktop

User Interfaces

Visualization

k-Means

Nearest Neighbors

Support Vector Machines

Neural Nets

Naïve Bayes

Jaccard

DiceCosine

Matching Wrappers

Taxonomy

Tagging

Folksonomy

Social Networks

Syndication

Feeds

Organographs

Python

Javascript

Go

NoSQL

Mongo

CouchDB

Fapesp

CNPq

CAPES

INCT

Crescenzi

Chen

Hull Sebastiani

Sokal

6

6

Quantos conceitos ?

6

Quantos conceitos ?

Em que ordem eles apareceram ?

6

Quantos conceitos ?


Como categorizá-los ?

6

Quantos conceitos ?



De onde vieram ?

6

Quantos conceitos ?



De onde vieram ?

Quais as relações entre os conceitos ?

6

Quantos conceitos ?



De onde vieram ?


Quais são relevantes para mim agora ?

6

Quantos conceitos ?



De onde vieram ?



...

6

Quantos conceitos ?



De onde vieram ?



...[Miller 1956] regra 7±2: capacidade cognitiva é limitada

Problemas

8

Qual das categorias abaixo é a que melhor acomoda o objeto acima ?

9

Vermelhos ? Triangulos ? Relacionados ?

Motivação

Uma breve história no tempo

10


10


10


10


10


10


10


10


10Muito mais difícil que

O que há de errado ?

11


11

1. Única categoria para conteúdo Multi-facetado


11


2. Categorias definidas manualmente


11



3. Critério não é explícito


11




4. Relação estática de pertinência


11




4. Relação estática de pertinência

5. Organização não é reutilizável

Objetivos

Objetivos

1. Avaliar hierarquias criadas manualmente

Objetivos


2. Reorganizar conteúdo dinamicamente

Objetivos


2. Reorganizar conteúdo dinamicamente

3. Reutilizar organização

Avaliar Hierarquias

13

Avaliar Hierarquias

13

muito conteúdo junto

Avaliar Hierarquias

13


duplicado, deslocado

Avaliar Hierarquias

13


muitos agregadores


Avaliar Hierarquias

13


muitos agregadores


profundo demais

Avaliar Similaridade

DendogramaMatriz de Similaridade

Reorganizar conteúdo dinamicamente

15

Alice

Beto

2011

2008

2011

Autor

Data de Publicação

Artigo 1

Artigo 2

Artigo 3


15

Alice

Beto

2011

2008

2011

Autor

Data de Publicação Autor


Artigo 1

Artigo 2

Artigo 3


15

Alice

Beto

2011

2008

2011 Alice

Beto

2008

2011

Alice

Autor



Artigo 1

Artigo 2

Artigo 3


15

Alice

Beto

2011

2008

2011 Alice

Beto

2008

2011

Alice

Autor



Artigo 1

Artigo 2

Artigo 3


15

Alice

Beto

2011

2008

2011 Alice

Beto

2008

2011

Alice

Autor



Artigo 1

Artigo 2Artigo 3


15

Alice

Beto

2011

2008

2011 Alice

Beto

2008

2011

Alice

Autor



Artigo 1

Artigo 2

Artigo 3


15

Alice

Beto

2011

2008

2011 Alice

Beto

2008

2011

Alice

Autor



a TAREFA é importante!

Artigo 1

Artigo 2

Artigo 3

Reutilizar organização

16


16


16

Organografos

Metodologia

18

coleção

Metodologia

18

coleção

organizar

Metodologia

18

coleção

organizar

avaliar

Metodologia

18

coleção

organizar

avaliar

reorganizar

Metodologia

18

coleção

organizar

avaliar

reorganizar

compartilhar

19

19

Organografos

... são artefatos que tornam explícito como organizar informação digital no contexto de uma tarefa específica.

NLP

Autor doOrganofrafo

MLDomínio

Papéis

OntologiasClassificadoresExtração de

Informação

Algoritmos

SimilaridadeOrganografo

Algoritmos de Visualização

20

Iteradores

Data Container UX

Autoria de Organografo

Tarefa !

NLP

Autor doOrganofrafo

MLDomínio

Papéis


Informação

Algoritmos



20

Iteradores

Data Container UX


Tarefa !

• patterns• dictionaries• rules• probabilities• templates/wrappers

NLP

Autor doOrganofrafo

MLDomínio

Papéis


Informação

Algoritmos



20

Iteradores

Data Container UX


Tarefa !

• matching• dice• jaccard• overlap• cosine

NLP

Autor doOrganofrafo

MLDomínio

Papéis


Informação

Algoritmos



20

Iteradores

Data Container UX


Tarefa !

• FOAF• Dbpedia• Schema.org• Freebase• MusicBrainz• Geonames

NLP

Autor doOrganofrafo

MLDomínio

Papéis


Informação

Algoritmos



20

Iteradores

Data Container UX


Tarefa !

• Naive Bayes• SVM• Nearest Neighbors• LDA• LSI

NLP

Autor doOrganofrafo

MLDomínio

Papéis


Informação

Algoritmos



20

Iteradores

Data Container UX


Tarefa !

• Filesystem• Gmail• Evernote• Delicious• Dropbox, Box

NLP

Autor doOrganofrafo

MLDomínio

Papéis


Informação

Algoritmos



20

Iteradores

Data Container UX


Tarefa !

• Fuse, Dokan• Infoviz• D3

NLP

Autor doOrganofrafo

MLDomínio

Papéis


Informação

Algoritmos



20

Iteradores

Data Container UX


Tarefa !

acmccs98 = acm_extractor(‘http://www.acm.org/about/class/1998/ccs98.xml’)

organograph: input: collection(‘file:///some/local/dir/docs’) output: collection(‘rodsenra@dropbox:/output’) id: ‘docs by year’ level: label: format(‘YYYY’, input.Vcnt.publication_date) level: classifier: naive_bayes(classes=acmccs98.Vagg[1], train=acmccs98.Vagg[2:] + acmccs98.Vcnt) label: classifier.class

http://www.acm.org

http://www.acm.org

Organicer

Hierarquia de Origem


Pre-processamento

BeautifulSouppyPdf


ExtraçãoNLTK

Pre-processamento

BeautifulSouppyPdf


ExtraçãoNLTK

Pre-processamento

BeautifulSouppyPdf

Índice deFacetas

pymongo


Workflow de Transformação

ExtraçãoNLTK

Pre-processamento

BeautifulSouppyPdf

Índice deFacetas

pymongo



ExtraçãoNLTK

Pre-processamento

BeautifulSouppyPdf

Índice deFacetas

pymongo

networkx gensimnumpy scikit-learn



HierarquiaResultante

Visualização

ExtraçãoNLTK

Pre-processamento

BeautifulSouppyPdf

Índice deFacetas

pymongo





Visualização

ExtraçãoNLTK

Pre-processamento

BeautifulSouppyPdf

Índice deFacetas

pymongo


matplotlibObsPy

InfoViz.jsD3.js




Visualização

Navegação daHierarquia

Iterador

ExtraçãoNLTK

Pre-processamento

BeautifulSouppyPdf

Índice deFacetas

pymongo


matplotlibObsPy

InfoViz.jsD3.js




Visualização


Iterador

ExtraçãoNLTK

Pre-processamento

BeautifulSouppyPdf

Índice deFacetas

pymongo


matplotlibObsPy

InfoViz.jsD3.js

os.walkpydeliciousevernote

Conclusão

Resumo

• Organografos: metodologia, arquitetura,utilização

• Capturar a tarefa por trás de uma organização

• Avaliar, reorganizar e compartilhar.

27

Agradecimentos

• Laboratório de Sistemas de Informação (IC-Unicamp)

http://www.lis.ic.unicamp.br• Brazilian Institute for Web Science Research

http://webscience.org.br• Globo.com

28

http://www.lis.ic.unicamp.br

http://www.lis.ic.unicamp.br

http://webscience.org.br

http://webscience.org.br

Obrigado a todos pela atenção.

Rodrigo Dias Arruda Senrahttp://rodrigo.senra.nom.br

[email protected]

As opiniões e conclusões expressas nesta apresentação são de exclusiva responsabilidade de Rodrigo Senra.

Não é necessário requisitar permissão do autor para o uso de partes ou do todo desta apresentação, desde que não sejam feitas alterações no conteúdo reutilizado e que esta nota esteja presente na íntegra no material resultante. Em caso de alterações, favor consultar o autor.

Imagens e referências para outros trabalhos nesta apresentação permanecem propriedade daqueles que detêm seus direitos de copyright.

http://rodrigo.senra.nom.br

http://rodrigo.senra.nom.br

mailto:[email protected]

mailto:[email protected]



Usuário do Organografo

Índice deFacetas

Pre-processamento

Extração



Execução de Organografo

FCat() FHil()

Visualização

Iterador

Organicer

31

Organicer

31

Organicer

31

Organicer

31

Organicer

31

Documents

Organicer: Organizando informação com Python