Integrando recuperação de informação em banco …Integrando recuperação de informação em banco de dados com Hibernate Search Alunos Gustavo Kendi Tsuji Leonardo Tadashi Kamaura

Integrando recuperação de informação em banco de dados com

Hibernate Search

Alunos

Gustavo Kendi Tsuji

Leonardo Tadashi Kamaura

Orientador

João Eduardo Ferreira

Introdução

Introdução

Introdução

Média de 305% decrescimento de

usuários na internet

Introdução

Média de 305% decrescimento de

usuários na internet=

Aumento do conteúdo na internet

produzido pelosusuários

Introdução

A Google registrou em 29 de julho de 2008 a marca de mais de 1 trilhão de páginas disponíveis para

consulta a partir do seu site de buscaGoogle's search index hits one trillion page mark

http://en.wikinews.org/wiki/Google%27s_search_index_hits_one_trillion_page_mark

Objetivos

• Estudar conceitos de Recuperação deInformação (RI);

Objetivos

• Estudar conceitos de Recuperação deInformação (RI);

• Integrar uma solução de RI no banco de dadosdo Projeto Colméia;

Visão Geral de RI

ArquivoInvertido

Query

Visão Geral de RI

ArquivoInvertido Modelo Vetorial

Query Ranqueamento

Visão Geral de RI

ArquivoInvertido Modelo Vetorial

Query Ranqueamento Resultados

Arquivo Invertido

Modelos

Modelo Vetorial

Query

Termo 1 Termo 2 Termo n

Documento

Palavra-chave 1

Palavra-chave 2

Palavra-chave n

Lucene

• projeto de código aberto da Apache implementadoem Java

• gera índices que serão usados na busca

• não é um programa final de busca

• não depende da fonte dos dados

• portável (Perl, Python, C++, .NET, Ruby)

Hibernate Search

• Hibernate Annotations + Lucene

• busca full-text

Hibernate / Hibernate Annotations

Hibernate / Hibernate Annotations@Entity@Indexed@Table(name = "livro", schema = "public")‏public class Livro implements java.io.Serializable {

private Long idLivro;private String tituloOriginal;...

@Id

@DocumentId

@Column(name = "id_livro", nullable = false)‏

public Long getIdLivro() {return this.idLivro;

}

@Field(index=Index.TOKENIZED, store=Store.NO)‏

@Column(name = "titulo_original", length = 300)‏

public String getTituloOriginal() {return this.tituloOriginal;

}

Hibernate / Hibernate Annotations@Entity@Indexed

@Table(name = "livro", schema = "public")‏public class Livro implements java.io.Serializable {


@Id@DocumentId

@Column(name = "id_livro", nullable = false)‏public Long getIdLivro() {

return this.idLivro;}

@Field(index=Index.TOKENIZED, store=Store.NO)‏

@Column(name = "titulo_original", length = 300)‏public String getTituloOriginal() {

return this.tituloOriginal;}

Hibernate - Relacionamentos@Entity@Indexed@Table(name = "livro", schema = "public")‏public class Livro implements java.io.Serializable {

...private ItemAcervo itemAcervo;private Set<Subtitulo> subtitulos = new HashSet<Subtitulo>();...

@IndexedEmbedded

@OneToOne@PrimaryKeyJoinColumnpublic ItemAcervo getItemAcervo() {

return itemAcervo;}

@IndexedEmbedded

@OneToMany(fetch=FetchType.LAZY, mappedBy = "livro")‏public Set<Subtitulo> getSubtitulos() {

return subtitulos;}

Hibernate Search

Hibernate Search@Entity

@Indexed@Table(name = "livro", schema = "public")‏public class Livro implements java.io.Serializable {


@Id

@DocumentId@Column(name = "id_livro", nullable = false)‏public Long getIdLivro() {

return this.idLivro;}

@Field(index=Index.TOKENIZED, store=Store.NO)‏@Column(name = "titulo_original", length = 300)‏public String getTituloOriginal() {

return this.tituloOriginal;}

Hibernate Search - Relacionamentos@Entity@Indexed@Table(name = "livro", schema = "public")‏public class Livro implements java.io.Serializable {

...private ItemAcervo itemAcervo;private Set<Subtitulo> subtitulos = new HashSet<Subtitulo>();...

@IndexedEmbedded@OneToOne@PrimaryKeyJoinColumnpublic ItemAcervo getItemAcervo() {

return itemAcervo;}

@IndexedEmbedded@OneToMany(fetch=FetchType.LAZY, mappedBy = "livro")‏public Set<Subtitulo> getSubtitulos() {

return subtitulos;}

Hibernate Search - Relacionamentos@Entity@Table(name = "subtitulo", schema = "public")‏

@Embeddablepublic class Subtitulo implements java.io.Serializable {

private long idSubtitulo;private String subtitulo;private Livro livro;

@Id@Column(name = "id_subtitulo", nullable = false)‏public long getIdSubtitulo() {

return this.idSubtitulo;}

@Field(index=Index.TOKENIZED, store=Store.NO)‏@Column(name = "subtitulo", nullable = false, length = 100)‏public String getSubtitulo() {

return this.subtitulo;}

Utilizando Hibernate Search naAplicação

Processos

Back end

Aplicação

Hibernate

+

Hibernate Search

Índices

(Lucene)

Banco de dados

2

1

Processos

Processos

1

Processos

2

Indexação

Hibernate Search - Indexação

public void indexaLivros(){

Session session = HibernateUtil.getSessionFactory().getCurrentSession();

FullTextSession fullTextSession = Search.createFullTextSession(session);

Transaction tx = fullTextSession.beginTransaction();

List<?> livros = session.createCriteria(Livro.class).list();

for (Object livro : livros) {

fullTextSession.index(livro);

}

tx.commit();

}



Session session = HibernateUtil.getSessionFactory().getCurrentSession();FullTextSession fullTextSession = Search.createFullTextSession(session);





}

tx.commit();

}


Hibernate

Session




FullTextSession fullTextSession = Search.createFullTextSession(session);Transaction tx = fullTextSession.beginTransaction();




}

tx.commit();

}


Hibernate

Session

Hibernate Search

FullTextSession Search









}

tx.commit(); }


Banco de dados

Hibernate

Session

Transaction

Hibernate Search










}tx.commit();

}


Banco de dados

Hibernate

Session

Transaction

Hibernate Search


Livros









}tx.commit();

}


Banco de dados

Hibernate

Session

Transaction

Hibernate Search


Livros

Busca

Hibernate Search – Busca

public List<Livro> buscaLivro(String termo, int indice, int maximo) throws Exception {

String[] fields = {"tituloOriginal", "subtitulos.subtitulo", "livrosAutores.autor.nome",

"livroEditoraCidade.editora.editora", "assuntosDedalus"};

MultiFieldQueryParser parser = new MultiFieldQueryParser(fields, new StopAnalyzer());

org.apache.lucene.search.Query luceneQuery = null;

try {

luceneQuery = parser.parse(termo);

} catch (ParseException e) {

e.printStackTrace();

}

org.hibernate.search.FullTextQuery fullTextQuery =

fullTextSession.createFullTextQuery( luceneQuery , Livro.class);

return ajustaPaginacao(session, indice, maximo);

}







try {




}




}


Query

Termo







try {




}




}


Query

Termo Parâmetros



String[] fields = {"tituloOriginal", "subtitulos.subtitulo", "livrosAutores.autor.nome ", "livroEditoraCidade.editora.editora", "assuntosDedalus"};



try {




}




}


Query

Termo Parâmetros Fields






try {




}




}


Lucene

StopAnalyser

Query





MultiFieldQueryParser parser = new MultiFieldQueryParser(fields, newStopAnalyzer());org.apache.lucene.search.Query luceneQuery = null;

try {




}




}


Lucene

MultiFieldQueryParserStopAnalyser

Query







try {




}org.hibernate.search.FullTextQuery fullTextQuery =



}


Lucene

MultiFieldQueryParserStopAnalyser Query

Query







try {




}


fullTextSession.createFullTextQuery( luceneQuery , Livro.class);return ajustaPaginacao(session, indice, maximo);

}


Lucene


Hibernate Search

FullTextQuery

Query







try {




}



return ajustaPaginacao(session, indice, maximo);}


Lucene


Hibernate Search

FullTextQuery

Query


Livros

Score

Lucene - Score

• É uma combinação do Modelo de Espaço Vetorial e doModelo Booleano.

• O score de uma query q para um documento d correlaciona à distância do coseno ou ao produto escalar entre vetores de documentos e queries no Modelo de Espaço Vetorial.

dt

dt,normgetBoostttidfdttfdq,queryNormdq,coord=dq,scorein

2.in

Fórmula:

Lucene - Score

tf(t in d): term frequencyO número de vezes que o termo t ocorre no documento d

idf(t in d): inverse document frequencyO número de documentos que contêm o termo t

coord(q, d): fatorbaseado na quantidade de termos da query q que são encontrados no documento d

queryNorm(q, d): fator de normalizaçãousada para permitir a comparação entre os scores das queries

t.getBoost():atribui peso para o termo t na query q em tempo de busca

norm(t, d):encapsula alguns fatores de boost em tempo de indexação

dt

dt,normgetBoostttidfdq,queryNormdq,coord=dq,scorein

2.d in ttf

Lucene - Score







dt

dt,normgetBoosttdttfdq,queryNormdq,coord=dq,scorein

.in 2tidf

Lucene - Score







dt

dt,normgetBoostttidfdttfdq,queryNorm=dq,scorein

2.in dq,coord

Lucene - Score







dt

dt,normgetBoostttidfdttfdq,coord=dq,scorein

2.in dq,queryNorm

Lucene - Score







dt

dt,normtidfdttfdq,queryNormdq,coord=dq,scorein

2in t.getBoost

Lucene - Score







dt

getBoostttidfdttfdq,queryNormdq,coord=dq,scorein

2.in dt,norm

Lucene - Score

Query: Information RetrievalResultado: Information analysis and retrieval4.734231 = (MATCH) sum of:1.9067632 = (MATCH) weight(tituloOriginal:information in 2099), product of:0.6346345 = queryWeight(tituloOriginal:information), product of:

6.009012 = idf(docFreq=36, numDocs=5541)‏0.105613776 = queryNorm

3.004506 = (MATCH) fieldWeight(tituloOriginal:information in 2099), product of:1.0 = tf(termFreq(tituloOriginal:information)=1)‏6.009012 = idf(docFreq=36, numDocs=5541)‏0.5 = fieldNorm(field=tituloOriginal, doc=2099)‏

2.8274677 = (MATCH) weight(tituloOriginal:retrieval in 2099), product of:0.7728124 = queryWeight(tituloOriginal:retrieval), product of:

7.317345 = idf(docFreq=9, numDocs=5541)‏0.105613776 = queryNorm

3.6586726 = (MATCH) fieldWeight(tituloOriginal:retrieval in 2099), product of:1.0 = tf(termFreq(tituloOriginal:retrieval)=1)‏7.317345 = idf(docFreq=9, numDocs=5541)‏0.5 = fieldNorm(field=tituloOriginal, doc=2099)‏

Lucene - Score

Score4.734231

Weight

Information

1.9067632

Weight

Retrieval

2.8274677

Query: tituloOriginal: Information RetrievalResultado: Information analysis and retrieval

Lucene - Score

Weight

1.9067632

queryWeight

0.6346345

Idf

6.009012

queryNorm

0.105613776

fieldWeight

3.004506

Idf

6.009012

Tf

1.0

fieldNorm

0.5

Information

Lucene - Score

Information Retrieval

Score Weight QueryWeight

Field Weight

Weight QueryWeight

Field Weight

R1 4.734231 1.9067632 0.6346345 3.004506 2.8274677 0.7728124 3.6586726

R2 3.550673 1.4300724 0.6346345 2.2533796 2.1206007 0.7728124 2.7440045

R3 1.4137338 2.8274677 0.7728124 3.6586726

Query: Information RetrievalR1: Information analysis and retrievalR2: Information storage and retrieval: tools, elements, theoriesR3: The SMART retrieval system

Resultados

Resultados

Query: assunto:banco de dados AND titulo:database*

Livros encontrados: 125 livros

Hibernate sem indexação:

media: 89 ms

Hibernate com indexação:

media: 13 ms

Resultados

Query: assunto:matematica*

Livros encontrados: 4763 livros

Hibernate sem indexação:

media: 730 ms

Hibernate com indexação:

media: 265 ms

Documents

Integrando recuperação de informação em banco …Integrando recuperação de informação em banco de dados com Hibernate Search Alunos Gustavo Kendi Tsuji Leonardo Tadashi Kamaura