Embed Size (px)
Citation preview
1Labora tory for A dvanc ed
C ollabora tion
L A C
5.1 – Ferramentas para public aç ão de dados
Karin BreitmanJosé Viterbo
Edgard MarxPercy Salas
Publicação de Dados Governamentais no Padrão Linked Data
2
Triplify
3
R equerimentos S oftw are
• Lic enç a– GNU Lesser General Public License.
• R equis itos• Web S erver
– Apache (recomendado)– IIS
• PHP (ready) , Ruby/Python (dev)• B anc o de Dados
– MyS QL, S QLite, Oracle, DB2, MS S QLPostgreS QL
4
Triplify• Objetivo
“Expor a semântica disponível em RDBMS de uma forma simples”.
• O que éUm “plugin” para aplicações Web PHP, Ruby/Python (dev).
• O que fazDisponibiliza os dados de BD’s relacionais em triplas.
• O que g era Arquivos RDF, JS ON e Linked Data
5
Triplify : C onfig uraç ão
• Consultas SQL selecionando a informação, que gostariam que seja disponível publicamente (Open Data)
S ELECT id, name AS ‘foaf:name’ FROM users
6
Triplify : E s trutura S QL Query
• Primeira coluna dever conter identificadores para serem utilizados para gerar URI’s das Instâncias
Select id, name AS ‘foaf:name’ FROM users
• Nome das colunas utilizados para gerar as propriedades renomeando as colunas da tabela
Select id, name AS ‘foaf:name’ FROM users
Pode-se utilizar propriedades de vocabulários existentes: FOAF, SIOC …
7
Triplify : E s trutura S QL Query
• Consultas devem retornar valores literais ou referencias para outras instancias
8
Triplify : E xemploLOC ADOR A
$triplify['objectProperties']=array('customer'=>
"select customer_id as id,concat(concat(first_name,' '),last_name) as 'foaf:name’,first_name as 'foaf:firstName’,last_name as 'foaf:surname’,store_id as 'customerOf’,SHA(email) as 'foaf:mbox_sha1sum’,address_id as 'liveAt’,create_date as 'dcterms:created’from customer”, … )
$triplify['objectProperties']=array(
'sioc:address'=>'address’,'customerOf'=>'store’,'liveAt'=>'address’…
);
$triplify['classMap']=array( 'customer'=>'foaf:Person’, 'store'=>'gr:LocationOfSales’, 'address'=>'vcard:Address');
9
Triplify : Integ raç ão em Apps . Web
• Acrescentar o diretório do Triplify a raiz da aplicação.
• Definir consultas SQL e ajustar o arquivo de configuração.
• Possibilitar o acesso direto ao banco de dados relacional através:
– Objeto PDO.– Driver de conexão Mysql.– Utilizar um outro framework para
abstração de base de dados (ODBC).
10
D2R Q e D2R S erver
11
R equerimentos S oftw are
• Licença– GNU General Public License
• Requerimentos• Java 1.4 ou pos terior
• B anc o de Dados– MyS QL, Oracle, MS S QL
PostgreS QL e ODBC (não automática).
12
D2R Q e D2R S erver : Introduç ão
• Objetivo“Permitir que aplicações consigam ter uma RDF-view em um banco de dados non-RDF”.
• O que éPlataforma desenvolvida em Java para publicação de dados de BD em grafo RDF (on-the-fly)
• O que gera RDF/XML (default), RDF/XML-ABBREV, N3, N-TRIPLE.
• Quais BD’s SuportaOracle, MySQL, PostgresSQL, Microsoft SQL Server, fontes de dados ODBC (sem geração automática).
13
D2R Q e D2R S erver : Introduç ão
• O que Permite– Mapeamento do BD para grafo virtual
RDF– Consultas: linguagem SPARQL– RDF dumps– Acessar a informação do BD como
Linked Data sobre a Web.
14
D2R Q
• D2R Q M apping Lang uag eLinguagem declarativa que descreve o mapeamento.
• D2R S erverservidor HTTP que fornece uma visão Linked Data e permite consultas SPARQL.– Tool que usa o D2RQ mapping para mapear o
conteúdo do BD• D2R Q E ng ine
plug-in para Jena e Sesame Semantic Web toolkits.
15
Arquitetura da pla ta forma D2R Q
16
D2R Q : Tipos de M apeamento [1]
• Automátic oCria um arquivo de mapeamento default analisando o esquema do BD .
• Tabela = Classes;• Colunas = Propriedades;
generate-mapping [-u username] [-p password] [-d driverclass] [-o outfile.n3] [-b base uri] jdbcURL
generate-mapping -o mapping .n3 -d driver.class.name -u db-user -p db-password jdbc:url:... E xemplo
17
D2R Q : Tipos de M apeamento [2]
• C us tomizadoM odificar o arquivo gerado pelo ”gerenate-mapping”
Utilizar vocabulários conhecidos– foaf, sioc, dc, goodrelations, etc.
18
D2R Q : M apeamento C us tomizado
M odificando o arquivo mapping .n32. Definir c onexão ao B D
map:MyDatabase a d2rq:Database;
d2rq:jdbcDS N "jdbc:mysql://localhost/mydb";
d2rq:jdbcDriver "com.mysql.jdbc.Driver";
d2rq:username "user";
d2rq:password "password".
3. Definir a s entidadesmap:People a d2rq:C lassMap;
d2rq:uriPattern “http://.../people/@ @ User.ID@ @ ”.
d2rq:condition “User.deleted=0”.
19
1. Adicionar propriedades para as entidades
map:People a d2rq:C lassMap;d2rq:uriPattern “http://.../people/@ @ User.ID@ @ ”;d2rq:condition “User.deleted=0”;d2rq:class foaf:Person .
(C lassMap)
map:People a d2rq:C lassMap .map:name a d2rq:PropertyBridge;d2rq:belongsToClassMap map:People;d2rq:property foaf:nick;d2rq:column “User.name”.
D2R Q : M apeamento C us tomizado
S
P
(D ata Properties)
O
20
1. Adicionar propriedades para as entidades
map:People a d2rq:C lassMap;d2rq:uriPattern “http://.../people/@ @ User.ID@ @ ”;d2rq:condition “User.deleted=0”;d2rq:class foaf:Person .
(C lassMap)
map:mbox_sha1 a d2rq:PropertyBridge;d2rq:belongsToClassMap map:People;d2rq:property foaf:mbox_sha1sum;d2rq:sqlExpression“S HA1(CONCAT(‘mailto:’, User.email))”.
D2R Q : M apeamento C us tomizado
(D ata Properties)
S
P
O
21
D2R Q : M apeamento C us tomizado
1. Link as entidadesmap:Photos a d2rq:C lassMap;d2rq:uriPattern “http://.../photo/@ @ Photo.ID@ @ ”;d2rq:class foaf:Image .
map:photo a d2rq:PropertyBridge;d2rq:belongsToClassMap map:People;d2rq:property foaf:made;d2rq:uriPattern “http://.../photo/@ @ Photo.UserID@ @ ”.
(Photo.UserID is a foreign key to User.ID)
map:photo a d2rq:PropertyBridge;d2rq:belongsToClassMap map:People;d2rq:property foaf:made;d2rq:join “User.ID = Photo.UserID”;d2rq:refersToClassMap map:Photos . (Object Properties)
22
D2R S erver : S ta rt the s erver
• Uma vez que temos o arquivo de mapeamento mapping .n3 executamos o seguinte comando
d2r-server mapping.n3
• Agora podemos navegar sobre o grafo RDF, atraves do servidor D2R- Server
http://localhost:2020/
23
24
OpenLink V irtuos o R DF V iew s
General Public License e Proprietario
25
V irtuos o R DF V iew s : Introduç ão
• Objetivo“Converter dinamicamente dados relacionais em RDF e expô-lo no Virtuoso-hosted S PARQL endpoint.”.
• O que éVirtuoso RDF Views mapea dados relacionais em RDF e permite que a representação do RDF possa ser personalizada.
• O que g era RDF/XML. (Quad S torage)
• Qua is B D’s S uportaOracle, MS S erver, DB2, Informix, Progress, MyS QL, Ingres, Firebird, PostgreS QL e ODBC ou JDBC accesiveis RDBMS .
26
@prefix peo: <http://localhost:8890/rdfv_demo/schemas/peoplet#> .
peo:People a rdfs:Class ; rdfs:label ”People" ; rdfs:comment "An OpenLink People" .
V irtuos o R DF V iew s : M apeamento [1]
• Definição de cada tabela em classes RDFS IRI
foa f:name a rdf:Property ;
rdfs:domain peo:People ;
rdfs:range xsd:string;
rdfs:label ”people name" .
ClassMap
Properties
foa f:made a rdf:Property ;
rdfs:domain peo:People ;
rdfs:range ; photo:Photo
rdfs:label ”photo id" .Data Properties Object Properties
27
V irtuos o R DF V iew s : M apeamento [2]
• Construir Subject IRI’s para cada classe utilizando as chaves primarias de cada tabela
sparqlprefix peo: <http://localhost:8890/rdfv_demo/schemas/people#>create iri class peo:us er_iri "http://localhost:8890/rdfv_demo/testdata/people#%s" (in user_id varchar not null) .
peo:us er_iri a rdf:Property ;
rdfs:domain peo:People ;
rdfs:range xsd:string;
rdfs:label ”people id" .
28
V irtuos o R DF V iew s : M apeamento [3]
• Construir Predicados IRI’s para cada classe utilizando o resto de colunas de cada tabelasparqlprefix qs: <http://localhost:8890/rdfv_demo/quad_storage/>prefix peo: <http://localhost:8890/rdfv_demo/schemas/people#>prefix pho: <http://localhost:8890/rdfv_demo/schemas/photos#>
c reate quad s torag e qs:default from OPLWEB.DBA.PEOPLE as people_tbl from OPLWEB.DBA.PHOTOS as photos_tbl{ create qs:people as graph <http://localhost:8890/rdfv_demo/testdata/people#> { peo:user_iri(people_tbl.U S E R _ID ) a peo:People as qs:people_People ; foaf:name people_tbl.N AM E as qs:people_peopleName ;} .
29
Triplify D2R S erver V irtuos o R DF V iew s
Tec nolog ia PHP Java M iddleware S olution
S PAR QL E ndpoint
- S im S im
Ling uag em de M apeamento
SQL RD F based RD F based
G eraç ão de mapeamento
Manual S em i-automático
M anual
E s c a labilidade Media – Alta(Não S PARQL)
M edia Alta
Link: http://esw.w3.org/Rdb2RdfXG/StateOfTheArt
30
Princ ipa is R eferênc ia s• D2RQ, site
http://www4.wiwiss.fu-berlin.de/bizer/d2r-server/#development, Consultado 20/05/10
• W3C Group, site http://esw.w3.org/Rdb2RdfXG/StateOfTheArt, Consultado 21/05/10
• Triplify, site http://triplify.org/Documentation, Consultado 21/05/10
• Mapping Relational Data to RDF with Virtuoso's RDF Views, site http://virtuoso.openlinksw.com/Whitepapers/html/rdf_views/virtuoso_rdf_views_example.html, Consultado 19/05/10
