1. Oficina TcnicadaInfraestrutura Nacional de Dados Abertos - INDANitai Bezerra da Silva Braslia, 20 de setembro de 2012

2. http://br.okfn.org/2012/05/10/novo-portal-dados-gov-br-feito-pela-sociedade/ 3. Agenda O que a INDA Catalogando dados Arquiteturas para publicao Outros portais com CKANde dados Colheita de Metadados Formatos de arquivos (Harvesting) Caso: API do Siconv DataStore Web, REST APIs, etc.. Linked Data Aplicativos e Mashups Desenho de URIs Arquitetura lgica da INDA As 5 estrelas dos Dados Abertos Portal dados.gov.br Metadados 4. Infraestrutura Nacional de Dados AbertosObjetivos:Proporcionar aos cidados, e ao governo , um ponto de acesso central aos dados pblicos,disponvel na web.Coordenar e orientar a padronizao no ciclo de vida da informao, em especial nomomento de sua publicao na web .Incentivar a agregao de valor aos dados pblicos e a colaborao com o cidado naimplementao de novos servios sociedade.Ser uma iniciativa sustentvel de Dados Abertos.Para isso:Conjunto de padres, tecnologias, procedimentos e mecanismos de controle necessrios parase publicar dados abertos governamentais, visando seu reuso no s pela sociedade maspelo prprio governo. http://wiki.gtinda.ibge.gov.br/ 5. Arquiteturas de Publicao de Dados Requisitos As 3 leis e os 8 princpios! http://dados.gov.br/dados-abertos/ Tipos de publicao Arquivo isolado, resultado de pesquisa oulevantamento Avaliaes, balanos, levantamentos recorrentes(semanal, mensal, trimestral) Publicaes em tempo real (diria,"instantnea,....) 6. Publicao manual Os dados so coletados, transformados epublicados num processo manual Sistematizar no vale a pena! (?) O processo manual confivel? (!) Exemplo: Balano do PAC, quadrimestralhttp://dados.gov.br/dataset/obras-do-pac-programa-de-aceleracao-do-crescimento 7. Publicao automatizada (1) fonte: http://www.peterkrantz.com/2012/publishing-open-data-api-design/ 8. Publicao automatizada (2) Questes levantadas por PeterKrantz: Voc realmente precisa deuma API? Sua infraestrutura estpreparada? Torne fcil queempreendedores tenham osdados mais novos Tenha liberdade datecnologia. No quebreURLs... fonte: http://www.peterkrantz.com/2012/publishing-open-data-api-design/ 9. Publicao automatizada (3) Sistema em produo isolado Mais seguro Maior disponibilidade Esquema de dadossimplificado Autenticidade (gov.br) custo ~ benefcio? 10. Formatos de arquivos Requisito Formato no proprietrioCSV DOCMBD Other Geo Spreadsheets WSXLS ECWMDB PGDBSQLWSDLXML EXEMetastock PNG TIFF XHTMLPDF Geo RSSMicro Station Design PortalTMXXLS zip+HTMLGeo TIFF N3PPT TSVAPIJSONGMLOAI-PMH RAW Turtle ASCIIKML GPXODF RDFaTXT+ Zip AutreXLSXJPGODS RDF- XMLURLCIDRRDF JS ODT RESTWEBCSV+ZipSHP KMZOmega RTF WebpageDatastreamRSS MapinfoOnline Database SOAPWFSDBFTXT MathlabopenDataXML SPARQLWMSXML-ATOM-RSSXSD YAML Zip zip+sasfonte: neeta neeta@nic.in 11. Formatos de arquivos Qual o melhor? Depende dos seus dados, e da situao! Algumas orientaes: Preferir JSON XML Preferir CSV ODS Escolha um formato estvel e de amplo uso Se possvel, publique em mais de um formato 12. Formatos de arquivos Mais orientaes: Desaconselhamos compactar os arquivos Pesquise pelos formatos com mais audincia Para dados geogrficos, conhea a INDE Infraestrutura Nacional de Dados Abertos http://inde.gov.br/ Sonhe com o RDF!! Para mais detalhes: Cartilha tcnica para publicao de dados abertoshttp://dados.gov.br/cartilha-publicacao-dados-abertos/ 13. Caso: API do SICONV SICONV: Sistema que administra os convniosentre APF, estados, municpios, DF e EPSFL. A API est em fase beta Requisitos: Dados em tempo real Replicao dos dados da produo Web Service REST JSON, CSV, XML, ... e HTML 14. Caso: API do SICONV Endereo: http://api.convenios.gov.br Bonito n?! Outras tecnologias: Princpios REST CORS - Cross-origin resource sharing HATEOAS Exemplo de consulta: http://api.convenios.gov.br/siconv/dados/orgao/54000 15. Web, REST APIs, etc..Web != Internet 16. Web, REST APIs, etc.. (2) Internet = infraestrutura, um amontoado decomputadores, redes e cabos Web = HTTP (hypertext transfer protocol) Documentos Hiperlinks URLs Aprenda os fundamentos e faa melhor uso daWeb 17. Web, REST APIs, etc.. (3) REST - Representational State Transfer Alguns princpios Separao do Cliente e do Servidor Sem estado (stateless) Cachevel Sistemas em camadas Recursos pedao especfico de informao (URI) Esquea SOAP Seja RESTful 18. Web, REST APIs, etc.. (4) HATEOAS - Hypermedia as the engine of applicationstate O princpio de que o cliente interage com aaplicao estritamente atravs das hipermdiasprovidas pelo servidor de aplicao. Possibilita um maior desacoplamento servidor-cliente Exemplo: navegue emhttp://api.convenios.gov.br/siconv/doc/metodos.html Consulte no google: dados abertos novo hamburgo 19. Aplicativos e Mashups http://dados.gov.br/aplicativos 20. Experimento1. Baixe os dados do PAC no portal dados.gov.br2. Abra no LibreOffice e faa a converso do tipo geogrfico =CONCATENAR(SE(DIREITA(TIRAR(O2);1)="S";"-";"");EXT.TEXTO(O2;1;PROCURAR("";O2;1)-1)+ (EXT.TEXTO(O2;PROCURAR("";O2;1)+1;PROCURAR("";O2;1)-PROCURAR("";O2;1)- 1)/60)+CONCATENAR((EXT.TEXTO(O2;PROCURAR("";O2;1)+1;PROCURAR(".";O2;1)-PROCURAR("";O2;1)- 1));",";EXT.TEXTO(O2;PROCURAR(".";O2;1)+1;PROCURAR(CARACT(34);O2;1)-PROCURAR(".";O2;1)- 1))*1/3600)*13. Suba os dados para o Google Fusion Tables4. Mais 2 cliques e ...Passos: https://groups.google.com/forum/?fromgroups=#!topic/thackday/uJisBSNNgkU 21. Arquitetura lgica da INDA A INDA est fundamentada na Web a unio dos dados publicado emtodos os rgos O portal um buscador O portal armazena osmetadados Cada rgo responsvel pelos seusdados 22. Portal Brasileiro de Dados Abertos dados.gov.brUtilizamos o CKAN Outras tecnologias Software Livre Diazo especializado Varnish Modelo flexvel e HG Mercurial extensvel SolrIntegrao com CMS PortgreSQL Wordpress ApacheVCGE para organizarassuntos Python 23. Portal Brasileiro de Dados Abertos dados.gov.br um catlogo Guarda metadados Conceitos bsicos: Conjuntos de dados Recursos Grupos Etiquetas, licena, ... 24. CKAN Caractersticas: Sistema de catlogo de busca de dados API para busca e insero Plugins para integrao com CMSs (Drupal e WP) Visualizao de dados e analytics Workflow permite orgos administrarem seusdados Storage de dados integrado Possibilita federao de catlogos 25. Metadados - catalogao Dados sobre os dados Descrevem o conjunto de dados Cobertura, descrio, provenincia, extrao, etc.. teis na classificao e indexao dos dados o corao do catlogo Metadados: Mnimos (obrigatrios) Extras (desejveis) 26. Metadados - catalogao Mnimos: Extras: Ttulo Etiquetas Descrio Autoria Catlogo de origem Cobertura geogrfica e rgo responsveltemporal Assuntos do VCGE Granularidade geogrfica e temporal Formato de arquivo Atualidade Referncias Ontologia/vocabulrio ... http://dados.gov.br/cartilha-publicacao-dados-abertos/ 27. Catalogando dados (exemplo)http://treino.dados.gov.br Dados? Sries estatsticas no IBGE sobre educao http://seriesestatisticas.ibge.gov.br/lista_tema.aspx?op=0&no=4 28. Catalogao pela API CKAN prov uma API para administrao Documentao: http://docs.ckan.org/en/latest/api.html 29. Portais com CKAN Senado, Reino Unido, Buenos Aires, ...Mais: http://ckan.org/2012/07/31/new-ckan-data-portals/ 30. Colheita de metadados - Harvesting Plugin que possibilita federao dos dados Replica os metadados entre catlogos Cada estado e municpio pode ter um portal dedados abertos dados.rs.gov.br? dados.pe.gov.br? Documentao: https://github.com/okfn/ckanext-harvest 31. DataStore Servio de armazenamento e acesso a dadosestruturados pela web Software que se integra com o CKAN Documentao: http://blog.okfn.org/2012/03/27/introducing-the-datastore/ 32. Linked Data Usar a Web para ligar dados relacionados Expor dados na web Compartilhar esses dados Conectar pedaos de dados, informaes econhecimento Usando: URIs RDF Resource Description Framework 33. Linked Data(2) 34. Linked Data(3) 35. Linked Data (4) Princpios de Linked Data (note de Tim BL): usar URIs como nomes para as coisas; usar URIs do tipo HTTP, para que as pessoaspossam recuperar essas coisas; quando algum recuperar uma URI, fornecerinformaes teis, usando os padres; inclua links para outras URIs, para que as pessoaspossam descobrir mais coisas [relacionadas] http://www.w3.org/DesignIssues/LinkedData.html 36. Desenho de URIs Dar nome s coisas na Web Nomear coisas concretas ou abstratas http://education.data.gov.uk/id/school/123065 http://reference.data.gov.uk/def/central-government/PermanentSecretary Objetivos Nome nico Ser persistente por muito tempo Ser pequeno e legvel por humanos Incorporar identificadores j em uso 37. Desenho de URIs(2) fonte:http://data.gov.uk/resources/uris 38. Desenho de URIs(3) TemplatesFonte: http://www.cabinetoffice.gov.uk/sites/default/files/resources/designing-URI-sets-uk-public-sector.pdf 39. As 5 estrelas dos Dados Abertos http://5stardata.info/ 40. contato@dados.gov.br @dadosgovbr