Tema 4

GESTÃO DE DADOS

2

GESTÃO DE DADOS Neste tema iremos abordar alguns conceitos e

uso práctico de:

• Organização hierárquica de dados• Organização da Informação • Base de dados• Sistema de gestão de bases de dados (Data

Warenhousing e Data Mining)

3

ORGANIZAÇÃO HIERÁRQUICA DE DADOS A apresentação dos dados geralmente é semelhante à de uma

planilha eletrônica. porém os sistemas de gestão de banco de dados possuem

características especiais para o armazenamento: classificação e recuperação dos dados.

Na apresentação de dados é comum que haja uma ligação entre as tabelas de um banco de dados e programas desenvolvidos em linguagens informática, como por exemplo: Delphi, Visual Basic, C++, entre outros.

4

ORGANIZAÇÃO HIERÁRQUICA DE DADOS

A maneira mais prática de classificar bancos de dados é de acordo com a forma que seus dados são vistos pelo usuário, ou seja, seu modelo de dados.

Diversos modelos foram e vem sendo utilizados ao longo da história da Informática, com vantagens e desvantagens nas diversas etapas históricas.

5

ORGANIZAÇÃO HIERÁRQUICA DE DADOS

Actualmente, a classificação mais comum na organização hierárquica de dados obedece 4 modelos básicos:

Modelos Navegacionais, divididos em: Modelo Hierarquico Modelo em redes Modelo relacional Modelo orientado a Objecto

6

ORGANIZAÇÃO HIERÁRQUICA DE DADOS

Porém, outros modelos podem ser citados, incluindo: Modelo de Entidades e Relacionamentos Modelo de lista invertida Modelo Relacional Estendida Modelo Semi-Estruturado.

7

ORGANIZAÇÃO HIERÁRQUICA DE DADOS Historicamente, o modelo de bancos de dados em rede foi o

primeiro a ser implementado; Porém o primeiro produto comercial usava o

modelo de bancos de dados hierárquico, que representa uma versão simplificada do modelo de banco de dados em rede.

Ambos modelos resultaram da busca de solução de usar mais efetivamente os novos dispositivos de memória secundária de acesso direto, que na década de 1960 substituiram os cartões perfurados e as fitas magnéticas, que eram usados nos computadores daquela época.

8

ORGANIZAÇÃO HIERÁRQUICA DE DADOS

O modelo de bancos de dados relacional, surgiu em 1970 e ganhou destaque teórico imediato.

Porém, a implementação deste modelo exigia pesquisas e só na década de 1980 começou a ganhar o mercado,

Este modelo estabilizou-se totalmente como líder do mercado a partir da década de 1990.

9

ORGANIZAÇÃO HIERÁRQUICA DE DADOS

O modelo hierárquico, considera-se um subconjunto particular do modelo de rede, e este limita os relacionamentos a uma estrutura de árvore, ao contrário da estrutura aplicada pelo modelo de rede completo.

10

BANCOS DE DADOS ORIENTADOS A OBJETOS

Na década de 90, o modelo baseado na orientação a objeto foi aplicado também aos bancos de dados, criando um novo modelo de programação conhecido como bancos de dados orientados a objeto. Os objetos são, neste contexto, valores definidos segundo classes, ou tipos de dados complexos, com seus próprios operadores (métodos).

Com o passar do tempo, os sistemas gestores de bancos de dados orientados a objeto e os bancos de dados relacionais baseados na linguagem SQL se aproximaram. Muitos sistemas orientados a objeto são implementados hoje sobre bancos de dados relacionais baseados em linguagem SQL.

11

ORGANIZAÇÃO DA INFORMAÇÃO

As redes de dados transmitem actualmente As redes de dados transmitem actualmente informações complexas em tempo cada vez informações complexas em tempo cada vez mais curto. mais curto.

O processamento digital permite cada vez O processamento digital permite cada vez mais a preservação da qualidade na mais a preservação da qualidade na reprodução de dados e informação para fins reprodução de dados e informação para fins individuais, empresariais, sociais, políticos, individuais, empresariais, sociais, políticos, administrativos, entre outros.administrativos, entre outros.

12

ORGANIZAÇÃO DA INFORMAÇÃO Na base da simplicidade de reprodução de dados,

tem vindo a usar-se actualmente diversos meios para organização e armazenamento da informação, os meios modernos de organização e armazenamento de informação baseiam-se no sistema de:

- voz; - texto; - imagem; - video.

13

ORGANIZAÇÃO DA INFORMAÇÃO

- óptica; - aparelhos com raios laser; e - óptica magnética.

14

ORGANIZAÇÃO DA INFORMAÇÃO Os meio actuais para registo de dados são

preferencialmente: Imaging e PC

A organização de dados e informação é feita na base de: Sistema de dados relacionados; Bancos de dados intercalados; Datawarehousing

15

BANCOS DE DADOS Os Bancos de dados, (ou bases de dados), são

conjuntos de dados com uma estrutura regular que organizam informação.

Geralmente um banco de dados agrupa informações utilizadas para um mesmo fim.

Um Banco de dados é usualmente mantido e acessado por meio de um software conhecido por Sistema Gerenciador de Banco de Dados (SGBD). Normalmente um SGBD adota um modelo de dados, de forma pura, reduzida ou extendida.

Geralmente o termo Banco de dados é usado erradamente como sinônimo de SGDB.

16

BANCOS DE DADOS O termo banco de dados foi criado inicialmente pelos

especialistas de informática, para indicar coleções organizadas de dados armazenados em computadores digitais.

Porém o termo é atualmente usado para indicar tanto bancos de dados digitais como bancos de dados disponíveis de outra forma.

Alguns autores brasileiros usam o termo base de dados quando se trata de outros tipos de bancos de dados senão aqueles armazenados em um computador ou que não estejam armazenados em forma electrónica.

17

BANCOS DE DADOS Na lingage técnica, um banco de dados é uma coleção de

registros gravados num computador dum modo sistemático, de forma que um programa de computador possa consultá-lo e manipular para responder a diversas questões dos usuários.

Um banco de dados é um conjunto de informações com uma estrutura regular. Um banco de dados é normalmente, mas não necessariamente, armazenado em algum formato de digital lido pelo computador.

Há uma grande variedade de bancos de dados, desde simples tabelas armazenadas em um único arquivo até gigantescos bancos de dados com muitos milhões de registros, armazenados em Servidores ou Data Warenhousing.

18

BANCOS DE DADOS Os bancos de dados são utilizados na práctica em

muitas aplicações, abrangendo quase todo o campo de informática.

Os bancos de dados são o método de armazenamento preferencial para aplicações multiusuário, nas quais é necessário haver coordenação entre vários usuários.

Entretanto, são convenientes também para indivíduos, e muitos programas de correio eletrônico e organizadores pessoais, baseiam-se em tecnologias padronizadas de bancos de dados.

19

BANCOS DE DADOS Bancos de dados modernos são usados a partir da década de

1960, e é considerado pioneiro no desenvolvimento das Bases de dados Charles Bachman.

A apresentação dos dados geralmente é semelhante à de uma planilha eletrônica, porém os sistemas de gestão de banco de dados possuem características especiais para o armazenamento, classificação e recuperação dos dados.

É comum que haja uma ligação entre as tabelas de um banco de dados e programas desenvolvidos em linguagens como Delphi, Visual Basic, C++, etc. Nestes casos a apresentação do Banco de dados bem como a navegação, é definida pelo programador ou o designer de aplicações.

20

BANCOS DE DADOS Actualmente a maioria das linguagens de

programação fazem um "link" com bancos de dados, a apresentação destes tem ficado cada vez mais dependente do critério dos meios de programação, fazendo com que os bancos de dados deixem de restringir-se às pesquisas básicas.

Actualmente o uso de bases de dados permite partilha em tempo real de informações, mecanismos de busca inteligentes e permite o acesso aos dados e informação hierarquizada.

21

BANCOS DE DADOS O termo "Aplicativo de Banco de dados"

usualmente se refere a softwares que oferecem uma interface para o banco de dados.

O software que gerencia os dados na base de dados é geralmente chamado de sistema gerenciador de banco de dados.

22

BANCOS DE DADOS Exemplos de aplicativos de banco de dados são:

Microsoft Visual FoxPro Informix Microsofr Access dBase FileMaker (em certa medida) HyperCard MySQL PostgreSQL Microsoft SQL Server e Oracle.

23

DATA WAREHOUSE “ A habilidade de mandar, dirigir e seleccionar

Informação pode chegar a ser uma fonte de poder comparável aos grandes recursos naturais, tecnológicos e económicos.” cit. de Wilbuir Schramm

Em termos de definição, Data Warehouse (armazem de dados) é uma colecção de dados, organizados por assunto, integrados estáveis, históricos, cujo propósito é fornecer suporte à tomada de decisão nas Organizações.

24

DATA WAREHOUSE O conceito de Data Warehouse surgiu da necessidade de

integrar dados corporativos espalhados em diferentes computadores e sistemas operacionais, para torná-los acessíveis a todos os usuários dos níveis decisórios.

Outro factor que contribuiu para o estabelecimento desse conceito foi a evolução das Tecnologias da Informação, particularmente os Sistemas de Apoio à Decisão (DSS).

O Data Warehouse surge como uma solução para suprir as necessidades de informações para o usuário de nível decisório.

25

DATA WAREHOUSE Os sistemas de informação disponíveis nas

Organizações foram concebidos e implantados para atender ao nível operacional, agilizar procedimentos administrativos das organizações, sendo mantidos por áreas estanques e independentes.

Verifica-se que, actualmente, a maioria dos usuários conhece e delimita suas necessidades de informação graças à aprendizagem adquirida nas três últimas décadas de relação com os centros de processamento de dados.

26

DATA WAREHOUSE Actualmente, os níveis gerencial e estratégico passaram a requerer

informações mais trabalhadas, o que provocou uma alteração no perfil da demanda de informações, a qual, actualmente, é identificada pelas seguintes, características essenciais:

Ser flexível, favorecendo a autonomia dos usuários e auxiliando-os nas funções gerências, surgindo assim uma nova demanda por Sistemas de Apoio à Decisão, em complemento às listagens e telas características dos sistemas operacionais;

Ser integrada, de tal forma que os bancos de dados sejam interligados internamente e externamente à organização;

ser útil para a mudança de comportamento da organização e para torná-la mais competitiva;

27

DATA WAREHOUSE Resultar de um processamento mais dinâmico e flexível de identificação

de necessidades, a partir da participação mais atina do usuário final; e Ser mais ágil para atender à necessidade de informações na hora certa.

As necessidades de informações para o nível estratégico da organização são supridas por meio de processamentos ad hoc sobre os dados de nível operacional depositados em fitotecas, arquivos e bases on-line.

No entanto, o acesso aos dados corporativos torna-se difícil. devido à falta de integrarão dessas bases. A carência de uma base de conhecimento única leva os analistas a malabarismos, quando da necessidade de geração de informações para suporte à tomada de decisão, gerando demora na resposta aos usuários.

28

DATA WAREHOUSE Do ponto de vista de projeto de sistemas, as

diferenças entre sistemas para o nível operacional e para suporte à decisão são de várias naturezas, como se pode observar no quadro do slide seguinte:

29

DATA WAREHOUSE

30

DATA WAREHOUSE O quadro do slide anterior mostra que esses ambientes têm

requisitos substancialmente diferentes. Cada um necessita de um projeto de banco de dados com características próprias. Isso tem levado a maioria das organizações, que buscam

diferenciadores competitivos, a considerar fortemente a implementação de enfoques mais recentes para os DSS, consolidando informações corporativas a partir dos dados operacionais, mas em ambientes projetados separadamente.

A solução para o atendimento a essas necessidades converge para a integrarão das diversas bases existentes, para o aperfeiçoamento dos métodos e técnicas de tratamento, agregação de dados e disponibilização de informações.

31

DATA WAREHOUSE Em sistemas do nível operacional. os dados relevantes abrangem,

geralmente, os do mês anterior até o mês actual. Já no ambiente de Data Warehouse, os dados consistem de um snapshot (retrato no tempo) e abrangem períodos de até 10 anos, sendo actualizados periodicamente e não em tempo real.

Toda estrutura de dados no Data Warehouse tem, implícita ou explicitamente, um elemento de tempo como referência, tais como: dia, semana, mês, ano, quase sempre combinado com a identificação do dado.

Os conceitos de paralelismo (de hardware e de software), repositório de dados, centro de informações, análise e modelagem multidimensional, data mining e OLAP - On Line Analytical Processing (processamento analítico), dentre outros, estão em processo de aperfeiçoamento e firmando-se como componentes de um novo ambiente: o de Data Ware house.

32

DATA WAREHOUSE Dentre os aspectos mais importantes do Data Warehouse destacam-se:

1. os dados encontrados dentro das suas fronteiras são integrados. A integrarão acontece de diferentes maneiras: por meio de convenção de nomes, de convenção de domínios e de conversão da estrutura do atributo;

2. a arquitetura de um ambiente de Data Warehouse deve ser composta por ferramentas utilizadas para facilitar a geração de bases a partir dos dados operacionais;

3. os dados operacionais devem ser modelados em um formato fácil para utilização pelo usuário final;

4. o acesso e análise desses dados deve ser fácil; e

5. a possibilidade de escalabilidade do ambiente.

33

DATA WAREHOUSE Pelo fato de os dados do Data Warehouse estarem separados

das bases operacionais, os usuários podem acessá-los, explorando e descobrindo as informações disponíveis sem impacto no processamento operacional.

Nesse caso, os sistemas são orientados por assunto ou temas, enquanto os Sistemas de Processamento de Transações On-Line (OLTP) são historicamente orientados por transações.

A estrutura do Data Warehouse abrange diferentes níveis de sumarização e detalhes, tais como: dados correntes em nível de detalhe, dados históricos em nível de detalhe, baixo nível de sumarização e alto nível de sumarização.

34

DATA WAREHOUSE

Para o sucesso da implementação de Data Warehouse é muito importante incluir a construção de um metadados, que é, simplificadamente, um catálogo com a descrição dos dados que participam no novo ambiente.

O modelo que se segue no próximo slide mostra o modelo de Data Warehouse

35

DATA WAREHOUSE

36

DATA WAREHOUSE Há várias formas de se construir um Data

Warehouse, mas toda implementação envolve trabalho em quatro áreas essenciais:

análise das fontes dos dados; definição da transformação e da integrarão dos

processos necessários para aqueles dados; construção do Data Warehouse propriamente dito e

disponibilização das ferramentas que os usuários empregarão para acessar o Data Warehouse e extrair as informações de que precisam.

37

DATA WAREHOUSE O acesso ao Data Warehouse deve satisfazer duas premissas: os dados solicitados pelo cliente bem como os resultados devem ser

apresentados. levando em consideração o nível de detalhe requerido.O acesso às informações pode ocorrer por muitos caminhos. Os mais comuns são:

Consultas estruturadas parametrizadas; Consultas estruturadas não-parametrizadas; Consultas não-estruturadas, nas quais o usuário pode interagir com as

ferramentas e construir sua própria consulta, fazer análises estatísticas, cruzar informações etc.

38

DATA MINING Data Mining também conhecido por mineração de

dados é processo de descoberta de padrões em grandes volume de dados.

A tecnologia de Data Mining compreende a busca e avaliação na base de hipóteses, visualização e filtragem de dados.

A tecnologia de Data Minig permite, no campo estatístico, a realização de processos, tais como: correlação e regressão e também de forma geral permite o uso de Inteligência artificial, Fuzzy-Logic, Neuro-Informática entre outros.

39

DATA MINING A tecnologia de Data Mining permite ao

utilizador o acesso a diversos dados específicos, que permitem uma análise detalhada, que fornece uma imagem sintética da informação pretendida.

O Processo de Data Mining, compreende as seguintes fases: Escolha de dados numa determinada fonte

específica,

40

DATA MINING Exploração de dados na base do método de

análise, Processamento de dados duma determinada

fonte de informação, Processamento de dados na base do

algorítimo de Data Mining.

41

DATA MINING As diversas versões do Data Mining tais como, PS-

Explore/Mining Tree Tool, podem ser usadas em diversos sectores.

A título de exemplo no sector económico, Data Mining pode apoiar as Actividades de: Marketing na identificação dos mercados com grandes

potencialidades de negócio, Na localização do estabelecimento para negócio, permite

descobrir os factores fundamentais para decisão de distribuição territorial de filiais e sucursais da Empresa,

42

DATA MINING Na procura e decisão sobre o crédito, permite a avaliação

de diversos tipos de créditos e análise das principais vantagens.

Na Internet, Data Mining permite analizar e avaliar os diversos clientes que visitaram a pagina da Intenet da Organização e apoia o negócio de comércio electrónico (e-business).

Data Minig como ferramenta está especializada na localização de dados empresariais, por exemplo armazenados em Data Warehouse.

43