2006-02-09

Universidade do Minho

XA

TA’0

6 B

iblio

teca

s e

Arq

uivo

s D

igita

is

Miguel Ferreiramferreira@dsi.uminho.pt

Ana Alice Baptistaanalice@dsi.uminho.pt

José Carlos Ramalhojcr@di.uminho.pt

CRIB: A Service Oriented Architecture for Digital

Preservation Outsourcing

Universidade do Minho

2

XA

TA’0

6 B

iblio

teca

s e

Arq

uivo

s D

igita

isConteúdo

• Vantagens dos Repositórios Digitais

• Limitações dos actuais Repositórios Digitais

• Estratégias de preservação baseadas em Migração

• Introdução ao sistema CRiB• Conclusões

Universidade do Minho

3

XA

TA’0

6 B

iblio

teca

s e

Arq

uivo

s D

igita

isVantagens dos Repositórios Digitais

• Grande volume de informação digital

• Aumento exponencial do número de repositórios digitais

• Economia de espaço físico de armazenamento

• Facilidade de disseminação dos materiais

• Tecnologia económica – e.g. DSpace, Eprints, Fedora, Greenstone, etc.

• Impossibilidade de armazenar determinados materiais por meios analógicos (e.g. sítios Web, modelos 3D)

Universidade do Minho

4

XA

TA’0

6 B

iblio

teca

s e

Arq

uivo

s D

igita

isNúmero de Repositórios Institucionais

Universidade do Minho

5

XA

TA’0

6 B

iblio

teca

s e

Arq

uivo

s D

igita

isLimitações dos Repositórios Digitais

• Muito bons a arquivar e disseminar materiais digitais

• Pobres no que toca à preservação dos materiais– Não vão para além da normalização de

formatos durante a ingestão de material– Pouca preocupação com a autenticidade

e valor probatório dos materiais– Custos de preservação geralmente

elevados

Universidade do Minho

6

XA

TA’0

6 B

iblio

teca

s e

Arq

uivo

s D

igita

isPreservação Digital

• Preservação digital– Conjunto de actividades responsáveis por

garantir o acesso continuado à informação existente em formatos digitais

• Objecto digital– Todo o objecto de informação que possa

ser representado por uma sequência de dígitos binários (bit stream)

– Documentos de texto, fotografias digitais, gráficos vectoriais, bases de dados, páginas Web, software

Universidade do Minho

7

XA

TA’0

6 B

iblio

teca

s e

Arq

uivo

s D

igita

is

Estratégias de preservação digital

• Emulação– Software capaz de reproduzir o

comportamento de uma plataforma de hardware e/ou software

• Encapsulamento– Conservação junto do objecto digital de toda

a informação necessária à sua interpretação

– Conversores, visualizadores ou emuladores

• Migração– Transferência periódica de material

digital de uma configuração de hardware/software para uma outra

Universidade do Minho

8

XA

TA’0

6 B

iblio

teca

s e

Arq

uivo

s D

igita

isMigração distribuída

• Rede distribuída de serviços de conversão

• Vantagens– Independente da plataforma– Redundância– Múltiplos caminhos de migração– Redução de custos

• Desvantagens– Largura de banda

• Exemplos– PANIC– MyMorph (NLMed)– TOM Format

B

FormatC

FormatD

FormatE

FormatA

ConversionA-C

ConversionB-C

ConversionC-E

ConversionA-E

Universidade do Minho

9

XA

TA’0

6 B

iblio

teca

s e

Arq

uivo

s D

igita

isQual a melhor estratégia?

• Múltiplas alternativas existentes

• Falta de aceitação universal• Depende dos requisitos

individuais de cada organização– Satisfação da comunidade de

interesse– Características da colecção– Orçamento disponível

Universidade do Minho

10

XA

TA’0

6 B

iblio

teca

s e

Arq

uivo

s D

igita

isCRiB: uma proposta!

• Extensão às actuais redes de conversão

• Arquitectura Orientada ao Serviço (SOA) suportada por Web Services

• Permite aos actuais repositórios:– Realizar migrações de formatos– Determinar a quantidade de informação

perdida numa migração– Documentar a intervenção de

preservação– Obter sugestões de alternativas de

migração adequadas ao problema de preservação em causa

Universidade do Minho

11

XA

TA’0

6 B

iblio

teca

s e

Arq

uivo

s D

igita

isArquitectura geral

Universidade do Minho

12

XA

TA’0

6 B

iblio

teca

s e

Arq

uivo

s D

igita

isA arquitectura detalhada

Universidade do Minho

13

XA

TA’0

6 B

iblio

teca

s e

Arq

uivo

s D

igita

isMetaconverter

• Interface entre o cliente e o sistema CRiB– Trata-se de um Web service

• Geração e gestão de mensagens no interior do sistema

Business layer

Metaconverter

Migration Advisor

Object Evaluator

Format Evaluator

ServiceRegistry

MigrationBroker

Application layer

Digital repositoriesCustom applications

Web client DSpaceRich client Fedora Eprints

Individual Archive

Universidade do Minho

14

XA

TA’0

6 B

iblio

teca

s e

Arq

uivo

s D

igita

isService Registry

• Gestão de metainformação de suporte à descoberta de serviços

• Baseado na norma UDDI– Service, Business, Binding templates

• Elementos adicionais– Formatos de partida/chegada (PRONOM)– Custo de utilização

Business layer

Metaconverter

Migration Advisor

Object Evaluator

Format Evaluator

ServiceRegistry

MigrationBroker

Universidade do Minho

15

XA

TA’0

6 B

iblio

teca

s e

Arq

uivo

s D

igita

isMigration Broker

Business layer

Metaconverter

Migration Advisor

Object Evaluator

Format Evaluator

ServiceRegistry

MigrationBroker

• Responsável pela invocação de serviços de conversão

• Medição da performance de cada serviço de conversão:– Disponibilidade– Estabilidade– Escalabilidade– Débito

Universidade do Minho

16

XA

TA’0

6 B

iblio

teca

s e

Arq

uivo

s D

igita

isObject Evaluator

Business layer

Metaconverter

Migration Advisor

Object Evaluator

Format Evaluator

ServiceRegistry

MigrationBroker

• Determina a quantidade de informação perdida na migração

• Múltiplos critérios de avaliação / propriedades significativas– Conteúdo textual, dimensões da página, nº de

páginas, layout gráfico, tamanho da fonte, etc.• Emissão de relatórios baseados no

PREMIS Data Dictionary (Event entity):– Data e hora da intervenção– Descrição dos agentes envolvidos– Tipo de evento (e.g. migração)– Resultado da intervenção

Universidade do Minho

17

XA

TA’0

6 B

iblio

teca

s e

Arq

uivo

s D

igita

isFormat Evaluator

• Informa o sistema sobre o estado dos formatos digitais– Cota de mercado– Nível de suporte– Especificação aberta?– Etc…

• Fontes de informação– Base de dados com factos sobre

formatos– Fontes dinâmicas de informação

• PRONOM Registry• Google Web APIs

Business layer

Metaconverter

Migration Advisor

Object Evaluator

Format Evaluator

ServiceRegistry

MigrationBroker

Universidade do Minho

18

XA

TA’0

6 B

iblio

teca

s e

Arq

uivo

s D

igita

isMigration Advisor

Business layer

Metaconverter

Migration Advisor

Object Evaluator

Format Evaluator

ServiceRegistry

MigrationBroker

• Geração de sugestões de alternativas de migração

• Combina os requisitos de cada organização cliente…– Pesos atribuídos a cada propriedade significativa

• …com o conhecimento acumulado sobre a qualidade de cada conversor– Performance– Perda de informação associada– Estado de cada formato

Universidade do Minho

19

XA

TA’0

6 B

iblio

teca

s e

Arq

uivo

s D

igita

isCálculo de sugestões

User

Migration Advisor

Weights

30%30%40%

40%30%0%

20%10%40%40%20%

(1) Average evaluations per

service

(2) User assigned

weights of importance

(3) Normalised evaluations

[1-5]

1.61.61

22

0.40.61.52

1.21.20.4

21.50

21.50

0.2 10.5 0.1

WS1 WS2

x =

(5)Overall rating

12.5 11.8

70%60%80%

95%85%20%

30%5

yes

70%4

no

95%80%

1

90%90%1.5

1 Kb/s 2 Kb/s0.01 € 0.05 €

WS1 WS2

Obj

ect

Evaluation criteria

Market shareSupport levelOpen standardFo

rmat

AvailabilityStabilityScalabilityThroughputCost

Pro

cess

Number of charsOrdering of charsPage layout

445

552

255

441

551

555

1 55 1

WS1 WS2

(4)Ranking process

Weights

0.30.30.4

0.40.30

0.20.10.40.40.2

Format Evaluator

Evaluations Repository

Object Evaluator

MigrationBroker

Universidade do Minho

20

XA

TA’0

6 B

iblio

teca

s e

Arq

uivo

s D

igita

isConclusões (1/2)

• Plataforma de avaliação, recomendação e selecção de alternativas de migração

• Prestação de serviços de conversão• Avaliação de resultados de

conversões• Produção de relatórios para anexação

à metainformação de preservação– Documentação da intervenção– Autenticidade

• Redução de custos– Sugestão de alternativas de migração– Avaliação automática das intervenções de

preservação

Universidade do Minho

21

XA

TA’0

6 B

iblio

teca

s e

Arq

uivo

s D

igita

isConclusões (2/2)

• Extensível através da utilização de novos serviços de conversão e avaliação

• Publicação e venda de serviços de conversão

• Benchmarking de conversores• Partilha de experiências

práticas de utilização de normas recém-criadas (e.g. PREMIS)