5/2/2008

Sistemas Multimdia IntroduoAndre Zanki Cordenonsi Centro Universitrio Franciscano UNIFRA Verso 1.0 - 2005

Sobrecarga da Informao Falta de padronizao informao (diversidade, sem classificao) (di ersidade mdias (diversidades de digitalizao e formatao) armazenamento (diferentes SGBDs e algoritmos de armazenamento)

Exploso combinatria de ligaes de um n Interface

1

5/2/2008

Sobrecarga da Informao Desorientao Perda de contexto Sobrecarga cognitiva Confiabilidade

Estratgias para Sobrecarga da Informao Viso Sistmica Especializao c/ Viso global Sistemas Indexados SFI (Sistemas de Filtragem da Informao) Sistemas de Recomendao Sistemas de Auxlio a Navegao

2

5/2/2008

Sistemas Indexados Caracterizados como : spiders robots, wanders, crawlers e worms spiders, robots wanders

Exemplos : WebCrawler Lycos AltaVista Infoseek WWWWorm e Cad

Melhorado com Sistemas de Meta Busca

SRI x SFI SRI interesse a curto prazo e SFI interesse a longo prazo baseado no perfil do usurio SRI os hiperdocumentos no fluem freqentemente e SFI tem um fluxo constante de hiperdocumentos SRI encontram informaes relevantes t i f l t e SFI removem informaes irrelevantes

3

5/2/2008

SFI baseados no perfil do usurio Partida fria [Maltz & Ehrlich 1995] Filtragem cooperativa Perfil baseado no comportamento (LyricTime[Loeb 72], NetNews[Sheth & Maes 93], IF-UMT[Mimio &Tasso 96], PUSH[Espinosa & Hk, 96], etc. Modelo de esteretipos (novato, p ( intermedirio, avanado ou especialista) Ex. COACH[Selker 94, Indermauer 95],PebaII[Milosavljevic & Dale 96]

SFI baseado na cooperao Utilizar informaes encontradas por terceiros. Ex.GABS[Wittenburg & al.95], t i E GABS[Witt b l 95] ComMentor[Rsheisen et al. 95], GroupLens[Resnick 94]. Etc. A noo filtragem cooperativa (Tapestry da Xerox [Goldberg 92]) Aval de Especialistas

4

5/2/2008

SFI baseado em agentesConfiabilidade dos agentes Substituio do parecer humano Como evoluir os agentes Subscribe channels Tecnologia Push (Webcasting, Netcasting, PointCast, Marimba, BackWeb) Leitura independente da conexo

Uniformizao de Noes e Conceitos O que INFORMACO ?

5

5/2/2008

Conceito A INFORMAO O MAIS VICIOSO DOS PIGMALEES CONCEITUAIS. CONCEITUAIS H. Von Foerster

O que isto ?

11

6

5/2/2008

INFORMAO Informao = valor

11

INFORMAO Informao = valor + contexto

Diogo tem

11 anos

7

5/2/2008

INFORMAO Informao = valor + contexto + representao t

Diogo tem

112 anos

Informao Diogo tem trs anos. Por questes didticas, foi usado o sistema de didti f i d i t d numerao binria para representar sua idade. Poderia usar outras representaes :3 Trs III

8

5/2/2008

INFORMAO Representao Forma : nmeros arbicos, letras, ... Sistema : decimal, binrio, lingua portuguesa, ....

Tempo e Espao

Antena de Chappe 1793 at 1830 6h horas p/ enviar 25 / i palavras de Paris a Strasbourg +- 500kms 52 pessoas em 52 torres

9

5/2/2008

Treinamento Demorado Palavras e Frases inteiras eram codificadas

Telgrafo bip longo e bip curto Cdi Morse Cdigo M .- = A - = B -.-. = C

10

5/2/2008

Teletipo (TTY) Forma : momento (Com ou Sem corrente) t ) Sistema : Baudot - Murray Cinco momentos Exemplos : A = CCSSS ( - ) --> 11000 = 24 B = CSSCC ( ? ) --> 10011 = 19 C = SCCCS ( : ) --> 01110 = 14

Computador Forma : 0 e 1 Si t Sistema : ASCII (7 Bit ) Bits) Exemplos : A = 1000001 = 65 B = 1000010 = 66 C = 1000011 = 67

Respeita a ordem alfabtica No tem falha na seqncia (EBCDIC tinha)

11

5/2/2008

Dados Multimdia Representar letras,nmeros e caracteres especiais simples. O t i i i l problema representar de forma precisa e econmica sons, imagens, vdeos, etc.

Som Converso nalgica / digital Freqncia (vibraes/seg) : 1Hz = 1 vibr /seg vibr./seg Ouvido : (20Hz,20KHz) Voz : (125Hz,10KHz)

12

5/2/2008

Som Infra som : 0 - 20Hz Ouvido h O id humano : 20 Hz - 20 KH H KHz Ultra som : 20 KHz - 1 GHz Hyper som : 1 GHz - 10THz

Som - Amostra Teorema de Henry Nyquist : para diminuir di i i a perda de qualidade com a d d lid d digitalizao do som se deve ter no mnimo o dobro do mximo da freqncia CD standard 44,1KHz (2x20KHz) , ( )

13

5/2/2008

Som 3 variveis: espao X qualidade freqncia de captura (=taxa de sampling) 11, 22, 44 Khz

tamanho da amostra 8 ou 16 bits

mono X estreo

Pitgoras : Ressonncias harmnicas (1 corda = x Hz 1/2 corda = 2x Hz) e escala musical de Hz, oito notas Efeito mscara : Os sons fortes mascaram os sons fracos de frequncias prximas

Som 1 minuto de udio 11Khz, 8 bits, mono 644 Kbytes 44Khz, 16 bits, estreo 10 Mbytes

Digitalizao de base CD-ROM : 44,1Khz 16bits Rdio FM: 32 Khz 16 bits Rdio AM : 22 KHz 12 bits Telefone : 8 KHz 8 bits

14

5/2/2008

Imagem x Vdeo Uma imagem vale por 1000 palavras Analgico X Digital Movimento natural: 24 fps (quadros/s) Qualidade X Espao Foto 20.000.000 pixels (2100x3240) Televiso SECAM 250.000 pixels (625x400) Vdeo VGA 307.000 pixels (640x480)

Vdeo Variveis fps (15 a 30) tamanho da janela (120 x 160 at 640 x 480) cores (256 at 16 milhes) 8, 16 ou 24 bits/pixel

15

5/2/2008

Digitalizao de Vdeo 10s de vdeo 30 fps, 640 x 480, 16 bits 15 fps, 120 x 160, 8 bits 180 Mb 2.8 Mb

Vdeo Soluo compresso explorar redundncias intra-quadro e entre os quadros Quicktime e Video for Windows codecs: INDEO, CINEPAK, MPEG-1

16

5/2/2008

Componentes do computador stressed Poder de Processamento da CPU : Software de codificao, sistemas de arquivos MM Armazenamento e memria : Alta capacidade, rpido tempo de acesso, alta taxa de transferncia Arquitetura do sistema : alta banda passante nos barramentos, I/O eficiente

Componentes do computador stressed Sistema operacional : suporte para novo ti tipos de dados, real-time d d d l ti scheduling, atendimento rpido das interrupes Redes : alta banda passante, baixa latncia e baixo tempo de espera

17

5/2/2008

Representao de Documentos / Hiperdocumentos ODA / ODIF SGML / SDIF HYPERODA HYTIME HTML HL7

Aspectos Importantes em Documentos/Hiperdocumentos Estruturao Contedo Acesso

18

5/2/2008

Origem dos TermosTextocontedo estruturao

Multimdiaestruturao contedo

Hipertexto

Hipermdia

ORIGEM DOS TERMOSDocumentos ConvencionaisRegras simples de Materializao em Vdeo Acesso passivo

Documentos Eletrnicos

HiperdocumentosRegras complexas de Materializao Acesso interativo/cooperativo Multiestruturas Vrias vises

19

5/2/2008

Documentos Convencionais Estrutura Lgica Estrutura de Apresentao Regras de Materializao / Visualizao Contedo Independente de Estruturas ndices das Referncias Internas / Autocontido

HiperDocumentos Conservam e manipulam com flexibilidade os conceitos dos documentos Mantm hiperestruturas resultantes das referncias internas e externas Podem ser distribudos com a ajuda de hiperestruturas Quebram a seqncialidade dos documentos convencionais So mais ecolgicos Trfego pode ser ajustado conforme a capacidade de leitura das pessoas envolvidas

20

5/2/2008

Materializao / Visualizao Em um certo nvel de abstrao a representao d sincronismo espacial t do i i i l semelhante a do sincronismo temporal. Visualizao na tela o mais prximo possvel da materializao no papel (WYSIWYG)

Hiperdocumentos Protocolo de processos sem sobrecarregar o trfego na rede Preenchimento de formulrios via WWW distribuindo procedimentos quando possvel Edio de documentos / hiperdocumentos via WWW distribuindo procedimentos I t Integrao com os Bancos d Dados j B de D d existentes Delimitao da Hiperbase

21

5/2/2008

Organizao da Hiperbase Sistema de Gerncia de Hiperdocumentos Ativos Distribuio dos procedimentos (multiplataformas ou scriptware padro) Distribuio das bases de formulrios, documentos e hiperdocumentos e contedos R li Replicao d bases e contedos das b t d (mirrors)

Sistemas Multimdia Mdias ????Andre Zanki Cordenonsi Centro Universitrio Franciscano UNIFRA Verso 1.0 - 2005

22

5/2/2008

O que mdia? termo em ingls media plural da palavra medium em latim Substantivo que significa meio, centro Meio de distribuir e representar informao Mdia de Percepo Mdia de Representao Mdia de Apresentao p Mdia de Armazenamento Mdia de Transmisso

Mdia Mdia de Percepo Como os humanos percebem informao? viso, audio, olfato, paladar, tato Mdia de Representao Como a informao codificada em um computador? texto, imagem grfica (vetorial), imagem

esttica(matricial), udio, vdeo

23

5/2/2008

Mdia Mdia de Apresentao Qual meio utilizado como dispositivo de sada ou

entrada de informaes em um computador? Sistemas de entrada e sada

Sada: monitores, caixas de som, papel Entrada: teclados, cmeras e microfones Mdia de Armazenamento Onde a informao armazenada? Discos magnticos, discos ticos, fitas magnticas,

Papel

Mdia Mdia de Transmisso Qual meio utilizado para transmitir dados? Meios fsicos (cabos metlicos, fibras ticas,

ondas de rdio)

24

5/2/2008

O que Multimdia? Etimologia Multi + Mdia Multus => Numerosos, Muitos, Mltiplos. Medium => Meio, Centro Uma definio rea interessada na integrao controlada por

computador d textos, grficos, i t d de t t fi imagens, vdeos, d animaes, sons, e qualquer outro meio onde todo tipo de informao pode ser representado, armazenado, transmitido e processado digitalmente

O que Multimdia? Multimdia interesse das indstrias de: informtica, telecomunicaes, publicidade,

consumidores de dispositivos de udio e vdeo, indstria de televiso e cinema

25

5/2/2008

Aplicao multimdia Funo ou conjunto de funes que suportam a proviso

Multimdia usada como adjetivo

de um servio multimdia especfico para o usurio final Ex: udio-videoconferncia

Tecnologia multimdia Conjunto de campos tecnolgicos especficos habilitando

aplicaes multimdia

Ex: compresso de vdeo

Plataforma multimdia Computador equipado com hardware multimdia capaz de

suportar softwares de aplicaes multimdia Ex: PC com placas de udio e vdeo

Multimdia usada como adjetivo Placa multimdia Hardware, conectado ao computador, que executa uma

funo multimdia

Ex: placa de captura de vdeo para digitalizar vdeo analgico

Dispositivo de armazenamento multimdia Dispositivo capaz de armazenar vrios tipos de mdia Ex: CD-ROM, tape de udio digital , p g

Rede multimdia Rede de comunicao de dados que permite o transporte

de mltiplos tipos de mdia

Ex: Rede Digital de Servios Integrados (ISDN)

26

5/2/2008

Classificao dos tipos de mdia Mdias discretas versos contnuas Mdias discretas (estticas ou em bloco) Compostas por itens de informao independentes do tempo mdia com dimenses unicamente espaciais textos, imagens, grficos

tempo no faz parte da semntica da informao Download a operao de recuperao de uma mdia

discreta.

Trfego em rajada

Classificao dos tipos de mdia Mdias discretas versos contnuas Mdi contnuas (dinmicas ou dependentes do tempo) Mdias t (di i d d t d t ) O tempo ou a dependncia temporal entre os itens de informao fazem parte da prpria informao mdia com dimenses temporais udios, vdeos e animaes tempo faz parte da semntica da informao Se a dependncia temporal no for respeitada, o significado pode ser alterado Streaming um termo usado para indicar que uma mdia contnua

est sendo enviada e apresentada diretamente no destino medida que recebida (em tempo real)

Trfego CBR ou VBR

27

5/2/2008

Classificao dos tipos de mdia Mdias capturadas versos sintetizadas Informaes capturadas do mundo real imagens, vdeos e sons

Informaes sintetizadas pelo computador Texto, grficos e animaes

Sistema Multimdia Trata mdias discretas e contnuas No mnimo, uma discreta e uma contnua Mdias devem ser independentes Processamento controlado por computador Integrao das mdias de forma sincronizada Sistema multimdia um sistema capaz de manipular ao menos um tipo de mdia discreta e um tipo de mdia contnua na forma digital de maneira sincronizada

28

5/2/2008

Classes de Sistemas Multimdia Sistemas Multimdia Standalone Utilizam apenas recursos presentes no sistema local

para prover servios multimdia Sistema local fornece todo o poder de processamento necessrio equipado com os dispositivos de captura/apresentao microfones, cmeras, ... contendo todas as informaes localmente No utiliza potencialidades de armazenamento

remoto

Classes de Sistemas Multimdia Sistemas Multimdia Standalone Aplicaes Treinamento baseado em computador Educao baseada em computador individual Sistema de Autoria Multimdia

29

5/2/2008

Classes de Sistemas Multimdia Sistemas Multimdia Distribudos Precisam de infra-estrutura de comunicao Muitas vezes o objetivo fornecer servios de

comunicao distncia

videoconferncia, redes de distribuio de pacotes de udio e vdeo, e-mail multimdia Implementao de modelos cliente-servidor cliente servidor aplicaes standalone podem ser de alto custo para armazenamento de informaes utilizao de servidores permite o compartilhamento e armazenamento de Informaes

Classes de Sistemas Multimdia Sistemas Multimdia Distribudos

REDE

BANCO DE DADOS

30

5/2/2008

Aplicaes Multimdia Aplicaes Multimdia udio, vdeo e imagens so os meios naturais da

comunicao

Sistemas multimdia tm aplicaes em todas as reas em que essas mdias necessitam ser utilizadas, comunicadas e compartilhadas educao/treinamento, entretenimento, medicina e

mdia sob demanda comrcio eletrnico, etc. demanda, eletrnico etc

Aplicaes Multimdia Em geral, podem ser classificadas em trs categorias: Comunicao interpessoal Aplicaes interativas na Internet Aplicaes de entretenimento

31

5/2/2008

Comunicao Interpessoal Voz somente Telefonia Voice-mail Teleconferncia Voz sobre IP Imagem somente Facsimile (fax) ( ) Texto somente Correio eletrnico

Comunicao Interpessoal Texto e imagens CSCW (computer-supported cooperative work) (computer supported Compartilhamento de um whiteboard Voz e vdeo Videotelefonia Videoconferncia Multimdia Correio eletrnico multimdia

32

5/2/2008

Aplicaes Interativas na Internet World-Wide Web (WWW) Comrcio eletrnico Homeshopping Homebanking

Aplicaes de Entretenimento VoD (Video On Demand) vdeo sob demanda MOD movie-on-demand movie on demand N-MOD near movie-on-demand TV Interativa Jogos Homeshopping

33

5/2/2008

Taxonomia Recomendada pela ITU-T Define 4 classes bsicas de servios:

Servios Conversacionais Servios de Mensagem Servios de Recuperao Servios de Distribuio sem controle de apresentao pelo usurio com controle de apresentao pelo usurio

Taxonomia Recomendada pela ITU-T Servios Conversacionais Interatividade em tempo real da comunicao entre

os usurios implica interao entre um humano e outro humano ou um sistema inclui servios pessoa-a-pessoa (videofonia, videoconferncia) e tambm algumas aplicaes pessoa-a-sistema (tele compras etc.) pessoa a sistema (tele-compras, etc )

34

5/2/2008

Taxonomia Recomendada pela ITU-T Servios de Mensagem troca assncrona de imagens, sons, ou documentos

multimdia Correio eletrnico No so em tempo real

Taxonomia Recomendada pela ITU-T Servios de Recuperao Recuperao de informao armazenada

remotamente cobrem todos os tipos de acesso a servidores de informao (Ex: vdeo sob-demanda, livrarias eletrnicas)

35

5/2/2008

Taxonomia Recomendada pela ITU-T Servios de Distribuio Sem interatividade Cobrem servios onde a informao distribuda por

iniciativa do sistema servidor. Subdivididos em:

sem controle de apresentao pelo usurio Ex: programas de TV, distribuio de jornais

eletrnicos, distribuio de cotao de bolsa de valores l

com controle de apresentao pelo usurio Ex: tele-ensino, tele-anncio

Desafios da Multimdia Dados Multimdia x Dados Alfanumricos Dados multimdia tm caractersticas e requisitos

diferentes dos dados alfanumricos

sistemas computacionais convencionais no suportam eficientemente aplicaes multimdia

36

5/2/2008

Desafios da Multimdia Requisitos das Aplicaes Multimdia: Exigem codificao, armazenamento e manipulao de

objetos no convencionais Manipulam objetos longos Exigem transferncia contnua de dados e altas taxas Exigem acesso sincronizado aos dados

Desafios da Multimdia Principais caractersticas e requisitos: Dados multimdia tm dimenso temporal devem ser transmitidos, processados e apresentados em taxas fixas processamento e comunicao devem satisfazer

requisitos de tempo-real Aplicaes multimdia usam mltiplos tipos de mdia

relaes temporais e espaciais entre mdias devem ser mantidas

37

5/2/2008

Desafios da Multimdia Principais caractersticas e requisitos: Dados multimdia tm volume grande devem ser compactados redes de alta velocidade e computadores potentes so necessrios Dados multimdia no tm sintaxe e semntica bvia bancos de dados convencionais no suportam efetivamente dados multimdia tcnicas de indexao, recuperao e reconhecimento de informaes multimdia so necessrias

Desafios da Multimdia Estaes Alta taxa de transferncia entre CPU, memria e

dispositivos de E/S

Hardware Software em tempo real Grande capacidade de armazenamento Si t Sistema d Comunicao de C i Alta taxa de transferncia Baixa variao do retardo Garantia da Qualidade de Servio (QoS) fim-a-fim

38

5/2/2008

Sistemas Multimdia Multimdia x HipermdiaAndre Zanki Cordenonsi Centro Universitrio Franciscano UNIFRA Verso 1.0 - 2005

Sistemas Multimdia e Hipermdia

Multimdia x Hipermdia Documentos Hipermdia Objetos de Mdia Relaes Modelos Hipermdia Entidades Hipermdia Ns ncoras Elos Composies Modelos para Sincronizao Temporal

39

5/2/2008

Multimdia x Hipermdia Sistema Multimdia: Sistema capaz de manipular ao menos um tipo de mdia discreta e um tipo de mdia contnua na forma digital de maneira sincronizada Sistema Hipermdia: Sistema Multimdia capaz de tratar eventos causados pela interao com o usurio e reagir a esses eventos

Hipertexto, Multimdia e Hipermdia

40

5/2/2008

Hipertexto, Multimdia e Hipermdia

Hipertexto, Multimdia e Hipermdia

41

5/2/2008

Documentos Hipermdia Componentes de um documento hipermdia Objetos de mdia Texto, imagem, grfico, udio, vdeo, animao ... Relacionamentos entre os objetos

Relaes Hipermdia

Relaes de referncia Ex.: relao hipermdia tradicional (elo HTML Web) Relaes de sincronizao definem o posicionamento temporal e espacial dos objetos Relaes de estruturao especificam a estrutura lgica de um documento, tal como um livro e seus captulos, os captulos e suas sees etc.

42

5/2/2008

Relaes Hipermdia Relaes semnticas Ex : aquela entre um professor e as vrias Ex.: disciplinas que ele leciona ou entre um fabricante e os diversos produtos fabricados Relaes de derivao Ex.: aquelas que indicam os objetos que deram origem a outros objetos

Modelo Hipermdia necessrio um modelo conceitual hipermdia para expressar os componentes de um documento p p Diversos modelos propostos na literatura Intermedia, HyperCard, KMS, Neptune, NoteCards, etc. CMIF, AHM, FireFly, I-HTSPN, Madeus, Microcosm, Trellis, IMAP, Labyrinth, NCM, etc. M d l Dexter modelo de referncia Modelo D t d l d f i Componentes de um documento so representados pelas entidades do modelo

43

5/2/2008

Entidades Hipermdia Principais entidades hipermdia Blocos de informao (texto, udio vdeo imagem (texto udio, vdeo, ...) Ns (nodes) ncoras (anchors) Relacionamentos Elos (links) ns de composio/composies (composite nodes/compositions) Grupo de ns e/ou elos

N Hipermdia Representa um objeto de mdia abstraindo como seu contedo est representado p Modelagem do contedo no faz parte do modelo conceitual N serve para representar texto, imagem, udio, vdeo ... Para permitir a criao de relacionamentos entre partes internas ao contedo de um n ncoras

44

5/2/2008

ncora Representa uma regio do contedo de um n que pode ser usada para criar elos A definio da regio depende do tipo do n. Exemplos: Texto: string de caracteres (posio inicial e final) Imagem: conjunto de pixels (rea retangular coordenadas do pixel superior esquerdo e do inferior direito) udio: seqncia de amostras (amostra inicial e final) Vdeo: seqncia de quadros (quadro inicial e final) Mdias contnuas: Instante de tempo inicial e final A lista de ncoras de um n define a sua interface

Elos Usados para representar relacionamentos entre (partes de) ns Significado (semntica) do relacionamento pode g ( ) p ser qualquer muito comum pensar no elo tradicional hipermdia hyperlink hiper-elo Uma seleo (clique do mouse) na ncora de origem causa a apresentao da ncora de destino Pode ser usado para representar relao de sincronizao synclink elo de sincronizao O incio da apresentao da ncora de origem causa a apresentao da ncora de destinoN A elo N B Ponto de interface de um n (ncora)

45

5/2/2008

Elos Multiponto Podem interligar qualquer nmero de ns

Ns de Composio Usados para representar relacionamentos entre ns. Podem ser definidos como: Grupos de nsN1 N2 ... Nn

Grupos de ns e elosN2 N3

N1 N4

46

5/2/2008

Interface de um n de composio ncoras permitindo a criao de relacionamentos p ( g ) com a composio diretamente (b na figura) Deve permitir a criao de relacionamentos entre componentes internos e ns externos Portas composicionalidade (a e c na figura)

Ns de Composio

Podem ser usados para representar relaes de estruturao: Livro composto de captulos Captulos compostos de Sees Podem ser usados para representar relaes de sincronizao: Apresentao dos componentes em Seqncia Apresentao dos componentes em paralelo

Seq N1 N2 ... Nn N N N Par N1 N2 ... Nn

47

5/2/2008

Modelos para Sincronizao Temporal

Unidades de Tempo: Instantes Intervalos Diversos Paradigmas: Scripts Timeline Ferramentas para Especificao Formal Sincronizao Hierrquica Baseado em Restries Baseado em Eventos

Unidades de Tempo

Instantes Evento acontece instantaneamente no tem durao Intervalos Evento acontece entre um par de instantes tem durao

48

5/2/2008

Relaes Temporais entre Instantes

aps

antes

simultaneamente

Relaes Temporais entre Intervalos Existem algumas relaes bsicasX encontra Y Y encontrado por X X inicia Y Y iniciado por X X finaliza Y Y finalizado por X X antes de Y Y depois de X X sobrepe Y Y sobreposto por X X durante Y Y contm X X igual a Yx y x y x y x y x x e e e y

y x y

49

5/2/2008

Paradigmas para Sincronizao Temporal Scripts Usa programao baseada em scripts para especificar a sincronizao como em um ambiente de programao orientada a Eventos Ex.: Asymetrix Toolbook too handle buttonClick Vantagens: p y play rocket.wav Expressividade end buttonClick Desvantagens: Requer conhecimento de programao Dificuldade na visualizao da estrutura do documento

Paradigmas para Sincronizao Temporal Timeline (linha do tempo) Objetos posicionados diretamente no instante de tempo que devem comear a ser exibidos Ex.: Macromedia Director Vantagens: Representao intuitiva Facilidade de visualizao da estrutura temporal Desvantagens: N h relaes entre os objetos No l bj Dificuldade para representar eventos assncronos (interatividade) Dificuldade de edio Impossibilidade de ajustes temporais durante a execuo

50

5/2/2008

Paradigmas para Sincronizao Temporal Timeline (linha do tempo)Audio

Imagem1 Legenda1 Ancora1

Imagem2 Legenda2 Ancora2

Imagem3 Legenda4

0

1

2

3

4

5

6

7

8

9

10

t(s)

Paradigmas para Sincronizao Temporal

Ferramentas para Especificao Formal Flowcharts Redes de Petri notao formal baseada em grafo dirigido Lugares e transies Ex.: Macromedia Authorware, OCPN, I-HTSPN, Trellis

51

5/2/2008

Paradigmas para Sincronizao Temporal

Redes de Petri

Paradigmas para Sincronizao Temporal Vantagens: Expressividade permite realizar ajustes durante a execuo Permite verificao formal Desvantagens: Requer conhecimento do formalismo Redes se tornam complexas p p para relacionamentos entre partes de ns No escalvel (sem composio)

52

5/2/2008

Paradigmas para Sincronizao Temporal Sincronizao Hierrquica Composies com semntica temporal seqencial e paralela Ex.: CMIF, AHM, SMIL Vantagens: Facilidade de autoria expressividade permite realizar ajustes durante a Execuo Desvantagens: Difi ld d para representar eventos assncronos Dificuldade t t (interatividade) Para sincronizar com partes de ns, precisamos: Dividir o objeto em vrias partes ou Combinar esse modelo com outra abordagem (baseada em eventos, por exemplo)

Paradigmas para Sincronizao Temporal Sincronizao Hierrquica

53

5/2/2008

Paradigmas para Sincronizao Temporal Baseado em Restries Conjunto bsico de relaes entre instantes ou intervalos (relaes de Allen) Ex.: FireFly, Madeus Vantagens: Facilidade de autoria expressividade permite realizar ajustes durante a execuo Desvantagens: Dificuldade para representar eventos assncronos (interatividade) Para sincronizar com partes de ns, precisamos: Dividir o objeto em vrias partes ou combinar esse modelo com outra abordagem (baseada em eventos, por exemplo)

Paradigmas para Sincronizao Temporal Baseado em Restriesaps 10s encontra aps 10s encontra

udio1inicia inicia

udio2inicia

udio3inicia

Imagem 1inicia

Imagem 2

inicia

Imagem 3

Legenda1inicia

Legenda2

Legenda3

ncora

encontra

Msica

54

5/2/2008

Paradigmas para Sincronizao Temporal

Baseado em Eventos Eventos so representados como instantes ou intervalos de tempo Relacionamentos so definidos baseados em eventos que ocorrem durante a apresentao do documento, como p.e.: Apresentao de uma ncora Seleo de uma ncora (clique do mouse) Posicionamento do mouse sobre uma ncora

Paradigmas para Sincronizao Temporal Baseado em Eventos

Audio Imagem1 Legenda1 Imagem2 Legenda2 Imagem3 Legenda4

Msica

55

5/2/2008

Paradigmas para Sincronizao Temporal Vantagens: Expressividade Facilidade para tratar interatividade permite realizar ajustes durante a execuo Ex.: IMAP, Labyrinth, NCM, MHEG Desvantagens: Dificuldade de autoria

Sistema HipermdiaUsurios (Leitores)

Execuo

Provedor de Servios de Comunicao

Ferramentas de Exibio

Armazenamento

Controle de Verses Adaptao

Formatador

Suporte ao Trabalho Cooperativ o Servidores de contedo

Dispositivos

Autoria

Edio Grfica

Servidores S id de estruturas

content

Usurios (Autores)

Edio Declarativa

56

5/2/2008

Autoria Hipermdia Autoria de Documentos Hipermdia Grfica x Declarativa Editores Grficos: Vrias vises integradas Estrutural, temporal, espacial Vises intuitivas para o autor Facilidade de edio Editores complexos Linguagens declarativas: Representao textual do documento Editores simples Formato XML

Autoria Hipermdia

Interface Grfica Base de Documentos Objetos Hipermidia

Linguagem Declarativa

57

5/2/2008

Autoria Grfica

Viso Estrutural

HIPERDOCUMENTO

0

1

2

3

4

5

6

7

Viso Temporal

Viso Espacial

Viso Estrutural Mapas Locais ou Mapas Globais

58

5/2/2008

Mapas Locais exibem o n corrente e os ns diretamente conectados a ele

Ex.: FrontPage Mapa Local

59

5/2/2008

Tcnicas para Exibir Mapas Globais Viso total da estrutura - apresenta todos os ns e elos do documento vantagem: viso global completa desvantagem: o mapa se torna confuso quando o nmero de ns e elos aumenta Ex.: Intermedia

Intermedia - Mapa Global

60

5/2/2008

Problema Estrutura complexa composta por elos Mapa Global ilegvel muitos ns e

Tcnicas para Exibir Mapas Globais Usar scroll e zoom para visualizar partes do grafo vantagem: torna os mapas legveis desvantagem: perde a noo de estrutura global Ex.: CMIFed

61

5/2/2008

CMIFed - Hierarchy View

Tcnicas para Exibir Mapas Globais Usar dois ou mais mapas, um global resumido e outro com a viso local vantagem: exibe detalhes locais e uma viso global da estrutura desvantagem: obriga o usurio a integrar mentalmente as vises Ex.: [MuHa97]

62

5/2/2008

Vises Foco+Contexto

Vdeo jurassic park

Tcnicas para Exibir Mapas Globais Usar mecanismos de filtragem de informaes baseados na estratgia de olho-de-peixe para g p p construir uma viso global que exibe o que for de interesse do usurio dependendo da sua posio na estrutura vantagem: rene detalhes locais e informaes globais em uma nica viso dificuldade: descobrir o que de interesse do Usurio

63

5/2/2008

Viso Olho-de-Peixe de um Programa C

Exemplo de Documento Hipermdia com Composies Viso Total

64

5/2/2008

Viso Estrutural

Viso Estrutural

65

5/2/2008

Viso Estrutural

Viso Estrutural

66

5/2/2008

Viso Estrutural

Viso Temporal

67

5/2/2008

Viso Temporal

Viso Espacial

SPORT CLUB INTERNACIONAL

SPORT CLUB INTERNACIONAL

Quando os irmos Henrique, Jos e Luis Poppe chegaram a Porto Alegre, em 1908, vindos de So Paulo, foi fcil abrir uma loja de roupas e logo comear a ganhar dinheiro. A capital gacha se modernizava e progredia rapidamente. Desde o fim do sculo XIX, possua fbricas de mquinas, tecidos, mveis e cerveja; h quatro anos os bondes eltricos tinham substitudo os puxados a burro; acabava-se de instalar iluminao eltrica em todas as ruas do centro; e a populao havia saltado de 73 000 habitantes em 1900 para 120 000 naquele ano de 1908.

X = 0s

X = 15s

68

5/2/2008

Armazenamento Servidores Hipermdia Armazenamento Principais funes Controle Suporte ao Armazenamento dos documentos Verses Trabalho de Cooperativ Adaptao Estrutura e contedo o Suporte a Trabalho Cooperativo Servidores Controle de verses de contedo Controle de acesso Servidores Controle de notificao de estruturas Adaptao dos documentos

Execuo

69

5/2/2008

Execuo Formatador

Execuo Formatador

70

5/2/2008

Formatador Ferramentas de Exibio

Execuo Formatador

71

5/2/2008

Sistemas Multimdia Mdias Discretas e ContnuasAndre Zanki Cordenonsi Centro Universitrio Franciscano UNIFRA Verso 1.0 - 2005

Mdias Discretas e Contnuas Classes bsicas de trfego CBR, rajada, VBR Mdias Discretas Texto Grficos e Imagens Estticas Mdias Contnuas Digitalizao de Sinais g udio Vdeo

72

5/2/2008

Classes Bsicas de Trfego Natureza da Fonte de Trfego 3 classes bsicas: Trfego Contnuo com Taxa Constante Constant Bit Rate (CBR) Trfego em Rajadas Bursty Trfego Contnuo com Taxa Varivel g Variable Bit Rate (VBR)

Classes Bsicas de Trfego CBR Trfego Contnuo com Taxa Constante Taxa mdia igual a taxa de pico Parmetros para caracterizar o trfego Taxa de transmisso

73

5/2/2008

Classes Bsicas de Trfego Rajada Perodos ativos (h gerao de informao)

intercalados por perodos de inatividade (fonte no produz trfego) Taxa mdia no importante Parmetros para caracterizar o trfego Distribuio das rajadas ao longo do tempo Durao das rajadas (durao mdia dos perodos de atividade) Taxa de pico atingida durante as rajadas (explosividade da fonte - burstiness: razo entre a taxa de pico e a taxa mdia)

Classes Bsicas de Trfego VBR Trfego Contnuo com Taxa Varivel Apresenta variaes na taxa de transmisso ao

longo do tempo Parmetros para caracterizar o trfego

Taxa mdia Varincia da taxa de transmisso Explosividade da fonte burstiness Razo entre a taxa de pico e a taxa mdia

74

5/2/2008

Mdias Discretas e Contnuas Mdias discretas (estticas) Compostas por itens de informao

independentes do tempo mdia com dimenses unicamente espaciais textos, imagens, grficos tempo no faz parte da semntica da

informao

Mdias Discretas e Contnuas Mdias contnuas (dinmicas ou dependentes do tempo) p ) O tempo ou a dependncia temporal entre os

itens de informao fazem parte da prpria informao mdia com dimenses temporais udios, vdeos e animaes

t tempo faz parte da semntica da informao f t d ti d i f Se a dependncia temporal no for respeitada,

o significado pode ser alterado

75

5/2/2008

Sistemas Multimdia Mdias DiscretasAndre Zanki Cordenonsi Centro Universitrio Franciscano UNIFRA Verso 1.0 - 2005

Mdias Discretas Mdias discretas (estticas) Texto Grficos e Imagens Estticas

76

5/2/2008

Sistemas Multimdia Mdia TextoAndre Zanki Cordenonsi Centro Universitrio Franciscano UNIFRA Verso 1.0 - 2005

Mdia Texto Caracteres so convertidos para uma representao com um nmero fixo de bits Captura de Texto Digitao, OCR (Optical Character Recognition) Texto no-formatado Texto limpo (plaintext) Ex.: cdigo ASCII 7 bits / 8 bits, EBCDIC, Unicode Texto formatado e to o atado Richtext Cadeia de caracteres de estilos diferentes (fontes,

tamanho, cor, negrito, itlico, ...) Ex.: formatos proprietrios de editores de texto, linguagens de marcao (PS, HTML, latex)

77

5/2/2008

Requisitos de Comunicao da Mdia Texto Trfego gerado em rajada Vazo mdia depende da aplicao Poucos bps => correio eletrnico Mbps => transferncia de arquivos Normalmente, retardo mximo e variao do retardo no so crticos Erros no so tolerados

Sistemas Multimdia Mdia ImagemAndre Zanki Cordenonsi Centro Universitrio Franciscano UNIFRA Verso 1.0 - 2005

78

5/2/2008

Mdia Imagem Bloco bidimensional de pixels ou pels (picture ), p p por elements), sendo cada pixel representado p um nmero fixo de bits RGB, YUV Captura de Imagens Cmera Fotogrfica, Scanner, etc. Tipos Grficos Imagens estticas (fotografias, paisagens)

Mdia ImagemX=640 pixels

VGA Video Graphics Display

y=480 pixels

8 bits por pixel 256 cores

79

5/2/2008

Mdia Imagem O olho humano v uma nica cor quando trs cores primrias so apresentadas simultaneamente. Componentes Aditivas partem do preto e vo caminhando em direo ao branco medida que as cores componentes so acrescentadas. R (red), G (green), B (blue) Display Componentes Subtrativas partem do branco e caminham em direo ao preto medida que as componentes so acrescentadas. C (cyan), M (magenta), Y (yellow) Impresso

Mdia Imagemred

COMPONENTES ADITIVAS

yellow magenta white green blue

cyan

COMPONENTES SUBTRATIVAS

blue magenta

green red yellow

black

80

5/2/2008

Mdia Imagem Introduo Tecnologia Raster-scan Canho de eltrons de preciso, ou raster, varre

a tela inteira. inteira A tela composta de um nmero bem definido de linhas horizontais. A primeira linha inicia no canto superior esquerdo da tela e a ltima termina no canto inferior direito. O canho volta primeira linha depois da ltima (Varredura P (V d Progressiva). i ) O interior da tela coberto com uma camada de fsforo sensvel luz, que emite luz quando energizado pelo canho de eltrons (de acordo com a intensidade do canho num dado momento).

Tecnologia Raster-scan

81

5/2/2008

Tecnologia Raster-scan Monitores coloridos tem 3 tipos de fsforos fluorescentes emitem luzes

vermelha, verde e azul quando tocadas por 3 feixes de eltrons

Mistura das luzes emitidas produzem pontos de cor

Tecnologia Raster-scan

82

5/2/2008

Mdia Imagem Estrutura da Imagem Resoluo g geomtrica ( (resoluo espacial) p ) Dimenso da matriz de pixels Resoluo de cor profundidade do pixel (pixel depth) Nmero de bits por pixel determina o nmero de cores

que podem ser reproduzidas em cada pixel 12 bits (4 por componente de cor) resulta em 4096 poss e s co es possveis cores. 24 bits (8 por componente de cor) resulta em mais de 16 milhes de cores possveis (224), porm como o olho humano no consegue distinguir entre este nmero de cores to alto, muitas vezes um subconjunto de tais possveis cores utilizado (Tabela de Cores ou CLUT color lookup table).

Mdia Imagem Formato da imagem: taxa dada pelo nmero de linhas na imagem e o nmero de colunas. TV tem formato de imagem 4:3. Cinema e TV de tela larga tem formato de

imagem 16:9.

Padres de TV NTSC - National Television Standards Committee

(525 linhas) mas somente 480 linhas so apresentadas. PAL (625 linhas) mas somente 576 linhas so apresentadas. CCIR (mesmo que PAL) SECAM (mesmo que PAL)

83

5/2/2008

Requisitos de Comunicao da Mdia Imagem Trfego gerado em rajada Vazo mdia depende da aplicao Kbps, Mbps Normalmente, retardo mximo e variao do retardo no so crticos Tolerncia erros depende da aplicao I Imagens estticas sem compresso toleram tti t l Imagens mdicas ou cartogrficas no toleram

Imagem Esttica

BMP GIF TIFF PNG JPEG

84

5/2/2008

BMPBitmap Usado no Windows Baseado no modelo RGB d d l Profundidade do pixel 1 (preto/branco), 4, 8 e 24 bits Usa codificao por carreira (run-length) para compactar imagens de 4/8 bits por pixel Tipos de compresso 0 - no compression 1 - 8 bit run length encoding 2 - 4 bit run length encoding 3 - RGB bitmap

BMP Formato bitmap Cabealho informaes sobre tamanho,

profundidade do pixel e tipo de compresso tabela de cores indica todas as cores usadas no bitmap (exceto para representao de 24 bits por pixel) Regio de dados valor de cada pixel em linhas ( (mltiplos de 32 bits/4 bytes) p / y ) Ex.: 6 bytes que representam uma linha em um bitmap: A0 37 F2 8B 31 C4 Devem ser salvos como: A0 37 F2 8B 31 C4 00 00

85

5/2/2008

GIF Graphics Interchange Format 24 bits por pixel (8 bits por componente R, G, B) GIF utiliza uma tabela de 256 cores com as cores mais usadas

na imagem Global color table Local color table Cada valor na tabela tem 24 bits Utili o ndice da tabela (8 bits) para representar cada pixel Utiliza di d t b l bit ) t d i l da imagem Reduz o nmero de cores representadas para 256 Comprime de 24 bits para 8 bits Compresso de 3:1

GIF Permite que imagem seja transferida por partes modo entrelaado til para transferncia em canais de baixa taxa

ou com taxa de transmisso varivel (Internet) Descompresso pode ser feita de forma progressiva Dados divididos em 4 grupos: 1/8, 1/8, 1/4,

86

5/2/2008

TIFF Tagged Imagem File Format Resoluo de at 48 bits por pixel (16 bits por

componente R, G, B) Usado para Imagens e documentos digitalizados Formato usado indicado por um cdigo Formato no comprimido (code number = 1) Comprimido com LZW (code number = 5) Cdigos 2, 3 e 4 so usados para documentos digitalizados (mesmo formato de fax)

TIFF Compresso com LZW Mesma do GIF Tabela inicial de 256 cores que pode ser estendida at

4096 entradas (212)

87

5/2/2008

PNG Portable Network Graphics Padro W3C World-Wide Consortium World Wide Imagens em tons de cinza, com tabela de cores e true

color (RGB), alpha channel (transparncia) Profundidade do pixel: 1 a 16 bits por componente Compactao por LZ e Huffman Permite que imagem seja transferida por partes Modo entrelaado

JPEG Joint Photographic Experts Group Padro ISO IS 10918 Define vrios modos de compresso para uso em

diversas aplicaes Modo seqencial com perdas modo bsico Compresso de imagens monocromticas e coloridas 5 estgios principais: Preparao da imagem/bloco, DCT, quantizao, codificao por entropia, construo dos quadros

88

5/2/2008

JPEG Preparao da imagem/bloco Imagens monocromticas, tons de cinza ou usando tabela

de cores 1 matriz Imagem em RGB ou YCrCb 3 matrizes, uma para cada componente Matrizes de Cr e Cb podem ser menores (Ex : 4:2:0) (Ex.: Cada elemento de uma matriz pode ter 8 ou 12 bits Diviso das matrizes em blocos de 8 x 8 submatrizes

JPEG Clculo da transformada para cada posio usa todos os

valores da matriz Mais rpido em matrizes menores (8 x 8) Ex.: imagem 640 x 480 => 80x60 (4800) blocos de 8x8

89

5/2/2008

Imagem Grfica (Vetorial)

SVG Scalable Vector Graphics - verso 1.1 (jan. 2003) P d do W3C (www.w3.org) Padro d ( 3 ) Linguagem declarativa (XML) para descrio de

grficos bidimensionais Pgina web SVG () ou embutido em XHTML Linguagem Modular Perfil XHTML+MathML+SVG Visualizadores SVG (plugins) Adobe SVG Viewer, Corel SVG Viewer Editores que exportam no formato SVG Adobe Illustrator, Corel Draw

90

5/2/2008

SVG Caractersticas Principais: Lida com objetos geomtricos (linhas e curvas) Formas bsicas: rect, circle, ellipse, line, polyline,

polygon Smbolos definidos pelo usurio I l de imagens estticas (raster) Incluso d i tti ( t ) Visualizador deve dar suporte a formatos PNG e JPEG no mnimo Formatao de texto (ou usa folhas de estilo CSS) Definio de metadados

SVG Caractersticas Principais: Suporte a Animao Interatividade Execuo de aes (animaes ou scripts) em

resposta a eventos como click, mouseover, mousedown... mousedown Definio de elos Definio de alternativas de contedo basedas em atributos de teste (usurio e plataforma)

91

5/2/2008

Sistemas Multimdia CORAndre Zanki Cordenonsi Centro Universitrio Franciscano UNIFRA Verso 1.0 - 2005

Cores As trs propriedades mais importantes, de uma fonte de luz colorida, usadas pelo olho humano so: Brilho (brightness) quantidade de energia que estimula o olho e que varia em uma escala de cinza do preto ( (mais baixo) p ) para o branco ( (mais alto). ) independente da cor da fonte. Matiz (hue) Cor real da fonte de luz, cada cor tem uma freqncia/comprimento de onda diferente e o olho determina a cor a partir dela.

92

5/2/2008

Cores Saturao (saturation) Representa a fora ou vida da cor. Uma cor pastel tem um nvel mais baixo de saturao que o vermelho, por exemplo.

Cores Luminncia Brilho = medida da quantidade de luz branca 0.299R + 0.587G + 0.114B => cor branca Y = 0.299R + 0.587G + 0.114B Imagem preto e branco Crominncia Matiz e saturao Cb = B Y Cr = R Y

93

5/2/2008

Cores Sistema YUV (usado no PAL) Y = 0.299R + 0.587G + 0.114B U = 0.493 (B - Y) V = 0.877 (R - Y) Sistema YIQ (usado no NTSC) Y = 0.299R + 0.587G + 0.114B I = 0.74 (R - Y) 0.27 (B Y) = 0.599R

0.276G 0.324B Q = 0.48 (R - Y) + 0.41 (B Y) = 0.212R 0.528G + 0.311B

Cores Uso de cores Cores: adicionam impacto, interesse e informao a documentos e grficos; vrios fatores envolvidos na gerao das cores: iluminao, contraste, foras magnticas, brilho, entre outros; a cor parte importante na interface grfica; a primeira coisa que os usurios observam no aplicativo, mesmo antes de utiliz-lo.

94

5/2/2008

Cor A cor um importante auxiliar no processo de comunicao: enfatiza informaes importantes identifica estruturas e subdivises retrata objetos naturais de forma realista reduz erros de interpretao aumenta a compreenso e melhora a aparncia visando o processo de aprendizado, a cor mais eficiente do que o proeto e o branco Propicia melhor captao de memria

Cor Usando cores Dificuldades podem ser apontadas: algumas cores podem causar desconforto visual e produziro efeito de persistncia ( afterimage) a cor pode contribuir para confuso visual ou criar associaes negativas diminuio da acuidade visual Estes fatores contribuem ao aparente efeito de profundidade das cores: Cromostereopsia o fenmeno onde os tons azuis parecem estar um pouco mais longe enquanto que os Vermelhos parecem avanar

95

5/2/2008

Cor Efeito de Profundidade Qual a cor que parece estar no primeiro plano e qual a do segundo plano?

Princpios gerais Simplicidade Usar poucas cores (2 a 7) Usar cores pr-definidas quando possuem significado popular: vermelho para Pare e verde para Seguir branco para Texto Manter as associaes comuns Vermelho: significa perigo, erro, pare, fogo ou altas temperaturas Amarelo: significa cuidado, aviso, ateno Azul: significa frio, gua

96

5/2/2008

Princpios gerais Diferenas culturais na associao de cores Alguns pases tem cores associadas a alguns objetos e fatos: Egito: amarelo a cor da alegria e prosperidade Inglaterra: caixas de correio so vermelhas, nos EUA so azuis,na Grcia so verdes e no Brasil so amarelas

Princpios gerais Simplicidade Cores para primeiro e segundo planos Usar sempre pares complementares para garantir legibilidade. Contraste: no usar cores que sejam ambas claras ou Escuras

97

5/2/2008

Fundos e Texturas Couro: sugere elegncia ou habilidade Mrmore: incorpora um sentimento tranquilo e slido que se traduz como clssico, confivel e duradouro Papis feitos mo: sugestivos, de alto refinamento, talento artstico Pedras preciosas: conotaes bvias de riqueza e elegncia, algumas vezes de resistncia ou permanncia ou qualidades especiais Revestimento de metal industrial: smbolo moderno de sria inflexibilidade e confiana Cu azul: sugere liberdade, espao e potencial

Cores Mais Populares Adultos Azul Vermelho Verde Branco Rosa Prpura Laranja Amarelo Crianas Amarelo Branco Rosa Vermelho Laranja Azul Verde Prpura

98

5/2/2008

Cores mais populares para fundos Azul-escuro Preto Cinza Marrom Vermelho Verde Prpura

Contraste de Cores Qual dos vermelhos mais brilhante?

99

5/2/2008

Cores e tamanho Cores so difceis de distinguir em pequenas reas. Por exemplo letras pequenas em azul prximas a letras pequenas em preto Cores brilhantes parecem maiores Cores escuras sobre fundo claro oferecem maior legibilidade

Efeitos Psicolgicos das Cores a sensao o efeito psico-fisiolgico sentido pelo ser humano cada cor tem uma sensao associada e o uso inadequado da cor pode prejudicar a comunicao visual numa tela a sensao tambm pode variar em funo do contraste, isto , a cor de um texto ou objeto pode ter sensao diferente conforme a cor do fundo da tela

100

5/2/2008

Efeitos Psicolgicos das Cores algumas cores podem ser usadas apenas em alertas ou p q pequenos espaos; o caso do vermelho, do preto e do p ; , p roxo/violeta. As cores exercem uma potente ao sobre os sentimentos e esta fora real pode ser aproveitada com fins de melhorar as funcionalidades e produtividade. Ao projetar uma interface, em geral, voc deve utilizar cores escuras para fundos e cores mais suaves para texto e ilustraes, porque o olho naturalmente desviado para as reas mais claras do primeiro plano.

Sensao de cores Cores quentes e frias cores quentes ou luminosas: amarelo, laranja, vermelho e violeta cores frias ou sombrias: azul, turquesa, verde-mar e verde-alface

101

5/2/2008

Sensao das cores Vermelho: estimulante mental, aumenta a tenso muscular, a presso sangnea e o ritmo respiratrio uma cor quente e que cansa rapidamente Est associada ao fogo Denota emoo e pode significar pare ou perigo, dependendo do espectador e do contexto. Tambm leva mais tempo para o olho interpretar o vermelho do que qualquer outra cor.

Sensao das cores Amarelo: Estimulante mental, indicado para situaes de calma e reflexo Diminui a fadiga visual, tendo ao calmante sobre o sistema nervoso a cor de maior intensidade letreiro preto sobre fundo amarelo mbar a combinao que d melhor contraste visual ( uma das poucas cores que tem a mesma visibilidade na inverso do fundo: letreiro amarelo e fundo preto)

102

5/2/2008

Sensao das cores Azul: calmante do sistema nervoso para pessoas emotivas diminui o ritmo respiratrio, por baixar a tenso muscular e a presso sangnea o excesso de exposio ao azul causa fadiga ou depresso inspira paz e a introspeco D a sensao de amplitude, como ocorre com as outras cores frias Azul-Escuro: Estvel, calmante, confivel, maduro. Pode encorajar a fantasia, mas tambm tem um efeito calmante Azul-Claro: Jovem, masculina, calmo

Sensao das cores Verde: tem destacado efeito calmante, dilatando os capilares, abaixando a presso sangnea eficaz contra a irritabilidade nervosa, a fadiga e a insnia uma cor fria a mais repousante das cores Simboliza a segurana a continuidade e a natureza segurana, Crescimento, positivo, orgnico, ao. Pode ajudar as pessoas a se sentirem confortveis em locais desconhecidos.

103

5/2/2008

Sensao das cores Laranja: aumenta a emotividade e acelera as pulsaes, p , ligeiramente d a sensao de bem estar e alegria combina a intensidade e vitalidade do vermelho, com a alta visibilidade do amarelo uma cor quente, muito luminosa e pouco fatigante a representao direta do sol Emocional, positivo, orgnico. Tambm considerado uma cor neutra que pode ajudar o espectador a adaptar-se s outras cores. O laranja e o azul em combinao denotam fora.

Sensao das cores Violeta: uma cor fria, porm em tons avermelhados ou prpura quente apesar de ser deprimente quando empregada s Torna-se calmante quando em conjunto com outras cores

104

5/2/2008

Sensao das cores Cinza: ntegro exclusivo, neutro calmo maduro Uma cor ntegro, exclusivo neutro, calmo, maduro. com a qual as pessoas criativas sentem-se vontade.

Marrom: Total, orgnico, despretensioso.

Sensao das cores Dourado: Conservador estvel elegante Conservador, estvel, elegante. Prpura Jovem, contemporneo Rosa-Choque Jovem, feminino, quente

105

5/2/2008

Sensao das cores Pastel Jovem vivo feminino sensvel Jovem, vivo, feminino, sensvel.

Metlico Elegante, duradouro, rico.

Sensao das cores Branco: smbolo de pureza e de paz em monitores a cor que mais produz luz na tela Puro, limpo, honesto, sofisticado, refinado, delicado. Usado adequadamente com outras cores, pode ser til para atrair platias de nvel elevado.

106

5/2/2008

Sensao das cores Preto: deprimente quando usada s serve para marcar contrastes, especialmente com o amarelo e o branco Srio, pesado, morte. Use o preto com cuidado, mas ele pode ser til particularmente para alguns fundos.

Usando cores Lembrar sempre que cores mal utilizadas so piores que no usar nenhuma

107

5/2/2008

Padres de cores usados em computadores: Sistemas de representao de cores: p dependem do tipo de dispositivo a ser utilizado aditivos (dispositivos que emitem luz) subtrativos (dispositivos de impresso) os mais utilizados so: RGB, HSV e HLS (aditivos) e CYMK (subtrativo)

Especificao da Cor As formas como a cor codificada em imagensdigitais 1 Sistema RGB - Red Green Blue: produz a cor de um 1. pixel atravs da adio de intensidades de cores primrias 2. Sistema CMYK - Cyan Magenta Yellow BlacK: produz a cor de um pixel atravs da subtrao de intensidades de cores complementares. 3 Sistema HSB - Hue Saturation Brightness: produza 3. cor atravs da especificao da tonalidade da saturao e do brilho de um pixel.

108

5/2/2008

Especificao da Cor 4. Sistema YUV - Luminance: produz a cor de um pixel atravs da especificao da luminncia (Y), isto , da poro Preto/Branco, e das diferenas entre Y e Blue (U) e entre Y e Red (V).

Sistemas Aditivo e Subtrativo

109

5/2/2008

Sistemas Aditivo e Subtrativo Baseado na existncia de trs picos de sensibilidade situados no vermelho, no verde e no azul est baseado na teoria dos 3 estmulos (Tristimulus Color Theory) proposta por Young-Helmholtz Segundo essa teoria, o olho humano percebe a cor atravs da estimulao dos 3 pigmentos visuais presentes nos cones da retina

Sistemas Aditivo e Subtrativo O vermelho e o azul marcam os extremos do espectro e o verde o meio Cores primrias aditivas

110

5/2/2008

Sistema RGB(Red Green Blue) Uma cor representada pela intensidade de trs cores p primrias ( (teoria Tristimulus): vermelho, verde e azul , ) , com cada valor variando de 0 a 255. Exemplos: Branco=255, 255, 255 Vermelho=255, 0, 0 Verde=0,255,0 Azul=0,0,255 Preto=0,0,0

Sistema RGB(Red Green Blue)

111

5/2/2008

Sistema RGB(Red Green Blue)O modelo RGB geralmente representado por um cubo As coordenadas de cada ponto representam, em uma escala de 0 a 1, as quantidades de luz de cor bsica que se deve adicionar para obter uma cor desejada Exemplos: Magenta: (1,0,1) obtida pela soma das luzes vermelha e azul, em propores iguais, sem mistura de verde Preto (0,0,0)

Sistema RGB(Red Green Blue)As cores primrias (verde, vermelho e azul) so representadas pelos vrtices adjacentes origem Algumas cores no podem ser reproduzidas pela sobreposio das 3 primrias. Isso significa que algumas cores existentes na natureza no podem ser mostradas nesse sistema sistema. Um fenmeno natural colorido como, por exemplo, de formao de rochas, no pode ser reproduzido com preciso

112

5/2/2008

Sistema RGB(Red Green Blue)As cores secundrias (ciano, magenta e amarelo), so representadas pelos vrtices seguintes e o branco pelo vrtice (1,1,1)

Sistema RGB(Red Green Blue)

113

5/2/2008

Sistema RGB(Red Green Blue) Os monitores de computador emitem luz, atravs da adio de intensidades RGB. No modelo RGB, o branco obtido atravs da adio das trs cores primrias e a ausncia de cor representa o preto.

Sistema RGB(Red Green Blue) Em contraste, o papel reflete a luz contraste luz. Para imprimir uma determinada cor deve-se aplicar uma tinta que absorva todas as cores exceto a que se deseja refletir Por este motivo, as impressoras utilizam tintas correspondentes as complementares das primrias (CMY) Adicional no modelo de cor CMYK existe o tom de preto que permite apresentar pretos e cinzentos mais puros do que a combinao de CMY.

114

5/2/2008

Sistema subtrativo de cores Modelo CMYK composto pelas cores Ciano, Magenta, Amarelo e Preto (Cyan, Magenta, Yellow e blacK) modelo subtrativo porque suas cores subtraem da luz branca sua cor o subconjunto do sistema de coordenadas cartesianas o mesmo que o RGB, exceto pelo b a co (luz total) branco ( u tota ) que est na origem do sistema a o ge s ste a

Sistema subtrativo de cores Utilizado em dispositivos de impresso, depositando pg pigmentos coloridos sobre o p p papel a cor ciano subtrai vermelho da luz branca refletida (ciano branco menos o vermelho) o magenta absorve o verde (ele vermelho mais azul) o amarelo absorve o azul (ele vermelho mais verde) uma superfcie coberta com ciano e amarelo absorve vermelho e azul refletindo apenas verde

115

5/2/2008

Sistema CYMK (Cyan Yellow Magenta blacK)

Harmonia das Cores

116

5/2/2008

Harmonia das Cores Harmonia das cores anlogas ou vizinhas: quando emprega-se uma cor e suas vizinhas ou apenas uma delas. Ex.: laranja com o vermelho e amarelo ou s com o vermelho ou s com o amarelo. recomendvel colorir a superfcie maior com a cor mais clara

Harmonia das Cores Harmonia monocromtica ou de cor dominante: consiste em usar somente uma cor e aplic-la aplic la pura e em vrios tons, claros e escuros ou empregados em conjunto. Em qualquer harmonia pode-se usar cor pura, uma cor neutra, obtendo-se realce no emprego do preto e branco O preto e o branco puros permitem a realizao de harmonia de contraste

117

5/2/2008

Sensibilidade do olho para cores

Pixel O pixel o menor elemento de resoluo de uma imagem. g O nmero de bits utilizado para descrever um pixel designa-se por profundidade do pixel. A profundidade de cor para imagens Preto/Branco 1 bit (0 preto e 1 branco) A profundidade de cor da imagens coloridas varia entre 2, 4, 8, 12, 4 8 12 16 ou 24 bits, conforme o nmero de cores bits includas na imagem.

118

5/2/2008

Pixel 2 bit (22) -> 4 (00 preto, 01 branco, 10 verde , 11 azul) 4 bit (24) -> 16 (0000 preto 00001 branco 0010 verde ) preto, branco, verde...) 8) -> 16 (0000 preto, 0001 branco, 0010 verde...) 8 bit (2 16 bit (216) -> 65.000 aprox. 24 bit (224) -> 16.700.000

Requisitos de armazenamento Imagem Medido em termos de Bytes Requisito de armazenamento = HVP/8 N pixel em cada linha (H) N Linhas na Imagem (V) Nmero de bits por pixel (P) Ex. Clculo de uma Imagem: Requisito de armazenamento = HVP/8 N pixel em cada linha (H) = 600 pixel N Linhas na Imagem (V) = 480 linhas Nmero de bits por pixel (P) = 24 Necessita 864 Kbytes para representar a imagem

119

5/2/2008

Requisitos de armazenamento Imagem Requisitos de largura de banda

Medido em taxa de bits - bits/s Exemplo: Se a imagem deve ser transmitida em 2s Largura de banda necessria de: 864 x 8 / 2s = 3,456 Mbits/s

Resoluo Grfica a placa que determina o nm. de cores e o nm. de pixels VGA(Vido Graphics Array) Resoluo de 640x480 com 4bits XGA ( Extended Graphics Adapter) Resoluo de 1024x768 - oferece cor de 8 bits Resoluo de 640x480 - oferece cor de 16 bits SUPER VGA - Super Vdeo Graphics Adapter - 512 Kb RAM, fornece as resolues 640x480 cor de 4/8 bits de cor 800x600 cor de 4/8bits de cor 1024x768 cor de 4 bits de cor

120

5/2/2008

Resoluo Grfica SUPER VGA - 1 Mb RAM fornece as resolues: 640x480 cor de 4/8/16/24 bits de cor 800x600 cor de 4/8/16bits de cor 1024x768 cor de 4/8 bits de cor

ULTRA VGA UVGA 1.280x1.024 1.600x1.280 16 cores, 256 cores, High Color (16 bits) com 65.536 cores e True Color (24 bits) com 16,7 milhes de cores.

Matiz ou Tonalidade

121

5/2/2008

Saturao

Brilho

122

5/2/2008

Sistemas Multimdia Mdias ContnuasAndre Zanki Cordenonsi Centro Universitrio Franciscano UNIFRA Verso 1.0 - 2005

Mdias Contnuas Mdias Contnuas (dinmicas ou dependentes do tempo) p ) Digitalizao de Sinais udio Vdeo

123

5/2/2008

Tipos de Sinal Sinal Analgico Variao Contnua Sinal Digital Variao Discreta Intervalo de Sinalizao

Sinal Analgico Amplitude do sinal varia continuamente com o tempo p Anlise de Fourier uma tcnica matemtica que pode ser usada para mostrar que qualquer sinal analgico, com variao no tempo, composto de uma soma, possivelmente infinita, de componentes de frequncia.

124

5/2/2008

Exemplo Sinal de voz: 50Hz a 10KHz Msica de Orquestra: 15Hz a 20KHz

Espectro de um Sinal Grfico que mostra a contribuio de cada freqncia componente (harmnico) na construo do sinal p resultante. Esta contribuio est intimamente relacionada amplitude daquela componente.

Exemplo: espectro de um sinal de voz

125

5/2/2008

Banda Passante Banda passante intervalo de freqncias [fmin, fmax] Largura de banda fmax fmin Exemplo: Msica de Orquestra Banda passante: [ p [15Hz, 20KHz] , ] Largura de banda: ~20KHz

Digitalizao de Sinais

126

5/2/2008

Codificadores de Sinais A converso de um sinal analgico em digital realizado por um circuito eletrnico chamado Codificador de Sinal. Composto de dois circuitos principais Filtro Limitador de Banda Conversor Analgico Digital

Exemplo A - Sinal Original B - Sada do Filtro C - Relgio de Amostragem D - Amplitude das Amostras E - Valor binrio da amostra depois da t d i d quantizao

127

5/2/2008

PCM - Pulse Code Modulation Sinal original Pulsos PAM Pulsos PCM Sada PCM

Taxa de Amostragem O teorema de Nyquist diz que, para se obter uma representao precisa de um sinal analgico, a amplitude do mesmo deve ser amostrada uma taxa igual ou superior a duas vezes a frequncia da componente de mais alta frequncia do sinal. A taxa de Nyquist dada em Hz ou em amostras por segundo (sps) Amostragens abaixo da taxa de Nyquist introduzem componentes de frequncia adicionais ao sinal, causando distoro definitiva no sinal original (alias signal).

128

5/2/2008

Taxa de Amostragem O filtro limitador de banda serve para descartar sinais com frequncia maior q q que a taxa de Nyquist, por este motivo o filtro limitador de banda tambm chamado filtro anti-aliasing. Para se evitar o problema de sinais alias, a taxa de amostragem usualmente escolhida de acordo com a banda passante do meio de transmisso ao invs da frequncia do sinal. q O meio de transmisso pode funcionar como

um filtro de sinal.

129

5/2/2008

Decodificadores Digitais um circuito eletrnico que serve para converter um g p g sinal digital de volta para sua forma analgica. Um alto-falante, por exemplo, um dispositivo

analgico, logo um computador, que um dispositivo digital, precisa usar um decodificador digital para emitir som atravs de um alto-falante. Composto por um Conversor Digital/Analgico (DAC) e um filtro passa baixa.

Decodificadores Digitais

130

5/2/2008

Decodificadores Digitais

Decodificadores Digitais Normalmente o filtro passa baixa filtra as mesmas frequncias do filtro de limitao de banda do q codificador digital Como a maioria das aplicaes multimdia implementa comunicao bidirecional, usualmente os codificadores digitais e decodificadores analgicos so construdos em um dispositivo / nico chamado codificador/decodificador de udio/vdeo, ou simplesmente codec de udio/vdeo.

131

5/2/2008

Sistemas Multimdia Mdia udioAndre Zanki Cordenonsi Centro Universitrio Franciscano UNIFRA Verso 1.0 - 2005

Mdia udio Mdia Tipicamente Analgica Representao Digital, quando necessrio

para i integrao com mdias digitais, atravs di di i i de digitalizao do Sinal Analgico por amostragem.

Captura de udio Microfone 2 tipos de s a s de udio: t pos sinais ud o Sinal de voz: 50Hz a 10KHz Msica 15Hz a 20KHz Estreo: 2 canais

132

5/2/2008

Voz PCM Padro G.711 usado nas redes telefnicas (PSTN public switched telephone network) B d passante li it d Banda t limitada 200Hz a 3.4KHz Taxa de amostragem mnima de 6.8KHz Taxa de 8KHz usada PCM com 8 bits por amostra => taxa de 64Kbps Para reduzir erro de quantizao quantum no-linear Companso do sinal (circuitos compressor e expansor) Lei A (Europa) Lei (Estados Unidos e Japo) converso necessria na comunicao entre os dois sistemas

udio Qualidade CD Padro CD-DA (CD-digital audio) Banda passante 15Hz a 20KHz Taxa de amostragem mnima de 40KHz Taxa de 44.1KHz usada PCM com 16 bits por amostra Estreo: 2 canais Taxa por canal: 44.1 x 103 x 16 = 705.6Kbps Taxa total: 2 x 705.6kbps = 1.411Mbps

133

5/2/2008

udio sintetizado Espao necessrio para armazenar udio sintetizado 2 a 3 vezes menor que a verso equivalente digitalizada. Sintetizador segue o padro MIDI (Music Instrument Digital Interface) Padro MIDI define Hardware para conectar os equipamentos

(portas e cabos) Formato de dados para codificar a informao a ser processada pelo hardware

udio sintetizado Padro MIDI define Linguagem de descrio de msica em binrio 128 instrumentos 0 (piano), 40 (violino), 73 (flauta)... Sons para efeitos especiais (canho, aplauso de audincia, ...) Formato de dados especfico para cada instrumento udio gerado uma seqncia de mensagens MIDI Gerador de udio usa amostras de sons produzidas por instrumentos reais (wavelet synthesis)

134

5/2/2008

Requisitos de Comunicao da Mdia udio Natureza do Trfego Sem compactao/compresso Contnuo com Taxa Constante CBR udio comprimido Contnuo com Taxa Varivel VBR Trfego em rajada (voz com deteco de silncio) Reproduo no destino taxa constante V mdia depende da aplicao Vazo di d d d li Voz (PCM) 64Kbps Qualidade de CD estreo 1.411 Mbps Tolerncia a erros Relativamente alta (perdas de 1% so tolerveis)

Requisitos de Comunicao da Mdia udio Variao estatstica do retardo (em redes de pacotes) deve ser compensada Retardo de transferncia mximo crtico Principalmente em conversaes Retardo > 200ms j incomoda os interlocutores Padres de telefonia 40ms para distncias continentais 80ms para distncias intercontinentais

135

5/2/2008

udio Sinal de Voz PCM e variaes ITU-T G 711 G 721 G 722 G 726 G.711, G.721, G.722, G.726 LPC (Linear Predictive Coding) CELP (Code-excited LPC) ITU-T G.728, G.729, G.729(A), G.723.1 Codificao Perceptual Modelo Psicoacstico Mascaramento de freqncias Mascaramento temporal MPEG Layer 1, Layer 2, Layer 3 (MP3) Dolby Digital AC-3 DTS (Digital Theater Systems)

udio Sinal de Voz 50Hz a 10KHz Msica 15Hz a 20KHz Estreo: 2 canais Digitalizao do sinal analgico PCM (Pulse Code Modulation) ( ) Freqncia de amostragem Nyquist: 2fmax

136

5/2/2008

PCM

Voz PCM Padro G.711 redes telefnicas (PSTN public switched telephone

network) Banda passante limitada 200Hz a 3.4KHz Taxa de amostragem mnima de 6.8KHz Taxa de 8KHz usada PCM com 8 bits por amostra Taxa de 64Kbps

137

5/2/2008

DPCM Differential Pulse Code Modulation Codificao Preditiva (Diferencial) Amplitude de uma amostra grande, mas a

diferena de amplitude entre amostras sucessivas relativamente pequena Ao invs de codificar o valor de cada amostra, codifica a diferena entre seu valor e o anterior Economia tpica de 1 bit Voz: taxa cai para 56Kbps

DPCM Converso Analgica-Digital Erro de quantizao Sinal diferena (sinal residual) Erro tem efeito acumulativo Tcnica melhorada usando mdia das amostras

anteriores Ex.: DPCM preditivo de 3a. ordem Coeficientes preditores (C1=0,5; C2=0,25; C3=0,25) Desempenho similar ao PCM tradicional com economia de 2 bits 6 bits por amostra

138

5/2/2008

ADPCM Adaptive Diferential PCM Varia o nmero de bits usado para o sinal diferena

dependendo da amplitude Padro ITU-T G.721 Mesmo princpio do DPCM usando preditor de 8a. ordem Taxas de 32 ou 16Kbps

G.722 Melhor qualidade de som que G.721 Utiliza Codificao por Sub Bandas Sub-Bandas Diviso da banda passante do sinal em vrias sub-

bandas codificadas de forma distinta Trata com maior preciso as sub-bandas mais importantes do sinal (usando mais bits por amostra) Considera banda passante de [50Hz, 7Khz] Sinal de voz mais fiel comparada a 3.4KHz do PCM padro

139

5/2/2008

G.722 2 Sub-Bandas independentes codificadas com ADPCM [50Hz, 3.5KHz] sub-banda baixa (48Kbps) sub banda Maior importncia para a percepo do sinal [3.5KHz, 7KHz] sub-banda alta (16Kbps) Taxas de 64, 56 ou 48 Kbps

G.726 Tambm utiliza Codificao por Sub-Bandas e ADPCM Considera banda passante limitada [50Hz, 3.4Khz] Taxas menores de 40, 32, 24 ou 16Kbps

140

5/2/2008

Codificao Preditiva Adaptativa APC - Adaptive Predictive Coding Coeficientes preditores so modificados dinamicamente Conjunto timo de coeficientes preditores varia

continuamente, j que funo das caractersticas do sinal de udio Taxa de 8kbps com qualidade aceitvel

LPC Linear Predictive Coding => usado para sinal de voz Caractersticas do sinal so identificadas na codificao e

usadas na decodificao, junto a um sintetizador de voz, para gerar o udio final

141

5/2/2008

LPC Parmetros perceptuais: Pitch (relacionada a freqncia do sinal) Importante pois o ouvido humano mais sensvel

a freqncias na faixa de [2, 5]KHz Perodo: durao do sinal Loudness: quantidade de energia do sinal Parmetros do trato vocal (modelo do trato vocal): Usados para identificar a origem do som (letras m, v, l, f, s)

LPC Som gerado de voz metlica Taxas de 2.4 e 1.2 Kbps Codificadores LPC so usados em aplicaes militares Banda limitada Tecnologia desenvolvida durante a 2a. Guerra Mundial

142

5/2/2008

CELP Code-excited LPC Gera os mesmos parmetros LPC e ainda computa os

erros entre a fala original e a fala gerada pelo modelo sinttico Tanto os parmetros LPC do modelo do trato vocal quanto uma representao comprimida dos erros so codificados O resultado do CELP tem qualidade boa a taxas Baixas

Padres baseados em CELP

143

5/2/2008

Codificao Perceptual udio de propsito geral (voz ou msica) Utiliza um Modelo Psicoacstico Explora limitaes do ouvido humano udio de origem analisado e somente caractersticas

perceptveis pelo ouvido humano so codificadas/transmitidas Compresso perceptualmente sem perdas

Codificao Perceptual Ouvido humano sensvel a freqncias na faixa de

[15Hz, 20kHZ] Nvel d N l de sensibilidade no-linear ibilid d li Ouvido mais sensvel a algumas sub-faixas que outras Quando vrios sinais esto presentes: um sinal mais forte pode reduzir a sensibilidade do ou do out os sinais prximos a eq c a ouvido a outros s a s p os na freqncia Mascaramento de freqncias Quando o ouvido escuta um som alto, ele leva um tempo curto para conseguir escutar um som mais baixo Mascaramento temporal

144

5/2/2008

Sensibilidade do Ouvido Domnio dinmico de um sinal (dynamic range) Razo entre a amplitude mxima e a mnima

medida em decibis (dB) D = 20 log10 (Vmax/Vmin) dB Domnio dinmico do ouvido (som mais alto e mais baixo) = 96 dB Sensibilidade do ouvido varia com a freqncia do sinal Faixa de maior sensibilidade => [2, 5] Khz

Sensibilidade do Ouvido

145

5/2/2008

Mascaramento de Freqncias Para um sinal de udio que consiste de sinais

com mltiplas freqncias, a sensibilidade do freqncias ouvido humano varia com a amplitude relativa dos sinais Exemplo: Sinal B tem amplitude maior que A, o que causa uma distoro na curva de sensibilidade Sinal A seria ouvido sozinho, mas prximo do sinal B, no ouvido

Mascaramento de Freqncias Sinal A seria ouvido sozinho, mas prximo do sinal B, no

ouvido

146

5/2/2008

Mascaramento de Freqncias Efeito do mascaramento de freqncias variando com a

q ( , ) feqncia (sinais de 1, 4 e 8 KHz) O intervalo de freqncias afetadas (largura da curva) proporcional freqncia

Mascaramento de Freqncias A largura da curva chamada de banda passante

crtica daquela freqncia F < 500Hz Banda passante crtica constante ~100Hz F > 500Hz Banda passante crtica aumenta aproximadamente linearmente em mltiplos de 100Hz sinal de 1KHz (2x500 Hz) => banda crtica de 200Hz (2x100Hz) sinal de 5KHz (10x500 Hz) => banda crtica de 1000Hz (10x100Hz)

147

5/2/2008

Mascaramento de Freqncias Concluso Se a magnitude dos componentes de freqncias que

compem o sinal forem determinadas, possvel determinar que freqncias sero mascaradas e no precisam ser codificadas/transmitidas

Mascaramento Temporal Quando o ouvido escuta um som alto, ele leva um tempo

curto (dezenas de ms) para conseguir escutar um som ( )p g mais baixo Mascaramento temporal Para identificar amostras mascaradas, necessrio processar o sinal de udio durante um perodo comparvel ao do mascaramento

148

5/2/2008

MPEG udio Motion Pictures Expert Group MPEG Padro ISO para vdeo com som Trs nveis de qualidade (camadas layers) Camada 1 - MP1 Camada 2 - MP2 Camada 3 - MP3 Implementao de camada mais alta deve ser capaz de p p

decodificar camadas mais baixas

MPEG udio Codificao por Transformadas Fast Fourier Transform FFT (camadas 1 e 2) Modified Discrete Cosine Transform MDCT (camada 3) Codificao por Sub-bandas Espectro de freqncias dividido em 32 sub-bandas (1 e

2) Espectro de freqncias dividido em at 576 sub-bandas (3) Codificao Perceptual Modelo Psicoacstico Mascaramento de freqncias (todas as camadas) Mascaramento temporal (camadas 2 e 3) Codificao por Entropia (Huffman) Camada 3 MP3

149

5/2/2008

MPEG udio

MPEG udio Amostragem e Quantizao usa PCM Taxa de amostragem e nmero de bits por amostra

dependem da aplicao MPEG1 permite taxas de 32, 44.1 e 48 KHz Exemplo: udio qualidade CD 44.1KHz 16 bits por amostra

150

5/2/2008

MPEG udio Diviso em Sub-bandas 32 sub bandas de mesma largura (MP1, MP2) sub-bandas At 576 sub-bandas de largura varivel (MP3) Cada grupo de 32 amostras PCM relacionadas no tempo

so transformadas em 32 amostras na freqncia (FFT) 1 por sub-banda

MPEG udio Cada segmento de udio amostrado tem durao

igual ao tempo para acumular 12 conjuntos sucessivos de 32 amostras PCM Tempo de 384 (12 x 32) amostras PCM 32 amostras PCM so transformadas em 32 amostras na freqncia (1 por sub-banda) 12 amostras na freqncia em cada sub subbanda Amostra de maior amplitude determinada Fator de escala (scaling factor) da sub-banda

151

5/2/2008

MPEG udio Grupo de amostras em Sub-bandas MPEG MPEG layers II e III agrupam 3 grupos de 12

amostras em cada sub-banda (3 x 384 1152 amostras PCM) Mscara temporal

MPEG udio Mascaramento de Freqncias Layers I, II e III Mascaramento Temporal Layers II e III

152

5/2/2008

MPEG udio Cada quadro MPEG-udio agrupa MPEG layer I - 384 amostras PCM comprimidas MPEG layers II e III - 1152 amostras PCM

comprimidas Nmero de bits por conjunto de amostras fixo Taxa constante - CBR fatores de escala so utilizados para fazer a alocao de bits Componentes de freqncias de maior sensibilidade usam mais bits (menor rudo de quantizao) Fator de escala de cada sub-banda quantizado Outras amostras na freqncia so quantizadas de forma relativa ao fator de escala Rudo de quantizao varia por sub-banda

MPEG udio Decodificador no precisa conhecer

o modelo psicoacstico Menos complexo que o codificador Mais barato Diferentes modelos psicoacsticos podem ser utilizados Interessante para aplicaes de transmisso por difuso (broadcast)

153

5/2/2008

MPEG udio Comparao entre camadas Exemplo MP3: qualidade CD a 128 Kbps (comparado a 1.411Mbps) Rdio FM a 64 kbps

MPEG udio 4 alternativas de udio MPEG-1: Monofnico nico canal de udio Dual-monofnico dois canais independentes (ex.:

ingls e francs) Stereo em 2 canais Single-channel joint-stereo explora redundncias entre os canais estreo

154

5/2/2008

MPEG - 2 udio

MPEG-2 BC: Backward Compatible Compatvel com MPEG-1 (layers I, II e III) Extenso multicanal at 6 (5.1) canais

(esquerda,direita, centro, 2 canais surround, subwoofer) Taxas de amostragem menores 16, 22 e 24 KHz Taxas de bits menores 32 a 256 Kbps layer I 8 a 160 Kbps layers II e III

udio multicanalprincipal esquerdo central principal direito sub woofer sub-woofer

receiver surround esquerdo surround central surround direito

155

5/2/2008

MPEG - 2 udio MPEG-2 AAC Advanced Audio Coding No compatvel com MPEG-1 Bem mais complexo Amostragem em at 96 KHz udio de altssima qualidade a 64 Kbps Adotado como ncleo do codificador geral de udio do g

MPEG-4

Dolby Digitalwww.dolby.com Dolby AC 3 AC-3 ATSC A/52 Advanced Television Systems Committee Formato usado em DVD e no padro HDTV norteamericano MPEG udio opcional em DVD Taxas de amostragem de 48, 44.1, 32 KHz Taxas de bits de 32 a 640 Kbps At 6 canais (esquerdo, direito, centro, 2 canais surround e subwoofer)

156

5/2/2008

Dolby AC-3 Codificao por sub-bandas Codificao perceptual MPEG udio X Dolby AC-3: MPEG decide a alocao de bits por sub-bandas de

acordo com o modelo psicoacstico utilizado (forward adaptive bit allocation mode) Vantagem: decodificador no precisa conhecer o modelo psicoacstico Informao de alocao de bits deve ser inserida no quadro MPEGudio Desvantagem: desperdia banda passante com informao de alocao de bits

Dolby AC-3 Dolby AC-3 No passa informao de alocao de bits no quadro

AC-3, mas sim alguns parmetros que permitem ao decodificador inferir o modelo de mascaramento utilizado e a alocao de bits no quadro utiliza notao de ponto flutuante (expoente e mantissa) para representar os coeficientes de freqncia

157

5/2/2008

Codificador Dolby AC-3

Dolby AC-3 Quadro AC-3 Cada bloco de udio contm dados

comprimidos relativos a 256 novas amostras PCM p Taxa tpica - udio multicanal a 384 Kbps

158

5/2/2008

udio DTS Digital Theater Systems (DTS) www.dtstech.com Concorrente do Dolby Usado em filmes de cinema Jurrassic Park foi o primeiro Tambm permite 6 canais de udio amostragem PCM de

at 192KHz com 24 bits por amostra 256, 512, 1024, 2048 ou 4096 amostras PCM por quadro Taxa de 754 Kbps ou 1.5 Mbps Outra opo para DVD udio

udio DTS Codificador DTS Codificao por Transformadas e Sub bandas Sub-bandas Codificao Perceptual Codificao ADPCM Codificao por Entropia (VBR)

159

5/2/2008

Sistemas Multimdia Mdia VdeoAndre Zanki Cordenonsi Centro Universitrio Franciscano UNIFRA Verso 1.0 - 2005

Mdia Vdeo Mdia Tipicamente Analgica Representao Digital, quando necessrio

para integrao com mdias digitais, atravs de digitalizao do Sinal Analgico por amostragem.

Captura de Vdeo Cmeras de Vdeo Estrutura do Vdeo Resoluo espacial (resoluo geomtrica +

resoluo de cor) Resoluo temporal (no. de quadros por seg.)

160

5/2/2008

Difuso de TV Padres de TV NTSC - National Television Standards

Committee (525 linhas) mas somente 480 linhas so apresentadas. PAL (625 linhas) mas somente 576 linhas so apresentadas. CCIR (mesmo que PAL) SECAM (mesmo que PAL)

Formato da imagem TV tem formato de imagem 4:3. Cinema e TV de tela larga tem formato de

imagem 16:9.

Difuso de TV Varredura da Tela Taxa de refresh mnima deve ser de 50

vezes/seg para evitar cintilao (flicker) Sensao de movimento: 25 quadros/segundo Para minimizar o volume de dados transmitido, cada imagem transmitida em 2 metades (campo) 1o. Campo linhas mpares 2o. Campo linhas pares Varredura entrelaada Linhas mpares e pares

161

5/2/2008

Varredura entrelaada

Varredura Entrelaada Sistema NTSC 525 linhas 262.5 linhas por campo (240 visveis) 30 quadros/seg Sistema PAL/CCIR/SECAM 625 linhas 312.5 linhas por campo (288 visveis) 25 quadros/seg

162

5/2/2008

Varredura Entrelaada Brasil PAL-M Padro americano com sistema de cores

Europeu (525 linhas, 30 q/s)

Taxa de refresh 60/50 campos/seg Taxa de refresh de quadros 30/25 quadros/seg Sensao de 60/50 quadros/seg

Cores Para manter compatibilidade com TV preto e branco Luminncia (preto e branco) e crominncia so

combinadas em um sinal de vdeo composto

Sistemas de cores Sistema YUV (usado no PAL) Y = 0.299R + 0.587G + 0.114B U = 0.493 (B - Y) V = 0.877 (R - Y) Si t Sistema YIQ ( d no NTSC) (usado Y = 0.299R + 0.587G + 0.114B I = 0.74 (R - Y) 0.27 (B Y) = 0.599R 0.276G 0.324B Q = 0.48 (R - Y) + 0.41 (B Y) = 0.212R 0.528G + 0.311B

163

5/2/2008

Vdeo Digital Olho humano mais sensvel luminncia que a crominncia Si i de crominncia podem ser transmitidos Sinais d i i d i id com resoluo menor que o de luminncia ITU-R (ITU Radiocommunications Branch) antigo CCIR Padro pa a vdeo digital CCIR-601 ad o para deo d g ta CC 60 Variantes do padro para uso em difuso de

TV, videotelefonia e videoconferncia Formatos de digitalizao Formato 4:4:4 Baseado nos sinais RGB/YCrCb

Vdeo Digital Formatos de digitalizao Formato 4:2:2 Uso em estdios de TV (YCrCb) banda de 6 MHz para luminncia e 3 MHz para

crominncia Taxa de amostragem de 13.5 Mhz / 6.75 MHz 702 amostras por linha (52microsseg a 13.5MHz) Na prtica so 720 amostras para luminncia e 360 para cada crominncia por linha 8 bits por amostra (256 nveis) Varredura no-entrelaada (60/50Hz) Taxa de 216 Mbps

164

5/2/2008

Vdeo Digital Formatos de digitalizao Formato 4:2:0 Uso para difuso de TV digital (YCrCb) Mesma resoluo para luminncia e metade

para crominncia Sistema de 525 linhas Y=720x480 CrCb=360x240 Sistema de 625 linhas Y=720x576 CrCb=360x288 Taxa de 162 Mbps

Vdeo Digital Formato HDTV High Definition Television Formato 4:3 resoluo de 1440x1152 pixels Formato 16:9 resoluo de 1920x1152 pixels Em ambos os casos, 1080 linhas visveis 4:2:2 para estdio (taxa de quadros 50/60Hz) 4:2:0 para difuso (taxa de quadros 25/30Hz) Outros Formatos SIF Sistema de 525 linhas: Y=360x240; SIF,

CrCb=180x120 Videoconferncia: CIF, 4CIF, 16CIF Videotelefonia: QCIF, Sub-QCIF/S-QCIF

165

5/2/2008

Requisitos de Comunicao da Mdia Vdeo Natureza do Trfego Sem compactao/compresso Contnuo com Taxa Constante CBR Vdeo comprimido Contnuo com Taxa Varivel VBR Reproduo no destino taxa constante Vazo mdia depende da aplicao Tolerncia a erros Erros podem se propagar quando tcnicas de

compresso so utilizadas

Requisitos de Comunicao da Mdia Vdeo Variao estatstica do retardo deve ser compensada d Retardo de transferncia mximo crtico Comunicao interativa de tempo real

166

5/2/2008

Vdeo Princpios da Compresso de Vdeo Redundncia inter quadro inter-quadro Estimativa de Movimento H.261 H.263 MPEG

Vdeo Vdeo = seqncia de imagens Quadros (frames) Estrutura do Vdeo Resoluo espacial resoluo geomtrica + resoluo de cor Resoluo temporal no. de quadros p seg. q por g

167

5/2/2008

Exemplo de Padro de Vdeo (TV) Sistema NTSC formato de imagem 4:3 525 linhas 30 quadros/seg Sistema de cores Luminncia e crominncia Sistema YIQ (NTSC) ( ) Y = 0.299R + 0.587G + 0.114B I = 0.74 (R - Y) 0.27 (B Y) Q = 0.48 (R - Y) + 0.41 (B Y)

Sistema NTSC

168

5/2/2008

Compresso de Vdeo Pode-se utilizar algoritmos para comprimir imagens e q tratar cada quadro do vdeo individualmente M-JPEG Motion J-PEG Taxas tpicas entre 10:1 e 20:1 no so suficientes para vdeo Formato 4:2:2 para vdeo digital Taxa de 216 Mbps

Princpios da Compresso de Vdeo Redundncia espacial (intra-quadro) Redundncia temporal (inter quadro) (inter-quadro) Em um conjunto de quadros, pequenos movimentos acontecem de um quadro para outro videotelefonia (movimento dos lbios e olhos) Cena de filme (pessoa ou veculo em movimento) Ex.: cena de 3s => (60 quadros/seg.) => 180 quadros Estimativa de movimento Compensao de movimento

169

5/2/2008

Tipos de Quadro 2 tipos de quadros Codificados de forma independente Intracoded frames I-frames/quadros-I Quadros estimados (predicted frames) Predictive frames P-frames/quadros-P q Bidirectional frames (intercoded or interpolation frames) B-frames/quadros-B

Princpios da Compresso de Vdeo Trfego gerado pelo codificador VBR Decodificador mais simles, pois no precisa simles calcular estimativa de movimento Taxas de compresso tpicas: Quadros-I Similar ao JPEG (10:1 a 20:1) Quadros-P 20:1 a 30:1 Quadros-B 30:1 a 50:1

170

5/2/2008

H.261 Padro do ITU-T para servios de videotelefonia e g videoconferncia em redes digitais de servios integrados (ISDN) Canais de transmisso em taxas mltiplas de 64 Kbps Padro conhecido como px64, com p entre 1 e 30 64 kbps a 1.92 Mbps F Formatos de digitalizao t d di it li Common Intermediate Format (CIF) Quarter CIF (QCIF) Formato 4:2:0 no entrelaado

H.261 Cada quadro dividido em macroblocos de 16x16 Resoluo horizontal de 352 amostras (22 macroblocos) Resoluo espacial

Resoluo temporal

171

5/2/2008

H.261 S quadros-I e P quadros P quadros I Trs quadros-P entre cada par de quadros-I

H.261 Frame H.261 define estrutura de grupos de Macroblocos

GOB group of (macro)blocks Matriz de 11 x 3 macroblocos

172

5/2/2008

H.261 Como a taxa gerada varivel, codificador utiliza p g , buffer para regular a taxa de bits, transformando-a em taxa constante para enviar no canal de transmisso ajustes necessrios so feitos variando o valor do threshold de quantizao

H.263 Padro do ITU-T para aplicaes com transmisso de vdeo em redes sem fio e redes telefnicas tradicionais ( (PSTNs) ) Videotelefonia, videoconferncia, jogos interativos ... Transmisso analgica com uso de modem Taxas mais baixas 28.8 kbps a 56 Kbps Qualidade do H.261 a taxas baixas ruim S usa quadros-I e P, regulando a taxa com quantum d I P l d t t alto H.263 utiliza os mesmos conceitos do H.261, oferecendo algumas facilidades para melhorar a qualidade Formato 4:2:0 no entrelaado

173

5/2/2008

H.263 Formatos de digitalizao QCIF Sub-QCIF (S-QCIF) Cada quadro dividido em macroblocos de 16x16 Resoluo horizontal de 176 amostras (11 macroblocos) Resoluo espacial

Resoluo temporal 15 ou 7.5 quadros/seg GOBs de 11 x 3 macroblocos

H.263 Tipos de Quadro Quadros-I Quadros I Quadros-P Quadros-B Quadros-PB Quadro-B e quadro-P sucessivo imediato q Informao dos macroblocos dos dois quadros intercalada com informao do quadro-P precedendo o Quadro-B

174

5/2/2008

H.263 Vetores de movimento no restritos Vetores de movimento normalmente esto restritos a uma rea em volta do macrobloco correspondente no quadro de referncia rea de procura para estimativa de movimento limitada pela borda do quadro No H.263, os vetores de movimento no tm essas restries os quadros H.263 tm tamanho (resoluo espacial) menor

H.263 Resilincia a erros Redes telefnicas e rede sem fio tm maior probabilidade de erros de transmisso de bits Corrompem macroblocos (GOBs) de um quadro Erros so propagados em quadros estimados (-P e B) QCIF s tem trs GOBs por quadro Piora os efeitos dos erros

175

5/2/2008

H.263

H.263 Facilidades Error tracking Decodificao de segmento independente Seleo do quadro de referncia

176

5/2/2008

H.263 Error tracking Erros Vetores de movimento errados, codewords (palavras de (p cdigo) erradas ... Codificador mantm informao sobre estimativa de movimento de GOBs no ltimos quadros transmitidos Canal de retorno usado pelo decodificador para e a um eco ec e to egat o (NACK) enviar u reconhecimento negativo ( C ) de volta ao codificador quando um erro detectado contendo nmero do frame e identificao do GOB Codificador utiliza as informes sobre estimativa de movimento dos GOBs para identificar prximos quadros afetados pelo erro e codifica esses macroblocos como nos Quadros-I

H.263

177

5/2/2008

H.263 Decodificao de segmento independente Evitar que erros em um GOB causem erros em outros GOBs de quadros subseqentes Cada GOB tratado como um subvdeo, de forma independente dos outros GOBs do quadro Desvantagem: estimativa de movimento limitada a rea de um GOB E Esquema usado em conjunto com error t ki d j t tracking

H.263

178

5/2/2008

H.263 Seleo do quadro de referncia Mesma idia do error tracking Evitar propagao de erros atravs de mensagens do decodificador 2 Modos Modo NACK Modo ACK

H.263 Modo NACK

179

5/2/2008

H.263 Modo ACK Todos os quadros devem ser reconhecidos pelo decodificador S quadros cujo reconhecimentos foram recebidos so usados como quadros de referncia Desvantagem: reduz eficincia na codificao por utilizar quadros mais antigos como referncia M d funciona bem para canais com retardo baixo Modo f i b i t d b i (de preferncia menores que o tempo de codificao de um quadro)

H.263 Modo ACK

180

5/2/2008

H.263 Tambm oferece formatos com resoluo maior 4CIF (704 x 576) 16CIF (1408 x 1152) H.263 substitui H.261

MPEG Motion Pictures Expert Group Padro ISO para aplicaes que envolvem vdeo com som MPEG-1 MPEG-2 MPEG-4 MPEG-1 (ISO 11172) Formato baseado no SIF Source Intermediate Format (352 x 288) Armazenamento de udio e vdeo com qualidade VHS em CD-ROMs com taxas de 1.5 Mbps

181

5/2/2008

MPEG

MPEG-2 (ISO 13818) Gravao e transmisso de udio e vdeo com qualidade de estdio 4 nveis de resoluo de vdeo: Baixa: baseado no SIF com resoluo de at 352 x 288 Compatvel com MPEG-1 Principal: resoluo de 720 x 576 Vdeo qualidade estdio

MPEG Alta 1440: resoluo de 1440 x 1152 Televiso de alta definio (HDTV) Alta: resoluo de 1920 x 1152 HDTV de tela larga

182

5/2/2008

MPEG

MPEG-4 Inicialmente o padro tinha objetivos similares aos do H.263 Compresso de vdeo com taxas muito baixas (4.8 a 64 Kbps)