inf207 introdu o parte2 2t2010 v2 - hostel.ufabc.edu.brhostel.ufabc.edu.br/.../inf207_introdu%e7%e3o_parte2_2t2010%20v2.pdf · elétrico que representa a amplitude do som como uma

INFINF--207207Sistemas ComputacionaisSistemas Computacionais

para Processamento Multimídiapara Processamento Multimídia

IntroduçãoIntroduçãoIntroduçãoIntroduçãoParte 2Parte 2

22°°°°°°°°QQ--20102010

Prof. Roberto Prof. Roberto JacobeJacobe ([email protected])

Prof. Marcelo Z. do Prof. Marcelo Z. do NascimentoNascimento (([email protected])

1

Sumário

• Introdução;

• Sistema Multimídia;

• Arquivos;

• Codificação; • Codificação;

• Compressão;

• Comunicação multimídia;

• Outras Informações;

• Leituras Sugeridas.

2

Introdução• Multimídia é muito mais que apenas reproduzir um

filme de um DVD:

• DVD x CD = subtrato de policarbonato de 120 mm;

• Densidades mais alta de gravação > capacidade de

armazenamento;

• Tranferência de videoclipes pela Internet:• Tranferência de videoclipes pela Internet:

• ADSL e TV a cabo.

• Jogos de computadores também aplicam esses

recursos em algum tipo de ação durante sua execução.

• Vídeo sob demanda (video on demand):

• Capacidade de um usuário em casa selecionar um filme usando

o controle remoto do televisor

3

Introdução• Vídeo sob demanda (video on demand):

• Taxa de dados extremamente altas;

• Infraestrutura (Servidor, rede e caixa digital);

• Reprodução em tempo real (temporal).

ADSLADSL

TV a cabo

4

• Multimedia é qualquer combinação de texto, aúdio animação e vídeo manipulados de forma digital;

• Ambos, mídia discreta ou contínua pode ser utilizado;

• Significantes níveis de independência entre mídia

Introdução

• Significantes níveis de independência entre mídia pode ser aplicado;

• O software e hardware dão limites do que pode ser explorados em uma plataforma multimídia ou ambiente;

• Multimídia pode ser interativo quando o usuário final pode controlar o que e quanto os elementos são direcionados.

5

Sistema Multimídia

6

Sistema Multimídia• Taxa de Dados de algumas fontes digitais multimídia

• Requer compressão e memória;

• Exemplo: Filme HDTV -> 2 horas sem compressão e com alta

definição requer 570 GB.

7

ArquivosArquivos Multimídia

• Arquivos tradicionais são formados por uma sequência

de bytes sem qualquer estrutura que o SO possa

reconhecer;

• Multimídia: Vídeo e áudio são completamente • Multimídia: Vídeo e áudio são completamente

diferentes:

• São capturados por dispositivos diferentes e reproduzidos

também por equipamentos não equivalente;

• Opção de selecionar o idioma: vários arquivos de áudio;

• Vários arquivos textos com legendas para um idioma.

8


9


• Sistema precisa manter controle sobre multiplos

“subarquivos” por arquivo;

• Necessidade de uma nova estrutura de dados que

relacione todos os subarquivos de um arquivo

multimídia;multimídia;

• Também é possível criar um i-node bidimensional em

que cada coluna relaiona os blocos de cada subarquivo;

• Além disso, é importante manté-los de forma

sincronizada para que a reprodução áudio e vídeo

garanta os dados “alinhados”.

10

CodificaçãoÁudio• Uma onda sonora -> onda acústica (de pressão)

unidimencional;

• Ondas acústicas atingem o microfone-> gera um sinal

elétrico que representa a amplitude do som como uma elétrico que representa a amplitude do som como uma

função do tempo;

• O intervalo do alcance de frequência vai de 20 a 20 mil

Hz -> percepção é registrada numa escala definida por

dB (decibeis);

• As ondas são convertidas em digital por um CAD (analog digital converter).

11

CodificaçãoErro

• Amostra o sinal em cada N segundos;

• O erro introduzido pelo número finito de bits por amostra é chamado de quantização.

12

CodificaçãoVídeo

• O olho humano:

• Ao atingir a retina -> uma imagem é retirada por alguns

milissegundos antes de desaparecer;

• Se mais de 50 imagens por segundo atingem a retina;

• O olho não consegue perceber que está sendo exibido imagens • O olho não consegue perceber que está sendo exibido imagens discretas.

• Sistema de Vídeo => TV PxB• Imagem 2D-> função unidimensional da voltagem em relação ao

tempo;

• Câmera percorre um feixe de elétrons rapidamente de um lado

para outro lentamente de cima para baixo e registra a

intensidade luminosa -> quadro.13

Codificação• Sistema de Vídeo => TV PxB

• Ao final, o feixe volta a origem (retrace):

14

CodificaçãoCodificação

• Movimentos suaveis ->pessoas podem perceber a imagem

tremula:

• Necessidade de mais quadros/seg -> maior largura de banda.

• Sistema de Vídeo => TV PxB

• O NTSC (National Television System Committee) fornece 525 • O NTSC (National Television System Committee) fornece 525

linhas e 29,97 quadros/ seg.

• O sistema PAL (Phase Alternating Line) e SECAM (Séquentiel

Couleur à Mémoir) tem 625 linhas -> 25 quadros/seg.

• Solução:

• adotou-se mostrar primeiro as linhas de varredura impares e

depois as linhas pares->cada um desses meio quadro=> campo

=> técnica de entrelaçamento != Progressivo.15

CodificaçãoCodificação

• Sistema de Vídeo => Colorido

• Emprega 3 faixas movendo-se em uníssono (harmonizar);

• Usa-se o RGB (RED, GREEN e BLUE) -> transmissão ocorre a

combinação em um único composto;

• Sinal a cores -> receptor em P x B: 1 luminância (brilho) e 2 • Sinal a cores -> receptor em P x B: 1 luminância (brilho) e 2

crominância (cor).

• Vídeo Digital -> sequência de quadros

• Cada quadro contém uma grade retangular de elementos->

pixels. Emprega normalmente 25 quadros para produzir os

movimentos suáveis;

• Alerta: parâmetros aplicados -> dependem da largura de banda.

• Exemplo: 1600 x 1200 (VXGA)=> 24 bits -> 25 quadros/seg

~= 1,2 Gbps 16

Compressão• Sistema de compressão precisa de 2 algoritmos:

• Algoritmo de Codificação

• Algoritmo de Decodificação

• Diferenças em aplicações.

• Filme será codificado somente uma vez;

• Será decodificado milhares de vezes => algoritmo lento;

• VideoConferência=> não é possivel codificação lenta.

• Fatores ponderantes:

• Mídia não há necessidade de reverter em 100 % devido a

codificação/decodificação;

• Sistema de compressão utilizado pode apresentar perdas.

• Há perdas para oferecer uma compressão muito melhor.

17

CompressãoJPEG (joint photographic experts group)

• Padrão multimídia utilizado para imagens em

movimento;

• Usados com vídeo RGB de 24 bits

• Exemplo: JPEG de 640 x 480 com 24 bits/pixel• Exemplo: JPEG de 640 x 480 com 24 bits/pixel

• Passos da Codificação:

• 1- preparação do bloco;

• Uso da luminância e cromonância oferece melhor compreensão

• São calculados os sinais Y (brilho), I (cromonância), Q a

partir dos valores RGB.

• Matrizes são construidas, separadas, cada uma com elementos

de 0 a 255.

18

Compressão

JPEG (joint photographic experts group)


• Calcula a média de todos os blocos quadrados de 4 pixels nas

matrizes I e Q, reduzindo para 320 x 240 pixels

• Não influenciam muito o olho, pois é mais sensível a luminância• Não influenciam muito o olho, pois é mais sensível a luminância

e não a crominância.

• Cada elemento de todas as matrizes é subtraído de 128 para

que o 0 fique na metade do intervalo;

• Cada matriz é dividida em blocos de 8 x 8 pixels

• Matriz Y tem 4800 blocos e as outras tem 1200 blocos

19



• Uso da luminância e cromonância oferece melhor

compreensão são calculados os sinais Y, I e Q.

20


• 2- Aplica a Transformada Discreta de Cosseno (TDC);

• Aplica-se TDC em cada bloco => matriz 8 x 8 de coeficiente

DCT => o elemento DCT (0,0) é o valor médio do bloco;

• Outros indiciam a quantidade potência espectral presente em

cada frequência espacial.cada frequência espacial.

• 3 – Quantização

• Coeficientes menos importantes são eliminados => usa uma

tabela -> divide cada elemento DCT por um peso;

• 4 - Reduz

• O valor (0,0) de cada bloco é substituido pelo tanto que ele

difere do elemento correspondente no bloco anterior;

21


Matriz Y

Coeficientes DCT

Elementos decaem

22


Cada aplicação fornece sua tabela de quantização

Matriz inicial, Coeficientes quantizados Tabela

23

Coeficientes com maior frequência


• 5- Linearização:

• A matriz resultante quantizada => a simples

utilização das linhas da matriz em sequência gera um

vetor com distribuição de zeros e não zeros em todo vetor com distribuição de zeros e não zeros em todo

o vetor;

24


• 5- Linearização:

• Uma linearização em zig-zag é utilizada (64

elementos).

25


• Com a lista dos números que representam a imagem no

espaço de transformação, codifica a imagem usando o

código de Huffman:

• Método que utiliza a probabilidade de ocorrência de Método que utiliza a probabilidade de ocorrência de

símbolos no conjunto de dados a ser comprimido para determinar códigos de tamanho variável para

cada símbolo.

26

CompressãoPadrão MPEG (Motion Picture Experts Group)

• MPEG 1-> gera saída de qualidade para gravação de

video usando uma taxa de 1,2 Mbps;

• MPEG 2-> foi projetado para comprimir vídeo com

qualidade de transmissão em taxas de 4 a 6 Mbps;qualidade de transmissão em taxas de 4 a 6 Mbps;

• Esse padrão tira vantagens em 2 tipos de redundância

que existem em imagem em movimento para

compressão das informações;

• A redundância espacial -> codificar cada quadro separado com

JPEG

• Pode haver quadros consecutivos quase identicos (temporal).

27


• A redundância espacial -> codificar cada quadro

separado com JPEG

• Pode haver quadros consecutivos quase identicos (temporal).

28

28

Compressão

Padrão MPEG (Motion Picture Experts Group)

• A redundância temporal: quadros sucessivos;

• Ao invés de transmitir os quadros como uma sequência de

imagens, somente algumas imagens são enviadas;

• As demais somente a diferença entre o quadro e o quadro

predito são enviadas.predito são enviadas.

950 951 952

29


• Vídeo Digital ->usa somente o esquema tipo JPEG para aplicações

em tempo real.

• Para cenas em que a camera e fundo são estacionário => subtrai

cada quadro do anterior e executa o JPEG para compressão;

• A saída MPEG-2 consiste em 3 tipos diferentes de quadros que• A saída MPEG-2 consiste em 3 tipos diferentes de quadros que

são processados pelo programa de visualização:

• I intracodificados: imagens estáticas autocontidas codificadas

com JPEG;

• P preditivos: diferença bloco por bloco com o último quadro

• B bidirecionais: diferença entre o último e o próximo quadro

30

Tipos de Quadros

3 Tipos de Quadros: I, P, BI : Todas as informações para apresentar o quadroP: Codificação preditiva a partir do I ou P.

B: Codificação preditiva a partir do I ouanteriores e dos próximos I ou P.

I P IP PB B B B B B B B

31

• Quadros I– Taxa de compressão similar ao JPEG => ordem de 10:1 a 20:1.

– Tempo de processamento para compressão é baixo.

• Quadros P– Depende muito do método de busca de blocos na estimação de

movimento, chegando a compressão da ordem de 20:1 a 30:1.

Compressão

– Depende muito do método de busca de blocos na estimação de movimento, chegando a compressão da ordem de 20:1 a 30:1.

– Tempo de processamento para compressão é intermediário.

• Quadros B– Depende muito do método de busca de blocos na estimação de

movimento, chegando a compressão da ordem de 30:1 a 50:1.

– Tempo de processamento para compressão é relativamente alto.

32

• Compressão MPEG é usada em:

– Televisão digital;

– Decodificador HDTV;

Compressão

– DVD players;

– Vídeoconferência;

– Vídeo na Internet

– ..

33

• Compreende um conjunto de técnicas necessárias para

distribuir os sistemas multimídia;

• Relacionado a tranferência, protocolos, serviços e

mecanismos de mídia discreta ou contínua sobre redes

de comunicação;

Comunicação Multimídia

de comunicação;

• Exemplo: protocolo projetado para reservar capacidade para

dados de mídia contínua em conjunto com mídia discreta em uma

rede ATM.

• Em aplicações de redes multimídias, vários mecanismos

são aplicados para fornecer QoS para propriedades da

mídia em questão.

34

• Nesse contexto podemos definir 4 camadas de QoS:

• QoS de usuário: informações necessárias para percepção dos

dados da mídia na interface do usuário;

• QoS de aplicação: define os requisitos necessário para que os

serviços da aplicação especifique a qualidade da mídia (delay) e


serviços da aplicação especifique a qualidade da mídia (delay) e

relação da mídia (sincronização);

• QoS de sistema: parâmetros que descrevem requeridos no

serviço de comunicação resultante do QoS de aplicação;

• QoS de rede: descreve requisito de serviços de rede;

35

• Exemplos de parâmetros multimídia e QoS:

– QoS para serviço de áudio:

• Taxa de amostragem – 8000 amostra/second

• Resolução – 8 bits por amostra


– QoS para redes de computadores:

• Throughput – 100 Mbps

• Tempo de configuração da conexão – 50 ms

36


37

• Para fornecer QoS usando reserva de recurso e escalonamento, essas etapas devem ocorrer:

• Especificação de QoS: a carga de trabalho e o QoS esperado

deve ser especificado para habilitar o sistema para

determinada onde e quando o QoS deve ser fornecido;

• Teste de capacidade e cálculo de QoS: quando uma aplicação


• Teste de capacidade e cálculo de QoS: quando uma aplicação

emite sua requisição de QoS, o controle do sistema deve

checar onde essa demanda pode se satisfeita, solicitando a

reserva existente;

• Reserva de capacidade de recurso: de acordo com a garantia

de QoS =>s recursos devem ser reservados;

• Comprimento de garantia de QoS: a garantia deve ser

comprida por um escalonamento de acesso ao recurso;

38

Leituras Sugeridas• Computer Networking, A Top-Down Featuring the

Internet by James F.Kurose & Keith W.Ross.

• Fundamentals of Multimedia, Ze-Nian Li & Mark S. Drew, Pearson Education.

• Lars C. Wolf, Carsten Griwodz, and Ralf Steinmetz, "Multimedia Communication," Proceedings of the IEEE, Vol. 85, No. 12, pp. 1915-1993, December 1997.

39

Outras informações sobre essa disciplina podem ser obtidas:

http://hostel.ufabc.edu.br/~marcelo.nascimento/

Mais Informações

40

Documents

inf207 introdu o parte2 2t2010 v2 - hostel.ufabc.edu.brhostel.ufabc.edu.br/.../inf207_introdu%e7%e3o_parte2_2t2010%20v2.pdf · elétrico que representa a amplitude do som como uma