MEDIÇÃO DE QoE PARA FLUXOS DE VÍDEOdebora/fsmm/trab-2010-1/apres-qoe.pdf · QoE Camadas 7 QoS Camadas 4 QoS está mais relacionada às características das camadas 1 a 4 e portanto

MEDIÇÃO DE QoE PARA FLUXOS DE VÍDEO

Departamento de Engenharia de TelecomunicaçõesUniversidade Federal Fluminense

Margareth Apostolo dos [email protected]

Julho 2010

Qualidade é um conceito subjetivo e, portanto, dependente de diversos fatores, dentre eles, da expectativa do observador.

A qualidade de vídeo pode ser avaliada a partir da observação humana da própria apresentação da mídia e/ou da medição por equipamentos computadorizados de diversos parâmetros que influenciam nesta qualidade desta apresentação. Nas medições objetivas, algumas delas consideram a sensibilidade da percepção humana na fixação dos valores dos parâmetros de referência, tornando-as mais eficazes

QoS (Qualidade de Serviço) baseia-se em métricas objetivas, bem determinadas. Todas as medições são feitas a partir da monitoração de todos os meios de transmissão envolvidos, dos elementos comutadores, nas influências dos CODECs, nos métodos de compressão e descompressão, nos protocolos das diversas redes que compõem a transmissão do vídeo da origem ao destino final

QoS x QoE

QoE (Qualidade de Experiência) baseia-se em uma avaliação da satisfação do cliente que se utiliza do vídeo. Pessoas são utilizadas nesta avaliação

Qualidade do vídeo Camada 7 e aplicação propriamente dita

QoE Camadas 7

QoS Camadas 4

QoS está mais relacionada às características das camadas 1 a 4 e portanto às condições da própria rede de pacotes que suporta o serviço. QoE está mais relacionada às implicações nas camadas superiores e à qualidade percebida na camada de aplicação.

•Percepção humana: avaliação visual de um grupo de pessoas fazendo uso de pontuações;•Métrica de codificação de Vídeo, avaliando tipo de codec a ser utilizado, o tamanho da imagem e outros fatores-chave.•Métrica do Transporte do Vídeo (QoS), avaliando a rede com todos os seus elementos de comutação e transporte e os protocolos envolvidos.

TIPOS DE AVALIAÇÃO QUE COMPÕEM UMA AVALIAÇÃO DA QoE:

Métrica Descrição

MOS-VPontuação que considera o efeito do

codec de vídeo, taxa de quadros, a perda de pacotes e estrutura GOP em uma visão de qualidade.

MOS-APontuação que considera o efeito do

codec de áudio, taxa de bit, taxa da amostragem e a perda de pacotes na qualidade de visualização.

MOS-AV Pontuação que considera o efeito da imagem e

qualidade de áudio e sincronização de áudio e vídeo

sobre a experiência geral do usuário

Video Service Picture Quality

(VSPQ)

Qualidade de imagem, com uma pontuação que

considera o efeito do codec de vídeo, taxa de

quadros, a distribuição de perda de pacotes e

estrutura GOP.

Gap MOS-V Qualidade de imagem durante bons períodos em que

pouca ou nenhuma degradação está ocorrendo.

Burst MOS-V Qualidade de imagem durante maus períodos

quando significativa degradação está ocorrendo

Video Service Multimedia Quality

(VSMQ)

Multimídia (áudio e vídeo) de qualidade, uma

pontuação que considera o efeito da imagem e

qualidade de áudio e sincronização de áudio e vídeo

sobre a experiência geral do usuário

PERCEPÇÃO HUMANA

CODIFICAÇÃO DE VÍDEO


Codec type Tipo de codec

GoP type Tipos de grupos de imagens (ex.: IBBP…)

Minimum GoP length Número mínimo de frames do GOP

Maximum GoP length Número máximo de frames do GOP

Average inter-I frame gap Número médio de quadros P e B entre os quadros I

Image size Tamanho da imagem em pixels (X x Y)

Codec robustness Parâmetro que define a robustez do algoritmo

decodificador.

Content sensitivity Parâmetro que define a sensibilidade do conteúdo

de vídeo


Proportion of I frames impaired Porcentagem de quadros I prejudicados pela

perda / descarte

Proportion of P frames impairedPorcentagem de quadros P prejudicados pela perda / descarte

Proportion of B frames impairedPorcentagem de quadros B prejudicados pela perda / descarte

I, P, B frame packets received Contagem do número de pacotes de frames I, P

e B recebidos

I, P, B frame packets lost Contagem do número de pacotes de frames I, P

e B perdidos

I, P, B frame packets discardedContagem do número de pacotes de frames I, P e B descartados

Mean bandwidth Média da largura de banda de vídeo excluindo

“overhead” do IP, FEC e retransmissões

Peak bandwidth Valor de pico da largura de banda do vídeo

excluindo “overhead” do IP, FEC e

retransmissões

TRANSPORTE DE VÍDEOPerdas de Pacote

Métricas Descrição

Uncorrected Packet Loss

Rate

Percentual de pacotes IP perdidos na

rede

Corrected Packet Loss Rate Taxa de perda de pacotes após a

correção do FEC ( Forward Error

Correction ) ou pela retransmissão

Packet Discard Rate Percentual de pacotes descartados devido

ao atraso na chegada.

Out of Sequence Packet Rate Percentual de pacotes que chegam fora

de seqüência.

Duplicate Packet Rate Percentual de pacotes duplicados.

Burst Loss Rate Percentual de perda de pacotes em razão

de tráfego em rajada.

Burst Length Duração média dos períodos de tráfego

em rajada.

Gap Loss Rate Percentual de pacotes perdidos entre os

períodos de tráfego de rajada.

Gap Length Tempo médio dos intervalos entre

períodos de tráfego em rajada.

“Jitter” e “Delay”


MAPDV Média da avaliação do atraso do

pacote (ITU-T G.1020)

PPDV Variação do atraso pacote a pacote

(RFC3550)

Positive Jitter Threshold Limite admissível do “jitter”

Positive Jitter Percentile Percentual de pacotes que chegam

dentro do limite de “jiter” admissível.

Negative Jitter Percentile Percentual de pacotes que chegam

fora dos limites admissíveis de

“jitter”.

Round trip delay Round trip delay (RTT delay)

Parâmetros avaliados para verificação de QoS

•Throughput;•Largura de banda nominal;

•Latência;•Atraso;•Jitter;

•Técnicas de classificação e priorização de pacotes;• Sistemas de codificação e decodificação;

•Avaliação da variação de luminância;• PSNR ( relação sinal ruído).

RECOMENDAÇÃO WT-126 DO GRUPO DE ESTUDOS DSL FÓRUM.

Fluxo

de

Vídeo

(Mbit/s)

Latência Jitter

Perda de

pacotes

IP

Período de

Coleta

30 minutos

Taxa média

de

perda de

pacotes

IP

8 <200ms <50ms 1 Pacote

IP

1 evento de erro

a cada 4 horas 9.14E-08


IP

1 evento de erro



IP

1 evento de erro


Valores recomendados para MPEG-2 em qualidade HDTV

ITU-R BT500 Metodologia para avaliação subjetiva da qualidade de vídeo em

televisores

ITU-T P910 Métodos para avaliação subjetiva de vídeo em aplicações

multimídia

ITU-T P911 Métodos para avaliação subjetiva de dados audiovisuais em

aplicações multimídia

ITU-T J.144 Técnicas para avaliação objetiva de vídeo para televisão a cabo na

presença de uma referência (vídeo de referência sem defeitos,

erros de transmissão, etc..)

ITU-R BS.1387 Avaliação de sistemas de áudio de alta qualidade

MEDIÇÕES SUBJETIVAS QoE

ITU-T setor de telecomunicaçõesITU-R setor de radiocomunicações


ITU-T P910(1999) que é a atualização da BT500 da ITU-R

•O grau de qualidade exigido pode variar em função do objetivo do vídeo;•Os avaliadores atribuem notas de acordo com sua percepção e de acordo com uma escala de valores pré-definida;•Podem ter um vídeo de referência, dito “limpo” sem erros, sem degradação;•Podem não ter vídeo de referência;•Podem avaliar um vídeo degradado lado a lado com o vídeo de referência;•Podem avaliar um vídeo degradado logo após o de referência;•Pode não ter vídeo de referência e avaliar dois vídeos degradados lado a lado ou em seqüência;•Pode ter apenas um vídeo a avaliar (Single Stimulus) ou mais de um vídeo degradado incluindo ou não um de referência (Double Stimulus);

METODOLOGIA DE AVALIAÇÃO


ITU-T P910(1999) que é a atualização da BT500 da ITU-R

CLASSIFICAÇÃO DA S AVALIAÇÕES ESPECIFICADA PELA METODOLOGIA

a)em função da apresentação do vídeo:•FR - Full Reference (necessitam de vídeo de referência) [4];•NR – não necessitam de referência [4];•Single Stimulus – único estímulo;•Double Stimulus – dois estímulos.

b)em função das notas a serem dadas pelos avaliadores:•Escala discreta (poucas notas). Exemplo: 1 a 5 •Escala contínua (grande variação de notas possíveis)

c)em função da quantidade de visualizações permitidas aos avaliadores:•O avaliador verifica o vídeo quantas vezes julgar necessário •É fixada a quantidade de vezes que o avaliador irá assistir ao vídeo, podendo ser inclusive ,somente uma


ITU-T P910(1999) que é a atualização da BT500 da ITU-RMetodologia ACR (Adjectival Categorical Rating)

A metologia ACR é apresentada pela recomendação BT.500 e também na sua evolução P.910 sob o nome de Absolute Categorical Rating. É mais aplicável aos televisores. Seguem algumas características desta metodologia:

•Estímulo único – os vídeos são apresentados um de cada vez e uma nota é atribuída a cada um;•o período dos vídeos é aberto;•se um tempo de votação constante for usado, este devera ser inferior ou igual a 10 s, como apresentado a seguir.

•A ordem de apresentação dos vídeos é aleatória e variada aos avaliadores de modo que um avaliador não interfira na avaliação do outro;•Simples e rápida;•Escala discreta de notas (1 a 5 ou 1 a 9 ou 1 a 11), apresentada na Tabela 11.

1 Péssimo 1 Péssimo 0

2 Ruim 2 1 Péssimo

3 Regular 3 Ruim 2

4 Bom 4 3 Ruim

5 Excelente 5 Regular 4

6 5 Regular

7 Bom 6

8 7 Bom

9 Excelente 8

9 Excelente

10

Metodologia ACR-HR (Absolute Category Rating) com referência escondida

•as seqüências de teste são apresentados uma de cada vez e são avaliadas de forma independente em uma escala;•o procedimento de ensaio deve apresentar uma versão de referência de cada seqüência de teste mostrado como qualquer estímulo teste. Isso é chamado de uma condição de referência escondida;•durante a análise dos dados, um índice de qualidade diferencial (DMOS) será calculado entre cada seqüência de teste e sua referência escondida;•após cada apresentação, os participantes são convidados a avaliar a qualidade da seqüência mostrada;•se um tempo de votação constante for usado, este devera ser inferior ou igual a 10 s;•o tempo de apresentação poderá ser reduzido ou aumentado de acordo com o conteúdo do material de teste;•Escala discreta de notas

•As notas diferenciais de observação (DV) são calculadas sobre uma seqüência de vídeos (PVS). A referência escondida também é utilizada para calcular DV usando a seguinte fórmula: DV(PVS) = V(PVS) – V(REF) + 5onde V é a pontuação dos avaliadores usando o método ACR. DV igual a 5 indica qualidade excelente e igual a 1 indica péssima qualidade. Normalmente, são considerados excelentes os resultados de DV > 5, contudo é possível fazer uso de outra fórmula para minimizar a ocorrência destes resultados:

crushed DV = (7*DV)/(2+DV) quando DV>5

5 Excelente

4 Bom

3 Regular

2 Ruim

1 Péssimo

•Metodologia DCR (Degradation Category Rating)

•A metodologia DCR é apresentada na recomendação ITU-T P.919. •as seqüências de teste são apresentadas em pares;•duplo estímulo: o primeiro estímulo apresentado em cada par é sempre a fonte de referência, enquanto que o segundo estímulo é o vídeo em avaliação;•quando os formatos de imagem reduzida são usados (por exemplo, CIF, QCIF, SIF), deve-se mostrar no mesmo monitor a referência e a seqüência de testes simultaneamente;se um tempo de votação constante for usado, este deverá ser inferior ou igual a 10 s;o tempo de apresentação poderá ser reduzido ou aumentado de acordo com o conteúdo do material de teste.o padrão de tempo para a apresentação do estímulo pode ser ilustrado conforme a seguir:

•

•

•

•escala de notas discretas

5 Imperceptível

4 Perceptível, mas não incomoda

3 Incomoda ligeiramente

2 Incomoda

1 Incomoda demais

Metodologia PC (Pair Comparison Method)A metologia PC é apresentada na recomendação ITU-T P.919.

•seqüências de teste são apresentadas em pares, que consiste na mesma seqüência sendo apresentada, primeiro através de um sistema em teste e em seguida, através de outro sistema;•os vídeos em avaliação (A, B, C, etc) são combinados ( AB, BA, CA, BA, etc). Assim, todos os pares de seqüências devem ser exibidos nas duas possíveis ordens (por exemplo, AB, BA). Depois é avaliado o melhor vídeo de cada par;•se um tempo de votação constante for usado, este deverá ser inferior ou igual a 10 s;•o tempo de apresentação poderá ser reduzido ou aumentado de acordo com o conteúdo do material de teste;•quando os formatos de imagem reduzida são usados (por exemplo, CIF, QCIF, SIF), deve-se mostrar no mesmo monitor a referência e a seqüência de testes simultaneamente;•O padrão de tempo para a apresentação do estímulo pode ser ilustrado na figura a seguir:

Metodologia SAMVIQ: Subjective Assessment Method for Vídeo Quality

A metodologia SAMVIQ é a mais recente e já direcionada às aplicações multimídia, portanto mais recente que as recomendações BT.500 e P.910.

•Estímulos múltiplos, à vontade de cada avaliador;•A ordem de apresentação dos vídeos é decidida por cada avaliador;•No máximo 10 variações de um mesmo vídeo para avaliação;•Só pode mudar de uma variação de um vídeo para outra, após atribuição de nota para a primeira;•Escala contínua de notas entre 0 e 100, como apresentada na tabela a seguir:

•Entremeia vídeos de referência explícitos e implícitos ao avaliador, ou seja, um ele sabe que é o original e o outro ele não sabe;•Mais lento por permitir vários estímulos, porém mais preciso por fazer uso de duas referências.

Na ausência de um mapeamento entre o tempo de zapping e MOS, foi feito um estudo tentando utilizar os resultados apresentados na ITU-T Rec. G.1030 , onde é sugerida uma metodologia com mapeamento dos tempos de resposta e de download percebidos pela verificação de qualidade dos web browsers.

A metodologia define tempos mínimos (Min) e máximos (Max) de zapping e uma interpolação logarítmica entre esses valores. A modelagem seria :

MOS = a - b ln (Zapping Time);preencher o MOS = 5 (excelente qualidade) para ZappingTime = Min e MOS = 1 (má qualidade) para ZappingTime = Max;obtemos por tempo de zapping entre Min e Max, a seguinte fórmula:MOS = 4 ( ln(Zapping Time) – ln (Min) ) + 5ln (Min) – ln (Max)

Foram escolhidos os valores mínimo e máximo baseados em observações sobre a percepção em relação ao tempo de resposta de qualidade:

•0,1 segundo é o limite para ter a sensação de que o sistema está reagindo instantaneamente;•um segundo é o limite do pensamento ficar sem interrupções, mesmo que o usuário perca a sensação de que o serviço está operando. É um limite importante para os serviços interativos;• 10 segundos é o limite para manter o usuário com atenção concentradaBaseados nas avaliações acima foram considerados: Min = 0.1s e Max = 5 s.

O importante é não se esquecer deste requisito nas avaliações de provimento de IPTV, mesmo que se faça uso somente de avaliações subjetivas diretamente.

ZAPPING

CONDIÇÕES MÍNIMAS PARA OS EXPERIMENTOS

INFRAESTRUTURA

Distância de visualização 1 – 8 H (NOTA 2)Luminância máxima da tela 100 – 200 cd/m (NOTA 2)Relação de luminância da tela inativa e o pico de luminância

< 0,05

Relação de luminância da tela entre exibição de preto (sala escura, por exemplo) e o branco

< 0,1

Relação de luminância entre o fundo por trás de imagem e o pico de luminância da imagem

< 0,2

Cromaticidade do fundo (por trás) da imagem (NOTA 4) D65Iluminação de fundo da sala (NOTA 3) < 20 luxNOTA 1 - Para uma dada altura da tela, é provável que a distância de visualização preferida para as avaliações aumente quando a qualidade visual é degradada. A distância normalmente depende das aplicações.

NOTA 2 - H indica a altura da imagem. A distância de visualização deve ser definida considerando não apenas o tamanho da tela, mas o tipo de tela, o tipo de aplicação e o objetivo do experimento.

NOTA 3 - Este valor permite a máxima detecção de distorções, sendo necessário às vezes, valores ainda maiores e variações dependentes da aplicação.

NOTA 4 - Para os monitores de PC, a cromaticidade do fundo pode ser adaptadoa à cromaticidade do monitor.


ESCOLHA DOS AVALIADORES

•O número admissível de indivíduos em um teste de visão (assim como em testes de usabilidade em terminais ou serviços) é de 4 a 40. Quatro é o mínimo indispensável para fins estatísticos e acima de 40 não é usual.•O número ideal depende da necessidade de generalizar a partir de uma amostra de um grupo ou de uma população.•Em geral, pelo menos 15 avaliadores devem participar da experiência. •Eles não devem trabalhar com vídeo e não devem ser avaliadores experientes. •Pode-se fazer uso de alguns avaliadores experientes em uma prévia avaliação para gerar indicadores de resultado. •Os avaliadores devem ter acuidade visual normal e visão de cor normal.


TREINAMENTO DOS AVALIADORES

Antes de iniciar o experimento, devem ser dados aos avaliadores:•um cenário da aplicação pretendida do sistema em teste;•uma descrição do tipo de avaliação;•a escala de notas;•uma apresentação dos estímulos;•uma orientação (não necessariamente as seqüências de vídeo são iguais ao do treinamento);•orientação de que a pior qualidade não necessariamente corresponde ao grau mais baixo da escala subjetiva. Pode ser o pior observado, mas pode ser de uma qualidade admissível•orientação de que alguns questionários poderão ser utilizados para complementar a avaliação•uso de questionários


TREINAMENTO DOS AVALIADORES

EXEMPLO DE QUESTIONÁRIO

•Brilho (positivo);•Contraste(positivo);•Reprodução de Cores (positiva);•Estabilidade do fundo (positiva);•Velocidade na remontagem da imagem (positiva);•Falta de Fidelidade (negativo);•Efeito "Borrão" (negativo);•Efeito de "Mosquitos ou Chuviscos" na tela (negativo);•Efeito de sombra (negativo);•Congelamento da imagem (negativo);•Perda de seqüência na cena (negativo);•Zapping - rapidez na mudança de canal sem perda de qualidade no vídeo (positivo)

OUTROS ASPECTOS PARA MEDIÇÃO DE QoE

•rapidez de implantação;•confiabilidade na entrega;

•flexibilidade da produção em adaptar o serviço (personalização);•“customização” de serviços;

•provimento de programação diversificada fornecida por outros provedores de conteúdo;

•custo baixo .

INICIATIVAS PARA PROVIMENTO DE QoE

•IMS(IP Multimedia Subsystem)Arquitetura para provimento de serviços sobre IP

•SDP (Service Delivery Plataform)•RC (Controlador de Recursos)

•Têm-se utilizado os mecanismos DiffServ e IntServ como mecanismos de reserva e marcação de pacotes buscando o controle de Qualidade de Serviço (QoS). •As novas redes NGN e arquitetura IMS padronizada s pelo International Telecommunications Union (ITU-T) e pelo European Telecommunications Standards Institute (ETSI) TISPAN, a sinalização da aplicação necessária para negociar a transferência dos dados é diferente do caminho lógico dos dados propriamente ditos. •Na figura , a seguir, é possível observar a separação dos planos:

transporte dos dados;controle de sessão;

aplicativos.

RC (CONTROLADOR DE RECURSOS)

•conecta a plataforma de serviços (servidores SIP, IPTV, SBC etc) com o plano de transporte dos dados. •Ele provê também a possibilidade das aplicações solicitarem o nível de QoS para o plano de tráfego, em função dos recursos disponíveis (largura de banda, atraso etc). •Esse conjunto de funções denomina-se Resource and Admission Control (RAC) ou simplesmente RC e vem sendo estudado por grupos internacionais : 3GPP, ETSI, TISPAN, Wi-Max, ITU-T, Cable Labs, MWF

Organismos de Padronização Subsistema de Políticas de Controle de Recursos3GPP/3GPP2 Policy and Charging Resource Control Function

(PCRF)Cable Labs Policy ServerWiMax Fórum Policy Distribution FunctionDSL Frum Policy RepositoryMultiService Fórum Bandwith ManagerETSI TISPAN Resource and Admission Control SubsystemITU-T Resource and Admission Control Function

RC (CONTROLADOR DE RECURSOS)

•SPDF (servidor de políticas), •interface web-services para a interface das solicitações de QoS, •A-RACF e RECF para interface com as redes de telecomunicações •AAA ( autorização, autenticação e “account”).

•Políticas em Múltiplas Camadas: o controle de admissão considera políticas de usuário e da operadora, podendo ser implementadas com o mesmo resultado mas com desempenhos diferentes em cada uma das camadas (aplicativos, controle de recursos, rede);•Mapeamento de Parâmetros de QoS e de QoE: o CR deve adaptar as requisições de serviços às possibilidades da rede;•“Path Computation”: dado um par de identificadores de rede (origem/destino IP: porta,serviço), o RC deve calcular o caminho que os dados seguirão para verificar a disponibilidade dos recursos neste segmento;•Desempenho: devem ser observados os tempos de autorização, reação e eficiência do mecanismo;•Mobilidade: a mobilidade do usuário com sessões em andamento implica renegociar o QoS autorizado, podendo envolver múltiplos CR e comunicação entre operadoras de rede;•“Acounting/Billing”: uma vez que a disponibilização de serviços QoS é realizada mediante tarifação, são necessários mecanismos capazes de monitorar e avaliar a relação entre informações do serviço contratado, do serviço efetivamente fornecido e do serviço cobrado, atribuindo maior confiabilidade ao processo e integração com sistema AAAS (Ex.: Radius);•Desafio: Desempenho: buscar formas de otimizar a carga de rede relacionada a comunicação via serviços WEB, dado que a utilização do protocolo SOAP e o encapsulamento de informações introduz um “overhead” considerável quando comparado a controles mais simples (Ex.: Radius, Diameter);

OBJETIVOS DO RC (CONTROLADOR DE RECURSOS)

EXPERIMENTO UTILIZANDO METODOLOGIAS APRESENTADAS

•O experimento retirado do Artigo “Subjective Video Quality Assessment Applied to Scalable Video Coding and Transmission Instability” de Leonardo Crauss Daronco, Valter Roesler , José Valdeni de Lima da da UFRGS ;•O trabalho apresenta um estudo de avaliações subjetivas de qualidade aplicadas em sequências de vídeo codificadas através da extensão escalável do padrão H.264 (SVC). Foi executado um conjunto de testes para avaliar, principalmente, os efeitos da instabilidade da transmissão (variação do número de camadas de vídeo recebidas) e a influência dos três métodos de escalabilidade (espacial, temporal e de qualidade) na qualidade dos vídeos. •Utilizou as seguintes metodologias:

•metodologia ACR-HRR, descrita a seguir;•recomendações ITU-R BT.500 e ITU-T Rec. P.910.

• O padrão H.264 se preocupa em adaptar a transmissão à variedade de receptores, considerando suas características e condições,•Os estudos visam a identificar os tipos de escalabilidade que mais causam degradação, quando o número de camadas recebidas na recepção é variável.•Nesse trabalho, foram utilizados termos e definições adotados pelo VQEG, especialmente os termos HRC (circuitos hipotéticos de Referência), SRC (fonte de referência de circuitos ou canal de referência de uma fonte) e PVS (seqüência de vídeo processado).•HRC são as alterações aplicadas aos vídeos originais (SRC), para criar as seqüências de vídeo que serão avaliadas (PVS). No exemplo mais a frente, a HRC incluiu a codificação de vídeo escalável e simulação de instabilidade.


•Todos os vídeos foram reproduzidos com a resolução 4CIF a 30 fps, então aqueles com menor resolução (QCIF e CIF) tiveram um aumento da taxa de amostragem replicando os pixels e aqueles com menores taxas de frame foram convertidos em 30 fps pela repetição de quadros.•O aumento da taxa de amostragem na resolução espacial foi feita para padronizar a exibição dos vídeos e para produzir um ambiente mais realista. Quanto ao aumento da taxa de amostragem da taxa de quadros, ele não muda a forma como os vídeos são vistos, apenas aumenta o número de quadros no arquivo.•Os vídeos processados foram avaliados por 22 pessoas, incluindo 19 homens e 3 mulheres, a maioria deles entre os 18-35 anos. Nenhum deles participou de uma avaliação de qualidade de vídeo antes•O conceito de aceitação do serviço foi utilizado nas avaliações, onde os vídeos um pouco mais longos que o normal (que são de 8-10 segundos) são utilizados e apenas uma pontuação é definida no final da exibição de cada vídeo.•A metodologia utilizada nas avaliações foi o ACR com HRR (Hidden Reference Removal), uma metodologia de estímulo único onde os vídeos são apresentados em seqüência, um de cada vez, alternados com intervalos de voto. HRR se refere ao uso de um vídeo de referência escondido entre os demais vídeos e cada SRC tem uma referência: o vídeo original da SRC. As pessoas não sabem que estão avaliando o vídeo de referência e as pontuações são utilizadas para normalizar os resultados dos outros vídeos.•Com a metodologia ACR uma escala com 11 graus foi utilizada de 0 a 10, com os valores agrupados em cinco categorias identificadas: mau, ruim, regular, bom, excelente.


•Os vídeos são apresentados em ordem aleatória para cada pessoa a fim de minimizar a influência do contexto nos resultados. A metodologia ACR está sendo usado por VQEG e, por ser com estímulo simples, permite uma avaliação mais rápida do que a de estímulo duplo, sendo inclusive mais confiável. •No início da avaliação, os avaliadores foram submetidos a uma sessão de treinamento, contendo um subconjunto de 15 seqüências de vídeos processados (PVS) escolhidos para representar as condições da sessão real a ser avaliada. Esta sessão de formação utiliza três SRC extras (SRC de treinamento) e as notas atribuídas durante o mesmo não são considerados nos resultados finais•A primeira etapa da análise dos dados é calcular a pontuação normalizada com base na pontuação das referências escondidas.•A Eq. (1) foi utilizada para normalizar as pontuações, onde Va,s,h indica a pontuação atribuída pelo avaliador a a um HRC h e SRC s (que pode ser visto como o PVS h,s); Va,s,ref é a pontuação atribuída pelo mesmo avaliador a um vídeo de referência do SRC s e V ‘ é a pontuação normalizada deste avaliador para este PVS.


•O principal objetivo das avaliações subjetivas apresentadas neste trabalho foi verificar os efeitos de instabilidade da qualidade subjetiva de vídeos escaláveis transmitidos através dos sistemas de transmissão em camadas. 18 diferentes alterações (HRCs) foram aplicadas em mais de 8 vídeos fonte (SRCS) para gerar os 152 PVS que foram avaliadas por um grupo de 22 assessores. O conjunto de alterações utilizado permitiu analisar a influência de instabilidade na qualidade do vídeo e da relação entre os métodos de escalabilidade temporal, espacial e de qualidade.•Verificou-se que a variação de camadas não reduz ou aumenta significativamente a qualidade dos vídeos. •Comparando a qualidade média obtida por cada método de escalabilidade, a temporal teve os piores resultados, enquanto a de qualidade apresentou a mais alta qualidade.•A escalabilidade espacial teve a pior qualidade nas camadas inferiores (QCIF), mas nas camadas superiores (CIF, 4CIF) a qualidade ficou próxima aos resultados obtidos pela escalabilidade de qualidade.

FIM

OBRIGADA

Documents

MEDIÇÃO DE QoE PARA FLUXOS DE VÍDEOdebora/fsmm/trab-2010-1/apres-qoe.pdf · QoE Camadas 7 QoS Camadas 4 QoS está mais relacionada às características das camadas 1 a 4 e portanto