Teoria Teoria da da
InformaçãoInformação
- - Um Enfoque Para Telecomunicações Um Enfoque Para Telecomunicações
SHANNON : O grande mestre SHANNON : O grande mestre da Teoria da Informaçãoda Teoria da Informação
– Claude Elwood Shannon é considerado Claude Elwood Shannon é considerado o pai da Teoria da Informação ou o pai da Teoria da Informação ou Teoria das Comunicações. Trabalhou na Teoria das Comunicações. Trabalhou na empresa Bell Laboratories (USA) como empresa Bell Laboratories (USA) como Matemático e Engenheiro. Matemático e Engenheiro.
– Shannon nasceu na cidade de Gaylord, Shannon nasceu na cidade de Gaylord, Michigan, USA , aos 30 de Abril de Michigan, USA , aos 30 de Abril de 1916 1916
e morreu em 2001 aos 84 anos. e morreu em 2001 aos 84 anos.
S H A N N O NS H A N N O N
Tópicos Gerais :Tópicos Gerais :
InformaçãoInformação Quantidade de InformaçãoQuantidade de Informação EntropiaEntropia Banda de TransmissãoBanda de Transmissão RuídoRuído Capacidade de Canal ( Shannon )Capacidade de Canal ( Shannon )
IntroduçãoIntrodução
Conceituando o sistema de Conceituando o sistema de comunicação:comunicação:
A Fonte A Fonte
A InformaçãoA Informação
A MensagemA Mensagem
Conceitos ImportantesConceitos Importantes
Elementos de um Sistema de Elementos de um Sistema de ComunicaçãoComunicação
fonte transmissor Canal receptor destino
sinal de entrada
sinal transmitido
Ruído, interferência
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
FONTEFONTE
É o ente que produz a informação.É o ente que produz a informação.
Dispõe de elementos simples e Dispõe de elementos simples e símbolos.símbolos.
fonte destinatário
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
Fontes de informação podem ser Fontes de informação podem ser classificadas em duas categorias:classificadas em duas categorias:
a - fontes de informação analógica: emissão a - fontes de informação analógica: emissão de sinais de amplitude contínua - Ex: de sinais de amplitude contínua - Ex: microfone captando a voz, câmara TV..microfone captando a voz, câmara TV..
b- fontes de informação discretas: emissão b- fontes de informação discretas: emissão de símbolos discretos . Ex: saída de de símbolos discretos . Ex: saída de modem digital, saída de computador, modem digital, saída de computador, saída de conversor A/D, etc...saída de conversor A/D, etc...
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
A A fonte de informação discreta fonte de informação discreta apresenta em sua constituição:apresenta em sua constituição:
O ELEMENTO BÁSICO :O ELEMENTO BÁSICO : que é o componente mais simples que é o componente mais simples
que entra na composição que entra na composição representativa da informação. Por representativa da informação. Por exemplo: 0 e 1exemplo: 0 e 1
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
O SÍMBOLO :O SÍMBOLO :
que é formado por um conjunto que é formado por um conjunto ordenado de elementos.ordenado de elementos.
Os símbolos que compõem uma fonte Os símbolos que compõem uma fonte também são fixos e definidos.também são fixos e definidos.
Ex.: com os elementos 0 e 1 podemos Ex.: com os elementos 0 e 1 podemos compor os simbolos: 10,101..1100...compor os simbolos: 10,101..1100...
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
O alfabeto da fonte pode ser o O alfabeto da fonte pode ser o alfabeto de elementos ou alfabeto alfabeto de elementos ou alfabeto de símbolos.de símbolos.
MENSAGEMMENSAGEM:consiste de um :consiste de um conjunto ordenado de símbolos conjunto ordenado de símbolos que a fonte seleciona de seu que a fonte seleciona de seu alfabeto, ... alfabeto, ...
10011 10001 0111010011 10001 01110Símboloelemento
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
A A mensagemmensagem é uma realização que é uma realização que se caracteriza por apresentar se caracteriza por apresentar configurações variáveis ao longo configurações variáveis ao longo do tempodo tempo e, também, para um e, também, para um observador externo à fonte, por observador externo à fonte, por apresentar símbolos de um modo apresentar símbolos de um modo aleatório.aleatório.
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
A cada símbolo corresponde uma A cada símbolo corresponde uma certa quantidade de informação, certa quantidade de informação, que é função de suas que é função de suas probabilidades de ocorrênciaprobabilidades de ocorrência..
A cada mensagem se associa uma A cada mensagem se associa uma certa quantidade de informação, certa quantidade de informação, dada pela soma das quantidades dada pela soma das quantidades de informação de cada símbolo.de informação de cada símbolo.
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
A produção de uma seqüência de símbolos, A produção de uma seqüência de símbolos, que podem ser letras , notas musicais, que podem ser letras , notas musicais, dados, imagens, etc, operando de acordo dados, imagens, etc, operando de acordo com certas probabilidades, é chamado um com certas probabilidades, é chamado um “processo estocástico”, “aleatório” ou “processo estocástico”, “aleatório” ou “randômico” .“randômico” .
Um caso especial, quando as Um caso especial, quando as probabilidades dependem de eventos probabilidades dependem de eventos antecedentes, é denominado antecedentes, é denominado processo processo MarkovMarkov ou cadeia de Markov. ou cadeia de Markov.
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
O O processo de comunicaçãoprocesso de comunicação consiste consiste em estabelecer o em estabelecer o fluxo de fluxo de informaçõesinformações entre fonte e entre fonte e destinatário, o que é feito através destinatário, o que é feito através da transmissão dos símbolos que da transmissão dos símbolos que compõem a mensagem.compõem a mensagem.
FONTE DESTINO
MENSAGEM
CANAL
“ “ Só conhecemos realmente um fenômeno Só conhecemos realmente um fenômeno quandoquando
podemos medí-lo e compará-lo” ( Darwin )podemos medí-lo e compará-lo” ( Darwin )
Quantidade de InformaçãoQuantidade de Informação
É possível medir??É possível medir??
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
Do ponto de vista técnico a Do ponto de vista técnico a informação é analisada no que diz informação é analisada no que diz respeito às características de respeito às características de diversidade diversidade e de e de aleatoriedadealeatoriedade dos dos símbolos que a fonte seleciona.símbolos que a fonte seleciona.
fonte
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
Número distinto de símbolosNúmero distinto de símbolos
Os símbolos recebidos são imprevisíveisOs símbolos recebidos são imprevisíveis
JOGO:Quem adivinhar a carta
Recebe US$ 50,00
?
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
O O nível de incertezanível de incerteza a respeito da a respeito da ocorrência de um símbolo pode ser ocorrência de um símbolo pode ser expresso pela expresso pela probabilidade de probabilidade de ocorrência deste símboloocorrência deste símbolo..
Esta probabilidade é fundamental Esta probabilidade é fundamental para a para a medida da quantidade de medida da quantidade de informaçãoinformação que cada símbolo que cada símbolo carrega para o destinatário.carrega para o destinatário.
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
A probabilidade de sair a face 5é de 1 em 6 (total de eventos possíveis).
P = 1/6
Incerteza do JogadorIncerteza do Jogador
0,7 – grau de incerteza antes que o evento ocorra
0,3 grau de certeza (probabilidade queaconteça um evento) antes que o evento ocorra
P= 1 => certeza total
P = 0 => incerteza total
Se a probabilidade é p=0,3, o grau de incerteza é 0,7. Quando o evento ocorre, passa p=0,3 para p=1
Informação é a “quantidade de incerteza”Sobre a ocorrência de um símbolo,
Que é anulada quando este símbolo ocorre.
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
Quanto maior o número de Quanto maior o número de símbolos disponíveis na fonte ( isto símbolos disponíveis na fonte ( isto é, sua variedade), maior será o é, sua variedade), maior será o grau de incerteza sobre qual grau de incerteza sobre qual símbolo será selecionado para símbolo será selecionado para envio.envio. destinatário
?
P( verde ) = 0,5
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
Grau de liberdade:Grau de liberdade:– se todos os símbolos têm igual se todos os símbolos têm igual
probabilidade de serem selecionados, probabilidade de serem selecionados, a fonte possui o maior grau de a fonte possui o maior grau de liberdade possível na seleção.liberdade possível na seleção.
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
Informação e sua Medida.Informação e sua Medida.
FONTE COM SÍMBOLOS
MENSAGEM: conjunto de símbolos
Fonte “X” , com um conjunto de símbolos ( x1, x2 ..xi )
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
Variedade de Símbolos:Variedade de Símbolos:
a- alfabeto com “n” elementos.a- alfabeto com “n” elementos.
b - símbolo composto por uma b - símbolo composto por uma combinação de “m” elementos dentre combinação de “m” elementos dentre os “n”.os “n”.
Configurações possíveis => N = nConfigurações possíveis => N = nm m
Princípios de Princípios de telecomunicaçõestelecomunicações
A fonte seleciona os símbolos ao produzir A fonte seleciona os símbolos ao produzir a mensagem.a mensagem.
Para o observador externo, que Para o observador externo, que desconhece a lógica da fonte, a escolha desconhece a lógica da fonte, a escolha é aleatória.é aleatória.
Pode-se associar a cada símbolo Pode-se associar a cada símbolo selecionado uma certa probabilidade de selecionado uma certa probabilidade de ocorrência.ocorrência.
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
Quantidade de Informação Quantidade de Informação inerente a um símbolo xinerente a um símbolo xii : :
I(xI(xii) = f [ P (x) = f [ P (xii)])]
P(xi) = probabilidade de ocorrência.
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
Esta função deve ter as seguintes Esta função deve ter as seguintes propriedades:propriedades:
1. Se P(x1. Se P(xii) = 1 ENTÃO I (x) = 1 ENTÃO I (xII) = 0) = 0
2. Se P (x2. Se P (xii) = 0 ENTÃO I ( x) = 0 ENTÃO I ( xi i ) = ) =
3. I (x3. I (xii ) é monotônica decrescente com P( x ) é monotônica decrescente com P( x ii))
A função será:A função será:
I (xI (xii ) = - log ) = - log 2 2 P (xP (xi i ) (bits)) (bits)
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
Dada uma fonte X, sabemos:Dada uma fonte X, sabemos:Símbolo x1, x2, .... xn
Probabilidade de Ocorrência: ..... P (xn )
Informação Própria do Símbolo... I (xn)
A quantidade de informação de um evento (associado a uma mensagem) é definida como o logaritmo do inverso da probabilidade deste evento. I (xi ) = log 2 1 / P (xi )
Comunicação e Comunicação e InformaçãoInformação
A informação é recebida pelo A informação é recebida pelo destinatário quando este identifica o destinatário quando este identifica o símbolo recebido com um dos de seu símbolo recebido com um dos de seu alfabeto.alfabeto.
A informação se transforma em A informação se transforma em comunicação quando os símbolos comunicação quando os símbolos identificados pelo destinatário identificados pelo destinatário possuem um sentido interpretável por possuem um sentido interpretável por ele.ele.
Comunicação e Comunicação e InformaçãoInformaçãoem resumo!em resumo!
A equação de Shannon para relacionar a A equação de Shannon para relacionar a quantidade de informação (I) quantidade de informação (I)
Com a probabilidade (p) é a seguinte:Com a probabilidade (p) é a seguinte:
I = logI = log2 2 (1 /p) (1 /p) I = quantidade de informação de um I = quantidade de informação de um
símbolosímbolo p = probabilidade da mensagem que se p = probabilidade da mensagem que se
transmitetransmite loglog2 2 = logaritmo na base 2= logaritmo na base 2
Um conceito Um conceito fundamental :fundamental :
ENTROPIA : ENTROPIA : é a medida da quantidade de informação é a medida da quantidade de informação
presente num presente num experimentoexperimento (não em um símbolo (não em um símbolo apenas) randômico ou aleatório. Quanto maior a apenas) randômico ou aleatório. Quanto maior a
quantidade de informação de um experimento, maior quantidade de informação de um experimento, maior será sua entropia.será sua entropia.
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
Para telecomunicações Para telecomunicações
o que nos interessa é o que nos interessa é
a quantidade de informaçãoa quantidade de informação
média ao longo do tempo média ao longo do tempo
para dimensionar os sistemaspara dimensionar os sistemas
de telecomunicações.de telecomunicações.
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
Ou seja : Dada uma fonte Ou seja : Dada uma fonte “X”“X” atuando... atuando...
Com Com MM símbolos, com símbolos, com mmj j ocorrências, ocorrências,
cada símbolo ocorrendo cada símbolo ocorrendo xxjj vezes; vezes;
teremos assim uma quantidadeteremos assim uma quantidade
““Q”Q” total de informação. total de informação.
FONTEM=[a,b,c...s] A a a a b b s s s s s s a a a s
X
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
Problema:Problema: Quando a fonte era conhecida Quando a fonte era conhecida
( nosso dado com 6 faces) ( nosso dado com 6 faces) conhecíamos as probabilidades, conhecíamos as probabilidades, como p(2) = 1/6.como p(2) = 1/6.
Mas numa fonte desconhecida Mas numa fonte desconhecida como saber a probabilidade de um como saber a probabilidade de um evento isolado? evento isolado?
Seja a experiência “lançamento de um dado 1000 vezes”
E determinar a freqüência relativa do aparecimento da face 6.
facesfaces Resultados Resultados favoráveisfavoráveis
Freqüência Freqüência relativarelativa
11 166166 0,1660,166
22 163163 0,1630,163
33 164164 0,1640,164
44 170170 0,1700,170
55 168168 0,1680,168
66 169169 0,1690,169
totaltotal 10001000 1,0001,000
Freqüênciarelativa
do aparecimento
de 6.
P(6) = 1/60,167
Número total de ocorrência da face 6 = 169
Lei de BernouilliLei de Bernouilli
lei fraca dos grandes números.lei fraca dos grandes números.
O valor mais provável da O valor mais provável da freqüência relativa a ser freqüência relativa a ser
encontrado, quando a experiência encontrado, quando a experiência é realizada é realizada um grande número de um grande número de vezesvezes, é numericamente igual a , é numericamente igual a probabilidade do evento isoladoprobabilidade do evento isolado
QUANTIDADE de Informação QUANTIDADE de Informação geradagerada
Q = mi I (xi ) =
i =1
n
Q = quantidade de informaçãomi = número total de ocorrências de
cada símbolo xi
n = todos os diferentes símbolos da fonte.
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
Q = mi I (xi ) i =1
n
Então vamos dividir a expressão por M
Lembrando a lei fraca dos grandes números, se M forsuficientemente grande podemos tomar mi / M por P (xi)
M = número total de símbolos utilizados
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
QM
= P (xi ) I ( xi ) = HX)
I = 1
n
H (X) Entropia
Lembrando que:I(xi) = - Log2 P ( xi )
Conteúdo totalde informação
Númerototal de símbolos
ENTROPIAENTROPIA
= - P (xi ) log2 P ( xi )
I = 1
H(x)
= P (xi ) I ( xi )
I = 1
H(x)
OU MELHOR:
n
n
ATENÇÃOATENÇÃO
Não confudir o parâmetro I com Não confudir o parâmetro I com o o
parâmetro Hparâmetro H
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
Um exemplo prático: Um exemplo prático: a, b, c, d, e, f, g, h, i, j, l, m, n, o, p, q, r, a, b, c, d, e, f, g, h, i, j, l, m, n, o, p, q, r,
s, t, u, v, x, zs, t, u, v, x, zObservação: Você deve estar se Observação: Você deve estar se
perguntando pelas letras W, Y e K.Elas perguntando pelas letras W, Y e K.Elas não pertencem mais ao nosso não pertencem mais ao nosso
alfabeto.São usadas apenas em casos alfabeto.São usadas apenas em casos especiaisespeciais
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
As mensagens a serem transmitidas são As mensagens a serem transmitidas são compostas pelas 23 letras do alfabeto, (N compostas pelas 23 letras do alfabeto, (N =23) formando combinações aleatórias.=23) formando combinações aleatórias.
Como as mensagens têm a mesma Como as mensagens têm a mesma probabilidade, a ENTROPIA do sistema será:probabilidade, a ENTROPIA do sistema será:
H = logH = log2 2 N ou N ou H = logH = log2 2 23 23 H = 5 significa que necessitamos de 5 bits H = 5 significa que necessitamos de 5 bits
para codificar cada uma das letras do para codificar cada uma das letras do alfabeto.alfabeto.
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
B
E
L
O
Ex.: alfabetoEx.: alfabeto
com elementoscom elementos
0 e 1 e m = 5 0 e 1 e m = 5
2255 = 32 = 32 -Código telegráficoCódigo telegráfico
-: Baudot: Baudot
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
A informação média ou entropia A informação média ou entropia em uma fonte com em uma fonte com m m símbolos símbolos xxi i
é máximaé máxima quando as quando as probabilidades de seus símbolos probabilidades de seus símbolos forem equiprováveis.forem equiprováveis.
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
Em telecomunicações encontramos Em telecomunicações encontramos fontes que emitem símbolos binários ou bits. fontes que emitem símbolos binários ou bits.
Cada bit assume dois estados: 0 ou 1Cada bit assume dois estados: 0 ou 1 Logo temos P(0) e P(1)Logo temos P(0) e P(1)
H(X) = -[P(1) logH(X) = -[P(1) log2 2 P(1) + P(0) logP(1) + P(0) log22 P(0)] P(0)]
shanonn/símboloshanonn/símbolo
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
Se as ocorrências de (0) e (1) forem Se as ocorrências de (0) e (1) forem equiprováveis equiprováveis
temos P(1) = P(0) =1/2temos P(1) = P(0) =1/2
H(X) = 1 shannon/símboloH(X) = 1 shannon/símbolo
Ou 1 bit / símboloOu 1 bit / símbolo
Introdução à Teoria da Introdução à Teoria da InformaçãoInformação
Quanto todos os símbolos são Quanto todos os símbolos são equiprováveis equiprováveis a quantidade de a quantidade de informação média por símbolo é informação média por símbolo é numericamente igual à quantidade numericamente igual à quantidade de informação própria de cada de informação própria de cada símbolo e igual a variedade.símbolo e igual a variedade.
H(X) = I(xH(X) = I(xi i ) = v) = v
EntropiaEntropia
Tendo calculado a Entropia de uma Tendo calculado a Entropia de uma fonte e obtido: H(X) = 0,8fonte e obtido: H(X) = 0,8
Isto significará que esta fonte em Isto significará que esta fonte em sua escolha de símbolos, com a sua escolha de símbolos, com a finalidade de formar uma finalidade de formar uma mensagem, estará com mensagem, estará com aproximadamente 80% de grau de aproximadamente 80% de grau de liberdade.liberdade.
AplicaçãoAplicação
Dada uma fonte e calculamos sua Dada uma fonte e calculamos sua entropia:entropia:
H(X) = 7 sh / símbolo H(X) = 7 sh / símbolo Isto nos indica que, em média, Isto nos indica que, em média,
seus símbolos podem ser seus símbolos podem ser representados por 7 bits.representados por 7 bits.
fonte
Símbolos
Princípios de Princípios de telecomunicaçõestelecomunicações
O canalO canal
Comunicação da fonte Comunicação da fonte ao destino.ao destino.
Transdutor de Entrada
Sistemade
Comunicação
TransdutorDe
SaídaFontede
Informação:Cena / imagem
mensagem
Mensagemrecebida
Mensagem: caracterização física da informação
Sinal de vídeo
Sinal de vídeo
Sistema de Comunicação Sistema de Comunicação digital simplificadodigital simplificado
Fonte Trans-missor
Canal de comunicação Receptor Destino
SistemaDe
Comunicação
Transdutorentrada
Transdutorsaída
Sinal de entrada -
mensagem
Sinal a transmitirSinal
recebido
Sinal desaída
destinatário
Codificador
Decodificador
SinalCodificação.
binária
O canalO canal Sempre que gerarmos informação Sempre que gerarmos informação
pela seleção feita no alfabeto de pela seleção feita no alfabeto de uma fonte (codificador que uma fonte (codificador que alimenta o canal em certa alimenta o canal em certa velocidade), isto corresponderá a velocidade), isto corresponderá a uma liberação de certa quantidade uma liberação de certa quantidade de de bits/s bits/s lançados no canal (meio lançados no canal (meio físico) pelo transmissor. físico) pelo transmissor.
transmissor receptorcanal
O canalO canal
canal
Y = ( yj ) X=(xi)
fonte destino
entrada saída
P ( yj/ xi ) ou P (xi / yj )
( P (yj,xi ) significa a probabilidade de se obter umyj na saída sendo enviado um xi )
O canal O canal
fonte canal
fonte destino
H(X) H(Y)
X2 =0
p
qY1 =1
Y2 = 0
q
p
X1=1
destino
p = 1 - q
Entropia no destino
O canalO canal
É preciso fazer o dimensionamento da É preciso fazer o dimensionamento da Capacidade doCapacidade do CanalCanal de de forma a suportar o fluxo de informação que lhe é oferecido.forma a suportar o fluxo de informação que lhe é oferecido.
Sem ruído não há distorção, o que entra no canal será Sem ruído não há distorção, o que entra no canal será entregue por ele!entregue por ele!
Com ruído, o “1” pode ser recebido como “0” Com ruído, o “1” pode ser recebido como “0”
O canalO canalAs entropias presentes serão:As entropias presentes serão:
H(X)H(X) entropia na fonteentropia na fonte, ou entrada do canal., ou entrada do canal. H(Y)H(Y) entropia no destinoentropia no destino ou saída do canal ou saída do canal H(X/Y) ou H(Y/X)H(X/Y) ou H(Y/X) dispersãodispersão provocadas por ruídos e provocadas por ruídos e
distorções do canal, que acarretam erros nos distorções do canal, que acarretam erros nos símbolos e perda da informação.símbolos e perda da informação.
H(X;Y) entropia mútua entre entrada e saída H(X;Y) entropia mútua entre entrada e saída (transinformação), que é a informação (transinformação), que é a informação passada da fonte para o destino.passada da fonte para o destino.
H(X,Y)H(X,Y) é a é a entropia conjunta,entropia conjunta, criada pelos símbolos criada pelos símbolos da fonteda fonte e do destinatário tomados em conjunto.e do destinatário tomados em conjunto.
O canalO canalDe fato desejamos a De fato desejamos a transinformaçãotransinformação e e
queremos que ela seja máxima:queremos que ela seja máxima: H(X ; Y) = H(X) - H ( X / Y) sh/símbH(X ; Y) = H(X) - H ( X / Y) sh/símb
Canal sem ruído = H( X /Y ) = 0Canal sem ruído = H( X /Y ) = 0
Define-se: Capacidade máxima do Define-se: Capacidade máxima do canalcanal
C = HC = Hmax max (X;Y ) (X;Y ) sh/símb sh/símb
O canalO canalUm canal sem ruído, não tem erro de símbolo Um canal sem ruído, não tem erro de símbolo
transmitido, logo está sem perda:transmitido, logo está sem perda: Neste caso especial: H(X /Y) = H (Y/X) = 0Neste caso especial: H(X /Y) = H (Y/X) = 0
H(X;Y) = H(X) = H(Y) = H(X,Y) sh/símbH(X;Y) = H(X) = H(Y) = H(X,Y) sh/símb
Sem ruído: H(X) = H(Y) = H(X;Y) - toda a informação Sem ruído: H(X) = H(Y) = H(X;Y) - toda a informação na entrada do canal chega ao destinatário.na entrada do canal chega ao destinatário.
Neste caso HNeste caso Hmaxmax (X;Y) = H (X;Y) = Hmaxmax(X)(X) Então a Capacidade do canal será dada por: Então a Capacidade do canal será dada por: C = C =
loglog2 2 NN sh/símb sh/símb
O CanalO CanalCapacidade de transmissão do canalCapacidade de transmissão do canal
1. 1. A fonte nos dá uma A fonte nos dá uma variedadevariedade de símbolo: de símbolo:
V = logV = log2 2 N N ou ainda, ou ainda, v = m log v = m log2 2 n ( bit) n ( bit) No caso de uma fonte binária. Equiprovável, No caso de uma fonte binária. Equiprovável,
com elementos 0 e 1com elementos 0 e 1. V = 1 log. V = 1 log22 2 = 1 bit 2 = 1 bit
Fonte + codif.
Transmissor:10 volts = bit “1”0 volts = bit “0”
Canal:(Par de fios)
H(X) = - [P(1) log2 P(1) + P(0) log2 P(0) ] = 1 shanon/símboloCada símbolo será representado por unidades binárias ( bits),
numericamente igual a entropia!
Capacidade de Capacidade de TransmissãoTransmissão
do Canaldo Canal
V
t1 t2 tempo
Canal = Linha física: pares de fios.
t1
t1 + t1
TX RX
V
tempot2
t2 + t2
Tempo da transição de um estado para outro
1 0 1
TRANSMISSOR SINALIZA A LINHA COM DIFERENTES TENSÕES
O canalO canal Variação dos Símbolos por unidade de tempo Variação dos Símbolos por unidade de tempo (velocidade de sinalização) entregue ao canal (velocidade de sinalização) entregue ao canal
será aserá a
variabilidadevariabilidade Vs Vs = = v / v / ( (bit/s)bit/s)( relação entre a variedade V dos ( relação entre a variedade V dos
símbolos produzidos pela fonte e o intervalo de símbolos produzidos pela fonte e o intervalo de tempo “tempo “”” em que são produzidos) em que são produzidos)
Fonte binária
+i
-i
t t
I
TRANSMISSÃO TELEGRÁFICA
LINHA = canal
Teleimpressor: terminal
bateria
1
0
a
Variação de corrente
ideal
real
a = 01011
Princípios de Princípios de telecomunicaçõestelecomunicações
Capacidade de TransmissãoCapacidade de Transmissão
do Canaldo Canal
Capacidade de Capacidade de TransmissãoTransmissão
do Canaldo CanalCapacidade de transmissão do canalCapacidade de transmissão do canal Além da análise estática shannon/ símbolo é preciso Além da análise estática shannon/ símbolo é preciso
analisar dinamicamente aanalisar dinamicamente a Vs Vs = = v / v /
Suponhamos uma fonte que produz M símbolos Suponhamos uma fonte que produz M símbolos ao longo do tempo T e a cada símbolo ao longo do tempo T e a cada símbolo corresponde o intervalo de tempo corresponde o intervalo de tempo , teremos uma , teremos uma taxa de envio destes símbolos:taxa de envio destes símbolos:
= T então Vs = M v bit/s= T então Vs = M v bit/s M M T T
Capacidade de Capacidade de TransmissãoTransmissão
do Canaldo Canal
Na prática o canal não consegue Na prática o canal não consegue responder além de uma certa responder além de uma certa velocidade de transição do sinal.velocidade de transição do sinal.
Existe um tempo mínimo [Existe um tempo mínimo [mínmín] para que ] para que o sistema responda a uma transição do o sistema responda a uma transição do sinal. sinal.
t
vv
t
Capacidade de Capacidade de TransmissãoTransmissão
do Canaldo Canal
No início das técnicas de transmissão de No início das técnicas de transmissão de sinais elétricos ( transmissões telegráficas) sinais elétricos ( transmissões telegráficas) observou-se que os sinais eram observou-se que os sinais eram transmitidos, enviados pelo canal, mas transmitidos, enviados pelo canal, mas chegavam chegavam distorcidosdistorcidos..
Essa distorção se devia a esta duração Essa distorção se devia a esta duração mínima necessária, que levou a definição mínima necessária, que levou a definição da da faixa de passagemfaixa de passagem oferecida pelo oferecida pelo meio.meio.
Capacidade de Capacidade de TransmissãoTransmissão
do Canaldo Canal A pior condição do sinal entrante é a de que em A pior condição do sinal entrante é a de que em
cada intervalo cada intervalo mínmín ocorra uma transição. ocorra uma transição. Para que o canal possa distinguir isto constatou-Para que o canal possa distinguir isto constatou-
se que precisava ter um períodose que precisava ter um período dede duração duração “T” mínimo, dado por:“T” mínimo, dado por:
T = 2 T = 2 mínmín Assim se definiu uma largura de faixa Assim se definiu uma largura de faixa
mínima, em Hertz, dada por:mínima, em Hertz, dada por:B = 1B = 1
2 2 mínmín
Capacidade de Capacidade de TransmissãoTransmissão
do Canaldo Canal
O sinal telegráfico de um terminal teleimpressorse compõe de 1 pulso de partida com a duração
e 20 ms; 5 pulsos binários portadores de Informação com a duração de 20 ms cada e 1 pulso de parada
com a duração de 30 ms.Nesta condições toma-se para mínmín o menor valor, de 20 ms.
LogoB = 1 / 2 mínmín = 1 / 2x20 x10 = 1 / 2x20 x10-3-3
B = 25 HzB = 25 Hz
part 1 1 1 0 0 par
Capacidade de Capacidade de TransmissãoTransmissão
do Canaldo Canal
Visto que o símbolo possui a variedade Visto que o símbolo possui a variedade dada por: v = logdada por: v = log2 2 n n max max bits bits
A velocidade máxima de transmissão do A velocidade máxima de transmissão do sinal será igual à máxima sinal será igual à máxima velocidade de velocidade de sinalizaçãosinalização que o canal aceita , ou seja: que o canal aceita , ou seja:
VVs s = = V V = = 1 1 log log 2 2 n n max max bit/s. bit/s.
TT mínmín
Capacidade de Capacidade de TransmissãoTransmissão
do Canaldo CanalComo este é o sinal mais crítico que se pode transmitir, esta grandeza vai medir a capacidade Ct
de transmissão de sinal
Ct = 1 log2 n max bit/smín
Telegrafia = Capacidade = 50 bps
50 = log2 2 . 1/ mín
Logo o mín = 1/50 = 0.02 s ou 20 ms
B = 1/ 2 mín
B = 25 Hz
Princípios de Princípios de TelecomunicaçõesTelecomunicações
A presença do Ruído A presença do Ruído limitando a capacidade do limitando a capacidade do
CanalCanal
Capacidade do Canal com Capacidade do Canal com RuídoRuído
RuídoRuído É um sinal aleatório ao qual não se É um sinal aleatório ao qual não se
tem controle sobre sua forma.tem controle sobre sua forma. No processo de transmissão do No processo de transmissão do
sinal pelo canal observa-se sinais sinal pelo canal observa-se sinais espúrios, aleatórios, que se espúrios, aleatórios, que se somam ao sinal desejado.somam ao sinal desejado.
Capacidade do Canal com Capacidade do Canal com RuídoRuído
Ruído branco: ocorre devido à agitação Ruído branco: ocorre devido à agitação térmica onde elétrons livres térmica onde elétrons livres apresentam um movimento aleatório e apresentam um movimento aleatório e produzem uma corrente elétrica, produzem uma corrente elétrica, quando se é observado em intervalos quando se é observado em intervalos de tempo infinitamente pequenos.de tempo infinitamente pequenos.
t
I(t)
Capacidade do Canal com Capacidade do Canal com RuídoRuído
Agora se considerarmos um sinal Agora se considerarmos um sinal elétrico sendo transmitido no canal;elétrico sendo transmitido no canal;
As variações no sinal podem ser As variações no sinal podem ser analisadas como alterações em sua analisadas como alterações em sua amplitude, percebidas entre dois amplitude, percebidas entre dois instantes diferentes. instantes diferentes.
Capacidade do Canal com Capacidade do Canal com RuídoRuído
Mas a velocidade de transição do Mas a velocidade de transição do sinal encontra uma limitação prática,sinal encontra uma limitação prática,
Em termos físicos existem elementos Em termos físicos existem elementos armazenadores de energia no canal armazenadores de energia no canal que impedem cargas e descargas que impedem cargas e descargas instantâneas.instantâneas.
Estes componentes impõe um tempo Estes componentes impõe um tempo mínimo “ mínimo “ “ para resposta física “ para resposta física
Capacidade do Canal – Capacidade do Canal – limitações físicaslimitações físicas
A pior condição para o sinal A pior condição para o sinal entrante é aquela em que a cada entrante é aquela em que a cada intervalo “ intervalo “ mínimomínimo“ ocorra uma “ ocorra uma transição,transição,
1 0 1 t
v
t t t
t
Figura 1 Figura 2 Figura 3 Figura 4
Capacidade do Canal com Capacidade do Canal com RuídoRuído
Contudo, os ruídos inerentes ao Contudo, os ruídos inerentes ao processo de transmissão impedem processo de transmissão impedem que se reconheça amplitudes a que se reconheça amplitudes a partir de um determinado valor.partir de um determinado valor.
t
t
t
v
Sinal + ruídoruído
sinal
Capacidade do Canal com Capacidade do Canal com RuídoRuído
s+r
s r
nmax = s+r
mín
Os níveis distinguíveis podem serapresentados em função da relação sinal / ruído.Ruídos impedem reconhecer subdivisões de amplitudedo sinal recebido
r= 1 + s
rNíveis de amplitude
tempo
Capacidade do Canal com Capacidade do Canal com RuídoRuído
Consideremos ainda que Consideremos ainda que mínmín se se
relaciona com a largura de faixa do relaciona com a largura de faixa do sistema( B = 1/2 sistema( B = 1/2 minmin) temos:) temos:
Ct = 2 B log2 ( 1 + s / r) bit/s
Ruído é um sinal complexo de natureza aleatória.Sistemas de Telecomunicações trabalham com sinais complexos
Sinais complexos se somam em potência.
Capacidade do Canal com Capacidade do Canal com RuídoRuído
Se trabalharmos com a potência do sinal (S), Se trabalharmos com a potência do sinal (S), a potência do ruído (R) e a potência do ruído (R) e
S = si2
R = ri2
nmax2 = S + R = 1 + S = 1 +
si2
ri2R R
nmax= ( 1 + S )1/2
R
si componentes individuais do sinal ( valor eficaz)
Ri componentes individuais do ruído ( valor eficaz)
Capacidade do Canal com Capacidade do Canal com RuídoRuído
Substituindo este novo resultado e a banda Substituindo este novo resultado e a banda B de passagem chegamos aB de passagem chegamos a
CC = B log= B log2 2 (( 1 + 1 + S S )) bit/sbit/s
Conhecida como a Conhecida como a Lei de Shannon-HartleyLei de Shannon-Hartley e e vai nos traduzir a velocidade de vai nos traduzir a velocidade de transmissão de informação ou capacidade transmissão de informação ou capacidade de informação que o canal permite.de informação que o canal permite.
R
Capacidade do Canal com Capacidade do Canal com RuídoRuído
Lei de Shannon-HartleyLei de Shannon-Hartley
CC = B log= B log2 2 (( 1 + 1 + S/R S/R )) bit/sbit/s
C = capacidade do canal - medida em bits por segundoB = banda do canal- medida em HertzS/R = relação sinal ruído - geralmente dada em dB, decibéisrelação logarítmica de potências, por exemplo: Sinal de voz S/N 30 dB = 1000 vezes
BIBLIOGRAFIABIBLIOGRAFIAMELO, Jair Candido. MELO, Jair Candido. Introdução à Teoria da Introdução à Teoria da
Informação.Informação. MacGraw-Hill. Brasil. 1976 MacGraw-Hill. Brasil. 1976CARSON. A Bruce. CARSON. A Bruce. Communication Systems.Communication Systems.
McGraw-Hill. Singapore. 1986.McGraw-Hill. Singapore. 1986.BARRADAS. Ovídio. BARRADAS. Ovídio. Sistemas Analógicos-Digitais.Sistemas Analógicos-Digitais.
Livros Técnicos e Científicos. Rio de Janeiro.1980Livros Técnicos e Científicos. Rio de Janeiro.1980EPSTEIN Isaac. EPSTEIN Isaac. Teoria da Informação.Teoria da Informação.
Ática.S.Paulo. 1988.Ática.S.Paulo. 1988.EDWARDS Elwyn. EDWARDS Elwyn. Introdução à Teoria da Introdução à Teoria da
Informação.Informação. Cultirx. S. Paulo.1971 Cultirx. S. Paulo.1971