Пропускная способность дискретного канала без помех. Пропускная способность дискретного канала связи

средняя длительность одного элемента сообщения.

-производительность источника. Если длительность одинакова, то

Если источник двоичен, то
Определяется скорость передачи, как среднее количество информации, получаемое на выходе канала за единицу времени.

I(x,y)-количество информации содержащейся в последовательности сообщенийyна выходе по последнему сообщениюxна входе.

Количество информации зависит от параметров канала связи, статистических характеристик источника сообщений, от времени измерений T.

Пропускная способность канала связи называется максимальным значением скорости передачи по данному каналу:

Можно показать, что пропускная способность канала связи равна максимальной производительности источника.

Если канал связи является дискретным

mиизвестны, то

объём алфавита источника;

n-значность кода

Пропускная способность дискретного канала без помех определяется основанием кода mи длительностью передаваемого кода.

35.Пропускная способность непрерывного канала связи с помехой.

полоса частот канала сигналовx(t) иy(t).

n=2
.

Скорость передачи для непрерывного сигнала определяется так же как и для дискретного:

ненадёжность канала связи по времени.

энтропия выходного сигнала относительно входного в единицу времени.

Максимизируем
, чтобы получить пропускную способность:

 пропускная способность канала равна 0, если входные и выходные сигналы независимы.

Если входной сигнал и помеха независимы и помеха является аддитивной, то скорость передачи равна энтропии выходного сигнала за вычетом энтропии помехи за единицу времени:

-мощность помехи.

энтропия помехи.

пропускная способность.

36.Помехи в каналах связи.

Реально в каналах всегда есть помехи того или иного происхождения. Помехой называется стороннее возмущение действующее в системе передачи сообщений и препятствующее их правильному приёму.

Если помеха регулярна и известна, то бороться с ней легко (например, фон постоянного или переменного тока). Тяжелее бороться с помехой случайного происхождения.

По происхождению помехи делятся не внутренние и внешние. Внутренние возникают в самой аппаратуре, они обусловлены случайными электрическими процессами (тепловой шум в проводниках) и флуктуациями числа носителей зарядов преодолевших потенциальный барьер в полупроводнике или электро-ваккумном приборе (дробовые шумы).

Внешние помехи создаются источниками, находящиеся вне самой системы передачи информации.

К внешним помехам относятся:

1)космические и атмосферные помехи;

2)индустриальные помехи (создаются электроустройствами);

3)помехи от посторонних систем передачи информации – они могут быть случайными и преднамеренными.

По характеру воздействия на сигнал помехи принято разделять на аддитивные и мультипликативные.

Помеха n(t) называетсяаддитивной если оператор её воздействияV(S,n) на сигналS(t) выражается суммойx(t)=S(t)+n(t). Аддитивную помеху часто называют шумом. Все перечисленные помехи являются аддитивными.

Если оператор воздействия Vимеет вид произведенияx(t)=S(t)+(t), то помеха(t) называетсямультипликативной . Она представляет собой изменение параметров канала передачи информации (изменение коэффициента передачи) по времени.

Изменения коэффициента передачи могут проявляться в кратковременных прерываниях в линии связи и в изменениях затухания линии связи.

Если (t) медленно меняющийся случайный процесс, то явление вызываемое мультипликативной помехи называется замиранием илифедингом. Замирания присущие каналам связи, особенно на коротких волнах.

x(t)=(t)S(t)+n(t)- общий вид сигнала.

Соотношения (7.1)–(7.3), определяющие скорость пе­редачи и пропускную способность канала и линии связи, являются общими, и поэтому они при­менимы как для дискретных, так и для непрерывных ка­налов, как для каналов без шумов, так и для каналов с шумами. Разница заключается в способе вычисления ко­личества информации, содержащейся в последовательности выходных сигналов Z T , о входных сигналах Y T , т.е. I (Z T , Y T ).

Для вычисления I (Z T , Y T ) можно использовать соотношения (5.30) или (5.31). Из этих соотношений получаем

I(Z T ,Y T) = H(Z T) – H(Z T ‌ | Y T) = H(Y T) – H(Y T | Z T). (8.9)

Будем полагать, что шумы, действующие в канале связи, имеют эргодический характер. Это значит, что, например, при длительной многократной передаче сигнала у i сигналы z на выходе канала с вероятностью, как угодно близкой к единице, образуют типичную последовательность. То же самое справедливо и при передаче эргодической последовательности различных сигналов у. При таком условии выход канала связи может рассматриваться как эргодический источник.

Для последовательности длительностью Т, содержащей М сигналов такого источника, имеем

H(Z T) = MH(Z), (8.10)

где H(Z) – энтропия выходного сигнала или, точнее, энтропия выхода канала связи, рассматриваемого как эргодический источник.

Величина H(Z) может быть подсчитана по формуле, аналогичной (6.10),

H(Z) = (8.11)

При этом Q l и Q k обозначены характерные состояния выхода канала связи.

Такое же соотношение получим и для вычисления условной энтропии

H(Z T | Y T) = MH(Z | Y), (8.12)

где H(Z |Y) – энтропия выходного сигнала канала связи при известных входных сигналах.

Повторяя рассуждения, приведенные при выводе (6.10), получим

H(Z |Y) = (8.13)

При этом p(Q l | Q k , y j) – условная вероятность перехода выхода канала связи из состояния Q k в состояние Q l при передаче сигнала y j .

Из (8.9), (8.10) и (8.12) следует, что

I(Z T , Y T) = MH(Z) – MH(Z | Y).

При определении скорости передачи информации по (7.3 ’) учтем, что ; при этом, как и ранее, - средняя длительность сигнала одного сообщения. Тогда получим

Повторяя рассуждения, аналогично найдем

В последнем равенстве - поток информации на выходе кодирующего устройства, характеризует потерю информации, обусловленную действием помех.

Из найденных соотношений и (7.3) следует, что пропускная способность канала связи при наличии помех может быть определена из условия

Оба определения равноправны и дают одно и то же значение С с. Использование того или иного определения дикдуется удобством анализа. При отыскании оптимальных статистических характеристик передаваемых сигналов (у ) необходимо иметь в виду следующее:

Характерные состояния выхода канала связи (Q k , Q l ) могут определяться двумя обстоятельствами:

а) наличием фиксированных ограничений, т.е. запретов, накладываемых на допустимую последовательность передачи различных сигналов, и

б) коррелятивными связями между символами, вызываемыми действием шумов.

Каналы, у которых на каждый передаваемый сигнал (символ) шум воздействует независимоот того, какие сигналы передавались ранее, называются каналами без памяти. В этих каналах шумы не вызывают дополнительных коррелятивных связей между сигналами. В настоящее время основные выводы теории информации получены применительно к каналам без памяти.

Проиллюстрируем вычисление пропускной способности канала на следующем примере.

Пусть требуется определить пропускную способность канала связи, по которому передаются двоичные сигналы со скоростью v x , если вероятность превращения в результате действия помех каждого из этих сигналов в противоположный равна р (вероятность правильного приема, следовательно, 1 – р ). Передаваемые сигналы предполагаются независимыми.

Рис. 8.3. Двоичный симметричный канал

В этом случае алфавит Х и алфавит Y состоят из двух символов: Х = (х 1 ,х 2), Y =(у 1 , у 2). Диаграмма рис. 8.3 показывает возможные варианты передачи и соответствующие им вероятности. Такой канал называется симметричным.

Средняя условная энтропия

Но p (x 1) + p (x 2)=1.

H (Y ôX )= -p log p – (1 – p )log (1 – p ).

Отсюда видно, что H (Y ôX )не зависит от характеристик источника, т.е. от р (х 1)и р (х 2),и определятся только помехами в канале передачи.

Максимальное количество информации на один символ получается, следовательно, при таком распределении вероятностей р (х i ),при котором оказывается максимальным член H (Y ). Но H (Y )не может превосходить величины

H m (Y )= log m =log 2

(что достигается при р (х 1)= р (х 2)=1/2.Поэтому имеем:

max{I (Y , X ) = log 2 + p log p + (1 – p )log (1 – p )

и, следовательно, пропускная способность

C = v x max {I (Y , X )} =

= v x . (8.19)

Отсюда следует, в частности, что при p = 0,т.е. при отсутствии шумов в канале, имеем максимальное значение С

С max = v x log 2.

При р =1 также имеем детерминированный случай, когда сигналы х 1 переводятся в сигналы х 2 и наоборот с вероятностью, равной единице. При этом пропускная способность канала также максимальна.

Минимальное значение пропускная способность имеет при p =1/2(C max = 0).

Если на вход канала подаются сигналы от всех возможных источников дискретных сообщений с одинаковым количеством символов в единицу времени u = 1/T и числом элементарных символов т, то выражение для С и, соответственно, для пропускной способности канала в расчете на единицу времени выглядит так:

Отсюда при т = 2 имеем (8.19).

2.1 Дискретный канал связи без помех

Если помехи в канале связи отсутствуют, то входные и выходные сигналы канала связаны однозначной, функциональной зависимостью.

При этом условная энтропия равна нулю, а безусловные энтропии источника и приемника равны, т.е. среднее количество информации в принятом символе относительно переданного равно

I (X, Y) = H(X) = H(Y); H (X/Y) = 0.

Если Х Т – количество символов за время T, то скорость передачи информации для дискретного канала связи без помех равна

где V = 1/ – средняя скорость передачи одного символа.

Пропускная способность для дискретного канала связи без помех

(7)

Т.к. максимальная энтропия соответствует для равновероятных символов, то пропускная способность для равномерного распределения и статистической независимости передаваемых символов равна:

. (8)

Первая теорема Шеннона для канала: Если поток информации, вырабатываемый источником, достаточно близок к пропускной способности канала связи, т.е.

, где - сколь угодно малая величина,

то всегда можно найти такой способ кодирования, который обеспечит передачу всех сообщений источника, причем скорость передачи информации будет весьма близкой к пропускной способности канала.

Теорема не отвечает на вопрос, каким образом осуществлять кодирование.

Пример 1. Источник вырабатывает 3 сообщения с вероятностями:

p 1 = 0,1; p 2 = 0,2 и p 3 = 0,7.

Сообщения независимы и передаются равномерным двоичным кодом (m = 2) с длительностью символов, равной 1 мс. Определить скорость передачи информации по каналу связи без помех.

Решение: Энтропия источника равна

Для передачи 3 сообщений равномерным кодом необходимо два разряда, при этом длительность кодовой комбинации равна 2t.

Средняя скорость передачи сигнала

V =1/2t = 500 .

Скорость передачи информации

C = vH = 500×1,16 = 580 [бит/с].

2.2 Дискретный канал связи с помехами

Мы будем рассматривать дискретные каналы связи без памяти.

Каналом без памяти называется канал, в котором на каждый передаваемый символ сигнала, помехи воздействуют, не зависимо от того, какие сигналы передавались ранее. То есть помехи не создают дополнительные коррелятивные связи между символами. Название «без памяти» означает, что при очередной передаче канал как бы не помнит результатов предыдущих передач.

При наличии помехи среднее количество информации в принятом символе сообщении – Y, относительно переданного – X равно:

Для символа сообщения X T длительностиT, состоящего из n элементарных символов среднее количество информации в принятом символе сообщении – Y T относительно переданного – X T равно:

I(Y T , X T) = H(X T) – H(X T /Y T) = H(Y T) – H(Y T /X T) = n .

Для передачи 3 сообщений равномерным кодом необходимо два разряда, при этом длительность кодовой комбинации равна 2t.

Средняя скорость передачи сигнала

V =1/2 t = 500 .

Скорость передачи информации

C = vH = 500 × 1,16 = 580 [бит/с].

2.2 Дискретный канал связи с помехами

Мы будем рассматривать дискретные каналы связи без памяти.

Каналом без памяти называется канал, в котором на каждый передаваемый символ сигнала, помехи воздействуют, не зависимо от того, какие сигналы передавались ранее. То есть помехи не создают дополнительные коррелятивные связи между символами. Название «без памяти» означает, что при очередной передаче канал как бы не помнит результатов предыдущих передач.

Пропускная способность дискретного канала без помех

Определим пропускную способность канала как максимальное количество информации, которое можно передавать по нему в единицу времени:

C = max{Ixy}/ tx (бит/с) (4.1)

Для канала без помех справедливо условие I xy = H x , а потому его пропускная способность:

C бп = max{Hx}/ tx = log 2 m / tx (4.2)

В частном случае передачи двоичных разрядов (m = 2) справедливо

С бп = 1/tx (4.3).

Для нас важно, как соотносится величина С бп с потоком информации источника H`z , который определяется по формуле

H`z = Hz/tz (бит/с) (4.4).

Пропускная способность канала используется полностью, когда H`z = C. Между тем, уменьшение энтропии Hz может привести к сокращению информационного потока. Чтобы его увеличить, требуется сократить время tz . Если учесть, что

tz = tx * lср, где lср - средняя длина кода символа, то становится ясно: чтобы полнее использовать пропускную способность канала для любого источника, нужно рационально кодировать сообщения, по возможности сокращая величину lср .

Если записать условие полного использования пропускной способности канала H`z = C в развернутом виде, то для канала без помех оно будет иметь вид:

Hz/tz = log 2 m/tx (4.5),

а с учетом tz = tx * lср и log 2 m = 1 (при m=2) мы получим условие:

lср = Hz (4.6)

По сути, доказательство этой так называемой теоремы Шеннона о кодировании для канала без помех сводится к нахождению процедуры, позволяющей получить требуемый код. Эта процедура, именуемая эффективным кодированием, была предложена самим Шенноном и в дальнейшем усовершенствована (с точки зрения удобства ее практического применения) Хаффменом.

В обоих случаях речь идет о посимвольном кодировании и величина Hz имеет значение безусловной энтропии. В принципе можно пойти дальше и рассматривать кодирование цепочек символов. В этом случае Hz будет иметь смысл условной энтропии порядка l, где l - максимальная длина цепочки. О "цепочечном" кодировании речь впереди, а пока мы рассмотрим классический подход к эффективному кодированию на уровне символов.

Рассмотрим теперь вариант, когда помехи в канале вызывают появление ошибок с вероятностью p 0 . В этом случае из соотношения 3.1 следует:

C = max {Hx - Hx/y}/ tx = (log 2 m - Hx/y) / tx (4.8)

Рассмотрим наиболее распространенный случай так называемого двоичного симметричного канала. При этом m = 2 (log 2 m = 1), а вероятности ошибки “переход "1" в "0” ” “переход "0" в "1" ” одинаковы.

Если теперь рассмотреть в качестве случайного события передачу разряда кода с ошибкой (вероятность p 0), то, используя формулу (2.8) для определения энтропии, получим:

Hx/y = Hy/x = -p 0 log 2 p 0 - (1 - p 0) log 2 (1 - p 0) (4.9)

С учетом этого (4.8) преобразуется к виду:

C = /tx (4.10)

Таким образом, пропускная способность симметричного двоичного канала с помехами определяется только скоростью передачи разрядов кода (Vx = 1/tx) и вероятностью ошибок.

Наглядно зависимость C(p 0) иллюстрирует рисунок 2.

Рисунок 2

Как видно, максимальное значение пропускной способности канала достигается при p 0 = 0 «канал без помех»и при p 0 = 1 (очевидно, что если канал передает все символы с ошибками, то последние легко устраняются инвертированием). Минимальное значение C = 0 имеет место при p 0 = 0.5.

Шеннон показал, что за счет кодирования пропускную способность канала с помехами также можно использовать максимально полно (напомним, что сама она будет ниже, чем у канала без помех).

Способ кодирования, который позволяет этого добиться, основан на использовании избыточных кодов, когда каждый информационный блок защищается контрольными разрядами и чем больше длина блока, тем меньше удельный вес этих избыточных разрядов, позволяющих обнаружить и исправить ошибки. Вопросы применения корректирующих кодов мы рассмотрим в разделе 5.