ЗАДАЧНИК

ТЕОРИЯ ПЕРЕДАЧИ СИГНАЛОВ В ЗАДАЧАХ
(Кловский Д.Д., Шилкин В.А. М.: Связь, 1978. 352 с.)

Количество информации, энтропия и производительность дискретного источника сообщений

3.1.1.
Источник сообщений выдает 4 сообщения с вероятностями P(a1)=0.2; P(a2)=0.3; P(a3)=0.4; P(a4)=0.1. Найти количество информации, содержащееся в каждом из сообщений источника. Вычислить энтропию и избыточность источника.
Решение: Количество информации: 13 EMBED Equation.2 1415. Отсюда I(a1)=log(1/0.2)=2.33 бит; I(a2)=1.75 бит; I(a3)=1.33 бит; I(a4)=3.32 бит. Энтропия источника есть среднее количество информации на одно сообщение:
13 EMBED Equation.2 1415 бит/сообщ.
Избыточность источника 13 EMBED Equation.2 1415, где Hmax(A)=log4=2 бит/сообщ. Находим избыточность: (=1-(1.86/2)=0.07.

3.1.4.
Двоичный источник с памятью описывается простой цепью Маркова с матрицей переходных вероятностей:
13 EMBED Equation.2 1415
где P(ai|aj’) - вероятность появления сообщения ai при условии, что ему предшествовало сообщение aj’. Полагая, что P(1|1’)=0.9; P(1|0’)=0.7; найти энтропию источника и его избыточность.
Решение: Поскольку источник описывается простой цепью Маркова, то вероятность появления каждого его сообщения зависит от вероятности появления только предыдущего сообщения. Так как после сообщения «1’» может следовать только «1» или «0», поэтому P(0|1’)=1-P(1|1’)=0.1; а также P(0|0’)=1-P(1|1’)=0.3. Энтропия источника:
13 EMBED Equation.2 1415
Безусловные вероятности появления сообщений не зависят от момента времени их появлений. Поэтому P(aj’)=P(ai). Найдем эти вероятности. Прежде всего отметим, что P(0)+P(1)=1. Далее, сообщение «0» может появиться в текущий момент времени в результате двух событий: а) в предыдущий момент времени был «0’»; б) в предыдущий момент времени была «1’». Поэтому:
P(0)=P(0)*P(0|0’)+ P(1)*P(0|1’). Учитывая, что P(1)=1- P(0), получим:
P(0)=P(0)*P(0|0’)+P(0|1’)-P(0)*P(0|1’). Отсюда следует:
P(0’)=P(0|1’)/(1-P(0|0’)+P(0|1’))=0.1/(1-0.3+0.1)=0.125.
P(1’)=1-P(0’)=0.875.
Теперь найдем энтропию:
13 EMBED Equation.2 1415
Избыточность источника 13 EMBED Equation.2 1415

3.1.4а.
Найти энтропию и избыточность двоичного источника без памяти, но с теми же значениями вероятностей передачи сообщений, что и в задаче 3.1.4.

3.1.6.
Телевизионный кадр содержит 625 строк; в каждой строке 833 элемента; каждый элемент имеет 16 градаций яркости. Кадр содержит 9.37*105 бит информации. Найти избыточность телевизионного кадра.
Решение: Число элементов в кадре: No=625*833=520625. Максимальное количество информации, содержащееся в одном элементе Hmax(A)=log16=4 бит/элемент. Среднее количество информации, приходящееся на один элемент, т.е. энтропия: H(A)=9.37*105/520625=1.8 бит/элемент.
Избыточность телевизионного кадра: 13 EMBED Equation.2 1415=1-1.8/4=0.55.

3.1.8.
Напряжение на выходе квантующего устройства может принимать 17 значений с шагом квантования (. На вход устройства поступают независимые временные отсчеты (с интервалом (t=0.3 с) сигнала с плотностью вероятности мгновенных значений:
13 EMBED Equation.2 1415, где a=0.5 В; xmax=1.6 В; (=0.2 В.
Определить энтропию квантованного сигнала, его избыточность и скорость создания информации на выходе квантующего устройства.
Решение: Вероятности появления уровней квантованного сигнала определим по приближенной формуле P(xi)=(*w(xi)=0.2*exp(-2|xi|), которая иллюстрируется рис 3.1. Результаты расчета показаны в таблице 3.1. Поскольку функция w(xi) четная, P(xi)=P(-xi).
Таблица 3.1.
i
0
1
2
3
4
5
6
7
8

xi
0
0.2
0.4
0.6
0.8
1
1.2
1.4
1.6

P(xi)
0.2
0.134
0.09
0.06
0.04
0.028
0.018
0.012
0.008


Теперь найдем энтропию:13 EMBED Equation.2 1415бит/отсчет.
Избыточность сигнала 13 EMBED Equation.2 1415.
Скорость создания информации на выходе квантующего устройства:
H’(A)=H(A)/(t=3.46/0.3=11.53 бит/с.

3.1.10.
Источник выдает 8 сообщений, вероятности появления которых даны в табл. 3.2. Показать, что при кодировании сообщений неравномерным двоичным кодом Хаффмена (табл. 3.2) почти полностью устраняется избыточность.

Таблица 3.2.
Номер сообщения i
Вероятность
p(i)
Код Хаффмена
Длина кодовой комбинации ni

1
0.6
1
1

2
0.2
10
2

3
0.1
100
3

4
0.04
1000
4

5
0.025
10000
5

6
0.015
100000
6

7
0.01
1000000
7

8
0.01
10000000
8


Решение: Избыточность источника 13 EMBED Equation.2 1415, где Hmax(A)=log8=3 бит/сообщ. Энтропия источника 13 EMBED Equation.2 1415 бит/сообщ. Избыточность источника составит: (=1-(1.781/3)=0.4.
Если сообщения кодируются двоичным кодом, то максимальное количество информации, содержащееся в одном кодовом символе составит: Imax=log2=1 бит/символ. При этом минимально возможная средняя длина кодовой комбинации составит nmin=H(A)/Imax=1.781 символ/сообщ. Средняя длина приведенного в таблице кода Хаффмена: 13 EMBED Equation.2 1415 символ/сообщ.
Избыточность кода Хаффмена: 13 EMBED Equation.2 1415
Таким образом, первоначальная избыточность источника 40% была уменьшена до 2.4% в результате применения кода Хаффмена.

Пропускная способность дискретного канала связи.

3.2.1.
Найти ненадежность H(B|B’) и энтропию шума H(B|B’) двоичного симметричного канала со стиранием (рис. 3.1) с априорными вероятностями появления символов P(0) и P(1)=1-P(0) и вероятностями переходов P(0’|0)=P(1’|1)=1-p-pc; P(?|0)=P(?|1)=pc; P(1’|0)=P(0’|1)=p.

13 EMBED CorelDraw.Graphic.7 1415
Рис. 3.1. Схема двоичного симметричного канала со стиранием

Решение: Здесь p - вероятность ошибочной передачи символа P(1’|0)=P(0’|1); 1-p-pc - вероятность правильной передачи символа; pс - вероятность стирания символа. Найдем сначала энтропию шума. По определению:
13 EMBED Equation.2 1415, где i=0;1; j=0;?;1
Все вероятности в формуле даны в условиях задачи. Подставляя их в формулу энтропии шума получим:
13 EMBED Equation.2 1415
Учитывая, что P(0)+P(1)=1, окончательно получим:
13 EMBED Equation.2 1415
Найдем теперь ненадежность канала. Исходная формула аналогична формуле для энтропии шума:
13 EMBED Equation.2 1415, где i=0;1; j=0;?;1
Однако, ни одна из вероятностей в формуле нам неизвестна. Согласно формуле Байеса вероятность совместного наступления двух событий, например: P(1,0’)=P(0’)*P(1|0’)=P(1)*P(0’|1)=P(1)*p (см. рис.). Таким образом, все остальные произведения P(bj’)*P(bi|bj’) могут быть представлены как совместные вероятности P(bi, bj’) и найдены
P(0,1’)=P(0)*p;
P(0,?)=P(0)*pc; P(1,?)=P(1)*pc;
P(0,0)=P(0)*(1-p-pc); P(1,1)=P(1)*(1-p-pc);
Теперь найдем апостериорные вероятности P(bi|bj’). В соответствии с формулой Байеса P(bi|bj’)=P(bi, bj’)/P(bj’); где P(bj’) - вероятность получения символа bj. Из рисунка видно, что
P(1’)=P(1)*(1-p-pc)+P(0)*p
P(0’)=P(0)*(1-p-pc)+P(1)*p
P(?)=P(0)*pc+P(1)*pc=pc.
Окончательно получим:
13 EMBED Equation.2 1415
Подставив найденные совместные и апостериорные вероятности в исходную формулу для ненадежности канала, получим:
13 EMBED Equation.2 1415

3.2.2.
Показать, что в симметричном m-разрядном канале без памяти и стираний энтропия шума определяется выражением:
13 EMBED Equation.2 1415
где p - суммарная вероятность ошибки.
Решение: Воспользуемся общей формулой для энтропии шума:
13 EMBED Equation.2 1415
Рассмотрим сначала безусловную вероятность P(bi). Это вероятность появления на входе канала какого-либо из m символов. Так как канал симметричный, то все P(bi) равны между собой. Поэтому P(bi)=1/m.
Теперь определим условную вероятность 13 EMBED Equation.2 1415. Это вероятность того, что на выходе канала будет символ 13 EMBED Equation.2 1415, при условии, что на входе будет символ 13 EMBED Equation.2 1415.Здесь возможны две ситуации:
а) верная передача символа по каналу - i=j.
б) неверная передача символа по каналу - i(j.
Если суммарная вероятность ошибки - p, то вероятность верной передачи символа - 1-p. Поэтому 13 EMBED Equation.2 1415=1-p при i=j. Всего случаев верных передач набирается m (по одному на каждый символ).
Рассмотрим случай ошибки. Пусть для определенности был передан символ «1». Тогда вероятность приема любого из m символов не равного «1» будет определяться:
13 EMBED Equation.2 1415 при i(j,
так как канал симметричный (вероятности всех ошибок равны), а p - суммарная вероятность ошибки. Число таких случаев будет m-1 для символа «1». Для всех m входных символов число случаев будет m*(m-1)
Подставляя значения вероятностей в общую формулу энтропии шума, получим:
13 EMBED Equation.2 1415
После сокращения окончательно получим:
13 EMBED Equation.2 1415

3.2.3.
Энтропия источника на входе двоичного симметричного канала H(B)=1000 бит/символ. Энтропия на выходе канала - H(B’)=2000 бит/символ. Ненадежность канала - H(B|B’)=200 бит/символ.
Найти энтропию шума в канале.

3.2.5.
Энтропия источника на входе двоичного симметричного канала H(B)=20 бит/символ, а по каналу передается в среднем I(B)=10 бит/символ полезной информации. Энтропия шума в канале - H(B’|B)=40 бит/символ.
Найти ненадежность канала и энтропию выходных символов. Определить производительность источника и скорость передачи полезной информации по каналу, если на вход канала поступает в среднем vк=50 символ/с.




4.2.7.
Найти пропускную способность симметричного m-разрядного канала без памяти и стираний если число передаваемых по каналу символов в секунду vк=700; m=4; p=0.1.
Решение: Пропускная способность канала:
13 EMBED Equation.2 1415/
Энтропия шума 13 EMBED Equation.2 1415 была определена в предыдущей задаче. Максимальная энтропия maxH(B) будет при равных вероятностях возникновения всех сообщений p(ai)=1/m. Отсюда следует, что
maxH(B)=m*(1/m)*log(m)
Окончательно имеем:
13 EMBED Equation.2 1415
С=700*(2-0.1*log30-0.9*log(1/0.9))=962.5 бит/с.

3.2.7.
По каналу связи передается сообщение, формируемое из восьми символов b1,b2,...b8 с вероятностями появления: P(b1)=0.2; P(b2)=0.15; P(b3)=0.2; P(b4)=0.15; P(b5)=0.1; P(b6)=0.1; P(b7)=0.05; P(b8)=0.05. Длительность каждого символа tи=0.5 мс. Шум в канале отсутствует. Определить пропускную способность канала и скорость передачи информации по каналу.
Решение: Поскольку шум в канале отсутствует, пропускная способность канала: C=vк*maxH(B); maxH(B)=log8=3 бит; vк=1/ tи=(1/0.5)*103=2000 символов/с. Следовательно C=3*2000=6000 бит/с.
Скорость передачи информации I’(B,B’)= vк*H(B), где
13 EMBED Equation.2 1415 бит.
Отсюда: I’(B,B’)=2.85*2000=5700 бит/с.

3.2.10.
Какой запас пропускной способности C-H’(A) должен иметь канал, чтобы при использовании оптимального кода с длительностью кодовой комбинации T=200 мс. вероятность ошибки pош не превысила величину 10-6?
Решение: Средняя вероятность ошибки при оптимальном кодировании определяется 13 EMBED Equation.2 1415. Отсюда: 13 EMBED Equation.2 1415
C-H’(A)=(-6*log210)/(-0.2)=30*3.32=99.6 бит/с.





Дифференциальная энтропия.

3.3.2.
Найти дифференциальную энтропию нормального случайного процесса с дисперсией (2.
Решение: Дифференциальная энтропия h(x) определяется выражением:
13 EMBED Equation.2 1415.
Подставим в выражение под знаком логарифма формулу плотности вероятности нормального случайного процесса: 13 EMBED Equation.2 1415.
Используя при подстановке свойства логарифма log(A*B)=log(A)+log(B) и log(AB)=B*log(A), получим:
13 EMBED Equation.2 1415
По определению, интеграл в бесконечных пределах от любой плотности распределения вероятностей равен единице; а второй интеграл есть дисперсия случайного процесса или (2. Поэтому:
13 EMBED Equation.2 1415

3.3.4.
Нормальный случайный процесс с нулевым математическим ожиданием и дисперсией (2= 4 мВт проходит через линейный усилитель с коэффициентом усиления К=100. Определить приращение дифференциальной энтропии выходного сигнала по сравнению с входным.
Решение: Входной и выходной процессы связаны соотношением: Y(t)=K*X(t). Выходной процесс Y(t) имеет нормальное распределение с дисперсией (2y= K2*(2x.
Приращение дифференциальной энтропии:
13 EMBED Equation.2 1415
При K=100 получаем: (h=6.64 бит/отсчет.

3.3.5.
Сравнить дифференциальные энтропии нормального процесса и процесса, равномерно распределенного на интервале (-a, a), если их дисперсии одинаковы.
Решение: Подставим плотность распределения вероятностей равномерного процесса w(x)=1/2a в выражение для дифференциальной энтропии. Получим:
13 EMBED Equation.2 1415
Параметр a равномерно распределенного процесса связан с дисперсией (2 соотношением 13 EMBED Equation.2 1415. Следовательно:
13 EMBED Equation.2 1415.
Дифференциальная энтропия нормально распределенного процесса, согласно решению задачи 3.3.2., 13 EMBED Equation.2 1415.
Отсюда следует:
13 EMBED Equation.2 1415бит/отсчет.
3.3.6.
По каналу связи передается сигнал X(t), представляющий собой нормальный случайный процесс с нулевым средним значением и дисперсией (2x=4мВт. В канале действует независимый от сигнала нормальный шум U(t) с нулевым средним и дисперсией (2u=1мВт. Найти дифференциальную энтропию входного и выходного сигналов, а также условные дифференциальные энтропии h(X|Y) и h(Y|X).
Решение: Выходной сигнал Y(t)=X(t)+U(t). Так как X(t) и U(t) независимы и имеют нормальное распределение, то Y(t) будет также распределен по нормальному закону с дисперсией (2y=(2x+(2u. В соответствии с решением задачи 3.3.2. дифференциальные энтропии входного и выходного сигналов:
13 EMBED Equation.2 1415бит/отсчет,
13 EMBED Equation.2 1415бит/отсчет.
Условная дифференциальная энтропия h(Y|X) - это энтропия шума в канале. Поэтому 13 EMBED Equation.2 1415 бит/отсчет.
Условная дифференциальная энтропия h(X|Y) - это количество теряемой информации в канале в среднем на 1 отсчет или ненадежность канала.
h(X|Y)=h(x)-I(X,Y),
где I(X,Y) - количество передаваемой информации по каналу или взаимная информация между входным и выходным сигналами.
С другой стороны I(X,Y)=h(y)-h(Y|X), следовательно:
h(X|Y)=h(x)-h(y)+h(Y|X)
Окончательно получаем:
13 EMBED Equation.2 1415
Таким образом, h(X|Y)=1.89 бит/отсчет.

3.3.10.
Непрерывный сигнал на выходе источника имеет равномерное распределение с дисперсией (2=3 Вт. Найти эпсилон-производительность источника, если полоса сигнала Fс=3100 Гц, а дисперсия шума воспроизведения (2ш=0.05 Вт. На сколько изменится эпсилон-производительность источника, если он начнет выдавать сигнал с такими же параметрами, но с нормальным распределением.
Решение: Для непрерывного сигнала эпсилон-производительность:
13 EMBED Equation.2 1415
Дифференциальная энтропия h(X) для равномерного распределения была определена в задаче 3.3.5.:
13 EMBED Equation.2 1415
Отсюда следует:
13 EMBED Equation.2 1415 бит/с
Для нормального процесса (задача 3.3.2) Дифференциальная энтропия h(X):
13 EMBED Equation.2 1415
При этом:
13 EMBED Equation.2 1415 бит/с

Пропускная способность непрерывного канала

3.4.1.
По каналу связи передается сигнал s(t) - нормальный случайный процесс с нулевым средним значением и дисперсией (2s=8 мВт. Ширина полосы пропускания канала Fк=3100 Гц. В канале действует независимая от сигнала флуктуационная помеха n(t) типа «белый шум» со спектральной плотностью мощности N0=3.22* *10-7 Вт/Гц, нормальным распределением и нулевым средним значением.
Определить среднее количество информации, переданное по каналу, в расчете на один отсчет.
Решение:
Искомая величина будет определяться: I(s,z)=h(z)-h(z|s), где выходной сигнал z(t)=s(t)+n(t). Так как s(t) и n(t) независимы и имеют нормальное распределение, то z(t) будет также распределен по нормальному закону с дисперсией (2z=(2s+(2n.
Условная дифференциальная энтропия h(z|s) - это энтропия шума в канале. Поэтому 13 EMBED Equation.2 1415. Условная дифференциальная энтропия выходного сигнала 13 EMBED Equation.2 1415. Отсюда следует:
13 EMBED Equation.2 1415
По условиям задачи: Ps= 8*10-3 Вт; Pn=N0*Fк=3.1*103*3.22*10-7(10-3 Вт.
Отсюда следует: I(s,z)=1/2*log9=1/58 бит/отсчет.

3.4.2
С какой скоростью передается информация по каналу, если на его вход поступает vк=100 независимых отсчета сигнала в секунду. Сигнал распределен по нормальному закону с ms=0, (2s=2.8 Вт. В канале действует аддитивный нормальный шум с mn=0, (2n=0.4 Вт.
Решение: Скорость передачи информации определяется: I’(s,z)= vк I(s,z). Следовательно:
13 EMBED Equation.2 1415бит/с.

3.4.5. Определить максимально возможную величину пропускной способности гауссовского канала при неограниченной полосе пропускания. Определить количество энергии, необходимое для передачи по каналу 1 бита информации.
Решение: Воспользуемся известным математическим соотношением: ln(1+()(( при ((0. Пропускная способность непрерывного канала связи:
С=Fк*log(1+Ps/Pn),
где Pn=N0*Fк .Устремим Fк(13 EMBED Equation.2 1415. Получим:
13 EMBED Equation.2 1415.
При Fк(13 EMBED Equation.2 1415 Ps/N0Fк(0. Поэтому: 13 EMBED Equation.2 1415.
Количество информации передаваемое по каналу: I(s,z)=T*I’(s,z). Скорость передачи информации по каналу I’(s,z) всегда меньше 13 EMBED Equation.2 1415. Поэтому:
13 EMBED Equation.2 1415.
По условию задачи T*I’(s,z)=1 бит, а по определению энергия сигнала E=T*Ps. Отсюда следует: 1<(E/N0)*log(e). Или E>N0/log(e).

4.4.7. (нов)
Найти пропускную способность гауссовского канала, имеющего полосу F=3 кГц, если на вход канала поступает сигнал мощностью Pc=1 мВт, а в канале действует шум со спектральной плотностью мощности N0=10-7 Вт/Гц.
Решение: Пропускная способность гауссовского канала:
C=F*log(1+Pc/Pш).
Так как спектральная плотность мощности шума постоянна, то в полосе частот сигнала мощность шума составит:
Pш= N0*F=10-7*3*103=3*10-4 Вт.
Тогда:
C=3*103*log(1+10/3)=6.34 кбит/с

3.4.10
Определить величину отношения сигнал/шум в канале, при котором дискретный двоичный источник может выдавать символы со скоростью vи=2Fк.
Решение: Согласно теореме кодирования Шеннона для дискретного источника H’(A)13 EMBED Equation.2 1415

Эффективное кодирование

4.2.12. (нов)
Источник сообщений выдает 9 различных символов с вероятностями их появления:

Символ
a1
a1
a4
a5
a6
a7
a8
a9
a10

pi
0.2
0.15
0.15
0.12
0.1
0.1
0.08
0.06
0.04


Закодировать символы данного ансамбля кодом Хаффмена. Построить граф кода и определить среднюю длину кодовой комбинации. Сравнить полученный результат с минимальной длиной кодовой комбинации при кодировании равномерным двоичным кодом. Показать, что код Хаффмена близок к оптимальному по Шеннону коду.
Решение. Кодирование по методу Хаффмена состоит из следующих пунктов:
все символы источника располагают в порядке убывания вероятностей. Если несколько символов имеют одинаковые вероятности, их располагают рядом в произвольном порядке;
выбирают два символа с наименьшими вероятностями и первому (верхнему) из них в качестве первого числа двоичного кода приписывают «1», а второму - символ «0»;
выбранные символы объединяют в «промежуточный» символ с вероятностью равной сумме вероятностей выбранных символов;
в ансамбле оставшихся символов (вместе с «промежуточным», учитывая его суммарную вероятность) вновь выбирают два символа с наименьшими вероятностями и объединяют их в «промежуточный» символ (повторяют пп.2 и 3);
эту процедуру повторяют до тех пор, пока не будет исчерпан весь алфавит.
Процесс кодирования показан в таблице.

Кодирование по методу Хаффмена.
Символ
рi
Граф кода Хаффмена
Код

a1
а2
а3
а4
а5
а6
а7
а8
а9
0,2
0,15
0,15
0,12
0,1
0.1
0,08
0,06
0,04
13 EMBED CorelDraw.Graphic.7 1415
11
001
011
010
101
100
0001
00001
00000


Средняя длина кодовой комбинации данного кода 13 EMBED Equation.2 1415.
Минимальная длина кодовой комбинации равномерного кода, которым можно закодировать данный алфавит: 13 EMBED Equation.2 1415.
Таким образом, код Хаффмена короче равномерного кода на 23%.
Минимальная длина оптимального кода численно равна энтропии источника сообщений, т.к. 1 кодовый символ для двоичного источника содержит 1 бит информации (максимум).:
13 EMBED Equation.2 1415.
Средняя длина кодовой комбинации кода Хаффмена отличается от средней длины оптимального кода на (3,08-3,04)/3,04*100%=1,32%, что позволяет считать код Хаффмена близким к оптимальному.

4.2. Закодировать двоичным кодом Шеннона-Фано ансамбль сообщений {ai}, i=1,2,...8, если вероятности символов имеют следующие значения: Р(а1)=Р(а2)=1/4; P(a3)=P(a4)=1/8; P(a5)=P(a6)=P(a7)=P(a8)=1/16. Найти среднее число разрядов в кодовой комбинации. Показать, что такой код близок к оптимальному.
Решение. Кодирование по методу Шеннона-Фано состоит из следующих пунктов:
все символы записываются в порядке убывания их вероятностей;
вся совокупность символов разбивается на две примерно равновероятные группы;
всем символам верхней группы приписывается первый кодовый символ 1; символам нижней группы- кодовый символ 0;
аналогично каждая группа разбивается на подгруппы по возможности с одинаковыми вероятностями, причем верхним подгруппам в обеих группах приписывается символ 1(второй кодовый символ), а нижним- символ 0;
эта процедура повторяется до тех пор, пока в каждой подгруппе не останется по одной букве;
Процесс кодирования представлен в таблице.

Кодирование по методу Шеннона-Фано.
Символ
pi
Разбиение
Код.

а1
а2
а3
а4
а5
а6
а7
а8
1/4
1/4
1/8
1/8
1/16
1/16
1/16
1/16
13 EMBED Equation.2 1415
13 EMBED Equation.2 1415


13 EMBED Equation.2 1415




13 EMBED Equation.2 1415
11
10
011
010
0011
0010
0001
0000


Средняя длина кодовой комбинации: 13 EMBED Equation.2 1415.
При оптимальном двоичном кодировании: 13 EMBED Equation.2 1415; т. е. код Шеннона-Фано оптимален для данного случая.
При использовании равномерного двоичного кода, его длина для 8 символов составит 13 EMBED Equation.2 1415. Таким образом, полученный код Шеннона-Фано короче равномерного на 8.33%.

Помехоустойчивое кодирование.

4.1.2.
Дискретный источник выдает сообщения ai из ансамбля A={ai} с объемом K=10. Какое минимальное число разрядов должны иметь кодовые комбинации равномерного двоичного кода, которым кодируются данные сообщения. Записать все кодовые комбинации.
Найти теоретически возможный минимум для средней длины кодовой комбинации эффективного кода, которым кодируются данные сообщения, если энтропия источника H(A)=2.3 бит/сообщ.
Решение: Число разрядов кодовых комбинаций равномерного двоичного кода находится из условия nрав=log10=3.32. Так как это число не может быть дробным, его следует округлить до целых в большую сторону. Таким образом nрав=4. Округление до 3 недопустимо, т.к. при этом число кодовых комбинаций N=23=8 будет меньше размера алфавита источника.
Задача эффективного кодирования - устранение избыточности источника путем уменьшения средней длины кодовой комбинации. Для теоретически наилучшего эффективного кода избыточность будет равна нулю, но при этом каждый символ такого кода будет нести максимально возможное количество информации Imax. Для двоичного кода Imax=log2=1 бит. Таким образом, чтобы передать 2.3 бита информации (H(A)) необходимо в среднем 2.3 символа. Поэтому nminср=H(A)=2.3.

4.1.3.
Ансамбль дискретных символов {ai} с объёмом К=32 имеет энтропию H(A)=2 бит/символ. Какое избыточное количество символов кода по сравнению с оптимальным кодом приходится тратить на один символ источника, если используется равномерный двоичный код.
Указание к решению: Необходимо определить длину равномерного двоичного кода nравн по объёму алфавита. Длина оптимального кода nопт - это минимально возможная средняя длина кода, пригодного для передачи сообщений источника с заданной энтропией.

4.1.4.
Аналоговый сигнал путем дискретизации во времени и квантования по уровню превращается в импульсную последовательность с числом уровней К=128. Найти длину кодовой комбинации. Найти избыточность кода, если число разрядов кода увеличить на 3.
Решение: Если длина кодовой комбинации n, то двоичным кодом можно закодировать K=2n сообщений. Отсюда n=log2K=7. Если число разрядов кода увеличить на 3, то в коде будет 7 разрядов, несущих полезную информацию и 3 избыточных разряда. Поэтому избыточность кода будет равна: (=1-7/10=0.3.

4.1.4а.
Алфавит источника объёмом К=256 кодируется 15-разрядным двоичным кодом. Найти избыточность кода, а также число информационных и избыточных разрядов.

5.1.5. (нов)
Комбинации n-разрядного двоичного кода содержат k информационных символов. Определить долю обнаруживаемых и исправляемых таким кодом ошибок из числа всевозможных ошибок.
Решение: Обозначим обнаруживаемые ошибки - Ообн; исправляемые ошибки - Оисп; все возможные ошибки - О. Нам необходимо найти Ообн/О и Оисп/О. Найдем сначала количество всех возможных ошибок. Если в коде k инф. символов, то таким кодом можно закодировать К=2k сообщений. Таким образом, в канал связи передаются К кодовых комбинаций. Назовем их разрешенными и их число обозначим: Np. На рис. 1 они показаны точками b1p, b2p и т.д. В результате воздействия шума на передаваемые кодовые комбинации (Nр), они могут быть искажены, и тогда будет принята любая кодовая комбинация из числа N=2n. Комбинации кода из числа N не входящие в Nр называют запрещенными комбинациями: Nз=N-Np. Получение приемником такой комбинации говорит о том, что ошибка произошла. На рис. 1 они показаны точками bзап.
Пусть была передана кодовая комбинация b1p, При получении любой другой возможной кодовой комбинации кроме b1p будет ошибка. Поэтому число ошибок, которые могут произойти при передаче b1p определится как N-1.

13 EMBED CorelDraw.Graphic.7 1415
Рис 1. К оценке обнаруживающей а) и исправляющей б) способности кода. b1р; b2р - разрешенные кодовые комбинации; bзап - запрещенные.

Столько же ошибок может дать и любая другая кодовая комбинация из числа разрешенных. Поэтому общее число возможных ошибок О=Np(N-1).
При получении кодовой комбинации из числа Nз, ошибка будет обнаружена, т.к. мы заранее знаем, что такая комбинация не может быть передана. Поэтому Ообн=Np*Nз=Np(N-Np).
Тогда получим:
13 EMBED Equation.2 1415
Рис.1б. объясняет принцип исправления ошибок: любая полученная bзап исправляется к ближайшей biр. Поэтому, если была передана, например, b1р, то верно исправляться будут лишь ближайшие к ней bзап (при dТаким образом, получим:
13 EMBED Equation.2 1415

4.2.2.
Число разрядов кодовой комбинации n=125; число информационных символов k=100. Вероятность ошибочной регистрации одного кодового символа - р0=0.1. Минимальное кодовое расстояние - dmin=6. Найти избыточность кода и вероятность ошибочного декодирования всей кодовой комбинации.
Решение:
Избыточность кода: (=1-k/n=1-100/125=1/5=0.2.
Помехоустойчивый код решает две задачи: а) обнаружение кодов с ошибками и б) исправление этих ошибок. Ошибочное декодирование означает, что ошибка обнаружена, но не исправлена. Такая ситуация возникает тогда, когда кратность ошибки больше исправляющей, но меньше обнаруживающей способности кода: qиВ нашей задаче qи=dmin/2-1=6/2-1=2; qo=dmin-1=5. Поэтому вероятность ошибочного декодирования равна суммарной вероятности ошибки кратности 4 и 5:
13 EMBED Equation.2 1415
Здесь 1-р0 - вероятность правильной регистрации кодового символа; Сnq - количество комбинаций из n по q, т.е. количество всех вариантов ошибки кратностью q в n-разрядной кодовой комбинации.

4.2.2а.
Найти вероятность правильного декодирования кодовой комбинации при n=125; p=0.1; dmin=6.

4.2.2 б. (5.1.12 нов)
Определить dmin для кода, обнаруживающего пятикратную и исправляющего тройную ошибку.

Линейный двоичный блочный код

4.2.4.
Линейный двоичный блочный код, предназначенный для кодирования восьми сообщений содержит кодовые комбинации:
b1=00000; b2=10011; b3=01010; b4=11001; b5=00101; b6=10110; b7=01111; b8=11100.
Является ли данный код линейным? Найти избыточность кода и dmin.
Решение: Свойство линейности кода означает, что при сложении любых двух комбинаций кода должна получиться комбинация этого же кода. Сложение здесь осуществляется поразрядно по модулю 2 (логическая операция «ИСКЛЮЧАЮЩЕЕ ИЛИ»):
Например, b2(b3=11001= b4.
Если проверить другие пары кодовых комбинаций, то это свойство будет сохраняться.
Определим избыточность кода. Длина кодовых комбинаций n=5, а для передачи 8 сообщений необходимо минимум 3 разряда, т.к. nmin=log(K), где K=8. Поэтому избыточность кода:
(=1-nmin/n=1-3/5=0.4.
Минимальное кодовое расстояние dmin определяется как число разрядов, которыми 2 кодовые комбинации отличаются друг от друга. Для данного кода dmin=3. Проверьте это.

5.2.4. (нов)
Построить линейный код (7;4) по заданной производящей матрице
13 EMBED Equation.2 1415
Решение: Запись «код (7;4)» означает, что длина кодовой комбинации этого кода n=7, а количество информационных символов nи=4. Построить код означает, что к 4-м информационным символам надо добавить с помощью матрицы 3 проверочных символа. Всего с помощью такого кода можно передать 2nи =16 сообщений кодовыми комбинациями от «0000» до «1111».
Возьмем, например, комбинацию 1010 и добавим к ней 3 проверочных символа. Эта исходная комбинация умножается (логическое «И») как матрица-строка на матрицу (. Каждый столбец матрицы ( служит для создания одного проверочного символа.
Результаты поразрядного умножения 1010 на первый столбец:
1(1=1; 0(1=0; 1(1=1; 0(0=0.
Полученные 4 числа надо сложить по модулю 2 (логическое «ИСКЛЮЧАЮЩЕЕ ИЛИ»):
1(0(1(0=0
Полученный результат и есть первый проверочный символ.
Умножение 1010 на второй столбец: 1(1=1; 0(1=0; 1(0=0; 0(1=0.
Сложение: 1(0(0(0=1.
Умножение 1010 на третий столбец: 1(1=1; 0(0=0; 1(1=1; 0(1=0.
Сложение: 1(0(1(0=0.
Таким образом, для исходной комбинации 1010 мы получили помехоустойчивый код (7;4) - 1010010
Общая формула для определения проверочных символы bпр:
13 EMBED Equation.2 1415, где k - количество информационных символов; r - количество проверочных символов; i=k+1,k+2,...k+r; ( - операция «И», а суммирование осуществляется по модулю 2.

5.2.4.а
Построить линейный код (7;4) по производящей матрице задачи 5.2.4. для любых шести исходных (4 разрядных) кодовых комбинаций.


5.2.6. (нов)
Для заданного в задаче 5.2.4. кода составить таблицу синдромов и показать, каким ошибочным разрядам они соответствуют.
Решение: Синдром - это код, количество разрядов в котором совпадает с количеством проверочных символов. Если синдром нулевой (с=000), то поступивший с выхода канала код верен. Если ходя бы один разряд синдрома не равен нулю, то в принятом коде есть ошибка, причем вид синдрома (количество и порядок единиц в нем) указывает на разряд, в котором ошибка произошла.
Пусть был передан код 1010010 (см. задачу 5.2.4.) и, в результате действия шумов в канале, произошла ошибка в первом разряде. Таким образом, мы получим код: 0010010. Вычислим для него синдром. Для этого сначала вычисляются т.н. контрольные символы. Они вычисляются точно так же, как и проверочные символы (см. задачу 5.2.4.). Для вычисления берем первые 4 символа поступившего кода («0010») и матрицу (.
Первый контрольный символ: 0(1(0(1(1(1(0(0=1.
Второй контрольный символ: 0(1(0(1(1(0(0(1=0.
Третий контрольный символ: 0(1(0(0(1(1(0(1=1.
Затем необходимо сложить по модулю 2 полученные контрольные символы и проверочные символы пришедшего кода:
1(0=1; 0(1=1;1(0=1;
Результат сложения и есть синдром.
Таким образом, c=(111). Синдром ненулевой, значит ошибка есть, а вид синдрома указывает на то, что она произошла в 1-м разряде.

5.2.6.б
Построить синдромы для одиночных ошибок во всех разрядах кода (7;4) из задачи 5.2.4. Показать, что при правильном приеме кодовой комбинации будет нулевой синдром.

5.2.12.
Определить, какие из приведенных кодовых комбинаций содержат одиночную ошибку:
1100111 0110101 0011010 0010110
1000100 1011011 0010101 0110010
1100100 0110101 1001010 0011011
Код построен по производящей матрице: 13 EMBED Equation.2 1415



Циклические коды:

5.3.2.
Первые три комбинации циклического кода имеют вид: 100001101, 110000110, 011000011. Построить остальные комбинации этого кода и порождающий полином кода. Представить в виде многочленов все кодовые комбинации.
Решение: Как видно из первых трех комбинаций, они получены с помощью циклического сдвига вправо:
b1=100001101
b2=110000110
b3=011000011
Продолжая сдвиг вправо, получим:
b4=101100001
b5=110110000
b6=011011000
b7=001101100
b8=000110110
b9=000011011
Далее циклический сдвиг опять приводит к комбинации b1.
Код длиной n можно представить в виде полинома n-1степени:
b(x)=a0+a1x+a2x2+...+an-1xn-1,
где x - формальная переменная, степень которой указывает на разряды кодовой комбинации (мл. разряд - нулевая степень, старший - n-1 степень); коэффициенты a - принимают значения 0 или 1, согласно значениям разрядов кода. (x)
Например, согласно формуле, b1(x)=x8+x3+x2+1; b2(x)=x8+x7+x2+x1; и т.д.
Порождающий полином - это многочлен наименьшей степени. В нашем случае это b9(x)= x4+x3+x1+1. Порождающий полином обозначается g(x) и все остальные коды получаются из него. Например, b8(x)=g(x)*x; b7(x)=g(x)*x2; и т.д. Проверьте это.
Если в результате такого умножения мы получим xs, где s>n-1, тогда вместо s надо поставить степень r=s-n. Например, g(x)*x6=x10+x9+x7+x6= x+1+ x7+x6=b3. Это правило реализует цикличность при сдвиге (т.е., старший разряд помещается на место младшего).

5.3.8. (нов)
Какие комбинации циклического кода (7;4), заданного порождающим полиномом g(x)=1+x2+x3, содержат ошибку: 1001000, 1111001, 0100101, 1111011, 0010111, 0011111, 0100011, 1010001.
Решение: При анализе циклических кодов, каждая кодовая комбинация, поступившая с выхода канала, делится на порождающий полином. Если остаток от деления будет 0, то ошибки нет. При делении вместо операции вычитания используется «ИСКЛЮЧАЮЩЕЕ ИЛИ».
Например, (g(x)=b1(x)=0001101)
13 EMBED CorelDraw.Graphic.7 1415
Остаток от деления равен нулю, следовательно кодовая комбинация верна.
Данную задачу можно решить не прибегая к делению. Поскольку любая кодовая комбинация циклического кода создается из порождающего полинома, количество и порядок следования единиц и нулей в ней такое же как и в порождающем полиноме. Поэтому по внешнему виду приведенных в задаче комбинаций можно сразу сказать, какие из них содержат ошибку.

5.3.8.б
Какие комбинации циклического кода (7;4), заданного порождающим полиномом g(x)=1+x+x3 содержат ошибку: 0001101, 0011110, 1001101, 1000101, 1100110, 0100011, 1010100, 1100010.

Код с постоянным весом

4.2.12.
Вероятность ошибочного приема элементарного символа кодовой комбинации p0=10-2. Чему будет равна вероятность необнаруженной ошибки при использовании кода с постоянным весом (3/4).
Решение: Код с постоянным весом (3/4) содержит в себе любые кодовые комбинации с тремя единицами и четырьмя нулями. Если соотношение нулей и единиц нарушено, то произошла ошибка и такая кодовая комбинация считается запрещенной. Отсюда следует, что необнаруженными будут ошибки, которые не меняют соотношение нулей и единиц в коде, например, двойная ошибка - «1» переходит в «0» и «0» в «1».
Вероятность такой ошибки определится следующим образом. Для трех единиц кода имеем: две единицы верны и одна (например, первая) перешла в «0». Вероятность этого события: p0*(1-p0 )*(1-p0). Вероятность же перехода любой единицы в «0» будет определяться количеством комбинаций из 3 по 1:
13 EMBED Equation.2 1415; вообще: 13 EMBED Equation.2 1415.
Поэтому: P(1(0)= C13*p0*(1-p0 )*(1-p0).
Аналогично, вероятность перехода любого из четырех нулей в единицу определится: P(0(1)= C14*p0*(1-p0 )3
Таким образом вероятность двойной ошибки 1(0 и 0(1 составит:
P(2)= C13*p0*(1-p0)2 *C14*p0*(1-p0)3=3*0.01*0.992*4*0.01*0.993=0.001141
Также будет не обнаружена ошибка кратностью 4 - переход двух единиц в «0» и двух нулей в «1»:
P(4)= C23*p02*(1-p0) *C24*p02*(1-p0)2=3*0.012*0.99*6*0.012*0.992=1.74*10-7
Ошибка кратностью 6: переход трех единиц в «0» и трех нулей в «1»:
P(6)= p03 *C34*p03*(1-p0) =0.013*4*0.013*0.99=3.96*10-12.
Вероятность необнаруженной ошибки: PН.О.= P(2)+P(4)+P(6)
Итак: PН.О.(P(2)= 0.001141

5.4.7.(нов)
Решить задачу 4.2.12. для кодов (4/5); (3/8); (4/7); (5/6). Вероятность ошибочного приема элементарного символа кодовой комбинации p0=0.1.

Эквивалентная вероятность ошибки

4.3.3.
Найти эквивалентную вероятность ошибки рэ для линейного кода (7,4) с dmin=3, если вероятность ошибки в доном символе р=0.1. Определить выигрыш по рэ при переходе от примитивного к помехоустойчивому кодированию.
Решение: Так как dmin=3, то обнаруживающая способность данного кода qo=dmin-1=2; а исправляющая способность - qи=(dmin-1)/2=1. Поэтому код будет декодирован правильно, если все его символы приняты правильно, или один из 7 символов принят с ошибкой. Вероятность правильного декодирования РПД:
13 EMBED Equation.2 1415=0.85
Пусть безызбыточный код (4,4) имеет такую же РПД. Вычислим допустимую при этом вероятность ошибки в одном его символе. Это и будет рэ. Для безызбыточныго кода правильное декодирование возможно лишь в случае верного приема всех его символов. Поэтому: РПД=0.85=(1-рэ)4. Откуда
рэ=1-0.851/4=0,04.
Выигрыш по вероятности ошибки в одном символе при переходе от примитивного к помехоустойчивому коду составит:
g=p/pэ=2.5.
Вывод. Введение трех дополнительных символов в четырехразрядный примитивный код позволяет увеличить вероятность ошибки в одном символе в 2.5 раза, при сохранении прежней вероятности правильного декодирования.

ПЕРЕДАЧА ДИСКРЕТНЫХ СООБЩЕНИЙ
Критерии оптимального приема

5.1.1.
По каналу связи передаются двоичные символы b1 и b2 с вероятностями P(b1)=0.6; P(b2)=0.4; причем символ b1 определяется в месте приема сигналом s1(t)=0 (0Решение: Алгоритм работы приемника, оптимального по критерию максимума апостериорной вероятности:
13 EMBED Equation.2 1415
Так как шум имеет нормальное распределение, то
13 EMBED Equation.2 1415
В условиях этой задачи алгоритм можно записать так:
13 EMBED Equation.2 1415
Подставляя сюда численные значения и логарифмируя, получим:
13 EMBED Equation.2 1415
Так как -0.83>-0.94, приемник примет решение в пользу символа b1.
Чтобы найти пороговое значение, приравняем левую и правую части алгоритма:
13 EMBED Equation.2 1415
Отсюда надо найти z, т.к. z=U0 при равенстве. После несложных преобразований получаем:
13 EMBED Equation.2 1415
Окончательно получим:
13 EMBED Equation.2 1415

5.1.2.
Входное колебание в момент принятия решения - z(t). Порог принятия решения - U0. Приемник принимает решение по критерию максимума апостериорной вероятности. Если z(t)U0, то принимается решение о передаче символа b2.
Определить пороговое значение U0, если априорные вероятности передачи символов - P(b1) и P(b2); сигналы для передачи символов - s1= -a и s2=a. В канале действует белый нормальный шум с дисперсией (2.
Решение: Алгоритм приема по критерию максимума апостериорной вероятности определяется соотношением:
13 EMBED Equation.2 1415
Подставим в отношение правдоподобия (левая часть выражения) вместо z - U0; тогда выражение станет равенством. Учитывая, что w(z|si) подчиняется нормальному закону распределения получим:
13 EMBED Equation.2 1415
После элементарных преобразований получаем:
13 EMBED Equation.2 1415
Отсюда найдем U0:
13 EMBED Equation.2 1415

5.1.2а
Определить пороговое значение U0 для алгоритма задачи 5.1.2, если априорные вероятности передачи символов - P(b1) и P(b2); сигналы для передачи символов - s1= 0 и s2=a. В канале действует белый нормальный шум с дисперсией (2. Рассчитать значение U0 для a=10-2В; P(b1)=0.6; (2=10-4В.

5.1.11. (6 новый)
На вход приемника поступает один из трех сигналов: s1(t)=a*cos(t; s2(t)=b*sin(t; s3(t)=0. В канале действует белый шум. Показать разбиение пространства сигналов на области принятия решений по критерию максимального правдоподобия. Рассмотреть два случая: a=b и a=2b.
Указание к решению: Сигналы необходимо представить векторами на плоскости. При этом величины b и a - определяют амплитуды векторов, а функции cos и sin - начальные фазы векторов (фактически важен угол между векторами).
После построения трех векторов рассмотрим любую их пару. Поскольку задан критерий максимального правдоподобия, то порог принятия решения U0 находится на середине отрезка, соединяющего концы векторов. Прямая, разбивающая плоскость на две области принятия решения (для двух сигналов) есть перпендикуляр к отрезку, проходящий через точку U0.
Необходимо построить такие прямые для всех трех пар сигналов. По этим прямым выделяются три области принятия решений по принципу: любая точка z, принадлежащая области B1 (сигнал s1) должна быть ближе к этому сигналу, чем к другим (s2 и s3).

Согласованные фильтры.

5.2.6.
Составить схему согласованного фильтра на базе линий задержек с отводами для однополярного и двуполярного двоичных сигналов, соответствующих последовательности символов 11001010. Построить график отклика согласованного фильтра на этот сигнал.
Решение: Имеем 8 символов, поэтому фильтр содержит 8 линий задержки на время T с отводами (рис. 1). В начальный момент времени (t=0) первый символ (левый) «1» поступает на линию задержки, и в момент времени t=T появляется на выходе (отводе) первой линии. Через 1 такт (t=2T) этот символ будет на выходе второй линии задержки, а на выходе первой - будет второй символ (также «1»).
Через 8 тактов (после t=0) первый символ пройдет все линии задержки и будет на выходе 8 линии, а последний «0» - на выходе первой линии. Фильтр в этот момент должен обеспечить на своем выходе максимальный по амплитуде отклик. Для этого он должен все элементы сигнала (символы) сложить в «фазе». Это обеспечивается определенной расстановкой отводов, являющихся входами сумматора.
Для однополярного сигнала все «единицы» в момент окончания сигнала должны пройти на сумматор и сложиться. Поэтому соответствующие линии задержки (на выходе которых есть «1» при t=8T) связаны с сумматором отводами, как показано на рис 1. На выходе остальных линий - «0» поэтому здесь связей нет. Итак, в момент окончания сигнала все «1» будут сложены сумматором и на выходе фильтра амплитуда сигнала составит «4». Во все другие моменты времени амплитуда будет значительно меньше. Построить график отклика самостоятельно.
Для двухполярного сигнала символы «0» - это импульсы отрицательной полярности. Поэтому выходы тех линий задержки, на которых будет «0» при t=8T, надо также соединить с сумматором отводами с инверторами. Таким образом, на сумматор по всем 8 входам придут «1» в момент окончания сигнала. Амплитуда выходного сигнала составит в этом случае «8». Фильтр для двухполярного сигнала изображен на рис. 1б.

13 EMBED CorelDraw.Graphic.7 1415
Рис. 1а. Схема согласованного фильтра для однополярного сигнала

13 EMBED CorelDraw.Graphic.7 1415
Рис. 1б. Схема согласованного фильтра для двухполярного сигнала

6.2.7. (нов)
Составить схему согласованного фильтра на базе линий задержек с отводами для двухполярного двоичного сигнала, заданного следующими последовательностями:
1010101 1110011 1101101 0110110 0001100 0010010
1111000 0000111 0001000 1110111 0100010 1100011

5.2.9.
Какой выигрыш в отношении сигнал/шум может дать фильтр, согласованный с сигналом, имеющим длительность T=20 мс и полосу частот F=10 кГц.
Решение: В теории согласованных фильтров показано, что выигрыш для них:
13 EMBED Equation.2 1415
Поэтому: g=2*20*10-3*10*103=400.

6.2.11. (НОВ)
Определить, какой выигрыш в отношении сигнал/шум могут дать фильтры согласованные с сигналами, заданными следующими двоичными последовательностями:
0101 1010 10101
01010 010101 101010
1010101 0101010 0111010
Длительность элементарного импульса во всех последовательностях (=5 мс.
Решение: Основная формула здесь та же, что и в предыдущей задаче. Полоса частот F определится как:
F=1/(=1/5 мс=200 Гц.
Длительность сигнала это сумма длительностей всех его элементарных импульсов. Например, для первой последовательности T=20 мс. Выигрыш в этом случае составит:
g=2*20*10-3*200=8.

Средняя вероятность ошибки
5.3.1.
Определить среднюю вероятность ошибки для сигналов, канала и приемника, рассмотренных в задаче 5.1.1.
Решение: Средняя вероятность ошибки:
13 EMBED Equation.2 1415
Вероятность ошибочной регистрации символа b2 при условии передачи символа b1:
13 EMBED Equation.2 1415,
где Ф - табулированная функция Крампа.
Удобно также пользоваться табулированным гауссовским интегралом ошибок F(x)=2Ф(x)-1. Отсюда:
13 EMBED Equation.2 1415
По условиям задачи 5.1.1.:
13 EMBED Equation.2 1415;
13 EMBED Equation.2 1415; 13 EMBED Equation.2 1415
13 EMBED Equation.2 1415
Окончательно получим:
13 EMBED Equation.2 1415

Передача непрерывных сообщений цифровыми методами (ИКМ)

8.1.1.
Проводится оптимальный некогерентный прием цифрового сигнала. Допустимая вероятность ошибки в одном импульсе рош=10-5. В системе связи используется k регенераторов. Найти необходимое отношение сигнал/шум h2 в канале связи при k=10; k=100; k=1000. Во сколько раз будет увеличиваться h2 при заданных k по сравнению с h2 в системе связи без регенераторов?
Решение: Рассмотрим сначала систему связи без регенераторов. При некогерентном приеме вероятность ошибки в одном символе:
13 EMBED Equation.2 1415
Отсюда 13 EMBED Equation.2 1415.
При использовании k регенераторов необходимо на входе каждого регенератора обеспечить вероятность ошибки в одном символе в k раз меньшую, чем рош чтобы сохранить ту же верность передачи. Поэтому при k=10:
13 EMBED Equation.2 1415
Аналогично получим: при k=100 - h2=30.8; k=1000 - h2=35.5.
Вывод: чтобы обеспечить вероятность ошибки в 10 раз меньше заданной, отношение сигнал/шум в канале надо увеличить всего в 1.2 раза; при k=100 - h2 увеличивается всего в 1.42 раза; при k=1000 - h2 увеличивается всего в 1.64 раза.

8.1.4.
Определить отношение сигнал/шум на выходе приемника РВ/Р( для сигнала ИКМ, если пик-фактор первичного сигнала П=13 EMBED Equation.2 1415, а число уровней квантования первичного сигнала L=128.
Решение: Мощность первичного сигнала: РВ=1/П2=1/3. Мощность шума квантования на выходе приемника: Р(=((b)2/12, где (b - шаг квантования. (b=(Umax-Umin)/(L-1). Здесь L - количество уровней квантования; Umax-Umin=2 по принятым условиям нормировки аналогового сигнала. Поэтому
Р(=4/12(L-1)2
РВ/Р(=3(128-1)2/3=16129

8.1.5.
Определить отношение сигнал/шум на выходе приемника РВ/Р( для сигнала ИКМ, если пик-фактор первичного сигнала П=3, а число разрядов кода ИКМ-сигнала n=8.

8.1.8. Определить мощность шума ложных импульсов в системе ИКМ, если число разрядов кода n=7, а вероятность ошибочного приема одного разряда p=10-5.
Решение: Мощность шума ложных импульсов определяется:
13 EMBED Equation.2 1415.
Здесь (b - шаг квантования. Если вероятность ошибки мала (p<<1), то можно воспользоваться упрощенной формулой:
13 EMBED Equation.2 1415.

8.1.9. Построить зависимость мощности шума ложных импульсов от числа уровней квантования L=50; L=100; L=150; L=200; L=250; L=300. Вероятность ошибочного приема одного разряда p=10-3.
Указание к решению: По числу уровней квантования L определяется число разрядов кода n=log2L. (n только целое!) и шаг квантования (b (задача 8.1.4.).

8.1.10.
Определить суммарную мощность шума квантования и шума ложных импульсов P( в системе ИКМ при p=10-4; n=6.
Указание к решению:
13 EMBED Equation.2 1415

8.1.12.
Определить минимально необходимую полосу частот сигнала ИКМ при ширине полосы первичного сигнала Fc и числе уровней квантования L.
Решение: Для получения сигнала ИКМ проводится дискретизация первичного сигнала. Период дискретизации (расстояние между соседними отсчетами) по теореме Котельникова должен быть:
(t(1/2Fc.
За это время необходимо передать n импульсов кода сигнала ИКМ. Поэтому длительность каждого импульса:
(и=(t/n=1/(2Fc*n).
Минимальная полоса частот сигнала ИКМ определится как:
FИКМ=1/(и=2Fc*n,
где n - длина кода. n=log2L.

8.1.15.
Найти отношение сигнал/шум в канале при передаче сигналов ИКМ. Ошибками в канале пренебречь. Проводится неоптимальный некогерентный прием сигнала. Допустим прием одного неверного импульса в минуту. Длина кодовой комбинации n=5; ширина полосы частот сообщения Fс=3 кГц.
Решение: При неоптимальном некогерентном приеме сигнала вероятность ошибки в одном импульсе составит:
pош=0.5*exp(-(вх/2),
где - (вх - искомое отношение сигнал/шум.
Отсюда следует:
(вх=2*ln(1/2pош).
Найдем pош. Для этого сначала найдем число импульсов сигнала ИКМ, проходящих через канал за одну минуту. Согласно задаче (8.1.12) за интервал дискретизации (t передается n импульсов. Число интервалов дискретизации за 1 секунду - 1/(t. Поэтому число импульсов в секунду: n/(t=2Fc*n; а в минуту:
Nимп=2Fc*n*60=120*Fc*n.
Число неверных импульсов, появляющихся за 1 минуту определится:
pош*Nимп= pош*120*Fc*n.
По условию задачи для Nимп допустим лишь один неверный импульс в минуту. Поэтому: pош*120*Fc*n=1.
Отсюда следует: pош=1/(120*Fc*n)
Окончательно получим: (вх=2*ln(60*Fc*n)=2*ln(60*3*103*5)=27.42.

8.1.16.
Определить выигрыш g и обобщенный выигрыш g’ в системе ИКМ, если число разрядов кода n=7; пик-фактор сообщения П=3; ширина полосы частот сообщения Fc=3 кГц.
Решение: Выигрыш, как известно, определяется: g=(вых/(вх, а обобщенный выигрыш - g’=g/(, где (=Fк/Fс.
Отношение сигнал/шум (вых на выходе приемника определяется как и в задаче 8.1.4.: (вых =PB/P(. Мощность первичного сигнала РВ=1/П2=1/9. Мощность шума квантования на выходе приемника: Р(=((b)2/12. Шаг квантования (b=2/(2n-1). Поэтому Р(=4/(12*214)=1/(3*214).
Отсюда следует: (вых =(3*214)/9=5461.
Отношение сигнал/шум (вх в канале найдем аналогично задаче 8.1.15. (вх=2*ln(60*Fc*n)=2*ln(1.26*106)=28.
Выигрыш: g=5461/28=195.
Согласно задаче 8.1.12. ширина полосы частот канала системы ИКМ: FИКМ=Fк=2*n*Fc. Поэтому (=Fк/Fс=2*n=14.
Получаем обобщенный выигрыш: g’=195/14=13.93.


Предельная эффективность систем связи.

10.1.1. (нов)
Определить максимальные значения частотной ((max) и энергетической эффективности ((max) при передаче сообщений в канале с аддитивным белым гауссовским шумом и основании кода М.
Решение: Частотная эффективность (=R/F, где F - ширина полосы частот канала связи; R - скорость передачи информации по каналу. Rmax=log2M/T, где Т - длительность одного сообщения. Поэтому (max=log2M/(T*F). Если F=0, то (=(; если F=(, то (=0.
Энергетическая эффективность (=(/(2(-1). Отсюда следует, что при (=( (=0. Поэтому (max получим при (=0: (max=lim|(=0((’/(2(-1)’)=1/ln2=1,443 дБ. Чтобы найти предел, берем производную по ( числителя и знаменателя.

10.1.3.
Определить предельную частотную и энергетическую эффективность для двоичного канала (М=2) с противоположными сигналами при 2*F*T=1. Как изменятся частотная и энергетическая эффективность, если принять М=4?











13PAGE 15


13PAGE 143015





Приложенные файлы

  • doc 147507
    Размер файла: 759 kB Загрузок: 0

Добавить комментарий