Logo GenDocs.ru

Поиск по сайту:  

Загрузка...

Лекции - Информатика - файл Лекция 4(Информационная мера Шеннона).doc


Загрузка...
Лекции - Информатика
скачать (486.4 kb.)

Доступные файлы (42):

Cтандарт(Информатика).doc24kb.17.05.2008 02:22скачать
Лекция.doc57kb.17.05.2008 02:22скачать
Содержание.doc20kb.17.05.2008 02:22скачать
лекция11.doc197kb.27.03.2005 14:42скачать
Содержание1.doc20kb.28.04.2005 16:02скачать
Тест.doc27kb.05.05.2006 13:49скачать
Лекция.doc97kb.22.04.2004 18:56скачать
Содержание.doc20kb.22.04.2004 18:25скачать
лекция11.doc197kb.27.03.2005 14:42скачать
Содержание1.doc20kb.28.04.2005 16:02скачать
Тест.doc27kb.05.05.2006 13:49скачать
~WRL2566.tmp
Лекция.doc87kb.13.05.2004 17:21скачать
Слайд 2.doc24kb.16.04.2002 00:54скачать
Слайд 3.doc55kb.16.04.2002 01:58скачать
Слайд 4.doc21kb.16.04.2002 13:57скачать
Содержание.doc24kb.07.02.2005 13:23скачать
Лекция.doc97kb.17.05.2008 02:22скачать
Содержание.doc21kb.17.05.2008 02:22скачать
Лекция №3.doc79kb.17.05.2008 02:22скачать
Содержание лекции.doc22kb.17.05.2008 02:22скачать
Cлайды к Л4.doc186kb.17.05.2008 02:22скачать
Лекция 4(Информационная мера Шеннона).doc431kb.17.05.2008 02:22скачать
Содержание (2).doc20kb.17.05.2008 02:22скачать
Содержание.doc20kb.17.05.2008 02:22скачать
Лекция.doc66kb.17.05.2008 02:22скачать
Содержание.doc20kb.17.05.2008 02:22скачать
~WRL2645.tmp
Лекция.doc360kb.17.05.2008 02:22скачать
Содержание.doc19kb.17.05.2008 02:22скачать
Лекция.doc99kb.17.05.2008 02:22скачать
Содержание.doc20kb.17.05.2008 02:22скачать
~WRL0557.tmp
~WRL1303.tmp
~WRL2953.tmp
~WRL3757.tmp
Лекция.doc183kb.17.05.2008 02:22скачать
Содержание.doc22kb.17.05.2008 02:22скачать
Вопрос 4.doc24kb.22.04.2004 18:09скачать
Лекция.doc64kb.29.04.2004 18:02скачать
Содержание.doc20kb.22.04.2004 17:53скачать
слайды.doc45kb.17.05.2008 02:22скачать

Лекция 4(Информационная мера Шеннона).doc

Реклама MarketGid:
Загрузка...
Лекция №4

Тема: ИНФОРМАЦИОННАЯ МЕРА ШЕННОНА.
1. ИНФОРМАЦИОННАЯ МЕРА ШЕННОНА.

1.1. Количество информации и избыточность.

Дискретные системы связи - системы, в которых как реализации сообщения, так и реализации сигнала представляют собой последовательности символов алфавита, содержащего конечное число элементарных символов.

Пусть и - случайные величины с множествами возможных значений

Количество информации при наблюдении случайной величины с распределением вероятностей задается формулой Шеннона:



Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.

При равномерном распределении количество информации задается формулой Хартли:

.

Справедливы следующие соотношения:

1)

2)

3) если и - независимы.

Избыточностью называется

Рассмотрим примеры.

Пример 1. Имеются два источника информации, алфавиты и распределения вероятностей которых заданы матрицами:



Определить, какой источник дает большее количество информации, если

1) 2)

Решение. Для первого источника при равновероятном распределении воспользуемся формулой Хартли. Для и имеем



Следовательно, источник с тремя символами дает большее количество информации. Для второго случая воспользуемся формулой Шеннона:

с учетом условия задачи имеем



С другой стороны,



Поскольку

то
Пример 2. Источник сообщений выдает символы из алфавита с вероятностями Найти количество информации и избыточность.

Решение. По формуле Шеннона

(бит).

По определению избыточности

^ 1.2. Энтропия непрерывных сообщений

Непрерывные системы передачи информации - системы, в которых как реализации сообщения, так и реализации сигнала на конечном временном интервале представляют собой некоторые непрерывные функции времени.

Пусть - реализации непрерывного сообщения на входе какого-либо блока схемы связи, - реализация выходного сообщения (сигнала), - плотность вероятности ансамбля входных сообщений, - плотность вероятности ансамбля выходных сообщений

Формулы для энтропии непрерывных сообщений получаются путем обобщения формул для энтропии дискретных сообщений. Если - интервал квантования (точность измерения), то при достаточно малом энтропия непрерывных сообщений



где По аналогии

Пример 1. По линии связи передаются непрерывные амплитудно-модулированные сигналы распределенные по нормальному закону с математическим ожиданием и дисперсией

Определить энтропию сигнала при точности его измерения

Решение. По условию плотность вероятности сигнала









Подставляя числовые значения, получаем

дв. ед.

^ 2. УСЛОВНАЯ ЭНТРОПИЯ И ВЗАИМНАЯ ИНФОРМАЦИЯ
2.1. Дисктретные системы передачи информации.

Условной энтропией величины при наблюдении величины называется

Справедливы соотношения:



Взаимной информацией величин и называется

Справедливы следующие соотношения:





Если и независимы, то =0.

При расчетах условной энтропии и взаимной информации удобно пользоваться следующими соотношениями теории вероятностей:

1) теорема умножения вероятностей ;

2) формула полной вероятности

3) формула Байеса

Рассмотрим пример.

Пример 1. Дана матрица

, .

Определить:

Решение. По формуле полной вероятности имеем:



Следовательно,



По теореме умножения







Следовательно,



Аналогично




^ 2.2. Непрерывные системы передачи информации.

Пусть - реализации непрерывного сообщения на входе какого-либо блока схемы связи, - реализация выходного сообщения (сигнала), - одномерная плотность вероятности ансамбля входных сообщений, - одномерная плотность вероятности ансамбля выходных сообщений, - совместная плотность вероятности, - условная плотность вероятности

при известном Тогда для количества информации справедливы следующие соотношения:





,



Здесь - взаимная информация между каким-либо значением входного и значением выходного сообщений, - средние значения условной информации, - полная средняя взаимная информация.

Условная энтропия определяется по формуле:



Когда и статистически связаны между собой, то



При независимых и



Полная средняя взаимная информация определяется формулой:



Рассмотрим пример.

Пример 1. На вход приемного устройства воздействует колебание где сигнал и помеха - независимые гауссовские случайные процессы с нулевыми математическими ожиданиями и дисперсиями, равными соответственно и

Определить: 1) количество взаимной информации которое содержится в каком-либо значении принятого колебания о значении сигнала 2) полную среднюю взаимную информацию

Решение. По условию задачи представляет собой сумму независимых колебаний и которые имеют нормальные плотности вероятности. Поэтому





1. Количество информации определяется по формуле:



2. Полная средняя взаимная информация:





где - знак усреднения по множеству.

Таким образом,

дв. ед.


Скачать файл (486.4 kb.)

Поиск по сайту:  

© gendocs.ru
При копировании укажите ссылку.
обратиться к администрации