Logo GenDocs.ru

Поиск по сайту:  


Загрузка...

Лекция №4 - файл Cлайды к Л4.doc


Загрузка...
Лекция №4
скачать (94.7 kb.)

Доступные файлы (3):

Cлайды к Л4.doc186kb.13.03.2003 14:11скачать
Лекция 4(Информационная мера Шеннона).doc431kb.11.03.2004 16:49скачать
Содержание.doc20kb.11.03.2004 18:38скачать

Cлайды к Л4.doc

Реклама MarketGid:
Загрузка...
Условная энтропия и взаимная информация.
Пусть и - случайные величины с множеством возможных значений
Условной энтропией величины при наблюдении величины называется


Справедливы соотношения:




Взаимной информацией величин и называется


Справедливы следующие соотношения:











Если и независимы, то =0.

Пример 1.

Дана матрица

, .

Определить:

Решение.

По формуле полной вероятности имеем:





Следовательно,



По теореме умножения







Следовательно,



Аналогично



Количество информации и избыточность
Количество информации при наблюдении случайной величины

с распределением вероятностей задается формулой Шеннона:

Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.
При равномерном распределении количество информации задается формулой Хартли:

Справедливы следующие соотношения:



если и - независимы
Избыточностью называется




Пусть

поэтому





^

Аддитивность информационной меры



Рассмотрим два источника информации:


При одновременном наблюдении





C=

Количество символов на выходе источника С:




Мера Хартли:




^

Мера Шеннона



Пусть А и В независимы, тогда

H(C)=H(A)+H(B)



Скачать файл (94.7 kb.)

Поиск по сайту:  

© gendocs.ru
При копировании укажите ссылку.
обратиться к администрации
Рейтинг@Mail.ru