Logo GenDocs.ru

Поиск по сайту:  

Загрузка...

Лекции по информатике - файл Слайды №4 Информационная мера Шеннона.doc


Загрузка...
Лекции по информатике
скачать (368.2 kb.)

Доступные файлы (17):

Лекция.doc59kb.28.05.2004 00:41скачать
Лекция.doc136kb.28.05.2004 01:26скачать
Лекция.doc90kb.28.05.2004 01:30скачать
Слайд 2.doc24kb.16.04.2002 01:54скачать
Слайд 3.doc55kb.16.04.2002 02:58скачать
Слайд 4.doc21kb.16.04.2002 14:57скачать
Содержание.doc24kb.13.05.2004 18:22скачать
Лекция.doc99kb.28.05.2004 00:43скачать
Слайды №3 Количество и качество информации.doc79kb.16.05.2003 17:27скачать
Лекция №4 (Информационная мера Шеннона).doc440kb.27.03.2004 20:33скачать
Слайды №4 Информационная мера Шеннона.doc191kb.27.03.2004 20:33скачать
Лекция.doc70kb.06.05.2004 21:25скачать
Лекция.doc368kb.06.05.2004 21:33скачать
Лекция.doc104kb.06.05.2004 21:33скачать
Лекция.doc165kb.06.05.2004 21:37скачать
Вопрос 4.doc24kb.22.04.2004 18:09скачать
Лекция.doc64kb.06.05.2004 21:43скачать

Слайды №4 Информационная мера Шеннона.doc

Реклама MarketGid:
Загрузка...
Слайды к лекции №4


1. Условная энтропия и взаимная информация.

2. Количество информации и избыточность

3. Аддитивность информационной меры


Условная энтропия и взаимная информация.


Пусть и - случайные величины с множеством возможных значений


Условной энтропией величины при наблюдении величины называется




Справедливы соотношения:






Взаимной информацией величин и называется




Справедливы следующие соотношения:











Если и независимы, то =0.

Пример 1.

Дана матрица

, .

Определить:

Решение.

По формуле полной вероятности имеем:





Следовательно,



По теореме умножения







Следовательно,



Аналогично





Количество информации и избыточность


Количество информации при наблюдении случайной величины

с распределением вероятностей задается формулой Шеннона:





Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.


При равномерном распределении количество информации задается формулой Хартли:





Справедливы следующие соотношения:



если и - независимы


Избыточностью называется




Пусть


поэтому



^

Аддитивность информационной меры



Рассмотрим два источника информации:




При одновременном наблюдении





C=


Количество символов на выходе источника С:




Мера Хартли:




^

Мера Шеннона



Пусть А и В независимы, тогда



H(C)=H(A)+H(B)



Скачать файл (368.2 kb.)

Поиск по сайту:  

© gendocs.ru
При копировании укажите ссылку.
обратиться к администрации