Logo GenDocs.ru


Поиск по сайту:  


Лекции по информатике - файл Cлайды к Л4.doc


Лекции по информатике
скачать (2552.1 kb.)

Доступные файлы (35):

Cлайды к Л4.doc186kb.13.03.2003 15:11скачать
Лекция 4(Информационная мера Шеннона).doc431kb.11.03.2004 17:49скачать
Содержание.doc20kb.11.03.2004 19:38скачать
Лекция.doc61kb.28.02.2006 23:19скачать
Содержание.doc20kb.29.04.2004 17:41скачать
Лекция.doc97kb.22.04.2004 18:56скачать
Содержание.doc20kb.22.04.2004 18:25скачать
лекция11.doc196kb.28.04.2005 16:18скачать
Лекция.doc87kb.13.05.2004 18:21скачать
Слайд 2.doc24kb.16.04.2002 01:54скачать
Слайд 3.doc55kb.16.04.2002 02:58скачать
Слайд 4.doc21kb.16.04.2002 14:57скачать
Содержание.doc24kb.11.05.2005 16:57скачать
Лекция.doc97kb.18.05.2004 13:31скачать
Содержание.doc21kb.18.05.2004 13:38скачать
Лекция №3.doc79kb.09.03.2004 19:22скачать
МЕТОД_NEW.DOCскачать
Слайды к Л№3 Количество и качество информации.doc79kb.16.05.2003 18:27скачать
Содержание лекции.doc22kb.09.03.2004 19:22скачать
Лекция.doc66kb.25.03.2004 16:25скачать
Содержание.doc20kb.25.03.2004 16:21скачать
~WRL2645.tmp
Лекция.doc360kb.25.03.2004 17:53скачать
Содержание.doc19kb.26.03.2004 11:57скачать
Лекция.doc99kb.26.03.2004 13:09скачать
Содержание.doc20kb.26.03.2004 11:53скачать
~WRL0557.tmp
~WRL1303.tmp
~WRL2953.tmp
~WRL3757.tmp
Лекция.doc183kb.29.04.2004 18:06скачать
Содержание.doc22kb.29.04.2004 17:44скачать
Вопрос 4.doc24kb.22.04.2004 18:09скачать
Лекция.doc64kb.29.04.2004 18:02скачать
Содержание.doc20kb.22.04.2004 17:53скачать

содержание

Cлайды к Л4.doc

Реклама MarketGid:
Условная энтропия и взаимная информация.


Пусть и - случайные величины с множеством возможных значений


Условной энтропией величины при наблюдении величины называется




Справедливы соотношения:






Взаимной информацией величин и называется




Справедливы следующие соотношения:











Если и независимы, то =0.

Пример 1.

Дана матрица

, .

Определить:

Решение.

По формуле полной вероятности имеем:





Следовательно,



По теореме умножения







Следовательно,



Аналогично





Количество информации и избыточность


Количество информации при наблюдении случайной величины

с распределением вероятностей задается формулой Шеннона:





Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.


При равномерном распределении количество информации задается формулой Хартли:





Справедливы следующие соотношения:



если и - независимы


Избыточностью называется




Пусть


поэтому



^

Аддитивность информационной меры



Рассмотрим два источника информации:




При одновременном наблюдении





C=


Количество символов на выходе источника С:




Мера Хартли:




^

Мера Шеннона



Пусть А и В независимы, тогда



H(C)=H(A)+H(B)

Реклама:





Скачать файл (2552.1 kb.)

Поиск по сайту:  

© gendocs.ru
При копировании укажите ссылку.
обратиться к администрации
Рейтинг@Mail.ru