Logo GenDocs.ru

Поиск по сайту:  

Загрузка...

Лекции - Информатика - файл Cлайды к Л4.doc


Загрузка...
Лекции - Информатика
скачать (486.4 kb.)

Доступные файлы (42):

Cтандарт(Информатика).doc24kb.17.05.2008 02:22скачать
Лекция.doc57kb.17.05.2008 02:22скачать
Содержание.doc20kb.17.05.2008 02:22скачать
лекция11.doc197kb.27.03.2005 14:42скачать
Содержание1.doc20kb.28.04.2005 16:02скачать
Тест.doc27kb.05.05.2006 13:49скачать
Лекция.doc97kb.22.04.2004 18:56скачать
Содержание.doc20kb.22.04.2004 18:25скачать
лекция11.doc197kb.27.03.2005 14:42скачать
Содержание1.doc20kb.28.04.2005 16:02скачать
Тест.doc27kb.05.05.2006 13:49скачать
~WRL2566.tmp
Лекция.doc87kb.13.05.2004 17:21скачать
Слайд 2.doc24kb.16.04.2002 00:54скачать
Слайд 3.doc55kb.16.04.2002 01:58скачать
Слайд 4.doc21kb.16.04.2002 13:57скачать
Содержание.doc24kb.07.02.2005 13:23скачать
Лекция.doc97kb.17.05.2008 02:22скачать
Содержание.doc21kb.17.05.2008 02:22скачать
Лекция №3.doc79kb.17.05.2008 02:22скачать
Содержание лекции.doc22kb.17.05.2008 02:22скачать
Cлайды к Л4.doc186kb.17.05.2008 02:22скачать
Лекция 4(Информационная мера Шеннона).doc431kb.17.05.2008 02:22скачать
Содержание (2).doc20kb.17.05.2008 02:22скачать
Содержание.doc20kb.17.05.2008 02:22скачать
Лекция.doc66kb.17.05.2008 02:22скачать
Содержание.doc20kb.17.05.2008 02:22скачать
~WRL2645.tmp
Лекция.doc360kb.17.05.2008 02:22скачать
Содержание.doc19kb.17.05.2008 02:22скачать
Лекция.doc99kb.17.05.2008 02:22скачать
Содержание.doc20kb.17.05.2008 02:22скачать
~WRL0557.tmp
~WRL1303.tmp
~WRL2953.tmp
~WRL3757.tmp
Лекция.doc183kb.17.05.2008 02:22скачать
Содержание.doc22kb.17.05.2008 02:22скачать
Вопрос 4.doc24kb.22.04.2004 18:09скачать
Лекция.doc64kb.29.04.2004 18:02скачать
Содержание.doc20kb.22.04.2004 17:53скачать
слайды.doc45kb.17.05.2008 02:22скачать

Cлайды к Л4.doc

Реклама MarketGid:
Загрузка...
Условная энтропия и взаимная информация.
Пусть и - случайные величины с множеством возможных значений
Условной энтропией величины при наблюдении величины называется


Справедливы соотношения:




Взаимной информацией величин и называется


Справедливы следующие соотношения:











Если и независимы, то =0.

Пример 1.

Дана матрица

, .

Определить:

Решение.

По формуле полной вероятности имеем:





Следовательно,



По теореме умножения







Следовательно,



Аналогично



Количество информации и избыточность
Количество информации при наблюдении случайной величины

с распределением вероятностей задается формулой Шеннона:

Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.
При равномерном распределении количество информации задается формулой Хартли:

Справедливы следующие соотношения:



если и - независимы
Избыточностью называется




Пусть

поэтому





^

Аддитивность информационной меры



Рассмотрим два источника информации:


При одновременном наблюдении





C=

Количество символов на выходе источника С:




Мера Хартли:




^

Мера Шеннона



Пусть А и В независимы, тогда

H(C)=H(A)+H(B)



Скачать файл (486.4 kb.)

Поиск по сайту:  

© gendocs.ru
При копировании укажите ссылку.
обратиться к администрации