Logo GenDocs.ru

Поиск по сайту:  


Загрузка...

Конспекты по информатике - файл (иформ) понятие Энтропи́я.doc


Загрузка...
Конспекты по информатике
скачать (213.2 kb.)

Доступные файлы (40):

(информ) возм. и принципы использ. текст ред..doc28kb.08.10.2008 23:03скачать
(информ)методика символических вычисления.doc32kb.09.10.2008 14:37скачать
(информ)назначение и возм.панелей инструментов.doc30kb.25.09.2008 18:20скачать
(информ)основн техн сетевой безоп..doc33kb.09.10.2008 14:48скачать
(информ)Основные принципы организации для БД.doc23kb.20.09.2008 17:02скачать
(информ)Основные языки программирования.doc25kb.26.09.2008 16:39скачать
(информ.)осн. понятия для баз данных.doc27kb.20.09.2008 16:46скачать
(информ)Особенности ежсетевого взаимодействаия.doc24kb.25.09.2008 12:29скачать
(информ)Особенности реляционного доступа к БД.doc25kb.20.09.2008 16:56скачать
(информ)Особенности структурного програмирования.doc50kb.30.09.2008 19:51скачать
(Информ)понятие алгаритма решения задач.doc23kb.30.09.2008 19:40скачать
(информ)Понятие интерфнйса.doc20kb.24.09.2008 22:11скачать
(информ)Понятие локальной сети.doc25kb.24.09.2008 22:42скачать
(информ)понятие модуля и структуры.doc30kb.08.10.2008 22:56скачать
(информ)понятие об информ.- вычисл. сетях.doc21kb.25.09.2008 19:36скачать
(информ)Понятие об оперативной системе ЭВМ.doc25kb.19.09.2008 20:12скачать
(информ) понятие объект.- ориент. программ......doc22kb.08.10.2008 22:59скачать
(информ) понятие о выражениях и операторах.doc27kb.08.10.2008 22:50скачать
(информ)понятие о методах кодирования информ..doc23kb.26.09.2008 16:29скачать
(информ)понятие о плезиохронной и синхронной....doc33kb.09.10.2008 14:44скачать
(информ)Понятие о программном обеспеченнии ЭВМ.doc27kb.19.09.2008 19:58скачать
(информ)понятие о протокалох.doc23kb.25.09.2008 12:40скачать
(информ) понятие о шифровании с откр. ключом.doc34kb.09.10.2008 14:50скачать
(информ)Понятине взаимодействия открытых систем.doc34kb.25.09.2008 12:46скачать
(информ)Понятия о методах защиты информации в комп. сетях.doc24kb.19.09.2008 20:18скачать
(информ)Порядок изменения раб. среды.doc24kb.08.10.2008 23:08скачать
(информ)преферийное оборуд..doc35kb.24.09.2008 22:14скачать
(информ)Примеры глобальной сети.doc24kb.19.09.2008 19:49скачать
(информ)принципы обнаружения и коррекции ошибок....doc31kb.09.10.2008 14:40скачать
(информ) Принципы создания формул.doc31kb.09.10.2008 14:30скачать
(информ)Составные части оперативных систем.doc26kb.19.09.2008 20:31скачать
(информ)способы доступа к памяти ЭВМ.doc31kb.08.10.2008 22:47скачать
(информ) способы построения графиков функций.doc33kb.09.10.2008 14:34скачать
(информ) Структура программы.doc22kb.08.10.2008 22:54скачать
(информ.)Типовая архитектура ЭВМ.doc26kb.19.09.2008 19:31скачать
(информ)Типовой состав перефирийного оборудования.doc24kb.19.09.2008 20:45скачать
(информ)типовые антивирусные программы.doc28kb.09.10.2008 14:56скачать
(информ) Формирование и подготовка к печати.doc34kb.09.10.2008 14:27скачать
(иформ) понятие Энтропи́я.doc29kb.08.10.2008 22:46скачать
(иформ)Принцип представления чисел в прямом.....doc22kb.03.10.2008 20:49скачать

(иформ) понятие Энтропи́я.doc

Реклама MarketGid:
Загрузка...
Энтропи́я— мера хаотичности информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.

Так, возьмём, например, последовательность символов, составляющих какое-либо предложение на русском языке. Каждый символ появляется с разной частотой, следовательно, неопределённость появления для некоторых символов больше, чем для других. Если же учесть, что некоторые сочетания символов встречаются очень редко, то неопределённость ещё более уменьшается (в этом случае говорят об энтропии n-ого порядка, см. Условная энтропия).

Концепции информации и энтропии имеют глубокие связи друг с другом, но, несмотря на это, разработка теорий в статистической механике и теории информации заняла много лет, чтобы сделать их соответствующими друг другу.

Информационная энтропия для независимых случайных событий x с n возможными состояниями (от 1 до n) рассчитывается по формуле:


Эта величина также называется средней энтропией сообщения. Величина называется частной энтропией, характеризующей только i-e состояние.



Таким образом, энтропия события x является суммой с противоположным знаком всех произведений относительных частот появления события i, умноженных на их же двоичные логарифмы (основание 2 выбрано только для удобства работы с информацией, представленной в двоичной форме). Это определение для дискретных случайных событий можно расширить для функции распределения вероятностей.

Шеннон предположил, что прирост информации равен утраченной неопределенности, и задал требования к ее измерению:

мера должна быть непрерывной; т. е. изменение значения величины вероятности на малую величину должно вызывать малое результирующее изменение функции;

в случае, когда все варианты равновероятны, увеличение количества вариантов должно всегда увеличивать значение функции;

должна быть возможность сделать выбор в два шага, в которых значение функции конечного результата должно являться суммой функций промежуточных результатов.

Шеннон показал, что единственная функция, удовлетворяющая этим требованиям - энтропия, имеет вид:

где K — константа (и в действительности нужна только для выбора единиц измерения).


Скачать файл (213.2 kb.)

Поиск по сайту:  

© gendocs.ru
При копировании укажите ссылку.
обратиться к администрации
Рейтинг@Mail.ru