Logo GenDocs.ru

Поиск по сайту:  

Загрузка...

Лекции - Теория информации - файл 1.doc


Лекции - Теория информации
скачать (1223.5 kb.)

Доступные файлы (1):

1.doc1224kb.19.11.2011 12:07скачать

содержание
Загрузка...

1.doc

  1   2   3   4
Реклама MarketGid:
Загрузка...

Тамбовский государственный технический университет

Г. Тамбов, 2010 год.



ЛЕКЦИЯ №1. ТЕОРИЯ ИНФОРМАЦИИ.


    1. Понятие видов информации.


В интересах технических проблем удобно информацию классифицировать по структурно-метрическим свойствам.


Вид информации

Формы представления информации

Топологическая

Абстрактная

Лингвистическая

1.События

точка

суждение

знак

2. Величина

линия

понятие

буква

3. Функция

поверхность

образ

слово

4 Комплекс информации

объем

система

предложение

5.Поле

пространство

универсуум

фонд


Событие- это первичный и неделимый двоичный элемент информации. Как правило, это выбор из двух возможных состояний. Учитывая двоичный характер события, условно его можно представить в геометрической символике точкой или пробелом, в арифметике- 0 или 1, в сигнальной- импульсом или паузой. Еще говорят, что событие- это категория нулевой меры. Все другие категории информации могут быть представлены как совокупность отдельных событий.

Величина есть упорядоченное множество событий в одном измерении. Величина – одномерное поле событий. Функция- это соотношение между двумя величинами. Функция – двумерное поле событий. Комплекс информации – это соотношение между тремя величинами и, соответственно, трехмерное поле событий. Поле- это зависимость между большим количеством величин (больше трех).
1.2 ^ Основные понятия комбинаторики.
Комбинаторика- это раздел математики, посвященный решению задач выбора и расположения элементов некоторого обычного конечного множества в соответствии с заданными правилами. Каждое такое правило определяет способ построения некоторой конструкции исходного множества, которое называется комбинаторной конфигурацией. К таким конфигурациям относятся перестановки, сочетание и размещение.

1.Перестановка.
Qn = n! ( без повторений элементов)

Правило организации перестановок: комбинации отличаются порядком следования элементов и не зависит от состава.
Qnn=
2. Сочетание- формирование из исходного множества n элементов комбинаторных конфигураций из m элементов, причем эти конфигурации отличаются только составом элементов и не зависят от порядка их следования.
Qc= (без повторений элементов)
Qc=
3. Размещения
Qp = (без повторений элементов)

Qp =
Главное свойство размещений в том, что комбинации отличаются как составом элементов, так и порядком их следования.
1.3 ^ Случайные модели в теории информации.
Случайное событие – это любой факт, который в результате опыта может произойти, а может и не произойти.

Пусть А – некоторое событие, P(A)- вероятность этого события.





Если , а событие U=1,тогда U-достоверное, а события Ai образуют полную группу событий.
Если ,,V-невозможное, то А и B являются несовместными.
-обратные, если они несовместные и образуют полную группу.

Пусть N-серия опытов, , N-большое.




Во многих случаях случайное событие А является следствием происхождения некоторой совокупности





Случайная величина-переменная, которая в результате опыта может принимать то или иное неизвестное значение из известного множества значений. Случайные величины могут быть непрерывными и дискретными.

Полной статистической характеристикой случайной величины является закон распределения вероятностей (это зависимость между возможными значениями дискретной величины и вероятностями).

Пусть – дискретная случайная величина.

pi








x

x1 x2 ……xi....xn
Функция распределения:

Свойства :

1..

2., если x2 ≥ x1.

3.
Математическое ожидание: (ДСВ)
Дисперсия: (ДСВ)
Чаще используют плотность распределения информации, которая является дифференциальной функцией распределения вероятности:

Свойства плотность распределения:

  1. ≥ 0.

  2. .

  3. .


(HCB)

(HCB)
1.4 Основные понятия теории информации
В середине 20-века происходит стремительный переход от индустриального общества к информационному. Этот процесс называется информатизацией. В Японии и странах Европы принимается программы информатизации. Целью таких программ явилось наиболее полное использование информационных ресурсов для ускорения экономического, социального, экологического и т.д. развития общества.

В России эта программа была принята в 1989 году. Её завершение планировалось в 2050-е годы. Если страна с любым уровнем индустриального развития опоздает с информатизацией всех сфер жизни, то она переходит в разряд стран третьего мира.

Базовым понятием процессов автоматизации, как и всей теории информации, является понятие информации. Информация трактуется как осведомленность. В широком смысле информация- это отражение реального мира, в узком - сведения, являющиеся объектом хранения, преобразования и передачи.

Теория информации (ТИ) – это наука о получении, накоплении, преобразовании, отображении и передачи информации.

В теории информации можно выделить три направления:

  1. Структурная теория - рассматривает структуру построения информационных сообщений, массивов и их измерения подсчетом информационных элементов или комбинаторным методом. Основной структурной единицей информации считается квант.

  2. Статистическая теория - оценивает информацию с точки зрения мер неопределенности. В этой теории оперируют понятием энтропии, которая учитывает вероятностные свойства и характеристики информационных элементов.

  3. Семантическая теория - занимается изучением смысловых характеристик информации (ценность, содержательность информации).

Строго говоря, наука теории информации состоит из:

  1. ТИ, где рассматривают характеристики информационных сообщений, меры измерения информации, а также модели и методы описания сообщений и их свойства.

  2. Теория кодирования- рассматривает способы кодирования источников сообщений, сигналов, а также модели и особенности передачи информации по каналам связи, характеристики и свойства кодов.

  3. Прикладная ТИ – рассматривает модели и способы организации базовых информационных процессов.

Возникновение ТИ, как науки, связано с появлением работы К.Шеннона « Математическая теория связи» в 1948 году. В 1933 году Котельников предложил теорию представления непрерывной функции виде её дискретных отсчетов.

Основной формой представления информации является сообщение. Под сообщением понимают информацию, представленную в определенной форме и подлежащую передачи. Сообщение может быть как непрерывным, так и дискретным. Сообщение само по себе передаваться не может. Носителем сообщений является сигнал. Сигнал- это материальный переносчик сообщений, т.е. это физическая величина, у которой один или несколько параметров изменяются в соответствии с отображаемым или предаваемым сообщением.
Этапы обращения информации:

ПЕРЕДАЧА









^ ХРАНЕНИЕ И ОБРАБОТКА

ПОДГОТОВКА











ВОСПРИЯТИЕ

ОТОБРАЖЕНИЕ







ВОЗДЕЙСТВИЕ







^ ИСТОЧНИК ИНФОРМАЦИИ

Информационная система (ИС) - есть совокупность средств (аппаратных и программных), реализующих базовые информационные процессы для достижения определенных целей. К базовым процессам относятся процессы, реализующиеся на этапах обращения информации. Если ИС включает в свой состав человека, то её называют автоматизированной. Если в ней не присутствует человек, то - автоматической. Если ИС связана с управлением, то её называют системой управления. В системах управления выделяют автоматизированные системы управления (АСУ) и систему автоматического управления (САУ).
Практическое занятие
1.Информационный процесс на примере передачи информации по каналу связи. ПОМЕХИ

Кодек Модем

Сообщение Сигнал Модулированный сигнал


Источник сообщения (источник информации+первичный преобразователь)

Кодирующее устройство

Передающее устройство

(модулятор)

Линия связи






Смесь сигнала и помехи

Получатель

^ Приемное устройство

(демодулятор)

Решающее устройство

Декодирующее устройство





Демодулированный сигнал и помеха

Сообщение * Сигнал *


Источник сообщения в общем виде представляет собой совокупность источника информации (наблюдаемый процесс, объект, явление), а также первичный преобразователь ( различного рода датчики, человек- оператор, либо специальные преобразователи кода). На выходе источника, как правило, дискретное сообщение, формируемое в форме последовательности символов, которые образуют сообщения. Отдельные символы называются знаками. Множество знаков составляет алфавит сообщения, а их количество- объем.

Непрерывная информация, являющаяся функцией времени ( речь, видеоизображение) также может быть преобразовано в дискретное сообщение путем дискретизации по времени и квантованию по уровню( согласно теореме Котельникова).

Преобразование сообщения в сигнал, удобный для передачи по данному каналу связи, называется кодированием в широком смысле. В узком смысле кодирование- это отображение дискретных сообщений сигналами в виде определенных сочетаний символов. Кодирование реализуется кодером. В частности, он решает две задачи:

1.Устранение вредной избыточности из сообщения, т.е. данных, не несущих никакой информации. Такое кодирование называется оптимальным или эффективным.

2.Введение полезной избыточности, т.е. введение таких дополнительных данных, которые позволяют обнаруживать и исправлять возможные ошибки в процессе передачи информации по каналу связи. Такое кодирование называется помехоустойчивым. Процедуру обратную кодированию реализует декодер.

Декодер решает также две задачи:

1.Восстановление исходного сообщения в вид, пригодный для получателя.

2.Решается задача оптимального приема, т.е. принятый сигнал обрабатывается с учетом априорной информации о сообщении. Это позволяет достичь высокой степени достоверности принятого сигнала.

Часто эти устройства конструктивно выполняются в едином блоке. После кодирования сигнал поступает на передающее устройство, которое осуществляет преобразование непрерывных сигналов, как носителей информации или знаков сообщения в сигнал, удобный для прохождения по линии связи.

Модулированный сигнал- это сигнал, у которого один или несколько параметров изменяются в соответствии с заданным сообщением. Устройство, реализующее этот процесс, называется модулятором. Иногда говорят, что модулятор обеспечивает сжатие сигнала и согласование свойств сигнала и линий связи.

Линия связи - это некая среда, по которой передается сигнал. Различают воздушные, проводные, оптические, акустические и т.д. линии связи.

Главной особенностью линий связи является то, что в процессе прохождения по ним сигнала, на него оказывается воздействие помех. Помехи- это любые мешающие возмущения как внешние, так и внутренние, вызывающие отклонение принятых сигналов от переданных. Поэтому на входе приемного устройства действует смесь сигнала и помехи. В приемном устройстве в основном с помощью демодулятора( детектора) происходит процесс обратного выделения полученного сигнала в смеси с помехой. В решающем устройстве реализуются процедуры оптимальной обработки смеси сигнала и помехи с целью наиболее полного извлечения полученного сигнала из этой смеси. Однако как сигнал на выходе решающего устройства, так и сообщение на выходе декодера отличаются от переданного сообщения и сигнала из наличия помех в линии связи. Меру соответствия принятого сообщения посланному называют вероятностью передачи.

При синтезе систем передачи информации приходится решать две основные проблемы:

  1. Обеспечение помехоустойчивости передачи сообщения.

  2. Обеспечение высокой эффективности передачи сообщения.

Помехоустойчивость – это способность информационной системы или системы передачи информации противостоять вредному воздействию помех. Помехоустойчивость может задаваться показателем вероятности передачи при некоторых заданных характеристиках помех.

Эффективность – это способность информационной системы обеспечивать передачу заданного количества информации с наименьшими затратами мощности сигнала, времени на передачу и полосы частот.

Теория информации устанавливает критерии оценки помехоустойчивости и эффективности информационных систем. Надо иметь ввиду, что помехоустойчивость и эффективность как бы обратно пропорциональные качества.


2.
A =, причем, ,.

Если задана объединенная вероятностная схема А (см. выше),а также вероятностная схема события В:

, причем , ,,
тогда можно задать объединенную вероятностную схему некоторого события С, которое будет имеет вид:
С = ,

где , , , , .
Введем условные обозначения:



Понятие избыточности

Из свойства , где N- количество букв в заданном алфавите, вытекает:


R = H0 - H -абсолютная избыточность
-относительная избыточность


^ ЛЕКЦИЯ №2. МЕРЫ ИНФОРМАЦИИ


    1. Классификация мер информации.


В зависимости от направлений исследований теории информации различают её меры, а именно:

  1. Структурные

  2. Синтаксические

  3. Семантические

  4. Прагматические


Прагматическая мера информации определяет полезность или ценность этой информации для достижения пользователем своих целей. Например, емкость памяти, производительность ПК и т.п.

Семантическая мера основывается на понятии содержания информации. Единицей измерения этой меры является тезаурус ( совокупность сведений, которыми располагает пользователь или система).

Структурная мера информации определяется подходом к оценке особенности структуры сообщений. Среди структурных мер различают: геометрическую, комбинаторную, аддитивно-логарифмическую. Геометрической мерой определяется потенциальное (максимально возможное) количество информации в заданной структуре сообщения. Это количество называют информационной емкостью исследуемой части ИС. Информационным элементом в геометрической мере является квант как неделимая часть информации, т.е. информационную емкость можно представить числом, показывающим, какое количество квантов содержится в полном массиве информации.


X T N-массив информации; ;
, ,



Комбинаторной мере используют различные комбинаторные конфигурации, заданных множеств элементов в случае, если требуется оценить возможности передачи информации с помощью таких комбинаторных комбинаций.

Количество информации в комбинаторной мере вычисляется как количество комбинаций элементов. Образование комбинаций в структуре комбинационных элементов есть одна из форм кодирования информации. С помощью комбинаторных мер оценке подвергается комбинаторное свойство потенциального структурного разнообразия комплексов. Комбинирование элементов в информационных комплексах базируется на основных понятиях комбинаторики.

В отличие от геометрической меры комбинаторная - это не просто подсчет квантов, а определение количества возможных (осуществимых) комбинаторных элементов.

В прикладной теории информации для представления структуры информационного комплекса используется следующее понятие:




Числовое гнездо





















h -глубина кода (основание системы счисления)




l- длина кода

(размерность кода или кодового слова)

1.Глубина (или основа кода) h- это количество различных элементов или знаков, содержащихся в алфавите кодирования, т.е. объем алфавита одного разряда кодового слова. Полный алфавит занимает одно числовое гнездо.

2. Длина кода l- это число гнезд, т.е. количество повторений алфавита, необходимых и достаточных для представления чисел нужной размерности.

h= 2; 8; 10; 16; …

l= 16; 32; 64; ….

В общем случае информационная емкость определяется числом размещений из h по l:



Мера информации по Хартли:

Для практического удобства использования комбинаторной меры Хартли ввел аддитивно- логарифмическую меру информации, позволяющую вычислить количество информации в двоичных единицах. Единица измерения этого количества информации - бит.

Один разряд двоичного кода может нести информацию равную 1-му биту или 1 бит – это количество информации, заключенное в одном событии, которое может произойти, а может и не произойти. Аддитивность меры Хартли заключается в том, что она позволяет производить суммирование количество информации отдельных элементов информационного комплекса (как по разрядам, так и по числу гнезд).

Если принять, что log2h=I1,то Ix=l Ix

Синтаксическая (статистическая) мера определяется, как правило, вероятностными характеристиками элементами сообщения. Направление статистической теории информации дает оценки информационной системы в конкретных проявлениях. В качестве меры информации используют понятие энтропии.

Энтропия- мера неопределенности , учитывающая вероятность появления некоторого события, а ,следовательно, информативность этого события. Частые ожидаемые события несут мало информации, а редкие события, наоборот, обладают высоким информационным содержанием. Следовательно, количество информации или вероятность события находятся в обратно пропорциональной зависимости.


    1. ^ Энтропия вероятностной схемы. Основные свойства энтропии.

Аксиомы Хинчена и Фадеева.

Простейший дискретный источник сообщений можно представить вероятностной схемой событий.
X =, причем, ,.
Для заданной схемы справедливыми будут считаться аксиомы:

  1. Информация одиночного события , происходящего с вероятностью pi имеет положительное значение:




  1. Имеет место для случая объединенной вероятностной схемы, например для X и Y, тогда совместная информация двух независимых событий xi и yj, которые обладают совместной плотностью вероятности , будет иметь вид:






  1. Информация I(pi) - это есть непрерывная функция от вероятности.

Аксиомы 1 и 2 подтверждают как бы то, что информация нескольких событий не может взаимно уничтожиться.

Аксиома 3 говорит о том, что при изменении вероятности события количество информации в нем неминуемо изменится.

Из этих аксиом следует, что информация является логарифмической функцией от вероятности.

Вернемся к простейшему дискретному источнику, заданному вероятностной схемой, для которого найдем среднее значение информации виде:

,

где ni- частота появления i-го события в заданном множестве X;

k- количество разных событий;

Ii- количество информации i-го события

Но если , тогда получим:



Энтропия события:



^ Свойства энтропии:
  1   2   3   4



Скачать файл (1223.5 kb.)

Поиск по сайту:  

© gendocs.ru
При копировании укажите ссылку.
обратиться к администрации