Logo GenDocs.ru

Поиск по сайту:  

Загрузка...

Лекции - Лекции по теории вероятностей и математической статистике - файл 1.doc


Лекции - Лекции по теории вероятностей и математической статистике
скачать (3589.5 kb.)

Доступные файлы (1):

1.doc3590kb.30.11.2011 08:36скачать

1.doc

1   2   3   4   5   6
a) Задаём .

b) Из таблицы распределения Колмогорова находим значение ^ C из уравнения 2(1)k1e2k2C2.

c) Вычисляем K: K|Fn(x)F(x)|.

d) Сравниваем K и С: если KС, то гипотезу H отвергаем, если KС, то H принимаем.

Ошибку второго рода контролировать эффективно не удаётся, так как распределения критерия при гипотезе мы не знаем. Однако можно доказать, что если ^ H не верна, то при достаточно большом n из закона больших чисел следует, что критерий K отвергнет ошибочную гипотезу со сколь угодно большой вероятностью.

Недостатком критерия Колмогорова представляется то, что гипотеза долж­на точно задавать закон распределения F(x). На практике чаще всего известен тип закона, но неизвестны параметры. Применение критерия Колмогорова не допускает оценки параметров по той же выборке, по которой вычисляется сам критерий, – это было бы прямой подгонкой. Однако, не запрещается оценить параметры по другой выборке, после чего функция распределения F(x) становится известной, и процедура проверки может применяться.

Критерий 2 Пирсона

Пусть A1, A2,  , Ak – полная группа попарно несовместных событий, p1, p2,  , pk – их вероятности. Предположим, что в n независимых испытаниях эти события произошли, соответственно, m1, m2,  , mk раз, min. Как доказал Пирсон, в этих условиях

P(x)dx,

т.е. величина

2

в пределе имеет 2-распределение с (k1) степенями свободы.

Считаем n достаточно большим, чтобы можно было пользоваться приближённым равенством.

Теорема Пирсона лежит в основе проверки нескольких статистических гипотез.

Простейшая из них касается дискретной случайной величины ^ X с возможными значениями x1, x2,  , xk. Гипотеза H состоит в том, что вероятности этих значений p1, p2,  , pk. Получаем выборку, которая состоит из m1, m2,   , mk раз повторившихся возможных значений x1, x2,  , xk. Применима теорема Пирсона, причём Ai{Xxi}, 1, 2,  , k. Она подсказывает, что в качестве критерия следует взять величину

K2.

Приближённо закон её распределения даёт теорема Пирсона. Кроме того, mi как абсолютные частоты событий Ai, подчиняются биномиальному закону:

miB(n, pi), i1, 2,  , k,
Mminpi,

и, если гипотеза H верна, то minpi, так что числители в сумме 2, следует ожи­дать, малы, а знаменатели при достаточно большом n велики и критерий 2 имеет тенденцию быть малым. Если же гипотеза H не верна, то i, для которого

P{Xxi}pi и minpi,

где pi – истинное значение вероятности P{Xxi}. Числитель i-ого слагаемого близок к n2(pipi)2, а само слагаемое примерно равно , причём . При достаточно большом n мы попадём в критическую область, поскольку критерий имеет тенденцию быть большим для неверной гипотезы.

Итак, процедура проверки гипотезы H по критерию Пирсона выглядит следующие образом:

a) Задаём уровень значимости .

b) По таблицам 2-распределения находим пороговое значение C из уравнения (x)dx.

c) Вычисляем 2.

d) Сравниваем 2 и C: если 2C, то H отвергается; если 2C, то H принимается.

Из изложенного ясно, что все приближения, допущенные в процессе проверки, будут с большой вероятностью удовлетворительными, если для i будут достаточно большими величины npi. Поэтому, если i, для которых pi слишком малы, следует проводить группировку наблюдений и соответственно менять гипотезу, присоединяя маловероятные значения xi к соседним или объединяя их вместе. Группировку наблюдений в соответствующую группировку возможных значений нужно, в частности, проводить в случае, если число возможных значений k бесконечно.

Ошибку второго рода вновь невозможно эффективно контролировать, так как, если H не верна, мы обычно не знаем, что же имеет место в действительности. Однако утешением является уверенность в том, что при достаточно большом n вероятность принять неверную гипотезу как угодно мала для сколь угодно близких альтернатив.

Критерий 2 Пирсона можно применять и для проверки той же гипотезы, что и критерий Колмогорова: F(x) – функция распределения непрерывной случайной величины X. С этой целью разобьем ось Ox на интервалы i такие, чтобы вероятности piP{Xi} были достаточно велики (достаточно велики должны быть числа npi). Роль событий Ai играют Ai{Xi} и проверяется гипотеза H: piP{Xi}, i.

Пожалуй, все критерии выглядят более убедительными, когда они отвер­гают гипотезу, чем когда они её принимают: первое заключение делается по событию, которое практически невероятно и всё-таки произошло, а второе – по событию, которое весьма вероятно и действительно произошло. Здесь же это различие особенно чувствуется, так как мы фактически деформировали гипотезу, заменили её её следствием, из которого сама она не следует: если следствие отвергается, то отвергается и сама гипотеза; если же следствие принимается, это еще не доказывает верности самой гипотезы.

Выбор числа интервалов и их размеры определяются тем, чтобы в интервалы попадало достаточно большое число наблюдений: работа критерия Пирсона основана на том, сколь хорошо выполняется для i приближение minpi, если H справедлива, и сколь плохо выполняется оно хотя бы для некоторых i, если H не справедлива. А на это можно рассчитывать лишь при достаточно большом числе наблюдений, попавших в интервалы i.

Как оказалось, критерием 2 Пирсона можно пользоваться и в том случае, когда гипотеза задаёт закон распределения с точностью до параметров, например, в дискретном случае

H: pipi(1, 2,  , r), i1, 2,  , k,

и r неизвестных параметров оцениваются по той же выборке, которая используется для проверки самой гипотезы.

Единственное изменение в процедуре проверки состоит в том, что в распределении 2 нужно брать число степеней свободы не k1, а kr1.

Критерий Стьюдента

Пусть случайная величина X распределена по нормальному закону, и проверяется гипотеза H, состоящая в том, что число a есть ни что иное, как математическое ожидание X:

H: aMX.

Как мы установили выше, выборочное среднее и выборочная дисперсия подчиняются следующему закону:

Tn1.

Дробь Стьюдента распределена по закону, носящему его имя, с n1 степенями свободы. При условии справедливости H

P.

Эта теорема подсказывает выбор критерия для проверки гипотезы H:

K(x1, x2,  , xn).

Закон его распределения нам известен, и критерий ведет себя именно так, как нужно: если гипотеза ^ H верна, следует ожидать малых значений K, если H не верна, не следует ожидать малых значений K.

Процедура проверки такова:

a) Задаём .

b) По таблицам распределения Стьюдента находим порог С из уравнения

pTn1(t)dt.

c) Вычисляем K.

d) Сравниваем K и С: если KС, то H отвергается; если KС, H принимается.

Можно видоизменить критерий Стьюдента для следующего случая: имеются две независимые нормальные случайные величины X и Y, и получены две выборки (x1, x2,  , xn) и (y1, y2,  , ym). Дисперсии равны, но неизвестны: 1
2. Проверяется гипотеза H: MXMY.

Очевидно, в условиях справедливости H:

N(0; ),
(xi)2,
(yj)2,
(xi)2(yj)2,

и мы можем составить дробь Стьюдента:

Tnm2.

Очевидно, в качестве критерия нужно взять

K

с критической областью KС.

^ VIII. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ

Сначала изложим метод наименьших квадратов в невероятностной интерпретации, как метод решения задачи аппроксимации.

Начнём с простейшего – линейного – случая. На плоскости дано множество точек (xi, yi), i1, 2,  , n, явно располагающихся вблизи некоторой прямой. Из-за того, что глазу из всех линий проще всего выделить прямую, и того, что линейный случай часто встречается на практике, этот случай и занял особое место. Требуется в каком-то смысле наилучшим образом провести прямую, вокруг которой группируются точки. Обычно выбирают прямую, руководствуясь принципом наименьших квадратов: ищут прямую y1x0, максимизирующую сумму квадратов

(yi1xi0)2.

Разность yi1xi0 интерпретируется как ошибка отклонения ординаты
i-ой точки от искомой прямой. Выбор в качестве меры отклонения точек (xi, yi) от точек прямой – суммы квадратов ошибок условен: можно было бы взять, на­пример, сумму модулей или сумму четвёртых степеней, однако это вызвало бы дополнительные аналитические и вычислительные трудности без видимых преимуществ. Как и все принципы, принцип наименьших квадратов не требует доказательства; он опирается на здравый смысл, а его полезность и разумность подтверждается практическим его применением.

Найдем прямую, минимизирующую , обычным способом:

2(yi1xi0)0,


2(yi1xi0)xi0,

или



1xi0nyi,
1xi20xiyixi.

Решение очевидно:



1,
0.

Аналогично по множеству точек (xi, yi) можно искать аппроксимирующий полиномy01x2x2kxk степени k. При этом мы должны минимизировать сумму квадратов

(yi01xi2xi2kxik)2.

Соответствующая система уравнений для неизвестных коэффициентов 0, 1,  , k называется системой нормальных уравнений и имеет вид:



0n1xikxikyi,
0xi1xi2kxik1xiyi,
...........................
0xik1xik1kxi2kxikyi,

В каждой сумме индекс суммирования i меняется от 1 до n.

Решение полученной системы линейных неоднородных уравнений легко определяется по правилу Крамера.

Удобно записать систему нормальных уравнений в сокращённом матричном виде. Для этого определим три матрицы-столбца:

X, Y, ,

и так называемую структурную матрицу размера (k1)n:

A.

Тогда легко проверить, что система нормальных уравнений записывается в форме:

AATAY,

где AT – матрица, транспонированная по отношению к матрице A.

Если матрица AAT имеет обратную, то решение системы нормальных урав­нений сразу выписывается

(AAT)1AY.

Формулы линейного случая входят сюда как частный случай при k1.

Заменой функций и переменных к рассмотренным случаям можно свести и многие неполиномиальные зависимости. Например, для y1lnx0, вместо то­чек (xi, yi) можно рассматривать точки (lnxi, yi): получаем линейную зависимость с помощью введения логарифмического масштаба по одной из осей.

Для функции y следует взять точки (exi, yi2), i1, 2,  , n, и т. д.

Полиномиальная аппроксимация часто появляется в следующем варианте: если мы аппроксимируем точки функцией f(x), то для аналитических функций бывает возможно ограничиться частью степенного ряда, дающей достаточную точность.

Описанная задача часто применяется практиками, и в таком виде метод наименьших квадратов не имеет никакого отношения к теории вероятностей. Он возникает как задача аппроксимации, как сокращённый аналитический способ представления наблюдений.

Вероятностный аспект появляется, например, в такой ситуации: имеются две физические величины, связанные детерминированным законом

y01x2x2kxk,

но значения коэффициентов неизвестны и строгое выполнение закона не вызывает сомнений. Значение переменной x при эксперименте пусть задаётся точно, а в измерение величины y вкрадываются ошибки, так что опытные точки (xi, yi), i1, 2,  , n, могут даже не удовлетворять уравнению. Если бы ошибок при измерении величины y не было, то достаточно было бы (k1) наблюдений, что­бы найти все коэффициенты. Ошибки приводят к тому, что, если пытаться решать систему

yi01xi2xi2kxik, i1, 2,  , n,

то она обычно оказывается противоречивой, несовместной.

Выход указывает принцип наименьших квадратов. Состоит он в том, чтобы выбрать коэффициенты, минимизируя сумму квадратов ошибок

i2, iyi(01xi2xi2kxik).

Вероятностный подход даёт возможность увидеть, когда принцип наименьших квадратов, как он сформулирован, хорош и когда плох. В сумму  те точки, которые лежат на искомой кривой, вносят нулевой вклад; наибольший же вклад вносят наиболее ошибочные наблюдения, именно они и начинают особенно заметно влиять на результат, хотя менее всего заслуживают такого влияния. В особенности плохо, когда на оси Ox есть участки наиболее точных измерений и участки очень грубых измерений. Участки грубых наблюдений получают право определять сумму, вносить в неё основной вклад. Ясно, что наиболее естественный случай применения принципа наименьших квадратов – случай, когда априори средний квадрат ошибок одинаков во всех наблюдениях. Если систематических погрешностей в измерениях нет, т. е. Mi0 для i, то это означает, что дисперсии ошибок должны быть одинаковы, или как говорят, наблюдения должны быть равноточными.

Если же наблюдения не равноточные, но дисперсии известны: Dii2, то можно внести коррективы в принцип наименьших квадратов, введя в сумму  весовые множители, уравнивающие априорный вклад в сумму всех наблюдений, минимизировать

.

К сожалению, как правило, параметры i2 бывают неизвестны, и практики обрабатывают наблюдения так, словно они равноточные.

Чаще всего, когда путем замены x и y приводят зависимость yf(x) к линейной или полиномиальной с целью применить метод наименьших квадратов, то нарушают именно равноточностъ измерений, если она до этого была, придавая повышенный вес одним участкам наблюдений перед другими, причём обычно этот факт практиками молчаливо игнорируется. По поводу этого, однако, можно сказать, как и по поводу любого принципа, что если последствия его применения, связанные с ним ошибки нас устраивают, не чрезмерны, то всё в порядке.

В таком изложении метод наименьших квадратов применим к ошибкам i, как угодно распределённым. Если же ошибки распределены по нормальному закону: iN(0, i), то полученные по методу наименьших квадратов оценки параметров 0, 1,  , k совпадают с их оценками по методу максимального правдоподобия: ведь неизвестные коэффициенты 0, 1,  , k становятся параметрами распределения случайной величины y.


*) Знак "" означает, что левая и правая части являются эквивалентными величинами, т. е. предел их отношения равен 1. При конечном и достаточно большом n этот знак можно понимать как знак приближённого равенства.



1   2   3   4   5   6



Скачать файл (3589.5 kb.)

Поиск по сайту:  

© gendocs.ru
При копировании укажите ссылку.
обратиться к администрации