Logo GenDocs.ru

Поиск по сайту:  

Загрузка...

Лекции - Лекции по теории вероятностей и математической статистике - файл 1.doc


Лекции - Лекции по теории вероятностей и математической статистике
скачать (3589.5 kb.)

Доступные файлы (1):

1.doc3590kb.30.11.2011 08:36скачать

1.doc

1   2   3   4   5   6

^ КАК ОЦЕНКА ФУНКЦИИ РАСПРЕДЕЛЕНИЯ

Пусть функция распределения случайной величины X неизвестна. Обозначим её F(x). Требуется хотя бы приблизительно её найти. Получим выборку (x1, x2,  , xn) и по ней построим так называемую эмпирическую функцию распределения:

Fn(x)=, x,

где m(x) – число наблюдений в выборке, оказавшихся меньше x.

Убедимся в том, что эмпирическая функция распределения – хорошее при­ближение для F(x).

Расположим наблюдения в порядке возрастания, причём повторяющиеся наблюдения выпишем лишь один раз: получим возрастающую последовательность y1y2<yr, называемую вариационным рядом; члены её называются порядковыми статистиками. Так, y1xi – минимальная порядковая статистика – первый член вариационного ряда; yrxi – максимальная порядковая статистика – последний член вариационного ряда. Пусть частота значения yi равна mi. Тогда очевидно:

0
Fn(x)=
, если xy1,
mi, если ykxyk1, k1, 2,  , r1,
1, если xyr.

В
Fn(x)=
частности, если все наблюдения различны (так будет, например, почти наверное для непрерывной случайной величины ^ X), то вариационный ряд состоит из n порядковых статистик и

0, если xy1,
, если ykxyk1, k1, 2,  , n1,
1, если xyn.

Очевидно, Fn(x) – ступенчатая неотрицательная монотонная функция, имеющая разрывы в точках yi, где она совершает скачки величины .

Она обладает всеми свойствами функции распределения и задаёт закон распределения дискретной случайной величины с возможными значениями yi и вероятностями . Она и решает нашу задачу приближённого описания F(x).

Действительно, рассмотрим событие A{Xx}.

Его вероятность P(A)P{Xx}F(x), его абсолютная частота mm(x), его относительная частота равна Fn(x), и мы свели рассматриваемую II задачу к I, ответ на которую мы уже знаем.

Следовательно, для любого x эмпирическая функция распределения Fn(x) приближённо равна F(x), причём Fn(x) обладает следующими свойствами:

1.MFn(x)F(x), т. е. Fn(x) – несмещённая оценка F(x);

2.DFn(x){F(x)[1F(x)]}0;

3.Fn(x)F(x)  P{|Fn(x)F(x)|}1, 0. И даже:

P{Fn(x)F(x)}1 – состоятельность оценки Fn(x).

Итак, эмпирическая функция распределения Fn(x) для любого xнесмещённая, состоятельная оценкаF(x) со сколь угодно малой среднеквадратической ошибкой.

^ III. СРЕДНЕЕ ВЫБОРОЧНОЕ КАК ОЦЕНКА
МАТЕМАТИЧЕСКОГО ОЖИДАНИЯ


Требуется по выборке (x1, x2,  , xn) оценить (т. е. приближённо найти) MX. Ответ нам уже известен: хорошим приближением для среднего значения случайной величины является среднее арифметическое наблюдений:

MXxi.

Очевидно, мы можем пользоваться теоремами о среднем арифметическом, применяя их к нашей выборке – последовательности одинаково распределённых независимых случайных величин. Будем предполагать, что X имеет MX
a, и DX2.

1. В среднем мы не ошибаемся, поскольку a (имеет место несмещённость).

2. Среднеквадратическая ошибка приближения как угодно мала при n, поскольку 0.

3. подчиняется закону больших чисел Чебышёва:

a, т. е. P{|a|}1, 0,

следовательно имеет место состоятельность.

В статистике принято называть средним выборочным. Таким образом, среднее выборочное – несмещённая состоятельная оценка для математического ожидания со сколь угодно малой дисперсией при достаточно большом объёме выборки.

^ IV. ЗАДАЧА ТОЧЕЧНОГО ОЦЕНИВАНИЯ

Пусть XF(x, ). Аналитический вид функции F(x, ) известен, но значение параметра  – неизвестно. Требуется: понаблюдав n раз X, найти  хотя бы приближённо, т. е. требуется указать такую функцию от выборки (x1, x2,  , xn), чтобы можно было считать её приближением для :

(x1, x2,  , xn).

Такая функция называется точечной оценкой параметра . Следует учитывать, что в данной постановке задачи параметр  может быть векторным – состоять из нескольких компонент; например, нормальный закон определяется двумя параметрами: a и .

Предыдущие две задачи позволяют указать желательные свойства оценки:

1.Несмещенность: (x1, x2,  , xn).

Несмещенность эквивалентна отсутствию систематической ошибки.

2.Среднеквадратическая ошибка должна быть достаточно мала. Обыч­но ищут оценки, для которых 0 при n; для них при достаточно большом объёме выборки среднеквадратическая ошибка оценки будет как угодно мала.

Иногда удаётся найти такую оценку (x1, x2,  , xn), для которой дисперсия минимальна по сравнению со всеми мыслимыми оценками. Такая оцен­ка называется эффективной. Однако редко бывает так, что эффективная оценка, если она существует, имеет и достаточно простой вид, удобный для практических расчётов. Часто бывает выгоднее пользоваться неэффективными, но более простыми оценками, расплачиваясь увеличением объёма выборки.

Во всяком случае, при сравнении двух несмещённых оценок лучше та, у которой дисперсия меньше: она, как говорят, эффективнее другой.

3. Состоятельность: желательно, чтобы вероятность заметных отклонений от  была достаточно мала. Это достигается, если оценка подчиняется закону больших чисел:

P{||}1, для 0,

т. е., если (x1, x2,  , xn) сходится по вероятности к оцениваемому параметру. Ещё лучше, если имеет место обычная сходимость почти наверное.

Расскажем здесь о двух способах получения точечных оценок: о методе максимального правдоподобия и методе моментов.

^ Метод максимального правдоподобия Р. Фишера

Изложим этот метод отдельно для непрерывного и для дискретного случаев.

a. Пусть Xдискретная случайная величина с возможными значениями xi, вероятности которых pi() зависят от неизвестного параметра ; аналитический вид функций pi() известен. Наблюдаем X независимым образом n раз. Пусть значение xi наблюдалось mi раз. Вероятность получить ту выборку, которую мы получили, равна ()L() – функция неизвестного параметра .

При каких-то значениях  она меньше, при других – больше. Если эта вероятность при некотором  очень мала, то, надо полагать, такая выборка и не должна обычно наблюдаться. Но мы же её получили. Можно думать, что это произошло потому, что вероятность её получить достаточно велика. Принцип максимального правдоподобия состоит в том, чтобы в качестве оценки параметра  брать то значение , при котором вероятность ^ L() нашей выборки максимальна. Функция L() получила название функции правдоподобия, а значение , при котором функция правдоподобия достигает максимума, получило название оценки максимального правдоподобия параметра . Изложенное рассуждение есть лишь эвристическое соображение, основанное на здравом смысле, а не на строгой логике, и вполне могло привести нас к неудаче. Практическое применение принципа Фишера, однако, приводит часто к весьма разумным и полезным результатам. Они-то и оправдывают этот принцип.

b. Пусть Xнепрерывная случайная величина с плотностью вероятности p(x, ). Совместная плотность вероятности выборки равна L() p(xi, ) и называется функцией правдоподобия.

Принцип максимального правдоподобия состоит здесь в том, чтобы в качестве оценки параметра  брать точку , в которой ^ L() достигает максимума.

Сделаем несколько вычислительных замечаний.

Если L() – дифференцируемая функция, то поиск максимума ведётся обычными средствами анализа: ищется корень уравнения ^ L()0 и проверяется, действительно ли в нём экстремум. Часто в этом случае удобнее искать максимум не функции L(), а функции lnL(), используя монотонность логарифма.

Если параметр  меняется в конечном отрезке, то нужно исследовать также и концы отрезка.

Если параметр  векторный, то вместо обычной производной приходится рассматривать частные производные.

Посмотрим, как действует этот метод на конкретных примерах.

1. ^ X(), . Функция правдоподобия:

L()  lnL()mk(klnlnk!).

Лишь конечное число сомножителей в выражении L() отлично от единицы, так что вопрос о сходимости бесконечного произведения не встаёт.

Имеем:

lnL()0  mk(1)0  kmkmk0

и так как mkn, то корнем lnL() является kmk.

Т. к. L() при 0 положительна и, очевидно, L(0)0, L()0, то экстремумом L() может быть только максимум.

Поскольку параметр  пуассоновской случайной величины является её математическим ожиданием, то результат , как мы знаем, весьма хорош.

2. XB(n, p). Считаем n известным, а p параметром: p:

Функция правдоподобия: L(p)(pkqnk)mk.

Здесь не следует путать n с объёмом выборки, который равен mk.

Имеем:

lnL(p)mk[lnklnp(nk)ln(1p)].

Найдём корень производной функции lnL(p):

lnL(p)0  mk()0.

Корень полученного уравнения: .

Мы вновь получили разумный результат, поскольку

npMX, а .

Методом максимального правдоподобия Р. Фишера нами получена та же оценка математического ожидания биномиального закона, какую бы мы написали для np – выборочное среднее.

3. Найдём оценку максимального правдоподобия для вероятности события A: P(A)p, p.

Будем считать, что n раз наблюдаются значения случайной величины

1
X
, если событие ^ A произошло,
0, если событие A не произошло.

Функция правдоподобия: L(p)pm(1p)nm.

Имеем:

lnL(p)mlnp(nm)ln(1p)  lnL(p)0  0  ,

– корень уравнения. На концах отрезка [0, 1] функция L(p) обращается в ноль, а в остальных точках отрезка она положительна, так что единственная точка экстремума является точкой максимума.

Таким образом, метод максимального правдоподобия советует брать в качестве оценки вероятности события ^ A его относительную частоту, что, как мы знаем, хорошо.

4. XExp(), .

Функция правдоподобия: L()exk, если xk0, и L()0, если хотя бы одно из xk0. Так как все выборочные значения xk положительны, то

lnL()nlnxk  lnL()0  xk0  

Результат следует признать разумным, поскольку предлагается для брать в качестве приближения , а MX.

5. XN(a, ). Здесь параметр  состоит из двух компонент: (a, ).

Функция правдоподобия: L(a, )exp(), откуда:

lnL(a, )nlnnln(xka)2.

Уравнения для нахождения точки экстремума:



lnL(a, )(xka)0,
lnL(a, )(xka)20.

Отсюда находим точку экстремума (,): xk, .

Таким образом, для нормального закона в качестве оценки максимального правдоподобия мы получаем: для параметра aвыборочное среднее, а для дисперсии 2 – так называемую выборочную дисперсию (её обозначают S2):

a, 2(xk)2S2.

Легко проверить, что точка (,) действительно является точкой максимума функции L(a, ).

6. XR(a, b); (a, b).

Плотность вероятности равномерного закона:


p(x)
, если xa, b,
0, если xa, b.

Функция правдоподобия:


L(a, b)
,  xka, b,
0, если xka, b.

Здесь мы имеем случай, когда максимум достигается не в корне производной, а в точке разрыва функции правдоподобия. Ясно, что максимум может достигаться лишь в случае, когда все наблюдения xk находятся в промежутке [a, b], а при этом выражение тем больше, чем ближе b к a, но сближать a и b можно лишь не выпуская все наблюдения из отрезка [a, b]. Следовательно, maxL(a, b) достигается при xk, xk.

7. Пусть Х имеет гамма-распределение: X(, ), (0, 0). Плотность распределения: p(x)x1ex, при x0; (, ).

Функция правдоподобия:

L(, )[xk1exk], xk0,

её логарифм:

lnL(, )[ln(1)lnxkxkln()].

Уравнения максимального правдоподобия:



lnL[lnlnxk()]0,
lnL(xk)0,

где ()ln() – логарифмическая производная гамма-функции, так что для оценок получаем систему двух уравнений:



lnxkn()ln,
,

и качество оценок уже не столь очевидно, как в предыдущих случаях.

^ Перейдем теперь к методу моментов.

Метод моментов

Пусть XF(x, 1, 2,  , r), причём аналитический вид функции распределения случайной величины X известен. Для нахождения r неизвестных параметров нужно иметь r уравнений. Мы знаем, что хорошим приближением для функции распределения оказывается эмпирическая функция распределения: Fn(x)F(x). Можно надеяться, что и числовые характеристики этих функций также близки друг к другу, в частности, близки моменты. Эмпирическая функция распределения представляет собой закон распределения дискретной случайной величины, возможные значения которой совпадают с выборочными значениями xi, а вероятности их равны , в частности, для непрерывной случайной величины X с вероятностью 1 эти вероятности равны . Выражения для моментов эмпирической функции распределения Fn(x) (их называют выборочными моментами) нетрудно написать:

mlxkl, l(xk)l.

Необходимые нам уравнения для нахождения параметров 1, 2,  , r мы получим, приравнивая соответствующие моменты случайной величины X моментам распределения Fn(x):

ml(1, 2,  , r)xkl, l1, 2,  , r,        ()

и

ли:

m
()
l(1, 2,  , r),
l(1, 2,  , r)(xk)l, l1, 2,  , r.

Успех этого метода в значительной степени зависит от того, сколь сложной оказывается соответствующая система уравнений (() или ()). Решения системы и берутся в качестве оценок , ,  , r для параметров 1, 2,  , r.

Н

апример, для нормального закона система () имеет вид:

a,
2(xk)2S2,

что совпадает с оценкой максимального правдоподобия, и это подтверждает разумность идеи.

Вообще, для произвольной случайной величины по методу моментов для математического ожидания – первого начального момента – мы получаем

MX,

а для дисперсии – второго центрального момента:

DX(xk)2S2,

т. е. выборочную дисперсию. Первая оценка, как мы уже знаем, несмещенная, состоятельная, с дисперсией DX, которая при n сколь угодно мала. А второй оценкой займёмся здесь. В частности, обнаружим, что она имеет смещение, т. е. имеет систематическую погрешность.

С этой целью вычислим MS2:

MS2M{(xkMX)(MX)2}
M(xkMX)2M(MX)(xkMX)M(MX)2
nDX2M(MX)2M(MX)2DXDXDXDX.

Итак, MS2DX, что указывает на смещённость S2 как оценки для DX. Однако множитель для больших n близок к единице, и смещение асимптотически исчезает. Практики часто этой систематической ошибкой пренебрегают. Нетрудно её полностью исключить, если переписать последнее равенство в таком виде:

M(S2)DX,

т.е. несмещенная оценка для дисперсии (обозначим её s2) равна

s2S2(xk)2.

Вся поправка состоит лишь в том, чтобы делить сумму квадратов на число наблюдений без единицы.

Вместе с тем, этот пример показывает, что ни метод максимального правдоподобия, ни метод моментов не гарантируют несмещённости их оценок.

Отметим полезное тождество:

nS2(n1)s2(xk)2.

Мы решили здесь как частный случай задачу
1   2   3   4   5   6



Скачать файл (3589.5 kb.)

Поиск по сайту:  

© gendocs.ru
При копировании укажите ссылку.
обратиться к администрации