Законы больших чисел
Министерство образования и науки Украины
Донецкий Национальный университет
Кафедра теории вероятностей и математической статистики
Курсовая работа
на тему: «Законы больших чисел»
Выполнила:
студентка I курса
группа А
Полева Е. Л.
Проверила:
Гатун А. П.
Донецк-2007
Одинаково распределенные случайные величины
Для решения многих практических
задач необходимо знать комплекс условий,
благодаря которому результат совокупного
воздействия большого количества
случайных факторов почти не зависит от
случая. Данные условия описаны в
нескольких теоремах, носящих общее
название закона больших чисел, где
случайная величина
>к>
равна 1 или 0 в зависимости от того, будет
ли результатом k-го
испытания успех или неудача. Таким
образом, Sn является суммой n
взаимно независимых случайных величин,
каждая из которых принимает значения
1 и 0 с вероятностями р и q.
Простейшая форма закона больших чисел - теорема Бернулли, утверждающая, что если вероятность события одинакова во всех испытаниях, то с увеличением числа испытаний частота события стремится к вероятности события и перестает быть случайной.
Теорема Пуассона утверждает, что частота события в серии независимых испытаний стремится к среднему арифметическому его вероятностей и перестает быть случайной.
Предельные теоремы теории вероятностей, теоремы Муавра-Лапласа объясняют природу устойчивости частоты появлений события. Природа эта состоит в том, что предельным распределением числа появлений события при неограниченном возрастании числа испытаний (если вероятность события во всех испытаниях одинакова) является нормальное распределение.
Центральная предельная теорема объясняет широкое распространение нормального закона распределения. Теорема утверждает, что всегда, когда случайная величина образуется в результате сложения большого числа независимых случайных величин с конечными дисперсиями, закон распределения этой случайной величины оказывается практически нормальным законом.
Теорема Ляпунова объясняет широкое распространение нормального закона распределения и поясняет механизм его образования. Теорема позволяет утверждать, что всегда, когда случайная величина образуется в результате сложения большого числа независимых случайных величин, дисперсии которых малы по сравнению с дисперсией суммы, закон распределения этой случайной величины оказывается практически нормальным законом. А поскольку случайные величины всегда порождаются бесконечным количеством причин и чаще всего ни одна из них не имеет дисперсии, сравнимой с дисперсией самой случайной величины, то большинство встречающихся в практике случайных величин подчинено нормальному закону распределения.
В основе качественных и
количественных утверждений закона
больших чисел лежит неравенство
Чебышева. Оно определяет
верхнюю границу вероятности того, что
отклонение значения случайной величины
от ее математического ожидания больше
некоторого заданного числа. Замечательно,
что неравенство Чебышева дает оценку
вероятности события
для случайной величины,
распределение которой неизвестно,
известны лишь ее математическое ожидание
и дисперсия.
Неравенство
Чебышева.
Если случайная величина
имеет дисперсию, то для любого
> 0 справедливо неравенство
,
где M
и D
- математическое ожидание и дисперсия
случайной величины
.
Теорема
Бернулли.
Пусть
>n> - число
успехов в n испытаниях Бернулли и p -
вероятность успеха в отдельном испытании.
Тогда при любом
> 0 справедливо
.
Теорема
Ляпунова.
Пусть
>1>,
>2>, …,
>n>, …–
неограниченная последовательность
независимых случайных величин с
математическими ожиданиями m>1>,
m>2>,
…, m>n>,
… и дисперсиями
>1>2,
>2>2,
…,
>n>2…
. Обозначим
,
,
,
.
Тогда
= Ф()
- Ф()
для любых действительных чисел
и
, где Ф(x) - функция распределения
нормального закона.
Пусть дана дискретная случайная
величина
.
Рассмотрим зависимость числа успехов
Sn от числа испытаний n.
При каждом испытании Sn возрастает на 1
или на 0. Это утверждение можно записать
в виде:
Sn =
>1>+…+>n>. (1.1)
Закон
больших чисел.
Пусть {>к>}—последовательность
взаимно независимых случайных величин
с одинаковыми распределениями. Если
математическое ожидание
= М(>к>)
существует, то для любого
>
0 при n
(1.2)
Иначе говоря, вероятность того,
что среднее S>n>/n
отличается от математического ожидания
меньше, чем на произвольно заданное
,
стремится к единице.
Центральная
предельная теорема.
Пусть {>к>}—последовательность
взаимно независимых случайных величин
с одинаковыми распределениями.
Предположим, что
и
существуют.
Пусть Sn =
>1>+…+>n>,
Тогда для любых фиксированных
Ф
(
)
— Ф (
) (1.3)
Здесь Ф (х) — нормальная функция
распределенияю. Эту теорему сформулировал
и доказал Линлберг. Ляпунов и другие
авторы доказывали ее раньше, при более
ограничительных условиях. Необходимо
представить себе, что сформулированная
выше теорема является только весьма
частным случаем гораздо более общей
теоремы, которая в свою очередь тесно
связана со многими другими предельными
теоремами. Отметим, что (1.3) намного
сильнее, чем (1.2), так как (1.3) дает оценку
для вероятности того, что разность
больше,
чем
.
С другой стороны, закон больших чисел
(1.2) верен, даже если случайные величины
>k>
не имеют конечной дисперсии, так что он
применим к более общему случаю, чем
центральная предельная теорема (1.3).
Проиллюстрируем последние две теоремы
примерами.
Примеры. а)
Рассмотрим последовательность независимых
бросаний симметричной кости. Пусть
>k>
— число очков, выпавших при k-м бросании.
Тогда
M(>k>)=(1+2+3+4+5+6)/6=3.5,
a
D(>k>)=(12+22+32+42+52+62)/6-(3.5)2=35/12
и S>n>/n
является средним числом очков, выпавших в результате n бросаний.
Закон больших чисел утверждает:
правдоподобно, что при больших п это
среднее окажется близким к 3,5. Центральная
предельная теорема устанавливает
вероятность того, что |Sn — 3,5n
| <
(35n/12)1/2
близка к Ф()
— Ф(-).
При n
= 1000 и а=1 мы находим, что вероятность
неравенства 3450 < Sn < 3550 равна примерно
0,68. Выбрав для а значение а>0>
= 0,6744, удовлетворяющее соотношению
Ф(>0>)—
Ф(—>0>)=1/2,
мы получим, что для Sn шансы находиться
внутри или вне интервала 3500
36 примерно одинаковы.
б) Выборка. Предположим, что в генеральной совокупности,
состоящей из N семей, Nk семей имеют ровно по k детей
(k
= 0, 1 ...;
Nk
= N). Если семья выбрана наугад, то число
детей в ней является случайной величиной,
которая принимает значение
с
вероятностью p>=>N/N.
При выборе с возвращением можно
рассматривать выборку объема n
как совокупность n
независимых случайных величин или
«наблюдений»
>1>,
...,
>n>,
которые имеют все одно и то же распределение;
S>n>/n
является средним значением выборки.
Закон больших чисел утверждает, что для
достаточно большой случайной выборки
ее среднее значение будет, вероятно,
близким к
,
т. е, к среднему значению генеральной
совокупности. Центральная предельная
теорема позволяет оценить вероятную
величину расхождения между этими
средними значениями и определить объем
выборки, необходимый для надежной
оценки. На практике и
и
обычно неизвестны; однако в большинстве
случаев удается легко получить
предварительную оценку для
и всегда можно заключить
в надежные границы. Если мы желаем, чтобы
с вероятностью 0,99 или большей среднее
значение выборки S>n>/n
отличалось от неизвестного среднего
значения генеральной совокупности
менее, чем на 1/10, то объем выборки должен
быть взят таким, чтобы
(1.4)
Корень х уравнения Ф(х) — Ф(— х)
= 0,99 равен х = 2,57 ..., и, следовательно, n
должно быть таким, что
2,57
или n
> 660
. Осторожная предварительная оценка
дает
возможность найти необходимый объем
выборки.
в) Распределение Пуассона.
Предположим, что случайные
величины
>k>
имеют распределение Пуассона {p(k;
)}.
Тогда Sn имеет распределение Пуассона
с математическим ожиданием и дисперсией,
равными n.
Написав
вместо n,
мы заключаем, что при n
(1.5)
Суммирование производится по
всем k от 0 до
.
Ф-ла (1.5) имеет место и тогда, когда
произвольным образом.
Доказательство закона больших чисел
Проведем это доказательство в
два этапа. Сначала предположим, что
существует, и заметим, что в
этом случае D(S„)
по теореме о дисперсии суммы.
Согласно неравенству Чебышева,
при любом t
> 0
(2.1)
При t
>
n
левая часть меньше, чем
,
а последняя величина стремится к нулю.
Это завершает первую часть доказательства.
Отбросим теперь ограничительное
условие существования D(
).
Этот случай сводится к
предшествующему методом
усечения.
Определим два новых набора
случайных величин, зависящих от
,
следующим образом:
U>k>=,
V>k>=0,
если
(2.2)
U>k>=0,
V>k>=,
если
Здесь k=1,…
, п и
фиксировано. Тогда
=U>k>+V>k> (2.3)
при всех k.
Пусть {f(>j>)}
— распределение вероятностей
случайных величин
(одинаковое для всех
>j>).
Мы предположили, что
= M()
существует, так что сумма
(2.4)
конечна. Тогда существует и
(2.5)
где суммирование производится
по всем тем j,
при которых
.
Отметим, что хотя
и зависит от п, но
оно одинаково для
U>1>,
U>2,>
..., U>n>.
Кроме того,
при
,
и, следовательно, для произвольного
>
0 и всех достаточно больших n
. (2.6)
Далее, из (2.5) и (2,4) следует, что
(2.7)
U>k> взаимно независимы, и с их суммой U>1>+U>2>+…+U>n> можно поступить точно так же, как и с X>k> в случае конечной дисперсии, применив неравенство Чебышева, мы получим аналогично (2.1)
(2.8)
Вследствие (2.6) отсюда вытекает, что
(2.9)
Далее заметим, что с большой вероятностью V>k> = 0. Действительно,
(2.10)
Поскольку ряд (2.4) сходится, последняя сумма стремится к нулю при возрастании n. Таким образом, при достаточно большом п
P{V>k>
0}
(2.11)
и следовательно
P{V>1>+…+V>n>0}
. (2.12)
Но
,
и из (2.9) и (2.12) получаем
(2.13)
Так как
и
произвольны, правая часть может быть
сделана сколь угодно малой, что и
завершает доказательство.
Теория «безобидных» игр
При дальнейшем анализе сущности закона больших чисел будем пользоваться традиционной терминологией игроков, хотя наши рассмотрения допускают в равной степени и более серьезные приложения, а два наших основных предположения более реальны в статистике и физике, чем в азартных играх. Во-первых, предположим, что игрок обладает неограниченным капиталом, так что никакой проигрыш не может вызвать окончания игры. (Отбрасывание этого предположения приводит к задаче о разорении игрока, которая всегда интригует изучающих теорию вероятностей.) Во-вторых, предположим, что игрок не имеет нрава прервать игру, когда ему заблагорассудится: число п испытаний должно быть фиксировано заранее и не должно зависеть от хода игры. Иначе игрок, осчастливленный неограниченным капиталом, дождался бы серии удач и в подходящий момент прекратил бы игру. Такого игрока интересует не вероятное колебание в заданный момент, а максимальные колебания в длинной серии партий, которые описываются скорее законом повторного логарифма, чем законом больших чисел .
Введем случайную величину
>k>
как (положительный или
отрицательный) выигрыш при k-м
повторении игры. Тогда сумма S>n>
=>1>+…+>k>
является суммарным выигрышем
при п повторениях
игры. Если перед каждым повторением
игрок уплачивает за право участия в
игре (не обязательно положительный)
взнос
,
то п
представляет собой общий
уплаченный им взнос, a
S>n>
— п
общий чистый выигрыш. Закон
больших чисел применим, если p=M(>k>)
существует. Грубо говоря,
при больших п весьма
правдоподобно, что разность S>п>
— покажется
малой по сравнению с п. Следовательно,
если
меньше, чем р, то при больших п
игрок будет, вероятно, иметь
выигрыш порядка
.
По тем же соображениям взнос
практически наверняка
приводит к убытку. Короче, случай
благоприятен для
игрока, а случай
неблагоприятен.
Заметим, что мы еще ничего не
говорили о случае
.
В этом случае единственно
возможным заключением
является то, что при достаточно большом
и общий выигрыш или проигрыш
S>n>
— п
будет с очень большой вероятностью
малым по сравнению с п. Но
при этом неизвестно, окажется ли S>n>
— п
положительным или отрицательным,
т. е. будет ли игра выгодной или
разорительной. Это не было учтено
классической теорией, которая называла
безобидной
ценой, а игру с
«безобидной». Нужно понимать, что
«безобидная» игра может на самом деле
быть и явно выгодной и разорительной.
Ясно, что в «нормальном случае»
существует не только M(>k>),
но и D(>k>).
В этом случае закон больших
чисел дополняется центральной предельной
теоремой, а последняя говорит о том, что
весьма правдоподобно, что при «безобидной»
игре чистый выигрыш в результате
продолжительной игры S>n>
— п
будет иметь величину порядка
n1/2
и что при достаточно больших
п этот выигрыш
будет с примерно равными шансами
положительным или отрицательным. Таким
образом, если применима центральная
предельная теорема, то термин «безобидная»
игра оказывается оправданным, хотя даже
и в этом случае мы имеем дело с предельной
теоремой, что подчеркивается словами
«в результате продолжительной игры».
Тщательный анализ показывает, что
сходимость в (1.3) ухудшается при возрастании
дисперсии. Если
велико, то нормальное приближение
окажется эффективным только при
чрезвычайно больших п.
Для определенности представим машину, при опускании в которую рубля игрок может с вероятностью 10 выиграть (10—1) рублей, а в остальных случаях теряет опущенный рубль. Здесь мы имеем испытания Бернулли и игра является «безобидной». Проделав миллион испытаний, игрок уплатит за это миллион рублей. За это время он может выиграть 0, 1,2,... раз. Согласно приближению Пуассона для биномиального распределения, с точностью до нескольких десятичных знаков вероятность выиграть ровно к раз равна e-1/k!. Таким образом, с вероятностью 0,368 . . . игрок потеряет миллион, и с той же вероятностью он только окупит свои расходы; он имеет вероятность 0,184... приобрести ровно один миллион и т. д. Здесь 106 испытаний эквивалентны одному-единствеиному испытанию при игре с выигрышем, имеющим распределение Пуассона.
Очевидно, бессмысленно применять закон больших чисел в такого рода ситуациях. К этой схеме относится страхование от пожара, автомобильных катастроф и т. п. Риску подвергается большая сумма, но зато соответствующая вероятность очень мала. Однако здесь происходит обычно только одно испытание в год, так что число п испытаний никогда не становится большим. Для застрахованного игра обязательно не является «безобидной», хотя, может быть, экономически вполне выгодной. Закон больших чисел здесь не при чем. Что касается страховой компании, то она имеет дело с большим числом игр, но из-за большой дисперсии все же проявляются случайные колебания. Размер страховых премий должен быть установлен таким, чтобы предотвратить большой убыток в отдельные годы, и, следовательно, компанию интересует скорее задача о разорении, чем закон больших чисел.
Когда дисперсия бесконечна,
термин «безобидная» игра становится
бессмысленным; нет никаких оснований
считать, что общий чистый
выигрыш S>n>>
>— п
колеблется около нуля. Действительно.
существуют примеры «безобидных» игр,
в которых вероятность того, что в
результате игрок потерпит чистый убыток,
стремится к единице. Закон больших чисел
утверждает только, что этот убыток будет
величиной меньшего порядка, чем п.
Однако ничего большего
утверждать и нельзя. Если а>п>
образуют произвольную
последовательность, причем а>п>/n0
то можно устроить «безобидную»
игру, в которой вероятность того, что
общий чистый убыток в результате п
повторений игры превышаем
a>n>
стремится к единице.
1