Динамика развития некоторых понятий и теорем теории вероятностей
М
ИНИСТЕРСТВО
ОБРАЗОВАНИЯ РЕСПУБЛИКИ БЕЛАРУСЬ
«Гомельский государственный университет имени Франциска Скорины»
Математический факультет
Кафедра математического анализа
Дипломная работа
"Динамика развития некоторых понятий и теорем теории вероятностей"
Гомель 2003
Реферат
Дипломная работа 45 страниц, 3 рисунка, 2 таблицы, 10 источников.
Перечень ключевых слов: вероятность, классическое определение, математическое ожидание, закон больших чисел, событие, теория вероятностей.
Объектом исследования в данной работе являются: понятие вероятности, математического ожидания, закон больших чисел, а точнее динамика их развития.
Цель работы: проследить динамику развития указанных понятий и теоремы от простейших форм, до завершённых, современных. Это позволит понять и осмыслить сущность закона больших чисел (статистической закономерности), что играет важную роль с методической точки зрения.
Основными методами исследования в этой области являются: изучение историко-математической литературы, аналитический метод исследования.
В результате проведённого исследования можно сделать такие выводы: развитие понятий вероятности и математического ожидания происходило скачкообразно. Это связано со многими факторами. В качестве примера можно привести такой фактор: с постановкой новых задач в теории вероятностей требовались и новые подходы к их решению, а это означало иногда пересмотр определений основных понятий, критическая их переоценка. С законом больших чисел таких изменений не происходило. Он плавно развивался от простейших форм до завершённых, современных. Это связано с тем, что изначально он был полностью осмыслен, сформулирован верно, поэтому его трудно было истолковать как-то иначе, или ложно. В связи с этим его смысловое значение не менялось с течением времени.
Полученные результаты могут быть использованы как наглядное пособие, прежде всего с целью осмысления указанных понятий и теоремы, для иллюстрации их исторического развития, как методическая помощь.
Содержание
Введение
1. Динамика развития понятия вероятности
Первые попытки введения понятия вероятности
Появление классического определения понятия вероятности
Первые попытки аксиоматического введения понятия вероятности
Появление аксиоматического определения понятия вероятности
2. динамика развития понятия математического ожидания
2.1 Предпосылки введения понятия математического ожидания
2.2 Введение понятия математического ожидания и его дальнейшее развитие
3. Закон больших чисел
3.1 Первоначальное осмысление статистической закономерности
3.2 Появление теорем Бернулли и Пуассона – простейших форм закона больших чисел
3.3 Неравенство Чебышева. Закон больших чисел в форме Чебышева
3.4 Закон больших чисел для зависимых случайных величин
3.5 Усиление закона больших чисел. Появление необходимого и достаточного условий закона больших чисел
Заключение
Список источников
Введение
В истории теории вероятностей можно выделить следующие этапы.
1. Предыстория теории вероятностей. В этот период, начало которого теряется в дали веков, ставились и примитивно решались элементарные задачи, которые позже будут отнесены к теории вероятностей. Никаких специальных методов в этот период не возникает. Идёт накопление материала. Этот период кончается в XVI в. работами Кардано, Пачоли, Тарталья и др.
2. Возникновение теории вероятностей как науки. В этот период вырабатываются первые специфические понятия, такие, как математическое ожидание. Устанавливаются первые теоремы-теоремы сложения и умножения вероятностей. Начало этого периода связано с именами Паскаля, Ферма, Гюйгенса. Этот период продолжается от середины XVII в. до начала XVIII в. В это время теория вероятностей находит свои первые применения в демографии, страховом деле, в оценке ошибок наблюдения.
3. Следующий период начинается с появления работы Я. Бернулли «Искусство предположения» (1713 г.). Это первая работа, в которой была строго доказана предельная теорема – простейший случай закона больших чисел. Теорема Бернулли дала возможность широко применять теорию вероятностей к статистике. К этому периоду относятся работы Муавра, Лапласа, Гаусса, Пуассона и др.; теория вероятностей начинает применяться в различных областях естествознания. Центральное место в этом периоде занимают предельные теоремы.
4. Следующий период развития теории вероятностей связан, прежде всего, с русской (Петербургской) школой. Здесь можно назвать такие имена, как Чебышев П.Л., Марков А.А., Ляпунов А.М. В этот период распространение закона больших чисел и центральной предельной теоремы на различные классы случайных величин достигает своих естественных границ. Законы теории вероятностей стали применяться к зависимым случайным величинам. Всё это дало возможность приложить теорию вероятностей ко многим разделам естествознания, в первую очередь – к физике. Возникает статистическая физика, которая развивается во взаимосвязи с теорией вероятностей.
5. Современный период развития теории вероятностей начался с установления аксиоматики. Этого в первую очередь требовала практика, так как для успешного применения теории вероятностей к физике, биологии и другим областям науки, а также к технике и военному делу необходимо было уточнить и привести в стройную систему её основные понятия. Благодаря аксиоматике теория вероятностей стала абстрактно-дедуктивной математической дисциплиной, тесно связанной с теорией множеств, а через неё-с другими математическими дисциплинами. Это обусловило небывалую широту исследований по теории вероятностей, начиная от хозяйственно – прикладных вопросов и заканчивая самыми тонкими вопросами кибернетики. Первые работы этого периода связаны с именами Бернштейна, Мизеса, Бореля. Окончательное установление аксиоматики произошло в 30-е годы XX в., когда была опубликована, и получила всеобщее признание аксиоматика А.Н. Колмогорова.
В последние время наметились новые подходы к основным понятиям теории вероятностей. Об этом свидетельствует появление теории надёжности, теории информации, теории массового обслуживания и т.п.
Мы же рассмотрим динамику развития определения понятия вероятности; такого понятия в теории вероятностей, как математическое ожидание, а также известного закона больших чисел.
Проследив развитие этих понятий от простейших представлений до законченных и обдуманных их форм, мы сможем глубже понять их смысл, что, несомненно, важно с методической точки зрения.
1. Динамика развития понятия вероятности
1.1 Первые попытки введения понятия вероятности
Рассмотрим, как развивалось понятие вероятности.
Д. Кардано (1501–1576 гг.) в своей работе «Книги об игре в кости» вплотную подошёл к определению понятия вероятности через отношение равновозможных событий [1].
«Итак, имеется одно общее правило для расчёта: необходимо учесть общее число возможных выпадений и число способов, какими могут появиться данные выпадения, а затем найти отношение последнего числа к числу оставшихся возможностей выпадений; приблизительно в такой же пропорции определяются относительные размеры ставок для того, чтобы игра шла на равных условиях».
Кардано в
этом отрывке говорит, что если возможное
число испытаний равно n,
а число благоприятных испытаний – m,
то ставки должны быть в отношении
(речь идёт о разделении ставки, т.к.
учёных того времени очень волновал этот
вопрос, многие из них пытались решать
эту задачу).
В работах Л. Пачоли, Н. Тарталья делается попытка выделить новое понятие вероятности – отношение шансов – при решении ряда специфических задач, прежде всего комбинаторных.
Надо отметить, что понятием вероятности активно пользовались учёные того времени, не определяя его а понимая его интуитивно. Паскаль и Ферма в письмах друг другу использовали понятие вероятности в скрытой форме, не обликая его в конкретное определение.
Гюйгенс (1629–1695 гг.) в своей книге «О расчётах в азартных играх» выделил понятие «шанс», которое по существу, есть ещё не очень осознанное понятие вероятности [2]. Во введении Гюйгенс пишет: «Хотя в играх, основанных на чистом случае, результаты являются неизвестными, однако шанс игрока на выигрыш, или на проигрыш имеет определённую стоимость. Например, если кто-нибудь держит пари, что он выбросит при первом бросании одной кости шесть очков, то неизвестно, выиграет ли он или проиграет, но что является определённым и поддающимся исчислению это то, насколько его шансы проиграть пари превосходят его шансы на выигрыш пари».
Т. Байес (1702–1761 гг.) в своей работе, опубликованной в «Философских трудах» за 1763 г. Р. Прайсом под названием «Опыт решения задачи по теории вероятностей покойного достопочтенного мистера Байеса, члена Королевского общества, сообщено мистером Прайсом в письмах Джону Кентону, магистру искусств, члену Королевского общества» ввёл наряду с другими определениями и определение понятия вероятности. Байес формулирует следующие определения.
1. Несколько событий являются несовместимыми, если наступление одного из них исключает наступление остальных.
2. События являются исключающими друг друга, если одно из них должно наступить, но оба одновременно наступить не могут.
3. Говорят, что событие не состоялось, если оно не наступает или, если наступает исключающее событие.
4. Говорят, что событие определено, если оно наступило или не наступило.
5. Вероятность какого-нибудь события есть отношение значения, которое даётся ожиданию, связанному с наступлением события, и значения ожидаемой в этом случае прибыли.
6. Под шансом я понимаю то же самое, что и под вероятностью.
7. События являются независимыми, если наступление одного не уменьшает и не увеличивает вероятности остальных [1,2].
Некоторые из этих определений, например 1 и 7, почти полностью совпадают с современными. Определение же вероятности не отличается ясностью, возможно потому, что в формулировке используется неопределённое понятие: «значение ожидания, связанного с наступлением события».
Во втором разделе своей работы Байес пользуется геометрическим определением вероятности в его современном смысле (не определяя его), решая задачу о бросании шара W на квадратную доску ABCD
На AB берутся две любые точки f и b и через них C F s L D проводятся линии, параллельные AD до пересечения с CD в точках F и L. После этого Байес формулирует следующую лемму.
Лемма.
Вероятность того, что точка O (точка остановки OO шара) будет находиться между двумя какими-нибудь точками линии AB, есть отношение расстояния между двумя точками ко всей линии AB.
Другими
словами, вероятность того, что шар,
брошенный случайным образом на ABCD,
остановится в прямоугольнике bfFL,
равна
.
Аналогично мы вычисляем геометрическим
способом вероятность и сейчас, как
отношение мер.
P(A)=
,
(
) –
вероятностное пространство,
–класс
или семейство подмножеств в
,
–область
в
,
P-вероятность.
Но у Байеса не было определения геометрической вероятности.
Кондорсе (1743–1794 гг.), известный политический и общественный деятель буржуазной французской революции, занимался вопросами теории вероятностей. В своей работе «Suite du Memoire sur le calcul des Probabilites» Кондорсе пытался наряду с вероятностью ввести понятие «собственно вероятность» [1,2].
«Не следует
понимать под собственно вероятностью
события отношение числа имеющих место
сочетаний к общему числу сочетаний.
Например, если из 10 карт извлекается
одна карта и свидетель говорит, что это
была именно такая-то карта, то собственно
вероятность этого события, которую
нужно сопоставить с вероятностью
рождающейся из свидетельства, не есть
вероятность извлеч эту карту, которая
будет
,
а есть вероятность извлеч эту карту
предпочтительно, чем другую какую-либо
определённую карту, и так как все эти
вероятности одинаковы, то собственно
вероятность будет в этом случае
…
В случае,
когда извлекается одна из десяти карт,
число сочетаний, при которых извлекается
какая-либо определённая карта, есть
единица и число сочетаний, при которых
будет извлечена какая-либо другая
определённая карта, тоже есть единица,
значит, собственно вероятность выразится
–.»
Понятие собственно вероятности необоснованно. Его противопоставление понятию вероятности чисто субъективное и математически ничем не подтверждено. Возможно именно поэтому в науке оно не сохранилось.
К XVIII в. понятие вероятности уже очень активно использовалось при решении различных задач.
Л. Эйлер (1707–1783 гг.), исследуя различные лотереи, которые предлагали Прусскому королю Фридриху II для пополнения казны государства, пользовался именно классическим определением вероятности.
1.2 Появление классического определения понятия вероятности
П. Лаплас (1749–1827 гг.) в своих лекциях под названием «Опыт философии теории вероятностей» вводил следующее классическое определение вероятности: вероятность P(A) события A равняется отношению числа возможных результатов испытания, благоприятствующих событию A, к числу всех возможных результатов испытания. В этом определении предполагается, что отдельные возможные результаты испытания равновероятны [1,2].
Этому определению вероятности Лаплас придал субъективный смысл, введя принцип недостаточности или отсутствия оснований. Этот принцип состоит в том, что если вероятность события неизвестна, то мы для её значения назначаем некоторое число, которое нам представляется разумным. В случае, если мы имеем несколько событий, которые составляют полную систему, но не знаем вероятности каждого события в отдельности, то мы считаем, что все эти события равновероятны.
Магистр философии Сигизмунд (Зигизмунт) Ревковский (1807–1893 гг.) в 1829/30 г. впервые в России стал читать курс теории вероятностей. Вероятность он называл мерой надежды, величиной надежды и давал ей классическое определение.
Н.И. Лобачевский серьёзно занимался теорией вероятностей. В своей работе «Новые начала геометрии с полной теорией параллельных» он определяет вероятность, следуя Лапласу: «под словами вероятность разумеют содержание числа благоприятных случаев к числу всех случаев вместе». Равновозможность случаев, очевидно, подразумевалась Лобачевским.
Профессор математики Московского университета Зернов Н.Е. (1804–1862)
в своей речи
«Теория вероятностей, с приложением
преимущественно к смертности и
страхованию», которая была издана в
1843 г., ввёл определение вероятности
(
)
и любопытное определение понятия
относительной вероятности.
«Вероятность событий, рассматриваемых в таком виде, как будто прочие события совсем не имели места, называется вероятностью относительного. Относительная вероятность какого-либо события равна частному, происшедшему от деления самостоятельной вероятности того же события на сумму сей последней вероятности и противоположной ей, также самостоятельной».
Это определение
сопровождается примером. В сосуде
имеется 3 красных, 1 чёрный, 2 белых шара.
Вероятность вытащить красный шар
;
;
–
это всё вероятности самостоятельные.
Держат пари относительно появления
белого или чёрного шара, не обращая
внимания на красные. Вероятность выиграть
пари на белом шаре –
,
на чёрном –
.
Это, по Зернову, относительные вероятности.
Для них справедливы соотношения:
;
.
Даже на этом примере видно, что понятие относительной вероятности излишне (можно рассматривать, что в урне только 2 белых и 1 чёрный шар).
Крупным представителем русской теории вероятностей был М.В. Остроградский. В своей статье «О страховании», опубликованной в журнале «Финский вестник» в 1847 г., Остроградский трактует понятие вероятности с субъективных позиций, как меру уверенности познающего субъекта [1].
Он подробно говорит о том, что вероятность есть мера нашего незнания, что это субъективное понятие, что у вероятности в субъективном мире нет никакого соответствия, что весь мир детерминистичен и случайного в нём нет, есть только то, что мы не знаем или не познали, которое мы и называем случайным.
«Если явление совершенно зависит от нескольких других явлений или случаев, из которых одни могут его произвести, другие ему противны, и если притом все эти случаи таковы, что для нас, мы повторяем, для нас, нет причины одни из них предпочитать другим, то вероятность ожидаемого явления измеряется дробью, которой числитель равен числу случаев, доставляющих явление, – а знаменатель числу всех случаев». Это утверждение совпадает с так называемым классическим определением Лапласа с толкованием равновозможности, как недостаточности оснований давать предпочтение одним событиям перед другими. Рассматривается пример. В урне находится 5 шаров (3 белых и 2 чёрных), из неё извлекается один шар. Какова вероятность, что этот шар будет белым? Относительно этого примера Остроградский пишет: «Пять шаров находятся в вазе; нет никакой причины думать, что один из них попадёт в руку скорее, нежели другой. Говоря, нет никакой причины, разумеем, что её нет для нас, – она есть, но совершенно нам неизвестна.… И как мы не можем дать одному шару преимущество пред другим, то все шары представляют для нас случаи равновозможные. Тот, кто знал бы расположение шаров в урне и мог бы вычислить движение вынимающей руки, тот сказал бы наперёд, какой именно выйдет шар, – для него не было бы вероятности.
Если бы для нас, в самом деле, не было причин вынуть такой-то шар, а не другой, тогда появление шара было бы действительно невозможно, как невозможно действие без причины.
Мы повторяем, что вероятность и одинаковая возможность случаев, и мера вероятности существуют только для нас. Для существ же всеведущих, т.е. имеющих все сведения обо всех явлениях, вероятность не может иметь не только меры, но и никакого значения.
Это высказывание является типичным высказыванием в духе механического детерминизма, который был в то время широко распространён в теории вероятностей.
1.3 Первые попытки введения аксиоматического определения понятия вероятности
П.Л. Чебышев (1821–1894 гг.) был создателем и идейным руководителем петербургской математической школы. Чебышев сыграл крупную роль в развитии многих разделов математики, в том числе теории вероятностей. В своей магистерской диссертации в первой главе он вводит понятие вероятности. Для этого он, прежде всего, определяет равновозможные события: «Если из определённого числа различных событий при известных обстоятельствах одно необходимо должно случиться, и нет особенной причины ожидать какого-либо из этих событий преимущественно пред другими, то такие события отличаем названием случаев равновозможных». Нельзя сказать, чтобы это определение было достаточно чёткое.
Если из n
случаев m
имеют следствием некоторое событие, то
мерой вероятности этого события, которое
называют вероятным, принимают
,
т.е. «отношение числа равновозможных
случаев, благоприятных для события, к
числу всех равновозможных случаев».
А.А. Марков (1856–1922 гг.) был ближайшим учеником и лучшим выразителем идей Чебышева. В своей работе «Исчисление вероятностей» Марков давал классическое определение вероятности, но к определению равновозможности («Два события мы называем равновозможными, если нет никаких оснований ожидать одного из них предпочтительно перед другим. Несколько событий мы называем равновозможными, если каждые два из них равновозможны») он делал следующее примечание: «По моему мнению, различные понятия определяются не столько словами, каждое из которых может, в свою очередь, потребовать определения, как нашим отношением к ним, которое выясняется постепенно». Определение понятия вероятности выглядит так:
«Вероятностью события называется дробь, числитель которой представляет число равновозможных случаев, благоприятных этому событию, а знаменатель–число всех равновозможных случаев, соответствующих вопросу». [1,2]
В своей книге «Теория вероятностей» С.Н. Бернштейн попытался ввести определение понятия вероятности аксиоматическим способом.
Из аксиомы сравнения вероятностей и аксиомы о несовместимых событиях Бернштейн делает следующий вывод: «Если событию X благоприятствуют m случаев из общего числа всех n единственно возможных, несовместимых и равновероятных случаев, то вероятность события X зависит только от чисел m и n (а не от природы рассматриваемого опыта), т.е. вероятность X=F (m, n), где F (m, n) есть некоторая определённая функция».
Но, этим
аксиомам удовлетворяет только функция
вида F(),
причём–это возрастающая функция дроби
.
Любую такую функцию F()
можно принять за вероятность X.
Общепринято считать F()=.
Это и есть вероятность события X в
высказанных условиях, а точнее классическое
определение вероятности.
С уверенностью можно сказать, что определение понятия вероятности лежит в основе любой аксиоматической системы теории вероятностей. На недостатки классического определения вероятности указывали давно. Были видны и недостатки субъективной трактовки вероятности, идущей от Лапласа. Критику этих недостатков встречали доброжелательно. Наиболее широкое распространение получили работы в этом направлении немецкого учёного Р. Мизеса (1883–1953 гг.), который из гитлеровской Германии эмигрировал в США, где он возглавил Институт прикладной математики. Мизес является основателем так называемой частотной концепции в теории вероятностей.
Основным
понятием в частотной теории Мизеса
является понятие коллектива. Под
коллективом понимается бесконечная
последовательность k-одинаковых
наблюдений, каждое из которых определяет
некоторую точку, принадлежащую заданному
пространству
конечного числа измерений. Говорить о
вероятности, по Мизесу, можно только
тогда, когда существует эта определённая
совокупность событий. Коллектив, по
Мизесу, "…должен удовлетворять
следующим двум требованиям:
относительные частоты появления определённого события в последовательности независимых испытаний имеют определённые предельные значения;
предельные значения, о которых говорится в первом требовании, остаются неизменными, если из всей последовательности выбрать любую подпоследовательность.
Приняв за основу тот факт, что вероятность и частота – связанные между собой величины, Мизес определяет вероятность как предельное значение частоты: «Обосновано предположение, что относительная частота появления каждого единичного наблюдаемого признака стремится к определённому предельному значению. Это предельное значение мы называем вероятностью».
Но на самом
деле никакого обоснованного предположения
у нас нет. Мы никогда не можем знать,
имеет ли данная частота предел или нет,
хотя бы уже потому, что для этого пришлось
бы произвести бесконечное число опытов.
Это определение несостоятельно
математически, так как мы не можем
указать функциональной зависимости
между количеством испытаний n
и частотой появления событий
,
где m-количество
появлений события, а, не указав такой
зависимости, мы не можем вычислить
предел,
,
который принят за вероятность.
Крупнейшие представители теории вероятностей никогда не были приверженцами частотной школы, а приверженцы этой школы не получили существенных результатов в теории вероятностей.
Попыток обосновать теорию вероятностей было достаточно много. Например, итальянский математик Б. Финетти выдвинул субъективное толкование вероятности. Таким подходом к вероятности он пытался преодолеть противоречия, которые возникли и в классической теории вероятностей и в частотной школе Мизеса. По Финетти вероятность является чисто субъективной величиной. Каждый человек по-своему оценивает вероятность того или иного события.
Несколько позже Джеффрис разрабатывал понятие вероятности как степени правдоподобия. Впервые эта концепция была выдвинута Кейнесом в 1921 г. По этой теории каждое предложение имеет определённую вероятность. Вероятностям такого рода нельзя дать частотной интерпретации. Разработка теории степеней правдоподобия продолжается некоторыми математиками и в наши дни.
1.4 Появление аксиоматического определения понятия вероятности
На сегодняшний день закрепилось определение понятия вероятности данное А.Н. Колмогоровым в книге «Основные понятия теории вероятностей» (1933 г.) аксиоматически.
Уже были вскрыты глубокие аналогии между понятиями теории вероятностей и понятиями метрической теории функций. Были установлены аналогии между множеством и событием, мерой множества и вероятностью события, интегралом и математическим ожиданием и др.
Возникла потребность в аксиоматизации теории вероятностей исходя из теоретико-множественных представлений, что и было выполнено в книге Колмогорова. После этой аксиоматизации теория вероятностей заняла равноправное место среди других математических дисциплин.
Рассмотрим аксиоматику Колмогорова.
Пусть имеются наблюдения или испытания, которые хотя бы теоретически допускают возможность неограниченного повторения. Каждое отдельное испытание может иметь тот или иной исход в зависимости от случая. Совокупность всех этих возможных исходов образует множество E, которое является первым основным понятием аксиоматики. Это множество E называется множеством элементарных событий. Что из себя представляют события, являющиеся элементами этого множества, для дальнейшего логического построения совершенно безразлично, как безразлично для аксиоматического построения геометрии, что мы будем понимать под словами «точка», «прямая» и т.п. Только после такого аксиоматического построения теория вероятностей допускает различные интерпретации, в том числе и не связанные со случайными событиями. Любое подмножество множества E, т.е. любую совокупность возможных исходов, называют событием. Или другими словами: случайными событиями называются элементы множества F подмножеств из E. Далее рассматриваются не все события, а только некоторое тело событий. Теория вероятностей занимается только теми событиями, частота которых устойчива. Это положение в аксиоматической теории Колмогорова формализуется таким образом, что каждому событию, которое мы рассматриваем, ставится в соответствие некоторое положительное число, которое называется вероятностью данного события. При этом абстрагируются от всего того, что помогало сформулировать это понятие, например, от частоты. Это даёт возможность интерпретировать вероятность не только вероятностным способом. Тем самым значительно расширяются возможности вероятностей.
Сформулируем аксиомы Колмогорова [1,5].
Если случайные события A и B входят в состав F, то события A или B, A и B, не A и не B также содержатся в F.
F содержит в качестве элементов множество E и все отдельные его элементы.
Каждому элементу A из F поставлено в соответствие неотрицательное вещественное число P(A), называемое вероятностью события A.
P(E)=1.
Если A и B не пересекаются и принадлежат F, то P (A+B)=P(A)+P(B). Для бесконечных множеств F имеется ещё одна аксиома, которая для конечных множеств является следствием пяти приведённых аксиом.
Если пересечение
последовательности событий
пусто, то
.
Аксиоматика Колмогорова способствовала тому, что теория вероятностей окончательно укрепилась как полноправная математическая дисциплина.
Проследив
динамику развития и формирования понятия
вероятности можно сделать вывод, что
оно вырабатывалось сложными путями.
Математики и философы, политики и просто
увлечённые теорией вероятностей учёные
пытались облечь понятие вероятности в
конкретную форму. Давая правильные и
ошибочные определения понятию вероятности,
они маленькими шагами продвигались к
верному решению этого вопроса. Но даже
в хорошо и правильно сформулированных
вариантах классического определения
вероятности можно обнаружить пробелы
и упущения. Например, почти во всех
данных вариантах классического
определения отсутствует условие
конечности числа равновозможных событий,
т.е. условие, что
.
Возможно это условие не оговаривалось,
но подразумевалось. С построением
системы аксиом для определения понятия
вероятности задача некоторой
несостоятельности классического
определения вероятности была решена.
Однако наблюдаются попытки дать трактовку
вероятности с более широких позиций, в
том числе и с позиций теории информации.
2. Динамика развития понятия математического ожидания
2.1 Предпосылки введения понятия математического ожидания
Одним из первых приблизился к определению понятия математического ожидания Д. Кардано в своей работе «Книга об игре в кости». Он определил условия безобидной игры, которые можно увидеть на следующем примере Кардано: бросаются две игральные кости. «Если, стало быть, кто-либо заявит, что он желал бы получить 1, 2 или 3, то ты знаешь, что для этого имеется 27 шансов, а так как вся серия состоит из 36, то остаётся 9 бросаний, в которых эти числа очков не выпадут; таким образом, эти числа будут находиться в тройном отношении. Следовательно, при четырёх бросаниях три выпадения будут благоприятны 1, 2 или 3, и только один раз не выйдет ни одного из трёх указанных чисел очков. Если тот, кто ждёт выпадения одного из трёх указанных чисел очков, поставит три асса (древнеримские медные монеты), а другой один, то сначала первый выиграет трижды и получит три асса, а затем второй выиграет один раз и получит три асса; таким образом, в общем итоге четырёх бросаний шансы их всегда сравняются. Стало быть, такие условия расчёта в игре – правильные; если же второй из них поставит больше, то ему придётся состязаться в игре на неравных условиях и с ущербом для себя; а если он поставит меньше, то с барышом.» Однако Кардано понимает, что эти утверждения справедливы только тогда, когда игра будет продолжаться достаточно долго [1].
2.2 Введение понятия математического ожидания и его дальнейшее развитие
Обратимся к работе Х. Гюйгенса «О расчёте в азартных играх». Книга состоит из введения и 14 предложений. Рассмотрим первые три предложения [1].
Предложение
1: «Если я имею равные шансы получения
a
или b,
то это мне стоит
«.
Предложение
2: «Если я имею равные шансы на получение
a,
b
или c,
то это мне стоит столько же, как если бы
я имел
.
Предложение
3: «Если число случаев, в которых получается
сумма a,
равно p
и число случаев, в которых получается
сумма b,
равно q,
и все случаи одинаково легко могут
произойти, то стоимость моего ожидания
равна
.
По существу Гюйгенс здесь так определяет математическое ожидание. Он фактически впервые вводит понятие математического ожидания и использует его. Математическое ожидание является обобщением понятия средней арифметической. Средняя арифметическая широко применялась в торговле и промышленности для определения средних цен, средней прибыли и т.п.
Терминология Гюйгенса в теории вероятностей несёт на себе отпечаток коммерческой терминологии. Он считает, что математическое ожидание – это цена шанса на выигрыш в безобидной игре и приходит к выводу, что справедливая цена – есть средняя цена. Он вычисляет «за какую справедливую цену я мог бы уступить своё место в игре другому». Сам Гюйгенс не называет математическое ожидание ожиданием, оно у него фигурирует как стоимость шанса. Впервые термин «ожидание» появляется в переводе работы Гюйгенса Францем ван Схоутеном.
Работа Х. Гюйгенса оказала большое влияние на Я. Бернулли. К предложениям 1, 2 и 3 Гюйгенса Бернулли делает обширное примечание.
«Автор этого трактата излагает …в этом и двух следующих предложениях основной принцип искусства предположений. Так как очень важно, чтобы этот принцип был хорошо понят, то я попытаюсь доказать его при помощи исчислений более обычных и более доступных всем, исходя исключительно из той аксиомы, или определения, что каждый должен ожидать или предполагает ожидать столько сколько он неминуемо получит.
Слово «ожидание» здесь не должно пониматься в его обычном смысле, согласно которому «ожидать» или «надеяться» относится к событию наиболее благоприятному, хотя может произойти наихудшее для нас; нужно понимать под этим словом надежду, которую мы имеем на получение лучшего, уменьшенную страхом худшего. Так что стоимость нашего ожидания всегда означает нечто среднее между лучшим, на что мы надеемся, и худшим, чего мы боимся…»
После рассмотрения предложения 3 Бернулли отмечает следующее: «Из рассмотрения …очевидно, что имеется большое сходство с правилом, называемым в арифметике правилом товарищества, которое состоит в нахождении цены смеси, составленной из определённых количеств различных вещей с различной ценой. Или, скорее, что вычисления являются абсолютно одинаковыми. Так, подобно тому, как сумма произведений количеств смешиваемых веществ на их соответственные цены, разделённая на сумму веществ, даёт искомую цену, которая всегда находится между крайними ценами, также сумма произведений случаев на соответственно приносимые ими выгоды, разделённая на число всех случаев, указывает стоимость ожидания, которая вследствие этого всегда является «средней между наибольшей и наименьшей из этих выгод».
Это достаточно хорошее объяснение математического ожидания и его связи со взвешенной средней арифметической [1].
В середине и во второй половине XVIII в. многие учёные занимались вопросами связанными с теорией вероятностей. Прежде всего, это относится к математикам, из которых можно выделить Д. Бернулли (1700–1778 гг.). Наиболее известной работой Д. Бернулли по теории вероятностей является «Опыт новой теории меры случая» (1738 г.), в которой он вводит понятие морального ожидания [2]. Однако, несмотря на то, что в дальнейшем многие учёные разрабатывали это понятие оно не прижилось в теории вероятностей. Д. Бернулли вводит правило подсчёта математического ожидания, которое он называет основным правилом: «Значение ожидаемой величины получается путём умножения значений отдельных ожидаемых величин на число случаев, в которых они могут появиться, и последующего деления суммы произведений на сумму всех случаев, при этом требуется, чтобы рассматривались те случаи, которые являются равновозможными между собой» [1, 2]. Это правило полностью соответствует определению математического ожидания дискретной случайной величины.
.
Здесь
-значения
отдельной i-ой
ожидаемой величины,
-число
случаев в которых может появиться i-ая
ожидаемая величина,
n-число всех случаев.
Мы видим, что определение математического ожидания дискретной случайной величины окончательно сформировалось к середине XVIII в. и активно использовалось при решении различных задач. Однако понятие математического ожидания иногда считали недостаточным. Поэтому были попытки ввести понятие морального ожидания (нравственное ожидание), которое связано с «выгодой, зависящей от личных условий». Несмотря на то, что разработкой понятия морального ожидания занимались многие учёные (Д. Бернулли, Ж.Л. Бюффон, В.Я. Буняковский, Н.Е. Зернов, Лаплас, Пуассон, Лакруа), это понятие не закрепилось в науке.
Можно сделать вывод, что понятие математического ожидания преодолело сложный путь чтобы стать одним из главных и основных понятий в теории вероятностей.
3. Закон больших чисел
3.1 Первоначальное осмысление статистической закономерности
Закон больших чисел занимает одно из центральных мест в теории вероятностей. До недавнего времени проблема закона больших чисел не была окончательно решена. Рассмотрим динамику развития этого закона.
Одним из первых к пониманию статистической закономерности и закона больших чисел подошёл Кардано. Относительно своего заключения о 6 возможностях получить одинаковые числа очков на двух костях и 30 возможностях – разные, он пишет: «Целая серия игр (36 бросков) не даёт отклонения, хотя в одной игре это может случиться…, при большом числе игр оказывается, что действительность весьма приближается к этому предположению» [1].
Здесь Кардано утверждает, что при малом количестве наблюдений частота может отклоняться довольно сильно от доли, или, другими словами, – от вероятности; при большом числе испытаний это отклонение будет незначительно.
3.2 Появление теорем Бернулли и Пуассона – простейших форм закона больших чисел
Я. Бернулли писал: «…И что не дано вывести a priori то, по крайней мере, можно получить a posteriori, т.е. из многократного наблюдения результатов…».
Бернулли утверждает, что если в азартных играх всегда можно посчитать число случаев, а сами случаи встречаются одинаково легко, то в других явлениях в природе и обществе ни то ни другое не имеет.
«Всё дело сводится к тому, чтобы для правильного составления предложений о какой-либо вещи были точно исчислены как числа случаев, так и было бы определено насколько одни случаи могут легче встретиться, чем другие…». Но это совершенно невозможно сделать для большинства явлений. Однако Бернулли нашёл выход из сложившейся ситуации. Он утверждает, что при увеличении числа испытаний, частота появления какого-либо события будет мало отличаться от вероятности появления этого события. И чем больше число испытаний, тем меньше это отличие. «Следует заметить, что отношение между числами случаев, которые мы желаем определить опытом, понимается не в смысле точного отношения…, но до известной степени приближённого, т.е. заключённого в двух границах, которые можно взять сколь угодно тесными».
В помощь доказательству своей теоремы Бернулли доказывает ряд лемм [1].
Лемма 1.
Рассматриваются два ряда
0, 1, 2, …, r – 1, r, r + 1, …, r + s;
0,
1, 2, …, nr – n, …, nr, …, nr + n, …, nr + ns
и утверждается, что с увеличением n растёт количество членов между nr и nr + n; nr и nr – n; nr + n и nr + ns; nr и 0. Кроме того, как бы велико ни было n, число членов после nr + n не будет превышать более чем в s – 1 раз число членов, заключённых между nr и nr + n или между nr и nr – n, а также число членов до nr – n не будет превышать более чем в r – 1 раз число членов между теми же числами.
Доказательство.
Найдём количество членов между указанными в лемме членами рассматриваемых рядов. Для этого введём обозначения:
-число
членов между nr
и nr+n;
-число
членов между nr
и nr-n;
-число
членов между nr+n
и nr+ns;
-число
членов между nr
и 0;
-число
членов после nr+n;
-число
членов до nr-n.
;
;
;
.
Очевидно, что
с увеличением n
(т.е. при
)
,
,
,
будут неограниченно возрастать.
Найдём число
членов после nr+n
(),
очевидно, что
==
.
Очевидно, что
=
=
,
т.е. число членов после nr+n
не превышает более чем в s-1
раз число членов заключённых между nr
и nr+n
или между nr
и nr-n,
для любого n.
Найдём число
членов до nr-n
(),
очевидно, что
,
а значит
=
=
,
т.е. число членов до nr-n
не превышает более чем в r-1
раз число членов заключённых между nr
и nr+n
или между nr
и nr-n,
для любого n.
Что и требовалось доказать.
Лемма 2.
Всякая целая степень какого-либо двучлена r + s выражается числом членов, на единицу большим числа единиц в показателе степени.
Доказательство.
Рассмотрим
,
где x
(x
– целое число)
=
.
Составим ряд из степеней одночлена s (или r)
0,1,2,…, x-2, x-1, x. Число членов в этом ряду равно x+1.
Т. о. всякая целая степень двучлена r + s выражается числом членов, на единицу большим числа единиц в показателе степени. Что и требовалось доказать.
Лемма 3.
В любой степени двучлена r + s, по крайней мере в t=r+s или nt=nr+ns, некоторый член M будет наибольшим, если числа предшествующих ему и следующих за ним членов находятся в отношении s к r или, что то же, если в этом члене показатели букв r и s находятся в отношении самих количеств r и s; более близкий к нему член с той и другой стороны больше более удалённого с той же стороны; но тот же член M имеет к более близкому меньшее отношение, чем более близкий к более удалённому при равном числе промежуточных членов.
Доказательство.
Отмечается, что коэффициенты членов равноудалённых от концов равны. Число всех членов nt+1=nr+ns+1. Наибольший член будет:
M=
=
.
M
можно
записать в другом виде, воспользовавшись
следующей формулой
.
M=
=
.
Ближайший к
нему слева член равен
;
справа –
.
Следующий
слева –
;
справа –
и т.д.
;
;
;
,
и т.д.
Очевидно,
что:
,
M-наибольший
член.
Что и требовалось доказать.
Лемма 4.
В степени
двучлена с показателем nt
число n
может быть
взято столь большим, чтобы отношение
наибольшего члена M
к двум
другим L
и
,
отстоящим от него налево и направо на
n
членов,
превзошло всякое данное отношение.
Доказательство.
M==;
L=
;
=
.
Для доказательства леммы необходимо установить, что
и
.
=
=
=
=
.
=
=
=
=
.
Но эти отношения
будут бесконечно большими, когда n
полагается бесконечным, ибо тогда
исчезают числа 1, 2, 3 и пр. по сравнению
с n,
и сами числа
,
,
и пр.
,
,
и пр. будут иметь те же значения, как
и
.
После этого отбросив эти числа и проведя
соответствующие сокращения на n,
получим, что
=
;
=
.
Количество
сомножителей в числителе и знаменателе
равно n.
Вследствие чего эти отношения будут
бесконечными степенями выражений:
и
и поэтому бесконечно большими.
Таким образом,
мы выяснили, что в бесконечно высокой
степени двучлена отношение наибольшего
члена к другим L
и
превосходит всякое заданное отношение.
и
.
Что и требовалось доказать.
Лемма 5.
Отношение
суммы всех членов от L
до
ко всем остальным с увеличением n
может быть сделано больше всякого
заданного числа.
Доказательство.
M – наибольший член разложения.
Пусть соседние с ним слева будут F, G, H,…;
пусть соседние с L слева будут P, Q, R,….
На основании леммы 3 имеем:
<
;
<
;
<
,
… или
<
<
<
<….
Так как по
лемме 4, при n
бесконечно большом, отношение
бесконечно, то тем более будут бесконечными
отношения
,
,
,…,
и потому отношение
также
бесконечно, т.е. сумма членов между
наибольшим M
и пределом L
бесконечно больше суммы такого же числа
членов за пределом L
и наиболее к нему близких. И так как
число всех членов за пределом L
превышает, по лемме 1, не более чем в s-1
раз (т.е. конечное число раз) число членов
между этим пределом и наибольшим членом
M,
а сами члены делаются тем меньше, чем
дальше они отстоят от предела, по первой
части леммы 3, то сумма всех членов между
M
и
L
(даже не считая M)
будет бесконечно больше сумм всех членов
за пределом L.
Аналогичное утверждение можно доказать
относительно членов между M
и
.
Оба эти утверждения и доказывают лемму.
Что и требовалось доказать.
Главное предложение.
Пусть число
благоприятных случаев относится к числу
неблагоприятных точно или приближённо,
как r
к
s,
или к числу всех случаев, как r
к
r+s
или r
к
t,
это отношение заключается в пределах
и
.
Требуется доказать, что можно взять
столько опытов, чтобы в какое угодно
данное число раз (c
раз) было вероятнее, что число благоприятных
наблюдений попадёт в эти пределы, а не
вне их, т.е. отношение числа благоприятных
наблюдений к числу всех будет не более
чем
и не менее
.
Доказательство.
Пусть число необходимых наблюдений будет nt. Вероятность того что все наблюдения будут благоприятны, равна
,
что все кроме одного–
,
кроме двух
и т.д.
А это есть
члены разложения (r+s)
в степени nt
(делённые на
),
которые исследовались в прошлых леммах.
Все дальнейшие выводы основываются на
доказанных леммах. Число случаев с ns
неблагоприятными набдюдениями и nr
благоприятными даёт член M.
Число случаев, при которых будет nr+n
или nr-n
благоприятных наблюдений, выражается
членами L
и
,
отстоящих на n
членов от M.
Следовательно, число случаев, для которых
благоприятных наблюдений окажется не
более nr+n
и не менее
nr-n,
будет выражаться суммой членов,
заключённых между L
и
.
Общее же число случаев, для которых
благоприятных наблюдений будет или
больше nr+n
или меньше nr-n,
выражается суммой членов, стоящих левее
L
и правее
.
Так как степень
двучлена может быть взята столь большая,
чтобы сумма членов, заключённых между
обоими пределами L
и
превосходила более чем в c
раз сумму всех остальных из этих пределов
выходящих, по леммам 4-й и 5-й, то,
следовательно, можно взять столь большое
число наблюдений, чтобы число случаев,
при которых отношение числа благоприятных
наблюдений к числу всех оказывается
заключённым в пределы
и
или
и
,
превышало более чем в c
раз число остальных случаев, т.е. сделалось
более чем в c
раз вероятнее, что отношение числа
благоприятных наблюдений к числу всех
заключается в пределах
и
,
а не вне этих пределов.
Что и требовалось доказать.
Для сравнения дадим современную формулировку теоремы Бернулли.
Теорема Бернулли.
Если вероятность
наступления события A
в последовательности независимых
испытаний постоянна и равна p,
то, каково бы ни было положительное
число
,
с вероятностью как угодно близкой к
единице, можно утверждать, что при
достаточно большом числе испытаний n
разность
по абсолютной величине окажется меньшей,
чем
:
,
где
–любое
малое число.
Эта теорема будет доказана нами позже (после введения неравенства Чебышева).
Всегда может
случиться, что, каким бы большим ни было
n,
в данной серии из n
испытаний
окажется больше
.
Но, согласно теореме Бернулли мы можем
утверждать, что если n
достаточно велико и если произведено
достаточно много серий испытаний по n
испытаний в каждой серии, то в подавляющем
числе серий неравенство
будет выполнено.
Бернулли считает, что из доказанной теоремы «вытекает то удивительное, по-видимому, следствие, что если бы наблюдения над всеми событиями продолжать всю вечность (причём вероятность, наконец, перешла бы в полную достоверность), то было бы замечено, что всё в мире управляется точными отношениями и постоянным законом изменения, так, что даже в вещах, в высшей степени случайных, мы принуждены были бы признать как бы некоторую необходимость и, скажу я, рок».
А.А. Марков писал, что в этой работе Бернулли «впервые была опубликована и доказана знаменитая …теорема, положившая начало закону больших чисел…». Пуассон (1781–1840 гг.) в своей работе «Исследования о вероятности судебных приговоров по уголовным и гражданским делам» занимался предельными предложениями. В результате он доказал свою знаменитую теорему, которой дал название «закон больших чисел» [1]. Теорема Пуассона формулировалась следующим образом.
Теорема.
Если производится
n
независимых испытаний, результатами
которых является наступление или не
наступление события A,
причём вероятность наступления события
в отдельных испытаниях неодинакова, то
с вероятностью, сколь угодно близкой к
единице (или, другими словами, – к
достоверности), можно утверждать, что
частота
наступления события A
будет сколь угодно мало отличаться от
средней арифметической
вероятностей наступления события в
отдельных испытаниях.
Теперь эту
теорему записывают так:
Если же
вероятность наступления события не
будет изменяться от испытания к испытанию,
то
=p,
и теорема Пуассона в этом случае переходит
в теорему Я. Бернулли, которая, таким
образом, является частным случаем
теоремы Пуассона.
3.3 Неравенство Чебышева. Закон больших чисел в форме Чебышева
17.12.1866 г. Чебышев доложил Академии наук свою работу «О средних величинах», которая была опубликована в 1867 г. В «Математическом сборнике». В этой работе Чебышев доказал одно важное неравенство, которое теперь называется неравенством Чебышева. При помощи этого неравенства Чебышев получил теорему, из которой как следствия получаются теоремы Бернулли и Пуассона. В начале работы «О средних величинах» Чебышев доказывает теорему [1,6].
Теорема.
Если математическое ожидание величин x, y, z,… суть a, b, c,…,
а математическое
ожидание квадратов
,
,
,…
суть
,
,
,…,
то вероятность, что сумма x+y+z+…
заключается в пределах
,
,
при всяком
значении
остаётся больше
.
Далее Чебышев переходит к следующей теореме.
Если мы
изобразим через N
число величин x,
y,
z,…,
u,
полагая в доказанной сейчас теореме
,
разделим на N
как сумму x+y+z+…,
так и пределы её
,
,
то из этой теоремы получим следующую относительно средних величин.
Теорема.
Если математическое ожидание величин
x,
y,
z,…,,
,
,…
суть a,
b,
c,…,,
,
,…,
то вероятность, что среднее арифметическое
N
величин x,
y,
z,…,
от среднего арифметического математических
ожиданий этих величин разнится не более
как на
при всяком значении, будет превосходить
.
Это и есть знаменитое неравенство Чебышева, которое в современной форме записывается следующим образом:
,
где случайная
величина x
имеет конечную дисперсию
,
а
–любая
отличная от нуля положительная величина.
Действительно, первую теорему Чебышева можно записать так:
Применим эту теорему к случайной величине x:
.
Но
,
,
,
.
Пусть
,
тогда
и получаем привычную формулу для
неравенства Чебышева
.
Сформулируем соответствующую теорему и докажем в ней это неравенство.
Теорема.
Пусть имеется
случайная величина
с математическим ожиданием
и дисперсией
.
Неравенство Чебышева утверждает, что,
каково бы ни было положительное число
,
вероятность того, что величина
отклонится от своего математического
ожидания не меньше чем на
,
ограничена сверху величиной
:
.
Доказательство.
1. Пусть
величина
дискретная, с рядом распределения
|
|
|
|
|
|
|
|
|
|
|
|
Изобразим
возможные значения величины
и её математическое ожидание
в виде точек на числовой оси Ox.
Зададимся
некоторым значением
и вычислим вероятность того, что величина
отклонится от своего математического
ожидания не меньше чем на
:
.
Для этого
отложим от точки
вправо и влево по отрезку длиной
;
получим отрезок
.
Вероятность
есть не что иное, как вероятность того,
что случайная точка
попадёт не внутрь отрезка
,
а вовне его (концы отрезка мы в него не
включаем):
.
Для того чтобы
найти эту вероятность, нужно просуммировать
вероятности всех тех значений
,
которые лежат вне отрезка
.
Это мы запишем следующим образом:
,
где запись
под знаком суммы означает, что суммирование
распространяется на все те значения
,
для которых точки
лежат вне отрезка
.
С другой
стороны, напишем выражение дисперсии
величины
по определению:
.
Так как все
члены суммы
неотрицательны, она может только
уменьшиться, если мы распространим её
не на все значения
,
а только на некоторые, в частности на
те, которые лежат вне отрезка
:
.
Заменим под
знаком суммы выражение
через
.
Так как для всех членов суммы
,
то от такой замены сумма тоже может
только уменьшиться, значит:
.
Но согласно
формуле
сумма, стоящая в правой части этого
неравенства есть не что иное, как
вероятность попадания случайной точки
вовне отрезка
,
следовательно
,
откуда непосредственно вытекает
доказываемое неравенство.
2. В случае
когда величина
непрерывна, доказательство проводится
аналогичным образом с заменой вероятностей
элементом вероятности, а конечных сумм
– интегралами. Действительно,
,
где
–
плотность распределения величины
.
Далее, имеем:
,
откуда и вытекает неравенство Чебышева для непрерывных величин.
Что и требовалось доказать.
Как следствие из своего неравенства Чебышев получает следующую теорему.
Теорема.
Если
математические ожидания величин
не превосходят какого-либо конечного
предела, то вероятность, что среднее
арифметическое N
таких величин от среднего арифметического
их математических ожиданий разнится
менее чем на какую-нибудь данную величину,
с возрастанием числа N
до
,
приводится к единице.
Доказательство.
Действительно,
рассмотрим случайную величину
,
представляющую собой среднюю арифметическую
из данных случайных величин.
;
;
.
Если ограничены
математические ожидания случайных
величин и их квадратов, то ограничены
также и дисперсии, т.е. Все
,
где c-некоторое
число. Тогда
.
Применим
теперь неравенство Чебышева к
:
,
или
.
Переходя к пределу, получаем:
.
Что и требовалось доказать.
Это и есть теорема Чебышева – закон больших чисел Чебышева. Эта теорема устанавливает, что при достаточно больших n с вероятностью, близкой к единице, можно полагать, что среднее арифметическое случайных величин как угодно мало колеблется около некоторого постоянного числа–среднего их математических ожиданий.
Теоремы Пуассона и Бернулли являются частными случаями закона больших чисел Чебышева.
Действительно,
пусть в n
испытаниях, событие A
наступает с вероятностями
и не наступает с вероятностями
.
Рассмотрим случайную величину
–
число наступлений события A
в i-ом
испытании. Тогда
;
;
,
удовлетворяет условиям
теоремы Чебышева, т.е.
,
или
,
где
–среднее
арифметическое из вероятностей
наступлений событий в отдельных
испытаниях. А это и есть теорема Пуассона.
Если все
,
то и
,
и мы получим теорему Бернулли:
.
Любопытно, что Чебышев не называл доказанную теорему «законом больших чисел», хотя теорема Пуассона получается из неё как частный случай.
Зная, что теорема Бернулли является частным случаем теоремы Чебышева попробуем доказать её как прямое следствие закона больших чисел Чебышева (т.е. приведём современное доказательство теоремы Бернулли [3]). Повторим современную формулировку теоремы Бернулли.
Теорема.
Пусть
производится n
независимых опытов. Если вероятность
наступления события A
в последовательности независимых
испытаний постоянна и равна p,
то, каково бы ни было положительное
число
,
с вероятностью как угодно близкой к
единице, можно утверждать, что при
достаточно большом числе испытаний n
разность
по абсолютной величине окажется меньшей,
чем
:
,
где
–любое
малое число.
Доказательство.
Рассмотрим независимые случайные величины:
–число
появлений события A
в первом опыте;
–число
появлений события A
во втором опыте, и т.д.
Все эти величины прерывны и имеют один и тот же закон распределения, выражаемый рядом вида:
|
0 |
1 |
|
q |
p |
т.к. событие
A
наступает с вероятностью p
и не наступает с вероятностью
q
.
Вычислим
математическое ожидание каждой из
величин
:
,
дисперсию:
.
удовлетворяют условиям
теоремы Чебышева, т.е. можем применить
неравенство Чебышева:
.
Т.к.
,
,
а
,
то получаем выражение:
.
Отсюда и следует справедливость доказываемого неравенства:
,
где
–малое
число при
.
Что и требовалось доказать.
3.4 Закон больших чисел для зависимых случайных величин
А.А. Марков под этим законом понимал закон, «в силу которого с вероятностью, сколь угодно близкой к достоверности, можно утверждать, что среднее арифметическое из нескольких величин, при достаточно большом числе этих величин, будет произвольно мало отличаться от средней арифметической их математических ожиданий». При таком понимании закона больших чисел и теорема Бернулли и теорема Пуассона и теорема Чебышева будут его различными формами. Такое понимание теперь общепринято.
Чебышев
распространил закон больших чисел на
независимые случайные величины с
равномерно ограниченными дисперсиями:
.
Марков расширил условия применимости этого закона. В работе «Распространение закона больших чисел на величины, зависящие друг от друга» Марков привёл следующую теорему [1,6].
Теорема.
Если
последовательность взаимно независимых
случайных величин
такая, что
,
то
.
Доказательство.
Рассмотрим величину
,
.
Очевидно, что
и величина
ограничена
<c,
c-некоторое
число. Применим теперь неравенство
Чебышева к
:
,
или
.
Переходя к пределу получаем:
.
Что и требовалось доказать.
В этой работе
Марков доказывает, что закон больших
чисел применим к
,
если
и связь величин такова, что увеличение
любой из них влечёт за собой уменьшение
математических ожиданий остальных.
Марков делает
замечание: «к тому же заключению о
применимости закона больших чисел не
трудно прийти и в случае, когда
математическое ожидание
при всяком
уменьшается с увеличением суммы
«.
Марков
рассматривает последовательность
случайных величин, связанных в цепь.
Такие цепи зависимых величин получили
название марковских цепей. В этой работе
Марков рассматривает простую цепь
(простая цепь маркова – последовательность
случайных величин, каждая из которых
может принимать любое число исходов,
причём вероятности исходов при
-м
испытании получают определённые
значения, если известен только результат
-го
испытания), причём все
принимают значения только 0 или 1. Он
устанавливает, что эти случайные величины
также подчинены закону больших чисел.
Нужно отметить, что в работе Марков
требовал, чтобы для всех вероятностей
перехода выполнялось условие
.
Но выводы Маркова остаются справедливыми,
если вместо такого сильного ограничения
требовать только, чтобы это условие
выполнялось хотя бы для одной вероятности
при любом
.
В конце своей работы Марков делает вывод, что независимость величин не составляет необходимого условия для существования закона больших чисел.
В настоящее время используется условие, аналогичное условию Маркова, но уже не только достаточное, но и необходимое для применимости закона больших чисел к последовательности произвольных случайных величин [4].
Теорема.
Для того чтобы
для последовательности
(как
угодно зависимых) случайных величин
при любом положительном
выполнялось соотношение
,
(3.4.1)
Необходимо
и достаточно, чтобы при
.
(3.4.2)
Доказательство.
Предположим
сначала, что (2) выполнено, и покажем, что
в этом случае выполнено также (1). Обозначим
через
функцию распределения величины
.
Легко проверить следующую цепочку соотношений:
Это неравенство доказывает достаточность условия теоремы.
Покажем теперь, что условие (2) необходимо. Легко видеть, что
Таким образом,
.
Выбирая
сначала
сколь угодно малым, а затем
достаточно большим, мы можем сделать
правую часть последнего неравенства
сколь угодно малой.
Что и требовалось доказать.
3.5 Усиление закона больших чисел. Появление необходимого и достаточного условий применимости закона больших чисел
В 1923 г. А.Я. Хинчин установил закон повторного логарифма, который является своеобразным обобщением и усилением закона больших чисел[1]. Рассмотрим полученные им результаты.
Согласно
теореме Бернулли, при
для любого
В 1909 г.
Борель для
доказал, что
,
т.е. что
для
больших
с подавляющей вероятностью должна быть
мала в сравнении с
,
.
В 1917 г.
Кантелли распространил результат Бореля
на любое
.
В 1913 г.
Хаусдорф для случая Бернулли нашёл
следующую оценку: с вероятностью единица
,
где
произвольно.
В 1914 г.
Харди и Литтльвуд показали, что с
вероятностью единица
.
А в 1923 г. Хинчин доказал следующую теорему.
Теорема.
Если вероятность
появления события A
в каждом из
независимых испытаний равна
,
то число
появлений события A
в
испытаниях при
удовлетворяет соотношению:
.
Функция
в этом смысле является точной верхней
границей случайной величины
.
Представим
этот результат геометрически. Будем по
оси абсцисс откладывать
,
а по оси ординат –
.
Проведём в этой системе прямые:
и
.
Теорема Бореля-Кантелли утверждает,
что при достаточно больших
почти достоверно, что
будет заключаться между прямыми
и
.
Но эти границы оказались очень широки
и Хинчин указал более строгие границы
изменения
.
Если мы проведём кривые
и (3.5.1)
,
(3.5.1')
то по теореме
Хинчина, каково бы ни было
,
для достаточно больших
разность
почти достоверно заключена между этими
кривыми. Если же взять кривые
и (3.5.2)
,
(3.5.2')
то
почти достоверно бесконечно много раз
выйдет за пределы этих кривых. Изобразим
схематически эту ситуацию.
y
(3.5.1)
(3.5.2)
n
(3.5.2')
(3.5.1')
Хотя Марков и расширил границы применимости закона больших чисел, однако, окончательно этот вопрос ещё не был решён. Установить необходимые и достаточные условия применимости закона больших чисел удалось только благодаря применению методов и понятий теории функций.
В 1926 г. А.Н. Колмогоров установил эти условия в своей работе [5].
Определение.
Случайные
величины
последовательности
называются устойчивыми, если существует
такая числовая последовательность
,
что для любого положительного
,
.
Если существуют
все
и если можно положить
,
то говорят, что устойчивость нормальная.
Если все
равномерно ограничены, то из
,
,
следует соотношение
,
,
и, следовательно,
,
.
Таким образом,
устойчивость ограниченной последовательности
необходимо нормальна. Пусть
.
По неравенству
Чебышева
.
Следовательно,
условие Маркова:
,
,
достаточно для нормальной устойчивости.
Если
равномерно ограничены,
,
то по неравенству
,
.
Следовательно,
в этом случае условие Маркова является
также и необходимым для нормальной
устойчивости
.
Если
и величины
попарно некоррелированы, то
.
Следовательно,
в этом случае для нормальной устойчивости
средних арифметических
,
т.е. для того, чтобы для всякого
,
Достаточно
выполнения следующего условия:
(теорема Чебышева). В частности, это
условие выполнено, если все величины
равномерно ограничены.
1. Можно
обобщить эту теорему на случай слабо
коррелированных величин
.
Если предположить, что коэффициент
корреляции
(ясно, что всегда
)
между
и
удовлетворяет неравенству
и что
,
то для нормальной устойчивости средних
арифметических, т.е. для того, чтобы для
всякого
,
достаточно
выполнения условия
,
где
.
2. В случае
независимых слагаемых
можно дать также необходимое и достаточное
условие для устойчивости средних
арифметических
.
Для каждого
существует константа
(медиана
),
удовлетворяющая следующим условиям:
,
.
Положим
Теорема.
Пусть
– последовательность взаимно независимых
случайных величин. Тогда условия
=
,
,
,
необходимы
и достаточны для устойчивости величин
,
При этом постоянные
,
,
можно принять равными
,
так что в случае
(и только в этом случае) устойчивость
нормальная.
Доказательство.
Достаточность
условий теоремы устанавливается просто.
В самом деле поскольку
а согласно неравенству Чебышева
то
Для доказательства необходимости нам понадобится ряд вспомогательных предложений.
Лемма 1.
Пусть
–
независимые события,
,
и для некоторого
.
Если, кроме того, событие
таково, что для каждого
,
то тогда
.
Доказательство.
Если существует
такой номер
,
что
,
то
.
Пусть теперь
для всех
.
Тогда найдётся
такое
,
что
,
и, значит, для всех
,
,
.
Отсюда
.
Что и требовалось доказать.
Лемма 2.
Пусть
–
независимые, ограниченные,
,
,
случайные величины с нулевыми средними.
Тогда для всякого
и целого
,
где
.
Доказательство.
Пусть
,
,
,
,
.
Замечая, что на множестве
,
получаем
Из неравенства
следует, что
.
Поэтому
при любом
.
Значит
и
.
Что и требовалось доказать.
Лемма 3.
Пусть
–
независимые, ограниченные случайные
величины, причём
,
.
Тогда
.
Доказательство.
Обозначим
,
.
Если
или
,
то правая часть в доказываемом неравенстве
отрицательна и неравенство очевидно.
Пусть теперь
одновременно
,
.
Тогда достаточно показать, что
,
поскольку, очевидно,
.
Обозначим
.
Если
,
то
и, значит,
Предположим,
теперь, что
.
Обозначая
и применяя лемму 2, находим
Отсюда
На множестве
.
Поэтому
.
Ясно также,
что
.
Следовательно,
и, значит,
.
Что и требовалось доказать.
Доказательство теоремы. Необходимость.
Пусть
последовательность
,
такова, что для любого
,
.
Покажем, что тогда
,
.
Обозначим
для данного
,
,
.
Поскольку
–
медиана
,
то
.
Для достаточно
больших
,
поэтому
,
т.е.
.
Далее, если
событие
выполняется, а
нет, то выполняется событие
и, значит,
.
Но
.
Следовательно,
.
Применим
лемму 1, взяв
.
Тогда
.
События
независимы, поэтому
.
Поскольку по
условию
,
,
то из
и
получаем искомое соотношение
.
Положим теперь
Из
следует, что если
,
,
то и
,
.
Обозначим
.
Тогда
и по лемме 3
откуда
.
Для
.
Тогда из
,
и
следует, что
,
а значит в силу произвольности
.
Что и требовалось доказать.
3. Дальнейшее
обобщение теоремы Чебышева получается,
если предположить, что
каким-нибудь образом зависят от исходов
каких-либо
испытаний
,
так что после каждого определённого
исхода всех этих
испытаний
принимает определённое значение. Общая
идея вех теорем, известных под названием
закона больших чисел, состоит в том, что
если зависимость величины
от каждого отдельного испытания
,
,
очень мала при больших
,
то величины
устойчивы. Если рассматривать
как разумную меру зависимости величины
от испытания
,
то вышеупомянутая общая идея закона
больших чисел может быть конкретизирована
следующими рассуждениями.
Пусть
.
Тогда
,
,
.
Легко, далее,
подсчитать, что случайные величины
,
,
некоррелированы. В самом деле, пусть
,
тогда, зная, что
,
можно записать следующее:
и, следовательно,
,
.
Итак,
.
Таким образом,
условие
,
достаточно для нормальной устойчивости
величин
.
Таким образом, была завершена одна из центральных проблем теории вероятностей – проблема закона больших чисел.
Заключение
Мы проследили динамику развития понятия вероятности; такого понятия в теории вероятностей, как математическое ожидание, а также развитие одной из центральных теорем–закона больших чисел. Можем сделать следующие выводы.
Проследив динамику развития и формирования понятия вероятности можно отметить, что оно вырабатывалось сложными путями. Понятие вероятности облекалось в определения различных форм и содержаний.
Вначале это понятие понимали на чисто интуитивном уровне. Позднее появились различные определения понятия вероятности. Наблюдались попытки вводить новые понятия, например «собственно вероятность», но эти попытки не увенчались успехом – это понятие не сохранилось в науке. В дальнейшем возникает необходимость в более чётком и строгом отношении к основным понятиям теории вероятностей, т.е. и к определению понятия вероятности. Этого требовало развитие статистической физики; этого требовало развитие самой теории вероятностей, в которой остро стала ощущаться неудовлетворённость классического обоснования лапласовского типа; этого требовало и развитие других наук, в которых широко применялись вероятностные понятия. Становилось всё отчётливее видно, что теория вероятностей нуждается в новом логическом обосновании – в обосновании с помощью аксиоматического метода. Многие учёные предпринимают попытки аксиоматического определения понятия вероятности. Однако успешно эта задача была решена в начале XX в. Колмогоровым. Аксиоматика Колмогорова способствовала тому, что теория вероятностей окончательно укрепилась как полноправная математическая дисциплина.
Развитие понятия математического ожидания также встречало ряд трудностей. Попытки ввести понятие морального ожидания, которое бы устраняло недостатки математического ожидания – провалились. Это произошло из-за того, что понятие морального ожидания не было связано с понятием вероятности в отличие от математического ожидания. В результате понятие «математическое ожидание» заняло прочное место, по праву ему принадлежащее, в теории вероятностей.
Динамику развития закона больших чисел можно сравнить с иерархической лестницей. В основании её простейшие теоремы Бернулли и Пуассона, а на вершине – критерий применимости закона больших чисел (необходимое и достаточное условия). В отличие от понятий вероятности и математического ожидания, закон больших чисел не сталкивался с подобными противоречиями, в своей трактовке. Усовершенствование закона больших чисел происходило плавно, без резких скачков.
Список источников
1. Майстров Л.Е. Теория вероятностей. Исторический очерк. – М.: Наука,
1967. – 320 с.
Майстров Л.Е. Развитие понятия вероятности. – М.: Наука, 1980. – 270 с.
Вентцель Е.С. Теория вероятностей. – М.: Наука. Главная редакция физ. – мат. литературы, 1969. – 576 с.
Гнеденко Б.В. Курс теории вероятностей. – М.: Наука. Главная редакция физ. – мат. литературы, 1969. – 400 с.
Колмогоров А.Н. Основные понятия теории вероятностей. – М.: Наука. Главная редакция физ. – мат. литературы, 1974. – 120 с.
История отечественной математики. В 4 т.–К.: Навукова думка, 1967. – Т.2.
Гливенко В.И. Курс теории вероятностей. – М.: Гостехиздат, 1939.
Чебышев П.Л. Полное собрание сочинений – М.–Л.: 1948.–Т.3.
История естествознания в России. – М.: 1960.–Т.2.
Гнеденко Б.В., Колмогоров А.Н. Теория вероятностей. – В кн.: «Математика в СССР за 30 лет». – М. – Л.: 1948.