Сходимость случайных величин по вероятности. Смотреть что такое "сходимость по вероятности" в других словарях

теория вероятность сходимость теорема

Предельные теоремы теории вероятностей

Сходимость последовательностей случайных величин и вероятностных распределений

1.1.1.1 Сходимость случайных величин

Пусть имеется вероятностное пространство с заданной в нем системой случайных величин и случайной величиной. В теории вероятностей рассматривают следующие виды сходимости последовательностей случайных величин.

Последовательность случайных величин сходится по вероятности к случайной величине, если для любого

Этот вид сходимости обозначают так: , или.

Последовательность случайных величин сходится к случайной величине с вероятностью 1 (или почти наверное), если

то есть если при при всех за исключением, быть может, из некоторого множества нулевой вероятности (). Сходимость с вероятностью 1 будем обозначать так: , или. Сходимость с вероятностью 1 есть сходимость почти всюду относительно вероятностной меры.

Отметим, что сходимость есть событие из -алгебры, которое можно представить в виде

Сформулируем некоторые теоремы, устанавливающие признаки сходимости почти наверное.

Теорема 1.1. тогда и только тогда, когда для любого

или, что то же самое,

Теорема 1.2. Если ряд

сходится для любого, то

Можно показать, что сходимость влечет за собой сходимость (это следует из (1.1)).Обратное утверждение, вообще говоря, неверно, однако справедлива следующая теорема.

Теорема 1.3. Если, то существует подпоследовательность, такая, что при.

Связь сходимости со сходимостью устанавливают следующие теоремы.

Теорема 1.4. (Леви о монотонной сходимости) Пусть есть монотонная последовательность неотрицательных случайных величин:, имеющих конечные математические ожидания, ограниченные одной и той же величиной: . Тогда последовательность сходится с вероятностью 1 к некоторой случайной величине с, причем

Теорема 1.5. (Лебега о мажорируемой сходимости) Пусть и величины, где неотрицательная случайная величина, имеющая конечное математическое ожидание. Тогда случайная величина также имеет конечное математическое ожидание и

Последовательность случайных величин сходится к случайной величине в среднем порядка, если

Такую сходимость будем обозначать. При говорят о сходимости в среднеквадратичном и обозначают. В силу обобщенного неравенства Чебышева из сходимости следует сходимость. Из сходимости по вероятности, а тем более из сходимости почти наверное, сходимость порядка не следует. Таким образом, сходимость по вероятности является самой слабой сходимостью из трех, нами рассмотренных.

Говорят, что последовательность является фундаментальной по вероятности (почти наверное, в среднем порядка), если для любого при

Теорема 1.6. (Критерий сходимости Коши) Для того, чтобы в каком либо смысле (по вероятности, почти наверное, в среднем порядка) необходимо и достаточно, чтобы последовательность была фундаментальной в соответствующем смысле.

1.1.1.2 Слабая сходимость распределений

Говорят, что распределение вероятностей случайных величин слабо сходится к распределению случайной величины, если для любой непрерывной ограниченной функции

Слабую сходимость будем обозначать так: . Отметим, что из сходимости следует сходимость. Обратное неверно, однако для слабая сходимость влечет сходимость по вероятности.

Условие (1.2) можно переписать, используя интеграл Лебега по мере, следующим образом

Для случайных величин, имеющих плотность вероятностей, слабая сходимость означает сходимость при любой ограниченной функции

Если речь идет о функциях распределения и соответствующих и, то слабая сходимость означает, что

В теории вероятностей в отличие от математического анализа рассматриваются несколько различных видов сходимости последовательности функций (случайных величин) и их распределений. Это связано с тем, что в теории вероятностей принято пренебрегать маловероятными событиями и делать это можно по разному. Ранее уже были определены поточечная сходимость случайных величин, сходимость почти наверное и сходимость вероятностных мер по вариации. Дадим еще два важных определения сходимости случайных величин – сходимость по вероятности исходимость в среднеквадратическом , и одно определение сходимости распределений –слабая сходимость .

Сходимость по вероятности

сходится к случайной величине

по вероятности, если

Сходимость по вероятности обозначается так

Сходимость в среднеквадратическом

Последовательность случайных величин

сходится к случайной величине

в среднеквадратическом (в L 2) , если

Сходимость в среднеквадратическом обозначается так

Слабая сходимость распределений

Последовательность случайных величин

сходится к случайной величине

слабо (по распределению), если

во всех точках непрерывности функции

Слабая сходимость обозначается так

Основным отличием слабой сходимости от остальных видов сходимости является то, что от случайных величин не требуется, чтобы они были определены на одном вероятностном пространстве, так как условия сходимости формулируются с использованием только их функций распределения.

Взаимосвязь различных видов сходимости

Взаимосвязь различных видов сходимости представлена на следующей диаграмме.

Заметим, что ни одну из стрелок на данной диаграмме нельзя, вообще говоря, повернуть назад, т.е. любые два вида сходимости неэквивалентны. Практическое значение имеют, в основном, слабая сходимость и сходимость в среднеквадратическом потому что они позволяют производить приближенные вычисления вероятностей и математических ожиданий и заменять одни математические модели другими. Остальные виды сходимости используются в основном при доказательстве слабой сходимости или исследовании качественных свойств модели. Поэтому более подробно исследуем взаимосвязи этих двух видов сходимости в остальными.

Покажем, вначале, что из сходимости по вероятности следует слабая сходимость.

Теорема (P->W).

.

Доказательство .

Пусть x – точка непрерывности функции

.

Таким образом

При малых и больших n левая и правая часть неравенства отличаются сколь угодно мало от
, что доказывает теорему.

Доказательство завершено.

Обратная теорема верна при дополнительном условии.

Теорема (W->P).

Доказательство .

Доказательство завершено.

Покажем, что из сходимости в среднеквадратическом следует сходимость по вероятности.

Теорема (L 2 ->P).

Доказательство .

Используем неравенство Маркова

.

Доказательство завершено.

Следующая теорема дает пример применения предыдущей теоремы для доказательства сходимости относительной частоты события к его вероятности в схеме Бернулли.

Закон больших чисел в форме Бернулли

Пусть - число успехов вn испытаниях по схеме Бернулли с вероятностью успехаp. Тогда

Доказательство.

Доказательство завершено.

Таким образом, для доказательства слабой сходимости достаточно доказать сходимость по вероятности или в среднеквадратическом.

При доказательстве теорем о слабой сходимости используется также следующая важная теорема.

Теорема ({Хелли-Брея).

Непрерывная ограниченная функция. Тогда

.

Доказательство.

Любую непрерывную на всей прямой функцию
можно сколь угодно точно приблизить линейной комбинацией ступенчатых функций на любом интервале [-A,A) , A>0.

Выберем A так, чтобы точки –A, A и точки разбиения

были бы точками непрерывности функции распределения

Тогда интегралы

одинаковым образом выражаются через значения функций распределения
и
и могут быть сделаны сколь угодно близкими выбором достаточно большого n. Следовательно, близки и интегралы

Так как функция
ограничена, то выбором достаточно большого A можно сделать сколь угодно малыми интегралы

Теорема доказана.

Верна и обратная теорема.

Теорема (Обратная теорема Хелли-Брея)

Пусть для любой

непрерывной ограниченной функции

Доказательство.

Идея доказательства аналогична идее доказательства предыдущей теоремы и основана на возможности приблизить ступенчатую функцию
непрерывной функцией
. Действительно, опять выбирая подходящие точки непрерывности и полагая

видим, что близкие между собой интегралы

можно сделать сколь угодно близкими, соответственно. к интегралам

Теорема доказана.

,

то последние две теоремы дают необходимые и достаточные условия слабой сходимости в терминах сходимости математических ожиданий от непрерывных ограниченных функций.

Теорема (f(W)).

Непрерывная функция. Тогда

.

Доказательство.

Так как подстановка непрерывной функции в ограниченную непрерывную функцию приводит снова к непрерывной ограниченной функции, то доказательство этой теоремы напрямую следует из теорем Хелли-Брея.

Теорема доказана.

Нетрудно показать, что верна также следующая теорема

Теорема (f(P)).

Непрерывная функция. Тогда

.

Доказательство этой и следующих двух теорем проведите самостоятельно в качестве упражнений.

Теорема (W+P->W).

Теорема (W*P->W).

Доказывает для различных условий сходимость по вероятности средних значений результатов большого числа наблюдений к некоторым постоянным величинам.  

Тем самым, последовательность /t(/ m)> пг 1, является фундаментальной по вероятности, и, значит, согласно критерию Коши сходимости по вероятности , существует случайная величина , обозначаемая / (/), такая, что  

Неравенство Чебышева. Сходимость по вероятности и ее свойства. Закон больших чисел в форме Чебышева.  

Сходимость по распределению и ее свойства. Связь со сходимостью по вероятности. Теорема непрерывности. Характеристические функции.  

Замечание. Сходимость по вероятности - u(Qv) у (Р0) когда N -> оо не вытекает из  

Для того чтобы увидеть, почему это так, предположим, что вы сопоставляете сталелитейные компании, используя мультипликаторы цена / прибыль, и одна из фирм группы недавно декларировала очень низкую прибыль из-за забастовки, возникшей в прошлом году. Если вы не нормализуете прибыль, фирма будет выглядеть переоцененной относительно сектора, поскольку, по всей вероятности, рыночная цена будет основываться на ожидании, что трудности с рабочей силой , пусть даже и дорогостоящие, остались в прошлом. Если же для вынесения суждений по поводу сравнительной оценки вы используете такой мультипликатор, как цена / объем продаж и сопоставляете его со среднеотраслевым значением, то вы предполагаете, что раньше или позже будет наблюдаться сходимость маржи прибыли фирмы со среднеотраслевыми нормами.  

Довольно часто гипотеза конвергенции неоклассической модели роста тестируется на примере регионов одной страны. Несмотря на то что возможно наличие расхождений между регионами по уровню развития технологий, предпочтений, и т.д., данные различия будут существенно менее значимыми, чем различия между странами. Поэтому вероятность наличия абсолютной конвергенции между регионами существенно выше, нежели между странами. Вместе с тем при использовании регионов для проверки гипотезы абсолютной сходимости нарушается важная предпосылка неоклассической модели роста - закрытость экономики . Очевидно, что культурные, лингвистические, институциональные и формальные барьеры для перемещения факторов оказываются менее значимыми для группы регионов одной страны. Однако показано, что даже в случае мобильности факторов и, таким образом, нарушения предпосылок исходной модели динамические свойства закрытой экономики и экономики со свободным  

Поток с ограниченным последействием поток Пальма поток Эрланга k-то порядка закон распределения Эрланга k-то порядка с параметром Я нормированный поток Эрланга k-то порядка центральная предельная теорема для одинаково распределенных слагаемых случайных величин сходимость по вероятности мера последействия нормальное распределение нормальная кривая кривая Гаусса Гаусс К.Ф. Чебышёв П.Л.  

Здесь plim - предел по вероятности стрелка в последнем условии обозначает сходимость по распределению.) Если эти условия выполнены, то при п - > со, как и в ситуации D,  

Из леммы Фату следует, что этот процесс является (неотрицательным) супермартингалом, и, значит, по теореме Дуба о сходимости (см. ЗЬ, гл. III), с вероятностью единица существует и конечен lim Zt(- Zoo)  

Особый интерес представляет одно из них, а именно - свойство аппроксимации плотности. В работе Паже (Pages, 1993) показано, что алгоритм СОК, завершающийся полным отсутствием соседей у нейрона-победителя в конце обучения, сходится, что соответствует сходимости классического метода гиногопараметри-ческого квантования или, иными словами, соревновательного обучения. Автор этой работы показывает, что после квантования нейроны представляют собой неплохой дискретный каркас для реконструкции начальной плотности при условии, что каждый нейрон взвешивается вероятностью, оцениваемой по частоте его области Вороного. При условии адекватного взвешивания нейронов полученный результат показывает, что начальные данные могут быть восстановлены, причем сам результат является точным, если число нейронов стремится к бесконечности.  

Это сходимость последовательности случайных величин Х 1, Х 2, . . ., Х n, . . ., заданных на нек-ром вероятностном пространствек случайной величине X, определяемая следующим образом:

если для любого

5.4 Закон больших числе в форме Чебышёва

Пусть последовательность Х 1, Х 2, . . ., Х n, . . случайных величин удовлетворяет закону больших чисел, если для любого

Иными словами, выполнение закона больших чисел отражает предельную устойчивость средних арифметических случайных величин: при большом числе испытаний они практически перестают быть случайными и совпадают со ссвоими средними значениями.

Последовательность Х 1, Х 2, . . ., Х n, . . удовлетворяет закону больших чисел тогда и только тогда, когда среднее арифметическое случайных величин X 1 -m 1 Х 2 -m 2 , . . ., Х n -m n сходятся по вероятности к нулю при

5.5 Закон больших чисел в форме Бернулли (схема Бернулли)

Пусть производится последовательность независимых испытаний, в результате каждого из которых может наступить или не наступить событие А, причем вероятность наступления этого события одна и та же при каждом испытании и равна р. Если событие А фактически произошло m раз в n испытаниях, то отношение m/n называют, как мы знаем, частотой появления события А. Частота есть случайная величина, причем вероятность того, что частота принимает значение m/n, выражается по формуле Бернулли

Закон больших чисел в форме Бернулли состоит в следующем: с вероятностью, сколь угодно близкой к единице, можно утверждать, что при достаточно большом числе опытов частота появления события А как угодно мало отличается от его вероятности, т. е. иными словами, при неограниченном увеличении числа n опытов частота m/n события А сходится по вероятности к Р(А).

5.6 Центральная предельная теорема (формулировка, пример применения для решения задач)

Закон распределения суммы независимых случайных величин Xi (i =1,2,…, n) приближается к нормальному закону распределения при неограниченном увеличении n, если выполняются следующие условия:

1) все величины имеют конечные математические ожидания и дисперсии:

2) ни одна из величин по значению резко не отличается от остальных:

5.7 Центральная предельная теорема в случае схемы Бернулли (теорема Муавра-Лапласа).

Если вероятность p наступления события A в каждом испытании

постоянна и отлична от нуля и единицы, а число независимых испытаний

достаточно велико, то вероятность можно вычислять по приближённой

(тем точнее, чем больше n)

Глава 1. Случайные события

1. Случайные события: элементарные, достоверные, невозможные, несовместные, совместные, равновозможные. Попарно-несовместные, образующие полную группу. Пространство элементарных событий. Случай.

2. Сумма, произведение, разность, отрицание. Теоретико-множественная трактовка. Диаграммы Эйлера-Венна. Алгебра событий. Понятие сигма-алгебры.

3. Частота события. Свойство статистической устойчивости. Статистическое определение вероятности.

4. Классическое определение вероятности события. Непосредственное вычисление вероятностей.

5. Комбинаторика: правило умножения и сложения. Основные схемы: с возвращением, без возвращения. Понятия размещения, сочетания, перестановки.

6. Геометрическое определение вероятности.

7. Аксиоматическое определение вероятности. Свойства вероятностей.

8. Вероятностное пространство.

9. Условная вероятность.

10. Вероятность произведения событий.

11. Независимость событий.

12. Вероятность суммы событий.

13. Формула полной вероятности.

14. Формула Байеса.

15. Понятие простой однородной цепи Маркова.

16. Независимые испытания. Схема Бернулли. Формула Бернулли. Многоугольник распределения вероятностей.

17. Предельные теоремы в схеме Бернулли: формула Пуассона, локальная и интегральная теоремы Муавра-Лапласа.

18. Схема Бернулли. Наивероятнейшее число.

В алгоритмы адаптации входит градиент реализации или его оценки, которые зависят от случайного процесса . Следовательно, векторы также являются случайными и для них непосредственно неприменимо обычное понятие сходимости, хорошо знакомое нам из курсов математического анализа и использованное в § 2.15. Поэтому необходимо привлечь новые понятия сходимости, понимаемые не в обычном, а в вероятностном смысле.

Различают три основных вида такой сходимости: сходимость по вероятности, сходимость в среднеквадратическом и сходимость почти наверное.

Случайный вектор сходится по вероятности к при , если вероятность того, что при любом норма превышает , стремится к нулю, или, кратко, если

. (3.29)

Сходимость по вероятности, конечно, не требует, чтобы каждая последовательность случайных векторов сходилась к в обычном смысле. Более того, ни для какого вектора мы не можем утверждать, что имеет место обычная сходимость.

Случайный вектор сходится к в среднеквадратическом при , если математическое ожидание квадрата нормы стремится к нулю, т. е. если

. (3.30)

Сходимость в среднеквадратическом влечет за собой сходимость по вероятности, но также не предполагает для каждого случайного вектора обычной сходимости. Сходимость в среднеквадратическом связана с исследованием момента второго порядка, который вычисляется достаточно просто, и, кроме того, она имеет ясный энергетический смысл. Эти обстоятельства объясняют сравнительно широкое распространение в физике именно такого понятия сходимости. Но сам факт, что в обоих типах сходимости вероятность того, что данный случайный вектор сходится к в обычном смысле, равна нулю, вызывает иногда неудовлетворенность. Ведь мы всегда оперируем с градиентом реализации и соответствующим ему случайным вектором , и желательно, чтобы предел существовал именно для той последовательности случайного вектора , которую мы сейчас наблюдаем, а не для семейства последовательности случайных векторов , соответствующих семейству реализаций , которые мы, возможно, никогда и не будем наблюдать.

Это желание может осуществиться, если привлечь понятие сходимости почти наверное, или, что то же самое, сходимости с вероятностью единица.

Так как - случайный вектор, то и сходимость последовательности к в обычном смысле можно рассматривать как случайное событие. Последовательность случайных векторов сходится при к почти наверное, или с вероятностью единица, если вероятность обычной сходимости к равна единице, т. е. если

(3.31)

Отсюда следует, что, пренебрегая совокупностью реализаций случайных векторов, имеющих общую вероятность, равную нулю, мы имеем обычную сходимость. Конечно, скорость сходимости при этом зависит от реализации и имеет случайный характер.

Сходимость алгоритмов адаптации эквивалентна устойчивости систем, описываемых стохастическими разностными или дифференциальными уравнениями. Устойчивость этих систем нужно понимать в вероятностном смысле: по вероятности, в среднеквадратическом и почти наверное (или с вероятностью единица). Вероятностная устойчивость - сравнительно новый раздел теории устойчивости, который сейчас интенсивно разрабатывается.