Схожість випадкових величин за ймовірністю. Дивитись що таке "імовірність" в інших словниках

теорія ймовірність збіжність теорема

Граничні теореми теорії ймовірностей

Східність послідовностей випадкових величин та ймовірнісних розподілів

1.1.1.1 Збіжність випадкових величин

Нехай є ймовірнісний простіріз заданою в ньому системою випадкових величин та випадковою величиною. Теоретично ймовірностей розглядають наступні видизбіжності послідовностей випадкових величин.

Послідовність випадкових величин сходиться ймовірно до випадкової величини, якщо для будь-якого

Цей вид збіжності позначають так: , або.

Послідовність випадкових величин сходить до випадкової величини з ймовірністю 1 (або майже напевно), якщо

тобто якщо при всіх за винятком, можливо, з деякої множини нульової ймовірності (). Збіжність з ймовірністю 1 позначатимемо так: , або. Збіжність з ймовірністю 1 є збіжність майже всюди щодо ймовірнісної міри.

Зазначимо, що збіжність є подія з алгебри, яку можна представити у вигляді

Сформулюємо деякі теореми, які визначають ознаки збіжності майже напевно.

Теорема 1.1. тоді і лише тоді, коли для будь-кого

або, що те саме,

Теорема 1.2. Якщо ряд

сходиться для будь-кого, то

Можна показати, що збіжність спричиняє збіжність (це випливає з (1.1)). Зворотне твердження, взагалі кажучи, неправильне, проте справедлива наступна теорема.

Теорема 1.3. Якщо, то існує підпослідовність, така, що при.

Зв'язок збіжності зі збіжністю встановлюють такі теореми.

Теорема 1.4. (Леви про монотонну збіжність) Нехай є монотонна послідовністьнеотрицательных випадкових величин:, мають кінцеві математичні очікування, обмежені однієї й тієї величиною: . Тоді послідовність сходиться з ймовірністю 1 до деякої випадкової величини, причому

Теорема 1.5. (Лебега про збіжність, що мажорується) Нехай і величини, де невід'ємна випадкова величина, що має кінцеве математичне очікування. Тоді випадкова величина також має кінцеве математичне очікування та

Послідовність випадкових величин сходиться до випадкової величини в середньому порядку, якщо

Таку збіжність позначатимемо. При говорять про збіжність у середньоквадратичному та позначають. Через узагальнену нерівність Чебишева зі збіжності випливає збіжність. Зі збіжності за ймовірністю, а тим більше зі збіжності майже напевно, збіжність порядку не випливає. Таким чином, збіжність, ймовірно, є найслабшою збіжністю з трьох, нами розглянутих.

Кажуть, що послідовність є фундаментальною за ймовірністю (майже напевно, в середньому порядку), якщо для будь-якого при

Теорема 1.6. (Критерій збіжності Коші) Для того, щоб у якомусь сенсі (імовірно, майже напевно, в середньому порядку) необхідно і достатньо, щоб послідовність була фундаментальною у відповідному сенсі.

1.1.1.2 Слабка збіжність розподілів

Кажуть, що розподіл ймовірностей випадкових величин слабо сходиться до розподілу випадкової величини, якщо для будь-якої безперервної обмеженої функції

Слабку збіжність позначатимемо так: . Зазначимо, що зі збіжності випливає збіжність. Назад неправильне, але для слабка збіжність тягне збіжність за ймовірністю.

Умову (1.2) можна переписати, використовуючи інтеграл Лебега у міру наступним чином

Для випадкових величин, що мають щільність ймовірностей, слабка збіжність означає збіжність за будь-якої обмеженої функції

Якщо мова йдепро функції розподілу і відповідних і, то слабка збіжність означає, що

Теоретично ймовірностей на відміну математичного аналізу розглядаються кілька різних видівзбіжності послідовності функцій (випадкових величин) та його розподілів. Це з тим, що у теорії ймовірностей прийнято нехтувати малоймовірними подіями і це можна по-різному. Раніше вже було визначено крапкову збіжність випадкових величин, збіжність майже напевно та збіжність ймовірнісних заходів щодо варіації. Дамо ще два важливих визначеннязбіжності випадкових величин - збіжність за ймовірністюі збіжність у середньоквадратичному, та одне визначення збіжності розподілів – слабка збіжність.

Збіжність за ймовірністю

сходиться до випадкової величини

ймовірно, якщо

Східність ймовірно позначається так

Збіжність у середньоквадратичному

Послідовність випадкових величин

сходиться до випадкової величини

в середньоквадратичному (L 2) , якщо

Збіжність у середньоквадратичному позначається так

Слабка збіжність розподілів

Послідовність випадкових величин

сходиться до випадкової величини

слабо (за розподілом), якщо

у всіх точках безперервності функції

Слабка збіжність позначається так

Основною відмінністю слабкої збіжності від інших видів збіжності є те, що від випадкових величин не потрібно, щоб вони були визначені на одному ймовірнісному просторі, оскільки умови збіжності формулюються з використанням їх функцій розподілу.

Взаємозв'язок різних видів збіжності

Взаємозв'язок різних видів збіжності представлений на наступній діаграмі.

Зауважимо, що жодну зі стрілок у цій діаграмі не можна, взагалі кажучи, повернути назад, тобто. будь-які два види збіжності нееквівалентні. Практичне значення мають, в основному, слабка збіжність і збіжність в середньоквадратичному, тому що вони дозволяють проводити наближені обчислення ймовірностей і математичних очікуваньі заміняти одні математичні моделііншими. Інші види збіжності використовуються в основному при доказі слабкої збіжності або дослідженні якісних властивостей моделі. Тому докладніше досліджуємо взаємозв'язку цих двох видів збіжності за іншими.

Покажемо, спочатку, що з збіжності ймовірно випливає слабка збіжність.

Теорема (P-> W).

.

Доведення.

Нехай x – точка безперервності функції

.

Таким чином

При малих і великих n ліва та права частинанерівності відрізняються як завгодно мало від
що доводить теорему.

Доказ завершено.

Зворотна теорема правильна за додаткової умови.

Теорема (W-> P).

Доведення.

Доказ завершено.

Покажемо, що зі збіжності в середньоквадратичному випливає збіжність за ймовірністю.

Теорема (L 2 -> P).

Доведення.

Використовуємо нерівність Маркова

.

Доказ завершено.

Наступна теорема дає приклад застосування попередньої теореми для доказу збіжності відносної частоти події для його ймовірності у схемі Бернуллі.

Закон великих чисел у формі Бернуллі

Нехай - число успіхів у nвипробуваннях за схемою Бернуллі з ймовірністю успіху p.Тоді

Доведення.

Доказ завершено.

Таким чином, для доказу слабкої збіжності достатньо довести збіжність за ймовірністю або середньоквадратичною.

При доказі теорем про слабку збіжність використовується наступна важлива теорема.

Теорема ((Хеллі-Брея).

Безперервна обмежена функція. Тоді

.

Доведення.

Будь-яку безперервну на всій прямій функції
можна як завгодно точно наблизити лінійною комбінацією ступінчастих функцій на будь-якому інтервалі [-A,A) , A>0.

Виберемо A так, щоб точки –A, A та точки розбиття

були б точками безперервності функції розподілу

Тоді інтеграли

однаковим чином виражаються через значення функцій розподілу
і
і можуть бути зроблені як завгодно близькими вибором досить великого n. Отже, близькі та інтеграли

Оскільки функція
обмежена, то вибором досить великого A можна зробити як завгодно малими інтеграли

Теорему доведено.

Вірна та зворотна теорема.

Теорема (Зворотна теорема Хеллі-Брея)

Нехай для будь-якої

безперервної обмеженої функції

Доведення.

Ідея доказу аналогічна ідеї доказу попередньої теореми і заснована на можливості наблизити ступінчасту функцію
безперервною функцією
. Справді, знову вибираючи відповідні точки безперервності і вважаючи

бачимо, що близькі між собою інтеграли

можна зробити як завгодно близькими, відповідно. до інтегралів

Теорему доведено.

,

то останні дві теореми дають необхідні та достатні умовислабкої збіжності у термінах збіжності математичних очікувань від безперервних обмежених функцій.

Теорема (f(W)).

Безперервна функція. Тоді

.

Доведення.

Тому що підстановка безперервної функціїв обмежену безперервну функцію призводить знову до безперервної обмеженої функції, то доказ цієї теореми безпосередньо випливає з теорем Хеллі-Брея.

Теорему доведено.

Неважко показати, що вірна також така теорема

Теорема (f(P)).

Безперервна функція. Тоді

.

Доказ цієї та наступних двох теорем проведіть самостійно як вправи.

Теорема (W+P->W).

Теорема (W*P->W).

Доводить для різних умовзбіжність за ймовірністю середніх значень результатів великої кількості спостережень до деяких незмінних величин.

Тим самим, послідовність /t(/ m)> пг 1, є фундаментальною за ймовірністю, і, значить, згідно з критерієм Коші збіжності за ймовірністю існує випадкова величина, що позначається / (/), така, що

Нерівність Чебишева. Збіжність за ймовірністю та її властивості. Закон великих чиселу формі Чебишева.

Схожість з розподілу та її властивості. Зв'язок зі збіжністю ймовірно. Теорема безперервності. Характеристичні функції.

Зауваження. Східність за ймовірністю - u(Qv) у (Р0) коли N -> оо не випливає з

Для того, щоб побачити, чому це так, припустимо, що ви зіставляєте сталеливарні компанії, використовуючи мультиплікатори ціна / прибуток, і одна з фірм групи нещодавно декларувала дуже низький прибуток через страйк, який виник минулого року. Якщо ви не нормалізуєте прибуток, фірма буде виглядати переоціненою щодо сектора, оскільки, ймовірно, ринкова ціна буде ґрунтуватися на очікуванні, що труднощі з робочою силою, нехай навіть дорогі, залишилися в минулому. Якщо ж для винесення суджень з приводу порівняльної оцінки ви використовуєте такий мультиплікатор, як ціна/обсяг продажів та зіставляєте його із середньогалузевим значенням, то ви припускаєте, що раніше чи пізніше спостерігатиметься збіжність маржі прибутку фірми із середньогалузевими нормами.

Досить часто гіпотеза конвергенції неокласичної моделі зростання тестується з прикладу регіонів однієї країни. Незважаючи на те, що можлива наявність розбіжностей між регіонами за рівнем розвитку технологій, переваг, і т.д., дані відмінності будуть значно менш значущими, ніж відмінності між країнами. Тому ймовірність наявності абсолютної конвергенції між регіонами суттєво вища, ніж між країнами. Водночас при використанні регіонів для перевірки гіпотези абсолютної збіжності порушується важлива передумова неокласичної моделі зростання – закритість економіки. Очевидно, що культурні, лінгвістичні, інституційні та формальні бар'єри для переміщення факторів виявляються менш значущими для групи регіонів однієї країни. Однак показано, що навіть у разі мобільності факторів і, таким чином, порушення передумов вихідної моделі, динамічні властивості закритої економіки та економіки з вільним.

Потік з обмеженим післядіям потік Пальма потік Ерланга k-то порядку закон розподілу Ерланга k-то порядку з параметром Я нормований потік Ерланга k-то порядку центральна гранична теорема для однаково розподілених доданків випадкових величин збіжність за ймовірністю міра післядії нормальний розподіл К.Ф. Чебишев П.Л.

Тут plim - межа за ймовірністю стрілка в останній умові позначає збіжність за розподілом.) Якщо ці умови виконані, то при п -> зі, як і в ситуації D

З леми Фату випливає, що цей процес є (невід'ємним) супермартингалом, і, отже, за теоремою Дуба про збіжність (див. ЗЬ, гл. III), з ймовірністю одиниця існує і кінцевий lim Zt(- Zoo)

Особливий інтереспредставляє одне з них, а саме – властивість апроксимації щільності. У роботі Паже (Pages, 1993) показано, що алгоритм СОК, що завершується повною відсутністю сусідів у нейрона-переможця наприкінці навчання, сходиться, що відповідає збіжності класичного методугіногопараметри-чеського квантування або, іншими словами, змагального навчання. Автор цієї роботи показує, що після квантування нейрони є непоганим дискретним каркасом для реконструкції початкової щільності за умови, що кожен нейрон зважується ймовірністю, що оцінюється за частотою його області Вороного. За умови адекватного зважування нейронів, отриманий результат показує, що початкові дані можуть бути відновлені, причому сам результат є точним, якщо число нейронів прагне нескінченності.

Це збіжність послідовності випадкових величин Х1, Х2,. . ., Х n, . . ., заданих на деякому імовірнісному просторі до випадкової величини X, яка визначається наступним чином:

якщо для будь-кого

5.4 Закон великих числа у формі Чебишева

Нехай послідовність Х1, Х2, . . ., Х n, . . випадкових величин задовольняє закон великих чисел, якщо для будь-якого

Інакше кажучи, виконання закону великих чисел відбиває граничну стійкість середніх арифметичних випадкових величин: при великому числівипробувань вони практично перестають бути випадковими і збігаються зі своїми середніми значеннями.

Послідовність Х1, Х2, . . ., Х n, . . задовольняє закону великих чисел тоді і лише тоді, коли середнє арифметичне випадкових величин X 1 -m 1 Х 2 -m 2 . . ., Х n -m n сходяться ймовірно до нуля при

5.5 Закон великих чисел у формі Бернуллі (схема Бернуллі)

Нехай проводиться послідовність незалежних випробувань, в результаті кожного з яких може наступити або не наступити подія А, причому ймовірність настання цієї події одна і та ж при кожному випробуванні дорівнює р. Якщо подія А фактично відбулася m разів у n випробуваннях, то відношення m/n називають, як ми знаємо, частотою появи події А. Частота є випадкова величина, причому ймовірність того, що частота набуває значення m/n, виражається за формулою Бернуллі

Закон великих чисел у формі Бернуллі полягає в наступному: з ймовірністю, як завгодно близькою до одиниці, можна стверджувати, що при досить великій кількості дослідів частота появи події А як завгодно мало відрізняється від його ймовірності, тобто. інакше кажучи, при необмеженому збільшенні числа n дослідів частота m/n події А сходиться ймовірно до Р(А).

5.6 Центральна гранична теорема (формулювання, приклад застосування для вирішення задач)

Закон розподілу суми незалежних випадкових величин Xi (i = 1,2, ..., n) наближається до нормальному законурозподілу при необмеженому збільшенні n, якщо виконуються такі умови:

1) всі величини мають кінцеві математичні очікування та дисперсії:

2) жодна з величин за значенням різко не відрізняється від інших:

5.7 Центральна гранична теорема у разі схеми Бернуллі (теорема Муавра-Лапласа).

Якщо ймовірність p настання події A у кожному випробуванні

постійна і відмінна від нуля та одиниці, а кількість незалежних випробувань

досить велике, то ймовірність можна обчислювати за наближеною

(Тим точніше, чим більше n)

Розділ 1. Випадкові події

1. Випадкові події: елементарні, достовірні, неможливі, несумісні, спільні, рівноможливі. Попарно-несумісні, що утворюють повну групу. Простір елементарних подій. Випадок.

2. Сума, твір, різницю, заперечення. Теоретико-множинне трактування. Діаграми Ейлер-Венна. Алгебра подій. Концепція сигма-алгебри.

3. Частота події. Властивість статистичної стійкості. Статистичне визначення імовірності.

4. Класичне визначення ймовірності події. Безпосереднє обчислення ймовірностей.

5. Комбінаторика: правило множення та додавання. Основні схеми: із поверненням, без повернення. Поняття розміщення, поєднання, перестановки.

6. Геометричне визначення ймовірності.

7. Аксіоматичне визначення ймовірності. Властивості можливостей.

8. Імовірнісний простір.

9. Умовна ймовірність.

10. Імовірність добутку подій.

11. Незалежність подій.

12. Імовірність суми подій.

13. Формула повної ймовірності.

14. Формула Байєса.

15. Поняття простий однорідного ланцюгаМаркова.

16. Незалежні випробування. Схема Бернуллі. Формула Бернуллі. Багатокутник розподілу ймовірностей.

17. Граничні теореми у схемі Бернуллі: формула Пуассона, локальна та інтегральна теореми Муавра-Лапласа.

18. Схема Бернуллі. Найімовірніше число.

До алгоритмів адаптації входить градієнт реалізації або його оцінки, які залежать від випадкового процесу. Отже, вектори також є випадковими і для них безпосередньо не застосовується звичайне поняття збіжності, добре знайоме нам з курсів математичного аналізута використане в § 2.15. Тому необхідно залучити нові поняття збіжності, які розуміються над звичайному, а ймовірнісному сенсі.

Розрізняють три основні види такої збіжності: збіжність за ймовірністю, збіжність у середньоквадратичному та збіжність майже напевно.

Випадковий вектор сходиться по ймовірності до при , якщо ймовірність того, що за будь-якого норма перевищує , прагне нуля, або, коротко, якщо

. (3.29)

Збіжність по ймовірності, звичайно, не вимагає, щоб кожна послідовність випадкових векторівсходилася до звичайного сенсу. Більше того, ні для якого вектора ми не можемо стверджувати, що є звичайна збіжність.

Випадковий вектор сходить до середньоквадратичного при , якщо математичне очікування квадрата норми прагне до нуля, тобто якщо

. (3.30)

Збіжність в среднеквадратичном тягне у себе збіжність по ймовірності, але й передбачає кожного випадкового вектора звичайної збіжності. Схожість у середньоквадратичному пов'язана з дослідженням моменту другого порядку, який обчислюється досить просто, і, крім того, вона має ясний енергетичний зміст. Ці обставини пояснюють порівняно стала вельми поширеною у фізиці саме такого поняття збіжності. Але сам факт, що в обох типах збіжності ймовірність того, що даний випадковий вектор сходить до звичайного сенсу, дорівнює нулю, викликає іноді незадоволеність. Адже ми завжди оперуємо із градієнтом реалізації і відповідним йому випадковим вектором , і бажано, щоб межа існувала саме для тієї послідовності випадкового вектора , яку ми зараз спостерігаємо, а не для сімейства послідовності випадкових векторів , що відповідають сімейству реалізацій , які ми, можливо, ніколи і не спостерігатимемо.

Це бажання може здійснитися, якщо залучити поняття збіжності майже напевно, або, що те саме, збіжності з ймовірністю одиниця.

Так як - випадковий вектор, то і збіжність послідовності у звичайному сенсі можна розглядати як випадкова подія. Послідовність випадкових векторів сходиться при майже напевно, або з ймовірністю одиниця, якщо ймовірність звичайної збіжності до дорівнює одиниці, тобто якщо

(3.31)

Звідси випливає, що, нехтуючи сукупністю реалізацій випадкових векторів, що мають загальну ймовірність, рівну нулю, ми маємо звичайну збіжність. Звичайно, швидкість збіжності при цьому залежить від реалізації та має випадковий характер.

Схожість алгоритмів адаптації еквівалентна стійкості систем, що описуються стохастичними різницевими чи диференціальними рівняннями. Стійкість цих систем потрібно розуміти в ймовірнісному сенсі: ймовірно, в середньоквадратичному і майже напевно (або ймовірно одиниця). Імовірнісна стійкість – порівняно новий розділ теорії стійкості, який зараз інтенсивно розробляється.