Інтуїтивне пояснення теореми байєсу. Формула повної ймовірності

При виведенні формули повної ймовірностіпередбачалося, що ймовірність гіпотез відома до досвіду. Формула Байєса дозволяє проводити переоцінку початкових гіпотез у світлі нової інформації, що полягає в тому, що подія сталося. Тому формулу Байєса називають формулою уточнення гіпотез.

Теорема (Формула Байєса). Якщо подія може відбуватися лише з однією з гіпотез
, які утворюють повну групу подій, то ймовірність гіпотез за умови, що подія сталося, обчислюється за формулою

,
.

Доведення.

Формула Байєса або байєсовський підхід до оцінки гіпотез грає важливу рольекономіки, т.к. дає можливість коригувати управлінські рішення, оцінки невідомих параметрів розподілу ознак, що вивчаються в статистичному аналізі і.т.п.

приклад. Електролампи виготовляються на двох заводах. Перший завод виробляє 60% загальної кількостіелектроламп, другий – 40%. Продукція першого заводу містить 70% стандартних ламп, другого – 80%. До магазину надходить продукція обох заводів. Лампочка, куплена в магазині, виявилася стандартною. Знайти ймовірність того, що лампа виготовлена ​​першому заводі.

Запишемо умову завдання, вводячи відповідні позначення.

Дано: подія полягає в тому, що стандартна лампа.

Гіпотеза
полягає в тому, що лампа виготовлена ​​на першому заводі

Гіпотеза
полягає в тому, що лампа виготовлена ​​на другому заводі.

Знайти
.

Рішення.

5. Повторні незалежні випробування. Формула Бернуллі

Розглянемо схему незалежних випробуваньабо схему Бернуллі, яка має важливе наукове значення та різноманітні практичні застосування.

Нехай проводиться незалежних випробувань, у кожному з яких може статися певна подія .

Визначення. Випробування називаютьсянезалежними якщо в кожному з них подія

, яка не залежить від того з'явилася або не з'явилася подія
у інших випробуваннях.

приклад. На випробувальний стенд поставлено 20 ламп розжарювання, які випробовуються під навантаженням протягом 1000 годин. Імовірність того, що лампа витримає випробування, дорівнює 0,8 і не залежить від того, що сталося з іншими лампами.

У цьому прикладі під випробуванням розуміється перевірка лампи на її здатність витримати навантаження протягом 1000 годин. Тому кількість випробувань дорівнює
. У кожному окремому випробуванні можливі лише два результати:

Визначення. Серія повторних незалежних випробувань, у кожному з яких подія
настає з однією і тією ж ймовірністю
, яка не залежить від номера випробування, називаєтьсясхемою Бернуллі.

Ймовірність протилежної події позначають
, причому, як було доведено вище,

Теорема. В умовах схеми Бернуллі ймовірність того, що при незалежних випробуваннях подія з'явиться
раз, визначається за формулою

де
кількість проведених незалежних випробувань;

кількість появи події
;

ймовірність настання події
в окремому випробуванні;

ймовірність не настання події
в окремому випробуванні;

Докладно теорема Байєса викладається в окремій статті. Це чудова робота, але у ній 15 000 слів. У цьому перекладі статті від Kalid Azad коротко пояснюється сама суть теореми.

• Результати досліджень та випробувань – це не події.Існує метод діагностики раку, а є сама подія – наявність захворювання. Алгоритм перевіряє, чи містить лист спам, але подію (на пошту дійсно надійшов спам) потрібно розглядати окремо від результату його роботи.
• У результатах випробувань є помилки.Часто наші методи досліджень виявляють те, чого немає (хибнопозитивний результат), і не виявляють те, що є (хибнонегативний результат).
• За допомогою випробувань ми отримуємо ймовірність певного результату.Ми надто часто розглядаємо результати випробування власними силами і не враховуємо помилки методу.
• Невірно позитивні результатиспотворюють картину.Припустимо, що ви намагаєтеся виявити якийсь дуже рідкісний феномен (1 випадок на 1000000). Навіть якщо ваш метод точний, найімовірніше, його позитивний результат буде насправді хибнопозитивним.
• Працювати зручніше із натуральними числами.Краще сказати: 100 із 10000, а не 1%. За такого підходу буде менше помилок, особливо при множенні. Припустимо, нам потрібно далі працювати із цим 1%. Міркування у відсотках незграбні: «у 80% випадків з 1% отримали позитивний результат». Набагато легше інформація сприймається так: «у 80 випадках із 100 спостерігали позитивний результат».
• Навіть у науці будь-який факт - це лише результат застосування будь-якого методу.З філософської точкизору науковий експеримент– це лише випробування з ймовірною помилкою. Є метод, що виявляє хімічна речовинаабо якийсь феномен, і є сама подія – присутність цього феномена. Наші методи випробувань можуть дати хибний результат, а будь-яке обладнання має властиву йому помилку.

• Якщо нам відома ймовірність події та ймовірність хибнопозитивних і хибнонегативних результатів, ми можемо виправити помилки вимірів.
• Теорема співвідносить можливість події з ймовірністю певного результату. Ми можемо співвіднести Pr(A|X): можливість події А, якщо дано результат X, і Pr(X|A): можливість результату X, якщо дана подія А.

Розберемося у методі

• 1% всіх жінок хворіють на рак грудей (і, відповідно, 99% не хворіють)
• 80% маммограм виявляють захворювання, коли воно справді є (і, відповідно, 20% не виявляють)
• 9,6% досліджень виявляють рак, коли його немає (і, відповідно, 90,4% чітко визначають негативний результат)

• 1% жінок хворіють на рак грудей
• якщо у пацієнтки виявили захворювання, дивимося в першу колонку: є 80% ймовірність того, що метод дав правильний результат, і 20% ймовірність того, що результат дослідження неправильний (хибнонегативний)
• якщо у пацієнтки захворювання не виявили, дивимося на другу колонку. З ймовірністю 9,6% можна сказати, що позитивний результат дослідження невірний, і з 90,4% ймовірністю можна сказати, що пацієнтка справді здорова.

Наскільки метод точний?

Давайте подумаємо:

• Є позитивний результат. Розберемо всі можливі результати: отриманий результат може бути як істинним позитивним, так і хибнопозитивним.
• Імовірність справжнього позитивного результату дорівнює: ймовірність захворіти, помножена на ймовірність того, що тест справді виявив захворювання. 1% * 80% = .008
• Імовірність хибнопозитивного результату дорівнює: ймовірність того, що захворювання немає, помножена на ймовірність того, що метод виявив захворювання невірно. 99% * 9.6% = .09504

Імовірність події = результати події / всі можливі результати

Імовірність справжнього позитивного результату – 008. Імовірність позитивного результату - це ймовірність істинного позитивного результату + ймовірність хибнопозитивного.

(.008 + 0.09504 = .10304)

Отже, ймовірність захворювання за позитивного результату дослідження розраховується так: .008/.10304 = 0.0776. Ця величина становить близько 7.8%.

Тобто позитивний результат маммограм означає лише те, що ймовірність наявності захворювання – 7,8%, а не 80% (остання величина - це лише передбачувана точність методу). Такий результат здається спочатку незрозумілим і дивним, але потрібно врахувати: метод дає хибнопозитивний результат у 9,6% випадків (а це досить багато), тому у вибірці буде багато хибнопозитивних результатів. Для рідкісного захворювання більшість позитивних результатів будуть хибнопозитивними.

Давайте пробіжимо очима по таблиці і спробуємо інтуїтивно схопити сенс теореми. Якщо ми маємо 100 осіб, тільки в одного з них є захворювання (1%). У цієї людини з 80% ймовірністю метод дасть позитивний результат. З 99%, що залишилися, у 10% будуть позитивні результати, що дає нам, грубо кажучи, 10 хибнопозитивних результатів зі 100. Якщо ми розглянемо всі позитивні результати, то тільки 1 з 11 буде вірним. Таким чином, якщо отримано позитивний результат, ймовірність захворювання становить 1/11.

Вище ми вважали, що ця можливість дорівнює 7,8%, тобто. число насправді ближче до 1/13, проте тут за допомогою простої міркування нам вдалося знайти приблизну оцінку без калькулятора.

Теорема Байєса

• Pr(A|X) = ймовірність захворювання (А) при позитивному результаті (X). Це саме те, що хочемо знати: яка ймовірність події у разі позитивного результату. У прикладі вона дорівнює 7,8%.
• Pr(X|A) = ймовірність позитивного результату (X) у разі, коли хворий дійсно хворий (А). У нашому випадку це величина справжніх позитивних – 80%
• Pr(A) = ймовірність захворіти (1%)
• Pr(not A) = ймовірність не захворіти (99%)
• Pr(X|not A) = ймовірність позитивного результату дослідження у разі, якщо захворювання немає. Це величина хибнопозитивних - 9,6%.

У прикладі Pr(X) – досить велике число, Тому що велика ймовірність хибнопозитивних результатів.

Pr(X) створює результат 7,8%, який на перший погляд здається таким, що суперечить здоровому глузду.

Сенс теореми

Спам-фільтр

У нас є:

• подія А - у листі спам
• результат випробування - зміст у листі певних слів:

Фільтр спаму на основі чорного списку має недоліки - він часто видає хибнопозитивні результати.

Спам-фільтр на основі теореми Байєса використовує зважений та розумний підхід: він працює з ймовірностями. Коли ми аналізуємо слова у листі, ми можемо розрахувати ймовірність того, що лист – це спам, а не приймати рішення на кшталт «так/ні». Якщо можливість того, що лист містить спам, дорівнює 99%, то лист і справді є таким.

Згодом фільтр тренується на дедалі більшій вибірці та оновлює ймовірності. Так, просунуті фільтри, створені на основі теореми Байєса, перевіряють безліч слів поспіль і використовують їх як дані.

Додаткові джерела:

Теги: Додати теги

Почнемо із прикладу. В урні, що стоїть перед вами, з рівною ймовірністю можуть бути (1) дві білі кулі, (2) одна біла і одна чорна, (3) дві чорні. Ви тягнете кулю, і він виявляється білим. Як тепер ви оціните ймовірністьцих трьох варіантів (гіпотез)? Очевидно, що ймовірність гіпотези (3) з двома чорними кулями = 0. А ось як підрахувати ймовірності двох гіпотез, що залишилися!? Це дозволяє зробити формула Байєса, яка в нашому випадку має вигляд (номер формули відповідає номеру гіпотези, що перевіряється):

Завантажити замітку у форматі або

х – випадкова величина(гіпотеза), що приймає значення: х 1– два білі, х 2- Один білий, один чорний; х 3– два чорні; у- Випадкова величина (подія), що приймає значення: у 1– витягнуто білу кулю і у 2- Витягнуто чорну кулю; Р(х 1)- Імовірність першої гіпотези до витягування кулі ( апріорнаймовірність чи ймовірність додосвіду) = 1/3; Р(х 2)- ймовірність другої гіпотези до витягування кулі = 1/3; Р(х 3)- Імовірність третьої гіпотези до витягування кулі = 1/3; Р(у 1|х 1) – умовна ймовірністьвитягнути білу кулю, якщо правильна перша гіпотеза (кулі білі) = 1; Р(у 1|х 2) – ймовірність витягнути білу кулю, якщо вірна друга гіпотеза (одна куля білий, другий – чорний) = ½; Р(у 1|х 3) – ймовірність витягнути білу кулю, якщо вірна третя гіпотеза (обидва чорних) = 0; Р(у 1)- Можливість витягнути білу кулю = ½; Р(у 2)- Можливість витягнути чорну кулю = ½; і, нарешті, те, що ми шукаємо – Р(х 1|у 1) – ймовірність того, що вірна перша гіпотеза (обидві кулі білих), за умови, що ми витягли білу кулю ( апостеріорнаймовірність чи ймовірність післядосвіду); Р(х 2|у 1) – ймовірність того, що вірна друга гіпотеза (одна біла куля, друга – чорна), за умови, що ми витягли білу кулю.

Імовірність того, що вірна перша гіпотеза (два білих), за умови, що ми витягли білу кулю:

Імовірність того, що вірна друга гіпотеза (одна біла, друга – чорна), за умови, що ми витягли білу кулю:

Імовірність того, що вірна третя гіпотеза (два чорні), за умови, що ми витягли білу кулю:

Що робить формула Байєса? Вона дає можливість на підставі апріорних ймовірностей гіпотез. Р(х 1), Р(х 2), Р(х 3)- І ймовірностей настання подій - Р(у 1), Р(у 2)- підрахувати апостеріорні ймовірності гіпотез, наприклад, ймовірність першої гіпотези, за умови, що витягли білу кулю. Р(х 1|у 1).

Повернемося ще раз до формули (1). Початкова ймовірність першої гіпотези була Р(х 1) = 1/3. Імовірно Р(у 1) = 1/2ми могли витягнути білу кулю, і з ймовірністю Р(у 2) = 1/2- Чорний. Ми витягли білий. Імовірність витягнути білий за умови, що вірна перша гіпотеза Р(у 1|х 1) = 1.Формула Байєса каже, що оскільки витягли білий, то ймовірність першої гіпотези зросла до 2/3, ймовірність другої гіпотези як і дорівнює 1/3, а ймовірність третьої гіпотези звернулася в нуль.

Легко перевірити, що витягнемо ми чорну кулю, апостеріорні ймовірності змінилися б симетрично: Р(х 1|у 2) = 0, Р(х 2|у 2) = 1/3, Р(х 3|у 2) = 2/3.

Ось що писав П'єр Симон Лаплас про формулу Байєса в роботі, що вийшла 1814:

Це основний принцип галузі аналізу випадковостей, яка займається переходами від подій до причин.

Чому формула Байєса така складна для розуміння!? На мій погляд, тому, що наш звичайний підхід – це міркування причин до наслідків. Наприклад, якщо в урні 36 куль, з яких 6 чорних, а інші білі. Яка можливість витягнути білу кулю? Формула Байєса дозволяє йти від подій до причин (гіпотез). Якщо в нас було три гіпотези, і відбулася подія, то як саме ця подія (а не альтернативна) вплинула на ймовірність гіпотез? Як змінилися ці можливості?

Я вважаю, що формула Байєса не просто про ймовірності. Вона змінює парадигму сприйняття. Яким є хід думок при використанні детерміністської парадигми? Якщо сталася подія, яка її причина? Якщо сталася ДТП, надзвичайна подія, воєнний конфлікт. Хто чи що стало їхньою провиною? Як вважає байєсовський спостерігач? Яка структура реальності, що привела до даномуу випадку до такого прояву… Байєсовець розуміє, що в іншомуу разі результат міг бути іншим…

Трохи інакше розмістимо символи у формулах (1) та (2):

Давайте ще раз проговоримо, що ми бачимо. З рівною вихідною (апріорною) ймовірністю могла бути істинною одна з трьох гіпотез. З рівною ймовірністю ми могли витягнути білу або чорну кулю. Ми витягли білий. У світлі цієї нової додаткової інформації слід переглянути нашу оцінку гіпотез. Формула Байєса дозволяє це зробити чисельно. Апріорна ймовірність першої гіпотези (формула 7) була Р(х 1), витягли білу кулю, апостеріорна ймовірність першої гіпотези стала Р(х 1|у 1).Ці ймовірності відрізняються на коефіцієнт.

Подія у 1називається свідченням, що більшою чи меншою мірою підтверджує або спростовує гіпотезу х 1. Зазначений коефіцієнт іноді називають потужністю свідоцтва. Чим потужніше свідчення (чим більше коефіцієнт відрізняється від одиниці), тим більше більше фактспостереження у 1змінює апріорну ймовірність, тим більше апостеріорна ймовірність відрізняється від апріорної. Якщо свідчення слабке (коефіцієнт ~ 1), апостеріорна ймовірність майже дорівнює апріорній.

Свідоцтво у 1в = 2 вкотре змінило апріорну ймовірність гіпотези х 1(Формула 4). Водночас свідчення у 1не змінило ймовірність гіпотези х 2, оскільки його потужність = 1 (Формула 5).

У загальному випадкуформула Байєса має такий вигляд:

х- Випадкова величина (набір взаємовиключних гіпотез), що приймає значення: х 1, х 2, … , хn. у- Випадкова величина (набір взаємовиключних подій), що приймає значення: у 1, у 2, … , уn. Формула Байєса дозволяє знайти апостеріорну ймовірність гіпотези. хiпри настанні події y j. У чисельнику – твір апріорної ймовірності гіпотези хi – Р(хi) на ймовірність настання події y jякщо вірна гіпотеза хi – Р(y j|хi). У знаменнику - сума творів того ж, що і в чисельнику, але для всіх гіпотез. Якщо вирахувати знаменник, то отримаємо сумарну ймовірність настання події уj(якщо вірна кожна з гіпотез) - Р(y j) (як у формулах 1-3).

Ще раз про свідчення. Подія y jдає додаткову інформаціющо дозволяє переглянути апріорну ймовірність гіпотези хi. Потужність свідчення – містить у чисельнику ймовірність настання події y jякщо вірна гіпотеза хi. У знаменнику – сумарна ймовірність настання події уj(або ймовірність настання події уjусереднена з усіх гіпотез). уjвище для гіпотези xi, ніж у середньому всім гіпотез, то свідчення грає на руку гіпотезі xiзбільшуючи її апостеріорну ймовірність Р(y j|хi). Якщо ймовірність настання події уjнижче для гіпотези xi, ніж у середньому всім гіпотез, то свідчення знижує, апостеріорну можливість Р(y j|хi) длягіпотези xi. Якщо ймовірність настання події уjдля гіпотези xiтака ж, як у середньому для всіх гіпотез, свідчення не змінює апостеріорну ймовірність Р(y j|хi) длягіпотези xi.

Пропоную до вашої уваги кілька прикладів, які, сподіваюся, закріплять ваше розуміння формули Байєса.

Завдання 2. Два стрілки незалежно один від одного стріляють по одній і тій же мішені, роблячи кожен по одному пострілу. Імовірність влучення у мету першого стрілка дорівнює 0,8, другого - 0,4. Після стрілянини в мішені виявлено одну пробоїну. Знайти ймовірність того, що ця пробоїна належить першій стрілці. .

Завдання 3. Об'єкт, за яким ведеться спостереження, може бути в одному із двох станів: Н 1 = (функціонує) та Н 2 = (не функціонує). Апріорні ймовірності цих станів Р(Н1) = 0,7, Р(Н2) = 0,3. Є два джерела інформації, які дають суперечливі відомості про стан об'єкта; перше джерело повідомляє, що об'єкт не функціонує, другий – що функціонує. Відомо, що перше джерело дає правильні відомості з ймовірністю 0,9, а з ймовірністю 0,1 помилкові. Друге джерело менш надійне: він дає правильні відомості з ймовірністю 0,7, а з ймовірністю 0,3 - помилкові. Знайдіть апостеріорні ймовірності гіпотез. .

Завдання 1-3 взяті з підручника Е.С.Вентцель, Л.А.Овчаров. Теорія ймовірностей та її інженерні програми, Розділ 2.6 Теорема гіпотез (формула Байєса).

Завдання 4 взято з книги, розділ 4.3 Теорема Байєса.

Події утворюють повну групуякщо хоча б одне з них обов'язково відбудеться в результаті експерименту і попарно несумісні.

Припустимо, що подія Aможе наступити тільки разом з одним з кількох попарно несумісних подій, що утворюють повну групу Будемо називати події ( i= 1, 2,…, n) гіпотезамидопиту (апріорі). Імовірність появи події А визначається за формулою повної ймовірності :

Приклад 16Є три урни. У першій урні знаходяться 5 білих та 3 чорних кулі, у другій – 4 білих та 4 чорні кулі, а у третій – 8 білих куль. Навмання вибирається одна з урн (це може означати, наприклад, що здійснюється вибір із допоміжної урни, де знаходяться три кулі з номерами 1, 2 та 3). З цієї урни навмання витягується куля. Яка ймовірність того, що він виявиться чорним?

Рішення.Подія A- Витягнуто чорну кулю. Якщо було б відомо, з якої урни витягається куля, то ймовірність можна було б вирахувати по класичному визначеннюімовірності. Введемо припущення (гіпотези) щодо того, яка урна обрана для вилучення кулі.

Куля може бути витягнута або з першої урни (гіпотеза), або з другої (гіпотеза), або з третьої (гіпотеза). Так як є однакові шанси вибрати будь-яку з урн, то .

Звідси слідує що

Приклад 17Електролампи виготовляються на трьох заводах. Перший завод виробляє 30% загальної кількості електроламп, другий – 25%,
а третій – решту. Продукція першого заводу містить 1% бракованих електроламп, другого – 1,5%, третього – 2%. До магазину надходить продукція всіх трьох заводів. Якою є ймовірність того, що куплена в магазині лампа виявилася бракованою?

Рішення.Припущення необхідно запровадити щодо того, на якому заводі було виготовлено електролампу. Знаючи це, ми зможемо знайти можливість того, що вона бракована. Введемо позначення для подій: A– куплена електролампа виявилася бракованою, – лампа виготовлена ​​першим заводом, – лампа виготовлена ​​другим заводом,
– лампа виготовлена ​​третім заводом.

Шукану ймовірність знаходимо за формулою повної ймовірності:

Формула Байєса. Нехай - повна група попарно несумісних подій (гіпотези). А– випадкова подія. Тоді,

Останню формулу, що дозволяє переоцінити ймовірність гіпотез після того, як стає відомим результат випробування, в результаті якого з'явилася подія А, називають формулою Байєса .

приклад 18.До спеціалізованої лікарні надходять у середньому 50 % хворих із захворюванням До, 30% - з захворюванням L, 20 % –
із захворюванням M. Ймовірність повного лікування хвороби Kдорівнює 0,7 для хвороб Lі Mці ймовірності відповідно дорівнюють 0,8 і 0,9. Хворий, який вступив до лікарні, був виписаний здоровим. Знайдіть ймовірність того, що цей хворий страждав на захворювання K.

Рішення.Введемо гіпотези: – хворий страждав на захворювання До L, – хворий страждав на захворювання M.

Тоді за умовою завдання маємо. Введемо подію А- Хворий, який вступив до лікарні, був виписаний здоровим. За умовою

За формулою повної ймовірності отримуємо:

За формулою Байєса.

Приклад 19.Нехай в урні п'ять куль та всі припущення про кількість білих куль рівноможливі. З урни навмання взято кулю, він виявився білим. Яке припущення про початковий склад урни найімовірніше?

Рішення.Нехай - гіпотеза, яка полягає в тому, що в урні білих куль , Т. е. Можливо зробити шість припущень. Тоді за умовою завдання маємо.

Введемо подію А- навмання взята куля біла. Обчислимо. Оскільки , то за формулою Байєса маємо:

Таким чином, найбільш вірогідною є гіпотеза, тому що .

Приклад 20Два з трьох незалежно працюючих елементів обчислювального пристроювідмовили. Знайдіть ймовірність того, що відмовили перший і другий елементи, якщо ймовірності відмови першого, другого та третього елементів відповідно дорівнюють 0,2; 0,4 та 0,3.

Рішення.Позначимо через Аподія – відмовили два елементи. Можна зробити такі гіпотези:

– відмовили перший та другий елементи, а третій елемент справний. Оскільки елементи працюють незалежно, застосовна теорема множення: