Російський Державний Медичний Університет
Розглянемо два приклади.
ПрімерN 1. Відомо, що в разі захворювання на туберкульоз рентгенівське дослідження дозволяє поставити діагноз у 95% випадків (чутливість методу = 95%). Якщо досліджуваний здоровий, то помилковий діагноз туберкульозу ставиться в 1% випадків (специфічність методу = 100 - 1 = 99%). Частка хворих в популяції становить 0.5%. Яка ймовірність того, що обстежений пацієнт, якому поставили діагноз туберкульозу, дійсно хворий?
ПрімерN 2. В урні знаходяться 5 куль, про яких відомо, що їх колір може бути білим або чорним. З урни з поверненням витягнуті 4 кулі. Всі вони виявилися чорними. Що можна сказати про кількість білих куль?
Між двома цими прикладами є велика різниця: перший - це коректна і проста задача з теорії ймовірності. Другий - сформульований як одвічне питання практика до теорії: як на основі результатів досвіду зробити висновок про невідомому параметрі моделі (число білих куль). Тут потрібно уточнити як сенс питання, так і форму відповіді.
1.Формула Байеса проста і легко виводиться.
Нехай є повна група попарно несумісних подій з відомими ймовірностями. Достовірна подія є їх об'єднанням:. . Розглядається подія. для якого відомо n умовних ймовірностей. Потрібно знайти ймовірність =? Зауважимо, що умова і подія тут помінялися місцями. У старих підручниках такі ймовірності називалися "зворотними".
За визначенням умовної ймовірності отримуємо:
де для ймовірності події використана формула повної ймовірності:
Якщо скласти всі. то вийде одиниця, тому множник. що не залежить від. можна вважати константою, яку можна знайти в самому кінці з умови нормування.
2. Часто використовувана інтерпретація.
Є n взаємовиключних гіпотез про те, як влаштований якийсь об'єкт, причому відомі ймовірності, з якими ці варіанти зустрічаються. Відбувається подія. про який відомо, з якою ймовірністю воно настає в кожному з варіантів. Потрібно оцінити ймовірність того, що об'єкт влаштований певним чином.
Якщо позначити постійний множник
то формулу Байеса корисно запам'ятати в такому вигляді:
Важливим окремим випадком є постійна завжди апріорна ймовірність, яку можна включити в константу і отримати:
Як математичне тотожність формула Байеса не викликає сумнівів. Завдання, в яких відомі всі необхідні ймовірності, легко вирішуються.
ПрімерN 1. Відомі апріорні ймовірності того, що випадково обраний пацієнт здоровий. = 0.995 або страждає на туберкульоз, = 0.005, відбулася подія - при рентгенівському обстеженні поставлений діагноз туберкульозу, відомі умовні ймовірності = 0.95 (чутливість), = 0.01 (специфічність). Звідси апостериорная ймовірність того, що пацієнт хворий:
Отже, ми бачимо, що після дослідження ймовірність, того, що пацієнт хворий, зросла з 0.005 до 0.32. Однак апостериорная ймовірність того, що пацієнт здоровий, виявляється все одно більше:
У чому причина того, що помилковий діагноз ставиться в двох випадках з трьох? Підвищення чутливості методу до 100% не допоможе вирішити проблему: частка хворих занадто мала, а навіть досить висока (99%) специфічність методу не рятує справу. Це стає зрозумілим після обчислення так званого байєсівського фактора - відносини апостеріорного ймовірностей. Відповідь дорівнює добутку двох множників - відношення правдоподібності і відносини апріорних ймовірностей:
Все ускладнюється, як тільки від формальних завдань теорії ймовірності, ми переходимо до завдань статистики, намагаючись застосувати формулу Байеса в задачах про вибір тієї чи іншої моделі об'єкта (ідентифікації його параметрів). Викликають сумніви два моменти:
1.Можно вважати невідомі параметри моделі випадковими величинами?
2.Якщо так, то, як дізнатися апріорні ймовірності?
Вирішимо його двома способами - стандартним, побудувавши для параметра N довірчий інтервал (confidence interval), і Байєсова, побудувавши для N інтервал довіри (credible interval).
Число гіпотез дорівнює 6 і відповідає можливій кількості білих куль N:
Подія. де - число витягнутих чорних куль.
Важливо відзначити, що обчислення "правдоподібності" - не залежить від того, чи вважаємо ми невідомий параметр N величиною випадковою (дотримуючись байєсівського підходу) або невідомої постійної:
Рішення стандартним способом.
Якби число білих куль перевищувало 2, то ймовірність спостерігати подія - поява при виборі з поверненням 4 чорних куль, була б менше, ніж
Висновок - невідомий параметр (число білих куль N) належить інтервалу [0..2] з ймовірністю 0.95: P (0≤N≤2) ≥0.95 = 1 α. Межі цього "довірчого інтервалу" (confidence interval) визначаються результатами досвіду (подією). Правило вибирається так, щоб у великій серії експериментів інтервал накривав число N в (1-α) 100% випадків. Тут випадкові межі інтервалу, але сам параметр - невипадковий.
Пояснення. Як побудувати довірчий інтервал в загальному випадку? На площині (N. X), де N - невідомий параметр моделі (число білих куль в ящику), а X-величина виміряна в випадковому досвіді (число з'явилися чорних куль), треба побудувати область, в якій точка (N. X) перебуває з великою ймовірністю (наприклад P> 0.95). Це зручно зробити фіксуючи різні значення N = n і визначаючи кордону для X так, щоб виконувалася умова:. Отримані "вертикальні" (паралельні осі ординат) інтервали називаються інтервалами розсіювання (sca t tering intervals). Їх кордону невипадкові і залежать від n і α. Тепер при будь-якому фіксованому X знайдемо "горизонтальний" інтервал, який перетинає побудовану область. Його кордону будуть випадкові, якщо випадкова ордината X. Це і є довірчий інтервал. Вважається правильним говорити не "величина параметра N потрапляє в інтервал", а "інтервал накриває точку, відповідну значенню параметра N". Американські статистики говорять про підкові (образ інтервалу), яка накидається на нерухомий цвях (параметр). Для того, щоб усвідомити ідею довірчого інтервалу знадобилося більше 100 років.
Рішення Байєсова способом.
Вважаємо, що число білих куль N величина випадкова і до досвіду має рівномірний розподіл. Насправді тут є цілковита сваволя - вид розподілу може бути і будь-яким іншим.
Отже, в результаті досвіду рівномірний апріорне розподіл перейшло в швидко спадаючу послідовність. . Визначимо інтервал (credible interval), в який з вірогідністю> 0.95 потрапляє випадкова (в рамках байєсівського підходу) величина N. Він виявиться таким же: 0≤N ≤2. Однак інший вибір апріорних ймовірностей може істотно змінити відповідь. Так, надзвичайно певне апріорне знання може встояти перед будь-якими несприятливими фактами. Якщо, наприклад, ми до досвіду були практично впевнені в тому, що в урні чотири білі кулі, то апостеріорні ймовірності хоча і змістяться в сторону зменшення числа N але все одно
Свавілля у виборі апріорного розподілу робить успіх чи невдачу застосування байєсівського підходу випадковим. Не дивно, що сам Байес не наважувався публікувати свою роботу.
Історія питання.
Знання історії істотно для розуміння ролі формули Байеса. Томас Бейеса (Байес) вивчав фундаментальне завдання статистики - оцінку ймовірності події p по частоті його появи ν. Якщо з величезного ящика, в якому знаходяться кулі ( "генеральної сукупності"), ми випадково витягли n куль ( "вибірка"), і серед них K куль виявилися білими, то що можна сказати про невідому нам частці білих куль p у всій генеральної сукупності ? Нехай n = 100, а K = 24. Було б нерозумно просто прирівняти випадкову величину ν = K / n невідомої нам величиною p і вважати, що p = 0.24 (?). Адже при добуванні наступних 100 куль величина ν стане іншою. Байес запропонував вважати величину p випадкової, а все апріорні гіпотези про значення p рівноімовірними (p рівномірно розподілено від 0 до 1). Звідси для апостеріорної ймовірності того, що величина p укладена від p 1 до p 2. він отримав формулу:
Іншими словами щільність ймовірності величини p:
де константа З визначається з умови нормування. Якщо обсяг вибірки n збільшується (ν ≠ 0, ν ≠ 1, n → ∞), то розподіл p наближається до нормального закону із середнім значенням m = ν і середньоквадратичним відхиленням σ = (ν (1 ν)) 1/2 / n 1/2. Це означає, що величина p з ймовірністю 0.95 укладена в інтервалі (m-2σ, m + 2σ), тобто: ν - 2 (ν (1 ν)) 1/2 / n 1/2
1 / n. Практично це той же відповідь, який дає сучасна частотна теорія, однак тут величина p вважається вже невипадковою, і інтервал (ν - 2 (ν (1 ν)) 1/2 / n 1/2. Ν +2 (ν (1 - ν)) 1/2 / n 1/2) називається довірчим (confidence interval). Отже, перше практичне застосування формули Байєса до статистичної задачі виявилося успішним! Лаплас популяризував формулу Байеса і надав їй сучасного вигляду. Однак в загальному випадку заміна невідомого апріорного розподілу на рівномірний не виправдана - невизначеність не означає равновероятности! Тому практичне використання байєсівського підходу було дискредитовано, і роботи Стьюдента, Фішера і Неймана в першій третині XX століття поклали початок сучасної частотної школі.
O АГАЛЬНІ сфери застосування формули Байєса
1) Математичний інструмент в теорії ймовірностей.
2) У статистиці - як узагальнення попереднього досвіду. Передбачається, що нами накопичений досвід, що дозволяє експериментально (!) Оцінити апріорне розподіл ймовірностей. Далі ми віримо в те, що ми розглядаємо, новий об'єкт відноситься до тієї ж групи. Це дозволяє будувати класифікатори, засновані на байєсівської формулою.
3) У статистиці - для порівняння різних моделей в разі, коли апріорні розподілу настільки нечіткі, що взагалі несуттєві. Дуже часто використовується BIC (байесовский інформаційний критерій).
4) Опис умонастрої. Прихильники інтерпретації ймовірності події як заходи суб'єктивної впевненості в його можливості можуть перераховувати ці величини в процесі появи нових даних. Очевидно, що математика тут може бути подібною млині перемелює труху: свавілля у визначенні апріорних ймовірностей може бути небезпечним.