Оцінка максимальної правдоподібності нормального розподілу. Методи отримання оцінок

Завдання оцінки параметрів розподілу полягає у отриманні найбільш правдоподібних оцінок невідомих параметрів розподілу генеральної сукупності виходячи з вибіркових даних. Крім методу моментів для визначення точкової оцінкипараметрів розподілу використовується також метод найбільшої правдоподібності. Метод найбільшої правдоподібності було запропоновано англійським статистиком Р. Фішером у 1912 р.

Нехай для оцінки невідомого параметра  випадкової величини Х із генеральної сукупності із щільністю розподілу ймовірностей p(x)= p(x, ) вилучено вибірку x 1 ,x 2 ,…,x n. Розглянемо результати вибірки як реалізацію n-мірної випадкової величини ( X 1 ,X 2 ,…,X n). Розглянутий раніше метод моментів отримання точкових оцінок невідомих параметрів теоретичного розподілу який завжди дає найкращі оцінки. Методом пошуку оцінок, що мають необхідні (найкращі) властивості, є метод максимальної правдоподібності.

В основі методу максимальної правдоподібностілежить умова визначення екстремуму деякої функції, яка називається функцією правдоподібності.

Функцією правдоподібності ДСВ Х

L (x 1 ,x 2 ,…,x n ; )=p(x 1 ; )p(x 2 ; )…p(x n ; ),

де x 1, …, x n– фіксовані варіанти вибірки,  – невідомий оцінюваний параметр, p(x i; ) – ймовірність події X= x i .

Функцією правдоподібності НСВ Хназивають функцію аргументу :

L (x 1 ,x 2 ,…,x n ; )=f(x 1 ; )f(x 2 ; )…f(x n ; ),

де f(x i; ) – задана функція щільності ймовірності у точках x i .

Як точкову оцінку параметрів розподілу  приймають таке його значення, при якому функція правдоподібності досягає свого максимуму. Оцінку
називають оцінкою максимальної правдоподібності. Т.к. функції L і
Lдосягають свого максимуму при однакових значеннях , то зазвичай для знаходження екстремуму (максимуму) використовують
Lяк зручнішу функцію.

Для визначення точки максимуму
Lтреба скористатися відомим алгоритмом для обчислення екстремуму функції:

Якщо щільність ймовірності залежить від двох невідомих параметрів –  1 і  2 , то знаходять критичні точки, Розв'язавши систему рівнянь:

Отже, згідно з методом найбільшої правдоподібності, як оцінка невідомого параметра  приймається таке значення *, за якого
розподілу вибірки x 1 ,x 2 ,…,x nмаксимальна.

Завдання 8.Знайдемо методом найбільшої правдоподібності оцінку для ймовірності pу схемі Бернуллі,

Проведемо nнезалежних повторних випробуваньі виміряємо кількість успіхів, яку позначимо m. За формулою Бернуллі ймовірність того, що буде mуспіхів з n- Є функція правдоподібності ДСВ.

Рішення : Складемо функцію правдоподібності
.

Згідно з методом найбільшої правдоподібності, знайдемо таке значення p, яке максимізує L, а разом з нею і ln L.

Тоді логарифмуючи L, маємо:

Похідна функції ln Lпо pмає вигляд
і в точці екстремуму дорівнює нулю. Тому, вирішивши рівняння
, маємо
.

Перевіримо знак другої похідної
в отриманій точці:

. Т.к.
при будь-яких значеннях аргументу, то знайдене значення pє точка максимуму.

Значить, – найкраща оцінка для
.

Отже, згідно з методом найбільшої правдоподібності, оцінкою ймовірності p події Ау схемі Бернуллі служить відносна частота цієї події .

Якщо вибірка x 1 , x 2 ,…, x nвилучена з нормально розподіленої сукупності, то оцінки для математичного очікування та дисперсії методом найбільшої правдоподібності мають вигляд:

Знайдені значення збігаються із оцінками цих параметрів, отриманими методом моментів. Т.к. дисперсія зміщена, її необхідно помножити на поправку Бесселя. Тоді вона набуде вигляду
, збігаючись із вибірковою дисперсією.

Завдання 9 . Нехай дано розподіл Пуассона
де за m= x iмаємо
. Знайдемо методом найбільшої правдоподібності оцінку невідомого параметра  .

Рішення :

Склавши функцію правдоподібності L та її логарифм ln L. Маємо:

Знайдемо похідну від ln L:
і вирішимо рівняння
. Отримана оцінка параметра розподілу  набуде вигляду:
Тоді
т.к. при
друга приватна похідна
то це точка максимуму. Отже, як оцінку найбільшої правдоподібності параметра для розподілу Пуассона можна прийняти вибіркове середнє.

Можна переконатися, що при показовому розподілі
функція правдоподібності для вибіркових значень x 1 , x 2 , …, x nмає вигляд:

.

Оцінка параметра розподілу  для показового розподілудорівнює:
.

Перевагою методу найбільшої правдоподібності є можливість отримати «хороші» оцінки, які мають такі властивості, як спроможність, асимптотична нормальність та ефективність для вибірок великих обсягів за найзагальніших умов.

Основним недоліком методу є складність розв'язання рівнянь правдоподібності, а також те, що не завжди відомий аналізований закон розподілу.

та іншими).

Оцінка максимальної правдоподібності є популярною статистичним методом, який використовується для створення статистичної моделі на основі даних, та забезпечення оцінки параметрів моделі.

Відповідає багатьом відомим методам оцінки у галузі статистики. Наприклад, припустимо, що ви зацікавлені зростанням українців. Припустимо, у вас дані зростання деякої кількості людей, а не всього населення. Крім того, передбачається, що зростання є нормально розподіленою величиною з невідомою дисперсією та середнім значенням. Середнє значення та дисперсія зростання вибірки є максимально правдоподібною до середнього значення та дисперсії всього населення.

Для фіксованого набору даних та базової імовірнісної моделі, використовуючи метод максимальної правдоподібності, ми отримаємо значення параметрів моделі, які роблять дані «ближчими» до реальних. Оцінка максимальної правдоподібності дає унікальний та простий спосіб визначити рішення у разі нормального розподілу.

Метод оцінки максимальної правдоподібності застосовується для широкого кола статистичних моделей, в тому числі:

• лінійні моделі та узагальнені лінійні моделі;
• факторний аналіз;
• моделювання структурних рівнянь;
• багато ситуації, в рамках перевірки гіпотези та довірчого інтервалуформування;
• дискретні моделі вибору

Сутність методу

називається оцінкою максимального правдоподібностіпараметра. Таким чином, оцінка максимальної правдоподібності - це така оцінка, яка максимізує функцію правдоподібності при фіксованій реалізації вибірки.

Часто замість функції правдоподібності використовують логарифмічну функцію правдоподібності. Так як функція монотонно зростає по всій області визначення, максимум будь-якої функції є максимумом функції , і навпаки. Таким чином

Якщо функція правдоподібності диференційована, то необхідна умоваекстремума - рівність нуля її градієнта:

Достатня умоваекстремуму може бути сформульовано як негативна визначеність гесіана - матриці других похідних:

Важливе значеннядля оцінки властивостей оцінок методу максимальної правдоподібності грає так звана інформаційна матриця, рівна за визначенням:

У оптимальній точці інформаційна матриця збігається з математичним очікуваннямгесіана, взятим зі знаком мінус:

Властивості

• Оцінки максимальної правдоподібності, взагалі кажучи, можуть бути зміщеними (див. приклади), але є заможними, асимптотично ефективними та асимптотично нормальнимиоцінками. Асимптотична нормальність означає, що

де - асимптотична інформаційна матриця

Асимптотична ефективність означає, що асимптотична ковараційна матриця є нижнім кордономдля всіх заможних асимптотично нормальних оцінок.

Приклади

Остання рівність може бути переписана у вигляді:

де , Звідки видно, що свого максимуму функція правдоподібності досягає в точці . Таким чином

Щоб знайти її максимум, прирівняємо до нуля приватні похідні:

Умовний метод максимальної правдоподібності

Умовний метод максимальної правдоподібності (Conditional ML)використовується у регресійних моделях. Суть методу полягає в тому, що використовується не повне спільний розподілвсіх змінних (залежної та регресорів), а тільки умовнерозподіл залежної змінної за чинниками, тобто фактично розподіл випадкових помилок регресійної моделі. Повна функціяправдоподібності є твір « умовної функціїправдоподібності» та щільності розподілу факторів. Умовний ММП еквівалентний повному варіантіММП у тому випадку, коли розподіл факторів ніяк не залежить від параметрів, що оцінюються. Ця умова часто порушується в моделях часових рядів, наприклад в авторегресійній моделі. У даному випадку, регресорами є попередні значення залежної змінної, отже їх значення також підпорядковуються тієї ж AR-модели, тобто розподіл регресорів залежить від параметрів, що оцінюються. У таких випадках результати застосування умовного та повного методумаксимальної правдоподібності відрізнятимуться.

Див. також

Примітки

Література

• Магнус Я.Р., Катишев П.К., Пересецький А.А.Економетрики. Початковий курс. – М.: Справа, 2007. – 504 с. - ISBN 978-5-7749-0473-0

Wikimedia Foundation. 2010 .

Дивитись що таке "Метод максимальної правдоподібності" в інших словниках:

метод максимальної правдоподібності- метод максимальної правдоподібності В математичної статистикиметод оцінювання параметрів розподілу, заснований на максимізації так званої функції правдоподібності.

Метод оцінки вибірки невідомих параметрів функції розподілу F(s; α1,..., αs), де α1, ..., αs невідомі параметри. Якщо вибірка п спостережень розбита на r непересікаються груп s1, ..., sr; р1,..., pr… … Геологічна енциклопедія

Метод максимальної правдоподібності- у математичній статистиці метод оцінювання параметрів розподілу, заснований на максимізації так званої функції правдоподібності (спільної щільності ймовірності спостережень при значеннях, що становлять… Економіко-математичний словник

метод максимальної правдоподібності- Maximaliojo tikėtinumo metodas statusas T sritis automatika atitikmenys: angl. maximum likelihood method vok. Methode der maksimalen Mutmaßlichkeit, f rus. метод максимальної правдоподібності, m pranc. methode de maximum de vraisemblance, f;… … Automatikos terminų žodynas

метод максимальної правдоподібності з частковим відгуком- Метод виявлення сигналів по Вітербі, за якого забезпечується мінімальний рівень міжсимвольних спотворень. Див тж. Viterbi algorithm. [Л.М. Невдяєв. Телекомунікаційні технології. Англо російська тлумачний словникдовідник. За редакцією Ю.М. Довідник технічного перекладача

виявник послідовності, що використовує метод максимальної правдоподібності- Пристрій обчислення оцінки найбільш ймовірної послідовності символів, що максимізує функцію правдоподібності сигналу, що приймається. [Л.М. Невдяєв. Телекомунікаційні технології. Англо-російський тлумачний словник довідник. За редакцією Ю.М. Довідник технічного перекладача

метод найбільшої правдоподібності- метод максимальної правдоподібності - [Л.Г.Суменко. Англо-російський словник з інформаційних технологій. М.: ДП ЦНДІС, 2003.] Тематики інформаційні технологіїв цілому Синоніми метод максимальної правдоподібності EN maximum likelihood method … Довідник технічного перекладача

метод максимуму правдоподібності - Загальний методобчислення оцінок параметрів. Шукаються оцінки, які максимізують функцію правдоподібності вибірки, рівну добуткузначень функції розподілу кожному за спостереженого значення даних. Метод максимальної правдоподібності кращий… Словник соціологічної статистики

Досі ми вважали, що оцінка невідомого параметра відома та займалися вивченням її властивостей з метою використання їх при побудові довірчого інтервалу. У цьому параграфі розглянемо питання способи побудови оцінок.

Методи правдоподібності

Нехай потрібно оцінити невідомий параметр, взагалі, векторний, . При цьому передбачається, що вид функції розподілу відомий з точністю до параметра,

У такому разі всі моменти випадкової величини стають функціями від:

Метод моментів вимагає виконання наступних дій:

Обчислюємо k «теоретичних» моментів

За вибіркою будуємо до однойменних вибіркових моментів. У контексті, що викладається, це будуть моменти

Прирівнюючи «теоретичні» та однойменні ним вибіркові моменти, приходимо до системи рівнянь щодо компонент параметра, що оцінюється.

Вирішуючи отриману систему (точно чи приблизно), знаходимо вихідні оцінки. Вони, звісно, ​​є функціями від вибіркових значень.

Ми виклали порядок дій, виходячи з початкових – теоретичних та вибіркових – моментів. Він зберігається за іншого вибору моментів, початкових, центральних чи абсолютних, який визначається зручністю рішення системи (25.1) чи їй подібної.

Перейдемо до прикладів.

Приклад 25.1.Нехай випадкова величинарозподілена рівномірно на відрізку [; ] де - невідомі параметри. За вибіркою () обсягу n із розподілу випадкової величини. Потрібно оцінити в.

У разі розподіл визначається щільністю

1) Обчислимо перші два початкові «теоретичні» моменти:

2) Обчислимо за вибіркою два перші початкові вибіркові моменти

3) Складемо систему рівнянь

4) З першого рівняння виразимо через

і підставимо на друге рівняння, в результаті чого прийдемо до квадратного рівняння

вирішуючи яке, знаходимо два корені

Відповідні значення такі

Оскільки за змістом завдання має виконуватися умова< , выбираем в качестве решения системы и оценок неизвестных параметров

Помічаючи, що є не що інше, як вибіркова дисперсія, отримуємо остаточно

Якби ми вибрали як «теоретичні» моменти математичне очікування та дисперсію, то прийшли б до системи (з урахуванням нерівності<)

яка лінійна і вирішується простіше за попередню. Відповідь, звичайно, збігається з уже отриманою.

Зрештою, зазначимо, що наші системи завжди має рішення і при цьому єдине. Отримані оцінки, звісно, ​​заможні, проте властивостями незміщеності не мають.

Метод максимальної правдоподібності

Вивчається, як і раніше, випадкова величина, розподіл якої визначається або ймовірностями її значень, якщо дискретна, або щільністю розподілу, якщо безперервна, де - невідомий векторний параметр. Нехай () – вибірка значень. Природно в якості оцінки взяти значення параметра, при якому ймовірність отримання вже наявної вибірки максимальна.

Вираз

називають функцією правдоподібності, вона являє собою спільний розподіл або спільну густину випадкового вектора з n незалежними координатами, кожна з яких має той самий розподіл (щільність), що і.

В якості оцінки невідомого параметра береться таке його значення, яке доставляє максимум функції, що розглядається як функції при фіксованих значеннях. Оцінку називають оцінкою максимальної правдоподібності. Зауважимо, що залежить від обсягу вибірки n та вибіркових значень

і, отже, сама є випадковою величиною.

Знаходження точки максимуму функції є окремим завданням, яке полегшується, якщо функція диференційована за параметром.

У цьому випадку зручно замість функції розглядати її логарифм, оскільки точки екстремуму функції та її логарифма збігаються.

Методи диференціального обчислення дозволяють знайти точки, підозрілі на екстремум, а потім з'ясувати, в якій досягається максимум.

З цією метою розглядаємо спочатку систему рівнянь

рішення якої – точки, підозрілі на екстремум. Потім за відомою методикою, обчислюючи значення других похідних

за знаком визначника, складеного з цих значень, знаходимо точку максимуму.

Оцінки, отримані за методом максимальної правдоподібності, спроможні, хоча можуть виявитися зміщеними.

Розглянемо приклади.

Приклад 25.2.Нехай проводиться деякий випадковий експеримент, результатом якого може бути деяке події А, ймовірність Р(А) якого невідома і оцінюється.

Введемо випадкову величину рівністю

якщо подія А сталася,

якщо подія А не відбулася (відбулася подія).

Розподіл випадкової величини задається рівністю

Вибіркою в даному випадку буде кінцева послідовність (), де кожне з може дорівнювати 0 або 1.

Функція правдоподібності матиме вигляд

Знайдемо точку її максимуму по р, для чого обчислимо похідну логарифму

Позначимо - це число дорівнює кількості одиниць «успіхів» у вибраній послідовності.

Метод максимальної правдоподібності.

Цей метод полягає в тому, що в якості точкової оцінки параметра приймається значення параметра , при якому функція правдоподібності досягає свого максимуму.

Для випадкового напрацювання вщент із щільністю ймовірності f(t, ) функція правдоподібності визначається формулою 12.11: , тобто. являє собою спільну щільність ймовірності незалежних вимірів випадкової величини з щільністю ймовірності f(t, ).

Якщо випадкова величина дискретна і набуває значення Z 1 ,Z 2…, відповідно до ймовірностей P 1 (α),P 2 (α)…, , то функція правдоподібності береться в іншому вигляді, а саме: , Де індекси у ймовірностей показують, що спостерігалися значення .

Оцінки максимальної правдоподібності параметра визначаються з рівняння правдоподібності (12.12).

Значення методу максимальної правдоподібності з'ясовується двома припущеннями:

Якщо для параметра існує ефективна оцінка, то рівняння правдоподібності (12.12) має єдине рішення.

За деяких загальних умов аналітичного характеру, накладених на функції f(t, )Рішення рівняння правдоподібності сходиться при істинному значенні параметра.

Розглянемо приклад використання методу максимальної правдоподібності параметрів нормального розподілу.

Приклад:

Маємо: , , t i (i=1..N)вибірка із сукупності із щільністю розподілу.

Потрібно знайти оцінку максимальної подоби.

Функція правдоподібності: ;

.

Рівняння правдоподібності: ;

;

Вирішення цих рівнянь має вигляд: - Статистичне середнє; - Статистична дисперсія. Оцінка є зміщеною. Не зміщеною оцінкою буде оцінка: .

Основним недоліком методу максимальної правдоподібності є обчислювальні труднощі, що виникають при вирішенні рівнянь правдоподібності, які, як правило, трансцендентні.

Спосіб моментів.

Цей метод запропонований К.Пірсоном і є першим загальним методом точкової оцінки невідомих параметрів. Він досі широко використовується у практичній статистиці, оскільки нерідко призводить до порівняно нескладної обчислювальної процедури. Ідея цього методу полягає в тому, що моменти розподілу, що залежать від невідомих параметрів, прирівнюються до емпіричних моментів. Взявши число моментів, що дорівнює кількості невідомих параметрів, і склавши відповідні рівняння, ми отримаємо необхідну кількість рівнянь. Найчастіше обчислюються перші два статистичні моменти: вибіркове середнє; та вибіркова дисперсія . Оцінки, отримані з допомогою методу моментів, є найкращими з погляду їх ефективності. Однак дуже часто вони використовуються як перші наближення.

Розглянемо приклад використання методу моментів.

Приклад: Розглянемо експонентний розподіл:

t>0; λ<0; t i (i=1..N) - Вибірка з сукупності з щільністю розподілу . Потрібно знайти оцінку параметра λ.

Складаємо рівняння: . Таким чином, інакше.

Метод квантилів.

Це такий самий емпіричний метод, як і метод моментів. Він у тому, що квантиль теоретичного розподілу прирівнюються до емпіричної квантили. Якщо оцінці підлягають кілька параметрів, відповідні рівності пишуться для кількох квантилей.

Розглянемо випадок, коли закон розподілу F(t,α,β)з двома невідомими параметрами α, β . Нехай функція F(t,α,β) має безперервно диференційовану щільність, що приймає позитивні значення для будь-яких можливих значень параметрів α, β. Якщо випробування проводити за планом , r>>1, то момент появи - го відмови можна як емпіричну квантиль рівня , i=1,2… , - емпірична функціярозподілу. Якби t lі t r – моменти появи l-го та r-го відмов відомі точно, значення параметрів α і β можна було б знайти з рівнянь

У роботах, призначених для початкового знайомства з математичною статистикою, зазвичай розглядають оцінки максимальної правдоподібності (скорочено ЗМЗ):

Таким чином, спочатку будується щільність розподілу ймовірностей, що відповідає вибірці. Оскільки елементи вибірки незалежні, то ця щільність представляється у вигляді добутку щільностей для окремих елементіввибірки. Спільна щільність розглядається у точці, що відповідає спостеріганим значенням. Цей вираз як функція параметра (при заданих елементах вибірки) називається функцією правдоподібності. Потім у той чи інший спосіб шукається значення параметра, у якому значення спільної щільності максимально. Це і є оцінка максимальної правдоподібності.

Добре відомо, що оцінки максимальної правдоподібності входять до класу найкращих асимптотично нормальних оцінок. Проте за кінцевих обсягах вибірки у низці завдань ЗМУ неприпустимі, т.к. вони гірші (дисперсія та середній квадрат помилки більші), ніж інші оцінки, зокрема, незміщені. Саме тому ГОСТ 11.010-81 для оцінювання параметрів негативного біномного розподілувикористовуються незміщені оцінки, а чи не ЗМУ. Зі сказаного слід апріорно віддавати перевагу ЗМУ іншим видам оцінок можна - якщо можна - лише на етапі вивчення асимптотичного поведінки оцінок.

В окремих випадках ЗМУ знаходяться явно, у вигляді конкретних формул, придатних для обчислення.

В більшості випадків аналітичних рішеньне існує, для знаходження ЗМЗ необхідно застосовувати чисельні методи. Така ситуація, наприклад, із вибірками з гамма-розподілу або розподілу Вейбулла-Гніденка. У багатьох роботах будь-яким ітераційним методом вирішують систему рівнянь максимальної правдоподібності або безпосередньо максимізують функцію правдоподібності.

Однак застосування чисельних методівпороджує численні проблеми. Схожість ітераційних методів потребує обґрунтування. У ряді прикладів функція правдоподібності має багато локальних максимумівА тому природні ітераційні процедури не сходяться. Для даних ВНДІ залізничного транспортуза втомними випробуваннями сталі рівняння максимальної правдоподібності має 11 коренів. Який з одинадцяти використовувати як оцінку параметра?

Як наслідок усвідомлення зазначених труднощів стали з'являтися роботи з доказу збіжності алгоритмів знаходження оцінок максимальної правдоподібності для конкретних ймовірнісних моделей і конкретних алгоритмів.

Проте теоретичний доказ збіжності ітераційного алгоритму - це ще все. Виникає питання про обґрунтований вибір моменту припинення обчислень у зв'язку з досягненням необхідної точності. Найчастіше він не вирішено.

Але це не все. Точність обчислень необхідно пов'язувати з обсягом вибірки - що він більше, тим точніше треба шукати оцінки параметрів, інакше не можна говорити про спроможність методу оцінювання. Більше того, при збільшенні обсягу вибірки необхідно збільшувати і кількість розрядів, що використовуються в комп'ютері, переходити від одинарної точності розрахунків до подвійної і далі - знову-таки задля досягнення спроможності оцінок.

Таким чином, за відсутності явних формул для оцінок максимальної правдоподібності знаходження ЗМЗ наштовхується на низку проблем обчислювального характеру. Фахівці з математичної статистики дозволяють собі ігнорувати всі ці проблеми, розмірковуючи про ЗМЗ у теоретичному плані. Проте прикладна статистика неспроможна їх ігнорувати. Зазначені проблеми ставлять під питання доцільність практичного використанняЗМП.

приклад 1.У статистичних завданняхстандартизації та управління якістю використовують сімейство гамма-розподілів. Щільність гамма-розподілу має вигляд

Щільність ймовірності у формулі (7) визначається трьома параметрами a, b, c, де a>2, b>0. При цьому aє параметром форми, b- параметром масштабу та з -параметром зсуву. Множник 1/Г(а)є нормувальним, він введений, щоб

Тут Г(а)- одна з використовуваних у математиці спеціальних функцій, так звана "гамма-функція", за якою названо і розподіл, що задається формулою (7),

Детальні рішення задач оцінювання параметрів для гамма-розподілу містяться у розробленому нами державному стандарті ГОСТ 11,011-83 «Прикладна статистика. Правила визначення оцінок та довірчих меж для параметрів гамма-розподілу». В даний час ця публікація використовується як методичного матеріалудля інженерно-технічних працівників промислових підприємствта прикладних науково-дослідних інститутів.

Оскільки гамма-розподіл залежить від трьох параметрів, є 2 3 - 1 = 7 варіантів постановок завдань оцінювання. Вони описані у табл. 1. У табл. 2 наведені реальні дані про напрацювання різців до граничного стану в годинах. Упорядкована вибірка ( варіаційний ряд) обсягу n= 50 взято з державного стандарту. Саме ці дані служитимуть вихідним матеріаломдемонстрації тих чи інших методів оцінювання параметрів.

Вибір «найкращих» оцінок у певній параметричній моделі прикладної статистики- Науково-дослідна робота, розтягнута в часі. Виділимо два етапи. Етап асимптотики: оцінки будуються та порівнюються за їх властивостями при безмежному зростанні обсягу вибірки На цьому етапі розглядають такі характеристики оцінок, як спроможність, асимптотична ефективність та ін. Етап кінцевих обсягів вибірки:оцінки порівнюються, скажімо, при n= 10. Зрозуміло, дослідження починається з етапу асимптотики: щоб порівнювати оцінки, треба спочатку їх побудувати і бути впевненими, що вони є абсурдними (таку впевненість дає доказ спроможності).

приклад 2.Оцінювання методом моментів параметрів гамма-розподілу у разі трьох невідомих параметрів (рядок 7 таблиці 1).

Відповідно до проведених вище міркувань для оцінювання трьох параметрів достатньо використовувати три вибіркові моменти - вибіркове середнє арифметичне:

вибіркову дисперсію

та вибірковий третій центральний момент

Прирівнюючи теоретичні моменти, виражені через параметри розподілу, та вибіркові моменти, отримуємо систему рівнянь методу моментів:

Вирішуючи цю систему, знаходимо оцінки способу моментів. Підставляючи друге рівняння в третє, отримуємо оцінку методу моментів для параметра зсуву:

Підставляючи цю оцінку на друге рівняння, знаходимо оцінку методу моментів для параметра форми:

Нарешті, з першого рівняння знаходимо оцінку параметра зсуву:

Для реальних даних, наведених вище у табл. 2, вибіркове середнє арифметичне = 57,88, вибіркова дисперсія s 2 = 663,00, вибірковий третій центральний момент m 3 = 14927,91. Відповідно до щойно отриманих формул оцінки методу моментів такі: a* = 5,23; b* = 11,26, c* = - 1,01.

Оцінки параметрів гамма-розподілу, отримані методом моментів є функціями від вибіркових моментів. Відповідно до сказаного вище, вони є асимптотично нормальними випадковими величинами. У табл. 3 наведено оцінки методу моментів та їх асимптотичні дисперсії при різних варіантахпоєднання відомих та невідомих параметрів гамма-розподілу.

Усі оцінки методу моментів, наведені у табл. 3, включені в державний стандарт. Вони охоплюють всі постановки задач оцінювання параметрів гамма-розподілу (див. табл. 1), крім тих, коли невідомий лише один параметр - aабо b. Для цих виняткових випадків розроблено спеціальні методиоцінювання.

Оскільки асимптотичний розподіл оцінок методу моментів відомий, то не важко формулювати правила перевірки статистичних гіпотезщодо значень параметрів розподілу, а також побудова довірчих меж для параметрів. Наприклад, у імовірнісній моделі, коли всі три параметри невідомі, відповідно до третього рядка таблиці 3 нижня довірча межа для параметра а, відповідна довірчої ймовірностіг = 0,95, в асимптотиці має вигляд

а верхня довірча межа для тієї ж довірчої ймовірності така

де а* - Оцінка методу моментів параметра форми (табл. 3).

приклад 3.Знайдемо ЗМУ для вибірки з нормального розподілу, кожен елемент якої має щільність

Таким чином, треба оцінити двовимірний параметр ( m, У 2).

Добуток щільностей ймовірностей елементів вибірки, тобто. функція правдоподібності, має вигляд

Потрібно вирішити задачу оптимізації

Як і багатьох інших випадках, завдання оптимізації простіше вирішується, якщо прологарифмувати функцію правдоподібності, тобто. перейти до функції

званою логарифмічною функцією правдоподібності. Для вибірки із нормального розподілу

Необхідною умовою максимуму є рівність 0 приватних похідних від логарифмічної функціїправдоподібності за параметрами, тобто.

Система (10) називається системою рівнянь максимальної правдоподібності. У загальному випадкучисло рівнянь дорівнює кількості невідомих параметрів, а кожне з рівнянь виписується шляхом прирівнювання 0 приватної похідної логарифмічної функції правдоподібності за тим чи іншим параметром.

При диференціюванні по mперші два доданки у правій частині формули (9) звертаються в 0, а останній доданок дає рівняння

Отже, оцінкою m* максимальної правдоподібності параметра mє вибіркове середнє арифметичне,

Для визначення оцінки дисперсії необхідно вирішити рівняння

Легко бачити, що

Отже, оцінкою (2)* максимальної правдоподібності для дисперсії у 2 з урахуванням знайденої раніше оцінки для параметра mє вибіркова дисперсія,

Отже, система рівнянь максимальної правдоподібності вирішена аналітично, ЗМЗ для математичного очікування та дисперсії нормального розподілу – це вибіркове середнє арифметичне та вибіркова дисперсія. Відмітимо, що остання оцінкає зміщеною.

Зазначимо, що в умовах прикладу 3 оцінки методу максимальної правдоподібності збігаються з оцінками методу моментів. Причому вид оцінок методу моментів очевидний і вимагає проведення будь-яких міркувань.

приклад 4.Спробуємо проникнути в таємний змістНаступна фраза засновника сучасної статистики Рональда Фішера: "немає нічого простішого, ніж придумати оцінку параметра". Класик іронізував: він мав на увазі, що легко вигадати погану оцінку. Добру оцінку не треба вигадувати (!) – її треба отримувати стандартним чином, використовуючи принцип максимальної правдоподібності.

Завдання. Відповідно до H 0 математичні очікування трьох незалежних пуассонівських випадкових величин пов'язані лінійною залежністю: .

Дано реалізації цих величин. Потрібно оцінити два параметри лінійної залежностіта перевірити H 0 .

Для наочності можна уявити лінійну регресію, Яка в точках набуває середніх значень. Нехай отримано значення. Що можна сказати про величину та справедливість H 0 ?

Наївний підхід

Здавалося б, оцінити параметри можна з здорового глузду. Оцінку нахилу прямої регресії отримаємо, поділивши збільшення при переході від x 1 =-1 до x 3 = +1 на, а оцінку значення знайдемо як середнє арифметичне:

Легко перевірити, що математичні очікування оцінок рівні (оцінки незміщені).

Після того, як оцінки отримані, H 0 перевіряють як зазвичай за допомогою хі-квадрат критерію Пірсона:

Оцінки очікуваних частот можна отримати, виходячи з оцінок:

При цьому якщо наші оцінки ”правильні”, то відстань Пірсона буде розподілена як випадкова величина хі-квадрат з одним ступенем свободи: 3-2=1. Нагадаємо, що ми оцінюємо два параметри, підганяючи дані під нашу модель. При цьому сума не фіксована, тому додаткову одиницю віднімати не потрібно.

Однак, підставивши, отримаємо дивний результат:

З одного боку ясно, що для даних частот немає підстав відкидати H 0 але ми не в змозі це перевірити за допомогою хі-квадрат критерію, так як оцінка очікуваної частоти в першій точці виявляється негативною. Отже, знайдені з “здорового глузду” оцінки неможливо вирішити завдання у випадку.

Метод максимальної правдоподібності

Випадкові величини є незалежними і мають пуассонівський розподіл. Імовірність отримати значення дорівнює:

Відповідно до принципу максимальної правдоподібності значення невідомих параметрів треба шукати, вимагаючи, щоб можливість отримати значення була максимальною:

Якщо постійні, ми маємо справу зі звичайною ймовірністю. Фішер запропонував новий термін "правдоподібність" для випадку, коли постійні, а змінними вважаються. Якщо правдоподібність виявляється твором ймовірностей незалежних подій, то природно перетворити твір на суму і далі мати справу з логарифмом правдоподібності:

Тут всі доданки, які не залежать від, позначені і в остаточному виразі відкинуті. Щоб знайти максимум логарифму правдоподібності, прирівняємо похідні до нуля:

Вирішуючи ці рівняння, отримаємо:

Такі “правильні” висловлювання оцінок. Оцінка середнього значення збігається з тим, що пропонував здоровий глузд, проте оцінки нахилу различаются: . Що можна сказати з приводу формули для?

• 1) Здається дивним, що відповідь залежить від частоти в середній точці, оскільки величина визначає кут нахилу прямої.
• 2) Проте, якщо справедлива H 0 (лінія регресії - пряма), то при великих значенняхспостерігаються частоти, вони стають близькими до своїх математичним очікуванням. Тому: і оцінка максимальної правдоподібності стає близька до результату, отриманого зі здорового глузду.

3) Переваги оцінки починають відчуватися, коли ми помічаємо, що всі очікувані частоти тепер виявляються завжди позитивними:

Це було не так для "наївних" оцінок, тому застосувати хі-квадрат критерій можна було не завжди (спроба замінити негативну або рівну нулюочікувану частоту на одиницю не рятує положення).

4) Чисельні розрахунки показують, що наївними оцінками можна використовувати лише, якщо очікувані частоти досить великі. Якщо використовувати їх при малих значеннях, то обчислена відстань Пірсона часто виявлятиметься надмірно великою.

Висновок : Правильний вибіроцінки важливий, тому що в іншому випадку перевірити гіпотезу за допомогою критерію хі-квадрат не вдасться. Оцінка, здавалося б, очевидна може виявитися непридатною!