Отримання точкових оцінок методом максимальної правдоподібності. Сутність завдання точкового оцінювання параметрів
На сьогодні багато чуток, багато суперечок йде навколо застосування сили магнітного поля, як варіант пом'якшувати воду і очищати заражені старим накипом поверхні. Люди скептично ставляться до магнітному впливу. Його роботу відразу помітити неможливо, його не можна побачити на конкретному прикладі. І російський недовірливий народ все ще вважає магнітне опромінення міфом.
І, тим щонайменше, у деяких галузях промисловості пристрої магнітної та електромагнітної обробки водивикористовуються дуже успішно. У промисловості взагалі більше знають роботу таких приладів. І відгуки часто-густо позитивні. Обробка води подібним чином допомагає вирішити відразу дві проблеми, тоді як застосування інших пом'якшувальних пристроїв спрямована виключно на пом'якшення води.
Магнітні ж сили працюють відразу за двома напрямками:
- Очищення поверхонь навіть у найнезручніших, важкодоступних місцях;
- Пом'якшення
При цьому пристрої не дають питної якості води. Але за такий подвійний плюс вони просто неоціненні, т.к. допомагають протягом тривалого часу і не згадувати про чищення, промивання тощо.
Утримувати поверхні опалювального обладнання в чистоті дуже важливо. Якщо цим знехтувати, дуже скоро прилад почне барахлити. У накипу, який завжди утворюється при роботі з жорсткою або жорсткою водою, є найголовніше негативна властивість- Утворення накипного нальоту на поверхнях. І ніхто б на цей наліт не звернув уваги (крім природно естетичної складової), якби вапно не мало ізоляційні властивості. При відкладенні на теплогрійні поверхні вона починає працювати, як ізолятор.
Все тепло, яке подається в систему, передається у воду в розмірі, що не перевищує відсотків 15, а то й менше. Інші відсотки залишаються всередині матеріалу, який продовжують розжарювати далі. Ось і виходить, що жорсткість веде до вибухів і тріщин навіть найміцніших поверхонь. І залатати такі ушкодження не можна. Купувати нове обладнання не завжди є можливість, відразу після поломки.
Звичайно, до винаходу магнітних пом'якшувачів води запобігали утворенню накипу профілактичними промиваннями, намагалися прибирати накип ще на стадії легкого нальоту, але великого ефектувід таких промивок не було.
Після того, як у 20 столітті відкрили чудодійну силу впливу магнітного поля на воду, було винайдено перший безреагентний магнітний пом'якшувач. Але в процесі його експлуатації були виділені недоліки, які змусили людство задуматися і створити модифіковану версію із застосуванням електричних імпульсів.
Основою роботи магнітного, як і електромагнітного перетворювача є потужне поле, що створюється силовими лініями. Проходячи через нього солі жорсткості, які мають зручну для прилипання прямокутною формою, Починають її міняти на форму голки. У такому вигляді прилипати до поверхонь складно, а розпушувати залишки попередніх відкладень дуже зручно. І оскільки іон – голка, то розпушення відбувається на іонному рівні. Це дуже тонке та ретельне очищення поверхонь обладнання від старих покладів, без використання будь-яких додаткових засобів.
Але в процесі експлуатації з'ясувалося, що створюване поле навіть найпотужнішим і громіздким постійним магнітомвиявляється слабким для зовнішніх впливів. Гаряча водазмушувала прилад зупинятися. Якщо вода стояла всередині труб, поле знову не працювало. Швидкість, напрямки все почало мати значення. Але щойно поле багаторазово посилювалося частотними електричними хвилями, як і весь негатив від роботи магніту усувався. Що й змусило надалі наголошувати на масове виробництво все ж таки електромагнітів.
Говорити про те, який прилад кращий, не зовсім коректно. Завжди слід враховувати вихідні дані. Але за інших рівних, електромагнітна обробка буде однозначно вигіднішою і зручнішою. Тим більше вона сильніша, краще працює, легша і коштує трохи більше. Але при цьому є певні ситуаціїу житті, коли купувати електромагніт немає сенсу. Наприклад, у квартирі стоїть стовпчик, навіщо на всю холодну водумонтувати дорожчий прилад? Тут і магнітного приладу цілком вистачить. Тим більше, що сьогодні за рахунок обтяження пристрою намагаються зробити його менш сприйнятливим, у тому числі до температур. І небезуспішно. Деякі екземпляри магнітних перетворювачів води витримують температуру за 120 градусів! Та, що найголовніше знайти місце, де прилад можна врізати. Тільки слід не забувати, що прилад досить важкий, а значить, труба не повинна провисати, інакше швидко зламається.
Досі ми вважали, що оцінка невідомого параметра відома та займалися вивченням її властивостей з метою використання їх при побудові довірчого інтервалу. У цьому параграфі розглянемо питання способи побудови оцінок.
Методи правдоподібності
Нехай потрібно оцінити невідомий параметр, взагалі, векторний, . При цьому передбачається, що вид функції розподілу відомий з точністю до параметра,
У такому разі всі моменти випадкової величини стають функціями від:
Метод моментів вимагає виконання наступних дій:
Обчислюємо k «теоретичних» моментів
За вибіркою будуємо до однойменних вибіркових моментів. У контексті, що викладається, це будуть моменти
Прирівнюючи «теоретичні» та однойменні ним вибіркові моменти, приходимо до системи рівнянь щодо компонент параметра, що оцінюється.
Вирішуючи отриману систему (точно чи приблизно), знаходимо вихідні оцінки. Вони, звісно, є функціями від вибіркових значень.
Ми виклали порядок дій, виходячи з початкових – теоретичних та вибіркових – моментів. Він зберігається за іншого вибору моментів, початкових, центральних чи абсолютних, який визначається зручністю рішення системи (25.1) чи їй подібної.
Перейдемо до прикладів.
Приклад 25.1.Нехай випадкова величинарозподілена рівномірно на відрізку [; ] де - невідомі параметри. За вибіркою () обсягу n із розподілу випадкової величини. Потрібно оцінити в.
У даному випадкурозподіл визначається щільністю
1) Обчислимо перші два початкові «теоретичні» моменти:
2) Обчислимо за вибіркою два перші початкові вибіркові моменти
3) Складемо систему рівнянь
4) З першого рівняння виразимо через
і підставимо на друге рівняння, в результаті чого прийдемо до квадратного рівняння
вирішуючи яке, знаходимо два корені
Відповідні значення такі
Оскільки за змістом завдання має виконуватися умова< , выбираем в качестве решения системы и оценок неизвестных параметров
Помічаючи, що є не що інше, як вибіркова дисперсія, отримуємо остаточно
Якби ми вибрали як «теоретичні» моменти математичне очікування та дисперсію, то прийшли б до системи (з урахуванням нерівності<)
яка лінійна і вирішується простіше за попередню. Відповідь, звичайно, збігається з уже отриманою.
Зрештою, зазначимо, що наші системи завжди має рішення і при цьому єдине. Отримані оцінки, звісно, заможні, проте властивостями незміщеності не мають.
Метод максимальної правдоподібності
Вивчається, як і раніше, випадкова величина, розподіл якої визначається або ймовірностями її значень, якщо дискретна, або щільністю розподілу, якщо безперервна, де - невідомий векторний параметр. Нехай () – вибірка значень. Природно в якості оцінки взяти значення параметра, при якому ймовірність отримання вже наявної вибірки максимальна.
Вираз
називають функцією правдоподібності, вона являє собою спільний розподіл або спільну густину випадкового вектора з n незалежними координатами, кожна з яких має той самий розподіл (щільність), що і.
В якості оцінки невідомого параметра береться таке його значення, яке доставляє максимум функції, що розглядається як функції при фіксованих значеннях. Оцінку називають оцінкою максимальної правдоподібності. Зауважимо, що залежить від обсягу вибірки n та вибіркових значень
і, отже, сама є випадковою величиною.
Знаходження точки максимуму функції є окремим завданням, яке полегшується, якщо функція диференційована за параметром.
У цьому випадку зручно замість функції розглядати її логарифм, оскільки точки екстремуму функції та її логарифма збігаються.
Методи диференціального обчислення дозволяють знайти точки, підозрілі на екстремум, а потім з'ясувати, в якій досягається максимум.
З цією метою розглядаємо спочатку систему рівнянь
рішення якої – точки, підозрілі на екстремум. Потім за відомою методикою, обчислюючи значення других похідних
за знаком визначника, складеного з цих значень, знаходимо точку максимуму.
Оцінки, отримані за методом максимальної правдоподібності, спроможні, хоча можуть виявитися зміщеними.
Розглянемо приклади.
Приклад 25.2.Нехай проводиться деякий випадковий експеримент, результатом якого може бути деяке події А, ймовірність Р(А) якого невідома і оцінюється.
Введемо випадкову величину рівністю
якщо подія А сталася,
якщо подія А не відбулася (відбулася подія).
Розподіл випадкової величини задається рівністю
Вибіркою в даному випадку буде кінцева послідовність (), де кожне з може дорівнювати 0 або 1.
Функція правдоподібності матиме вигляд
Знайдемо точку її максимуму по р, для чого обчислимо похідну логарифму
Позначимо - це число дорівнює кількості одиниць «успіхів» у вибраній послідовності.
Завдання оцінки параметрів розподілу полягає у отриманні найбільш правдоподібних оцінок невідомих параметрів розподілу генеральної сукупності виходячи з вибіркових даних. Крім методу моментів для визначення точкової оцінки параметрів розподілу використовується також метод найбільшої правдоподібності. Метод найбільшої правдоподібності було запропоновано англійським статистиком Р. Фішером у 1912 р.
Нехай для оцінки невідомого параметра випадкової величини Х із генеральної сукупності із щільністю розподілу ймовірностей p(x)= p(x, ) вилучено вибірку x 1 ,x 2 ,…,x n. Розглянемо результати вибірки як реалізацію n-мірної випадкової величини ( X 1 ,X 2 ,…,X n). Розглянутий раніше метод моментів отримання точкових оцінок невідомих параметрів теоретичного розподілу який завжди дає найкращі оцінки. Методом пошуку оцінок, що мають необхідні (найкращі) властивості, є метод максимальної правдоподібності.
В основі методу максимальної правдоподібності лежить умова визначення екстремуму деякої функції, яка називається функцією правдоподібності.
Функцією правдоподібності ДСВ Х
L (x 1 ,x 2 ,…,x n ; )=p(x 1 ; )p(x 2 ; )…p(x n ; ),
де x 1, …, x n– фіксовані варіанти вибірки, – невідомий оцінюваний параметр, p(x i; ) – ймовірність події X= x i .
Функцією правдоподібності НСВ Хназивають функцію аргументу :
L (x 1 ,x 2 ,…,x n ; )=f(x 1 ; )f(x 2 ; )…f(x n ; ),
де f(x i; ) – задана функція щільності ймовірності у точках x i .
Як точкову оцінку параметрів розподілу
приймають таке його значення, при якому функція правдоподібності досягає свого максимуму. Оцінку 
називають оцінкою максимальної правдоподібності. Т.к. функції L
і
Lдосягають свого максимуму при однакових значеннях , то зазвичай для знаходження екстремуму (максимуму) використовують
Lяк зручнішу функцію.
Для визначення точки максимуму
Lтреба скористатися відомим алгоритмом для обчислення екстремуму функції:
У тому випадку, коли щільність ймовірності залежить від двох невідомих параметрів – 1 та 2 , то знаходять критичні точки, розв'язавши систему рівнянь:
Отже, згідно з методом найбільшої правдоподібності, як оцінка невідомого параметра
приймається таке значення *, за якого 
розподілу вибірки x 1 ,x 2 ,…,x nмаксимальна.
Завдання 8.Знайдемо методом найбільшої правдоподібності оцінку 
для ймовірності pу схемі Бернуллі,
Проведемо nнезалежних повторних випробувань та виміряємо кількість успіхів, яку позначимо m. За формулою Бернуллі ймовірність того, що буде mуспіхів з n- Є функція правдоподібності ДСВ.
Рішення
:
Складемо функцію правдоподібності 
.
Згідно з методом найбільшої правдоподібності, знайдемо таке значення p, яке максимізує L, а разом з нею і ln L.
Тоді логарифмуючи L, маємо:
Похідна функції ln Lпо pмає вигляд 
і в точці екстремуму дорівнює нулю. Тому, вирішивши рівняння 
, маємо 
.
Перевіримо знак другої похідної 
в отриманій точці:
. Т.к. 
при будь-яких значеннях аргументу, то знайдене значення pє точка максимуму.
Значить, 
– найкраща оцінка для 
.
Отже, згідно з методом найбільшої правдоподібності, оцінкою ймовірності p
події Ау схемі Бернуллі служить відносна частота цієї події 
.
Якщо вибірка x 1 , x 2 ,…, x nвилучена з нормально розподіленої сукупності, то оцінки для математичного очікування та дисперсії методом найбільшої правдоподібності мають вигляд:
Знайдені значення збігаються із оцінками цих параметрів, отриманими методом моментів. Т.к. дисперсія зміщена, її необхідно помножити на поправку Бесселя. Тоді вона набуде вигляду 
, збігаючись із вибірковою дисперсією.
Завдання
9
. Нехай дано розподіл Пуассона 
де за m=
x iмаємо 
. Знайдемо методом найбільшої правдоподібності оцінку невідомого параметра
.
Рішення :
Склавши функцію правдоподібності L
та її логарифм ln
L. Маємо: 
Знайдемо похідну від
ln L:
і вирішимо рівняння 
. Отримана оцінка параметра розподілу
набуде вигляду: 
Тоді 
т.к. при 
друга приватна похідна 
то це точка максимуму. Отже, як оцінку найбільшої правдоподібності параметра для розподілу Пуассона можна прийняти вибіркове середнє.
Можна переконатися, що при показовому розподілі 
функція правдоподібності для вибіркових значень x 1 ,
x 2 ,
…, x nмає вигляд:
.
Оцінка параметра розподілу для показового розподілу дорівнює: 
.
Перевагою методу найбільшої правдоподібності є можливість отримати «хороші» оцінки, які мають такі властивості, як спроможність, асимптотична нормальність та ефективність для вибірок великих обсягів за найзагальніших умов.
Основним недоліком методу є складність розв'язання рівнянь правдоподібності, а також те, що не завжди відомий аналізований закон розподілу.
У роботах, призначених для початкового знайомства з математичною статистикою, зазвичай розглядають оцінки максимальної правдоподібності (скорочено ЗМЗ):
Таким чином, спочатку будується щільність розподілу ймовірностей, що відповідає вибірці. Оскільки елементи вибірки незалежні, ця щільність представляється як твори щільностей окремих елементів вибірки. Спільна щільність розглядається у точці, що відповідає спостеріганим значенням. Цей вираз як функція параметра (при заданих елементах вибірки) називається функцією правдоподібності. Потім у той чи інший спосіб шукається значення параметра, у якому значення спільної щільності максимально. Це і є оцінка максимальної правдоподібності.
Добре відомо, що оцінки максимальної правдоподібності входять до класу найкращих асимптотично нормальних оцінок. Проте за кінцевих обсягах вибірки у низці завдань ЗМУ неприпустимі, т.к. вони гірші (дисперсія та середній квадрат помилки більші), ніж інші оцінки, зокрема, незміщені. Саме тому ГОСТ 11.010-81 для оцінювання параметрів негативного биномиального розподілу використовуються несмещенные оцінки, а чи не ЗМУ. Зі сказаного слід апріорно віддавати перевагу ЗМУ іншим видам оцінок можна - якщо можна - лише на етапі вивчення асимптотичного поведінки оцінок.
В окремих випадках ЗМУ знаходяться явно, у вигляді конкретних формул, придатних для обчислення.
Найчастіше аналітичних рішень немає, перебування ОМП необхідно застосовувати чисельні методи. Така ситуація, наприклад, із вибірками з гамма-розподілу або розподілу Вейбулла-Гніденка. У багатьох роботах будь-яким ітераційним методом вирішують систему рівнянь максимальної правдоподібності або безпосередньо максимізують функцію правдоподібності.
Проте застосування чисельних методів породжує численні проблеми. Схожість ітераційних методів потребує обґрунтування. У ряді прикладів функція правдоподібності має багато локальних максимумів, тому природні ітераційні процедури не сходяться. Для даних ВНДІ залізничного транспорту за втомними випробуваннями сталі рівняння максимальної правдоподібності має 11 коренів. Який з одинадцяти використовувати як оцінку параметра?
Як наслідок усвідомлення зазначених труднощів стали з'являтися роботи з доказу збіжності алгоритмів знаходження оцінок максимальної правдоподібності для конкретних ймовірнісних моделей і конкретних алгоритмів.
Проте теоретичний доказ збіжності ітераційного алгоритму - це ще все. Виникає питання про обґрунтований вибір моменту припинення обчислень у зв'язку з досягненням необхідної точності. Найчастіше він не вирішено.
Але це не все. Точність обчислень необхідно пов'язувати з обсягом вибірки - що він більше, тим точніше треба шукати оцінки параметрів, інакше не можна говорити про спроможність методу оцінювання. Більше того, при збільшенні обсягу вибірки необхідно збільшувати і кількість розрядів, що використовуються в комп'ютері, переходити від одинарної точності розрахунків до подвійної і далі - знову-таки задля досягнення спроможності оцінок.
Таким чином, за відсутності явних формул для оцінок максимальної правдоподібності знаходження ЗМЗ наштовхується на низку проблем обчислювального характеру. Фахівці з математичної статистики дозволяють собі ігнорувати всі ці проблеми, розмірковуючи про ЗМЗ у теоретичному плані. Проте прикладна статистика неспроможна їх ігнорувати. Зазначені проблеми ставлять під питання доцільність практичного використання ЗМЗ.
приклад 1.У статистичних завданнях стандартизації та управління якістю використовують сімейство гамма-розподілів. Щільність гамма-розподілу має вигляд
Щільність ймовірності у формулі (7) визначається трьома параметрами a, b, c, де a>2, b>0. При цьому aє параметром форми, b- параметром масштабу та з -параметром зсуву. Множник 1/Г(а)є нормувальним, він введений, щоб
Тут Г(а)- одна з використовуваних у математиці спеціальних функцій, так звана "гамма-функція", за якою названо і розподіл, що задається формулою (7),
Детальні рішення задач оцінювання параметрів для гамма-розподілу містяться у розробленому нами державному стандарті ГОСТ 11,011-83 «Прикладна статистика. Правила визначення оцінок та довірчих меж для параметрів гамма-розподілу». В даний час ця публікація використовується як методичного матеріалудля інженерно-технічних працівників промислових підприємствта прикладних науково-дослідних інститутів.
Оскільки гамма-розподіл залежить від трьох параметрів, є 2 3 - 1 = 7 варіантів постановок завдань оцінювання. Вони описані у табл. 1. У табл. 2 наведені реальні дані про напрацювання різців до граничного стану в годинах. Упорядкована вибірка ( варіаційний ряд) обсягу n= 50 взято з державного стандарту. Саме ці дані служитимуть вихідним матеріаломдемонстрації тих чи інших методів оцінювання параметрів.
Вибір «найкращих» оцінок у певній параметричній моделі прикладної статистики- Науково-дослідна робота, розтягнута в часі. Виділимо два етапи. Етап асимптотики: оцінки будуються та порівнюються за їх властивостями при безмежному зростанні обсягу вибірки На цьому етапі розглядають такі характеристики оцінок, як спроможність, асимптотична ефективність та ін. Етап кінцевих обсягів вибірки:оцінки порівнюються, скажімо, при n= 10. Зрозуміло, дослідження починається з етапу асимптотики: щоб порівнювати оцінки, треба спочатку їх побудувати і бути впевненими, що вони є абсурдними (таку впевненість дає доказ спроможності).
приклад 2.Оцінювання методом моментів параметрів гамма-розподілу у разі трьох невідомих параметрів (рядок 7 таблиці 1).
Відповідно до проведених вище міркувань для оцінювання трьох параметрів достатньо використовувати три вибіркові моменти - вибіркове середнє арифметичне:
вибіркову дисперсію
та вибірковий третій центральний момент
Прирівнюючи теоретичні моменти, виражені через параметри розподілу, та вибіркові моменти, отримуємо систему рівнянь методу моментів:
Вирішуючи цю систему, знаходимо оцінки способу моментів. Підставляючи друге рівняння в третє, отримуємо оцінку методу моментів для параметра зсуву:
Підставляючи цю оцінку на друге рівняння, знаходимо оцінку методу моментів для параметра форми:
Нарешті, з першого рівняння знаходимо оцінку параметра зсуву:
Для реальних даних, наведених вище у табл. 2, вибіркове середнє арифметичне = 57,88, вибіркова дисперсія s 2 = 663,00, вибірковий третій центральний момент m 3 = 14927,91. Відповідно до щойно отриманих формул оцінки методу моментів такі: a* = 5,23; b* = 11,26, c* = - 1,01.
Оцінки параметрів гамма-розподілу, отримані методом моментів є функціями від вибіркових моментів. Відповідно до сказаного вище, вони є асимптотично нормальними випадковими величинами. У табл. 3 наведено оцінки методу моментів та їх асимптотичні дисперсії при різних варіантахпоєднання відомих та невідомих параметрів гамма-розподілу.
Усі оцінки методу моментів, наведені у табл. 3, включені в державний стандарт. Вони охоплюють всі постановки задач оцінювання параметрів гамма-розподілу (див. табл. 1), крім тих, коли невідомий лише один параметр - aабо b. Для цих виняткових випадків розроблено спеціальні методиоцінювання.
Оскільки асимптотичний розподіл оцінок методу моментів відомий, то не важко формулювати правила перевірки статистичних гіпотезщодо значень параметрів розподілу, а також побудова довірчих меж для параметрів. Наприклад, в імовірнісної моделі, коли всі три параметри невідомі, відповідно до третього рядка таблиці 3 нижня довірча межа для параметра а, відповідна довірчої ймовірностіг = 0,95, в асимптотиці має вигляд
а верхня довірча межа для тієї ж довірчої ймовірності така
де а* - Оцінка методу моментів параметра форми (табл. 3).
приклад 3.Знайдемо ЗМП для вибірки з нормального розподілукожен елемент якої має щільність
Таким чином, треба оцінити двовимірний параметр ( m, У 2).
Добуток щільностей ймовірностей елементів вибірки, тобто. функція правдоподібності, має вигляд
Потрібно вирішити задачу оптимізації
Як і багатьох інших випадках, завдання оптимізації простіше вирішується, якщо прологарифмувати функцію правдоподібності, тобто. перейти до функції
званою логарифмічною функцією правдоподібності. Для вибірки із нормального розподілу
Необхідною умовою максимуму є рівність 0 приватних похідних від логарифмічної функціїправдоподібності за параметрами, тобто.
Система (10) називається системою рівнянь максимальної правдоподібності. У загальному випадкучисло рівнянь дорівнює кількості невідомих параметрів, а кожне з рівнянь виписується шляхом прирівнювання 0 приватної похідної логарифмічної функції правдоподібності за тим чи іншим параметром.
При диференціюванні по mперші два доданки у правій частині формули (9) звертаються в 0, а останній доданок дає рівняння
Отже, оцінкою m* максимальної правдоподібності параметра mє вибіркове середнє арифметичне,
Для визначення оцінки дисперсії необхідно вирішити рівняння
Легко бачити, що
Отже, оцінкою (2)* максимальної правдоподібності для дисперсії у 2 з урахуванням знайденої раніше оцінки для параметра mє вибіркова дисперсія,
Отже, система рівнянь максимальної правдоподібності вирішена аналітично, ЗМЗ для математичного очікування та дисперсії нормального розподілу – це вибіркове середнє арифметичне та вибіркова дисперсія. Відмітимо, що остання оцінкає зміщеною.
Зазначимо, що в умовах прикладу 3 оцінки методу максимальної правдоподібності збігаються з оцінками методу моментів. Причому вид оцінок методу моментів очевидний і вимагає проведення будь-яких міркувань.
приклад 4.Спробуємо проникнути в таємний змістНаступна фраза засновника сучасної статистики Рональда Фішера: "немає нічого простішого, ніж придумати оцінку параметра". Класик іронізував: він мав на увазі, що легко вигадати погану оцінку. Добру оцінку не треба вигадувати (!) – її треба отримувати стандартним чином, використовуючи принцип максимальної правдоподібності.
Завдання. Відповідно до H 0 математичні очікування трьох незалежних пуассонівських випадкових величин пов'язані лінійною залежністю: .
Дано реалізації цих величин. Потрібно оцінити два параметри лінійної залежностіта перевірити H 0 .
Для наочності можна уявити лінійну регресію, Яка в точках набуває середніх значень. Нехай отримано значення. Що можна сказати про величину та справедливість H 0 ?
Наївний підхід
Здавалося б, оцінити параметри можна з здорового глузду. Оцінку нахилу прямої регресії отримаємо, поділивши збільшення при переході від x 1 =-1 до x 3 = +1 на, а оцінку значення знайдемо як середнє арифметичне:
Легко перевірити, що математичні очікування оцінок рівні (оцінки незміщені).
Після того, як оцінки отримані, H 0 перевіряють як зазвичай за допомогою хі-квадрат критерію Пірсона:
Оцінки очікуваних частот можна отримати, виходячи з оцінок:
При цьому якщо наші оцінки ”правильні”, то відстань Пірсона буде розподілена як випадкова величина хі-квадрат з одним ступенем свободи: 3-2=1. Нагадаємо, що ми оцінюємо два параметри, підганяючи дані під нашу модель. При цьому сума не фіксована, тому додаткову одиницю віднімати не потрібно.
Однак, підставивши, отримаємо дивний результат:
З одного боку ясно, що для даних частот немає підстав відкидати H 0 але ми не в змозі це перевірити за допомогою хі-квадрат критерію, так як оцінка очікуваної частоти в першій точці виявляється негативною. Отже, знайдені з “здорового глузду” оцінки неможливо вирішити завдання у випадку.
Метод максимальної правдоподібності
Випадкові величини є незалежними і мають пуассонівський розподіл. Імовірність отримати значення дорівнює:
Відповідно до принципу максимальної правдоподібності значення невідомих параметрів треба шукати, вимагаючи, щоб можливість отримати значення була максимальною:
Якщо постійні, ми маємо справу зі звичайною ймовірністю. Фішер запропонував новий термін "правдоподібність" для випадку, коли постійні, а змінними вважаються. Якщо правдоподібність виявляється твором ймовірностей незалежних подій, то природно перетворити твір на суму і далі мати справу з логарифмом правдоподібності:
Тут всі доданки, які не залежать від, позначені і в остаточному виразі відкинуті. Щоб знайти максимум логарифму правдоподібності, прирівняємо похідні до нуля:
Вирішуючи ці рівняння, отримаємо:
Такі “правильні” висловлювання оцінок. Оцінка середнього значення збігається з тим, що пропонував здоровий глузд, проте оцінки нахилу различаются: . Що можна сказати з приводу формули для?
- 1) Здається дивним, що відповідь залежить від частоти в середній точці, оскільки величина визначає кут нахилу прямої.
- 2) Проте, якщо справедлива H 0 (лінія регресії - пряма), то при великих значенняхспостерігаються частоти, вони стають близькими до своїх математичним очікуванням. Тому: і оцінка максимальної правдоподібності стає близька до результату, отриманого зі здорового глузду.
3) Переваги оцінки починають відчуватися, коли ми помічаємо, що всі очікувані частоти тепер виявляються завжди позитивними:
Це було не так для "наївних" оцінок, тому застосувати хі-квадрат критерій можна було не завжди (спроба замінити негативну або рівну нулюочікувану частоту на одиницю не рятує положення).
4) Чисельні розрахунки показують, що наївними оцінками можна використовувати лише, якщо очікувані частоти досить великі. Якщо використовувати їх при малих значеннях, то обчислена відстань Пірсона часто виявлятиметься надмірно великою.
Висновок : Правильний вибіроцінки важливий, тому що в іншому випадку перевірити гіпотезу за допомогою критерію хі-квадрат не вдасться. Оцінка, здавалося б, очевидна може виявитися непридатною!
У попередньому розділі розглядалася байєсівська теорія оцінювання. Однією з найбільш корисних оцінок, отриманих там, є оцінка максимуму апостеріорної щільності ймовірності. Значення цієї оцінки визначаються шляхом максимізації умовної густини
щодо змінної. Для цієї оцінки було введено спеціальне позначення. Так як безумовна щільність не залежить від параметра, то значення оцінки можуть знаходитись шляхом максимізації спільної щільності
щодо. Можна також максимізувати значення натурального логарифмувід цієї густини. У цьому випадку значення оцінки при кожній вибірці є коренем рівняння
Припустимо тепер, що жодних апріорних відомостей про параметр немає. Якби параметр був випадковим і мав нормальну щільністьймовірності
,
то розглянутий тут випадок можна було б отримати граничним переходомпри необмеженому збільшенні дисперсій всіх компонент вектора. Бо при цьому
,
то при маємо. Таким чином, за відсутності апріорних відомостей про параметр можна покласти
.
(6.27)
Отримана у своїй з ур-ния (6.26) оцінка називається оцінкою максимальної правдоподібності. Вона є коренем рівняння
(6.28)
або, що еквівалентно,
.
(6.29)
Оцінка максимальної правдоподібності була запропонована раніше, ніж була розвинена теорія оцінювання Байєса. Вона визначалася як значення параметра , у якому функція правдоподібності набуває найбільшого значення. З наведених вище міркувань має бути очевидним, що точність оцінки максимальної правдоподібності буде гіршою, ніж байєсівської оцінки. Незважаючи на це, існують досить вагомі причини, через які використання цієї оцінки виявляється розумним. Так, часто зустрічаються завдання оцінювання, в яких
Параметр не є випадковим, яке значення невідомо;
Параметр є випадковим, проте його апріорна густина ймовірності невідома;
Вираз для апостеріорної щільності виявляється настільки складним, що його важко використовувати для обчислень, в той час як функція правдоподібності має відносно простий вигляд.
У першому випадку взагалі немає можливості знайти байєсовську оцінку, оскільки про густину ймовірності взагалі не можна говорити. Один із можливих шляхів подолання цієї труднощі полягає в тому, щоб використовувати псевдобайєсівські оцінки. Такі оцінки будуть розглянуті у § 6.5.
Приклад 6.6.Розглянемо одне з класичних завдань оцінювання, яке було вирішено з використанням оцінок максимальної правдоподібності. Нехай потрібно оцінити середнє значення та дисперсію нормальної випадкової величини за вибіркою із незалежних спостережень цієї величини. Для спостерігається величини при цьому маємо
, де
Через незалежність спостережень можна зависати
У цьому завдання параметри, що підлягають оцінюванню, і не є випадковими, так що байесівські оцінки знайти не можна.
Це рівняння має єдиний корінь 
, який і слід прийняти як оцінку максимальної правдоподібності для середнього значення. Оскільки математичне очікування цієї оцінки збігається зі значенням параметра, що оцінюється, тобто. 
то цю оцінку називають незміщеною.
Випадок 2. Припустимо, що значення параметра відомо. Оцінка максимальної правдоподібності для дисперсії у разі є коренем рівняння
.
Вирішивши це рівняння, отримуємо
.
Ця оцінка також є незміщеною, оскільки .
Розглянемо тепер завдання оцінювання стандартного відхилення. Можна припустити, що ця оцінка представляється як квадратний корінь з оцінки для дисперсії. Це справді так, оскільки оцінка
є коренем рівняння
Випадок 3. Значення обох параметрів невідомі. У цьому випадку оцінюватися повинні два параметри та . Обчислюючи похідні функції правдоподібності по змінним і прирівнюючи їх нулю і вирішуючи знайдену систему з двох рівнянь, отримуємо
;
.
Оцінка середнього значення тут знову незміщена, а середнє значення оцінки дисперсії 
дорівнює значенню оцінюваного параметра, тобто в зазначених умовє зміщеною. Можна було б, запровадивши поправку, отримати незміщену оцінку 
, Що не є, однак, більш оцінкою максимальної правдоподібності.
Часто корисно мати алгоритми послідовного обчислення оцінок та . Тут нижні індекси оцінок максимальної правдоподібності замінені на індекс , який вказує обсяг використовуваної для оцінювання вибірки. При обсязі вибірки, що дорівнює , оцінка 
. Тому алгоритм послідовного обчислення цієї оцінки має вигляд 
. Алгоритм послідовного обчислення оцінки знаходиться дещо складніше. Скористаємося вже полікованим раніше виразом для оцінки
і випишемо аналогічний вираз для оцінки
.
Оцінку тепер представимо у рекурентному вигляді. Тоді з двох виписаних рівностей після нечисленних алгебраїчних перетворень отримуємо
Рекурентні алгоритми обчислення оцінок повинні використовуватися спільно.
Приклад 6.7.Знайдемо оцінку максимальної правдоподібності для параметра, що розглядався в прикладі 6.1. Тепер щільність імовірності
Оцінка максимальної правдоподібності визначається як корінь рівняння
і має вигляд
У даному випадку можна знайти і байєсовську оцінку
Якщо прийняти, що , то оцінка, що забезпечує мінімум середньоквадратичної помилки, збігається з оцінкою максимальної правдоподібності. Цікаво відзначити, що в цьому випадку оцінка з мінімальною дисперсією, яка збігається також з байєсовською оцінкою при модульній функції вартості та з оцінкою по максимуму апостеріорної щільності ймовірності, так само, як і оцінка максимальної правдоподібності, є незміщеною.
Надзвичайно корисно обчислити кореляційні матриці помилок вектора цих двох оцінок. Для байєсівської оцінки така матриця вже була обчислена і було показано, що
Для оцінки максимальної правдоподібності отримуємо
Якщо тепер скористатися уявленням, то
Кореляційна матриця вектора помилок під час використання оцінки максимальної правдоподібності завжди більша, ніж кореляційна матриця вектора помилок для оцінки з мінімальною середньоквадратичною помилкою. Ці матриці збігаються тільки в тому випадку, коли .
Корисно розглянути випадок, коли матриця є одиничною, тобто . При цьому .
Оцінка максимальної правдоподібності, байєсовська оцінка та їх кореляційні матриці в цьому випадку набувають вигляду
Тут не можна очікувати, що оцінка максимальної правдоподібності виявиться досить точною, оскільки її значення просто збігаються зі значеннями вибірки, що отримується.
Якщо обсяг вибірки набагато більший за розмірність оцінюваного параметра, то оцінка максимальної правдоподібності може виявитися досить хорошою. Наприклад, нехай де - скалярний параметр, а вектори і мають розмірність . Припустимо також, що
і 
. Оцінки, що розглядаються тут, та їх середньоквадратичні помилки при цьому визначаються співвідношеннями
;
;
;
.
Часто виявляється, що для досить великих значень виконується нерівність 
. І тут середньоквадратичні помилки обох оцінок будуть фактично однакові.
Аналогічні результати можна отримати за безперервного часу для прикладу 6.3. Якщо модель спостережень у останньому прикладіз дискретним часомтрактувати як дискретний аналог наступної моделі процесу, що спостерігається
;
.
де - нормальний білий шум із нульовим середнім значенням, то, використовуючи позначення прикладу 6.3, можна отримати
;
.
Звідси випливає, що якщо вид функції не змінюється при зміні, то середньоквадратична помилка оцінювання зменшується зі зростанням. Якщо ж енергія сигналу визначається як 
, повинна залишатися постійною за будь - якого значення параметра , то значення середньоквадратичної помилки не залежить ні від тривалості , ні від форми сигналу . Якщо , то середньоквадратична помилка байєсівської оцінки фактично буде такою самою, як і в оцінки максимальної правдоподібності. Якщо ж це не так і справедливо зворотне нерівність, то це означає, що або є досить інтенсивний шум (велике), або є хороша апріорна оцінка для, з якої можна почати (мало). Значення оцінки з мінімальною середньоквадратичною помилкою та середньоквадратична помилка цієї оцінки при цьому мало відрізняються від відповідних параметрів апріорного розподілу та можна записати
;
.
Так що в цьому випадку середнє значення апріорного розподілу приймається як найкращої оцінкидля параметра . У прикладі 6.5 вже зазначалося, що при великих відносинах сигнал/шум середньоквадратичні помилки оцінювання при використанні оцінки максимуму апостеріорної щільності та оцінки з мінімальною середньоквадратичною помилкою практично однакові. З результатів цього прикладу випливає, що при великих значеннях відношення сигнал/шум (тут при ) точність оцінок і практично така сама, як і в оцінки максимальної правдоподібності
приклад 6.8. Наведемо тепер докладний аналізпростий завдання оцінювання методом максимальної правдоподібності за наявності пофарбованого шуму. У процесі розв'язання цього завдання будуть проілюстровані міркування, якими можна буде скористатися під час практичного вибору інтервалу дискретизації. Нехай спостереженню доступні реалізації скалярного процесу , , де - постійний скалярний параметр, і
Для вирішення задачі оцінювання параметра надійде наступним чином. Введемо відповідну модель спостережень за дискретного часу 
, , де період відліків вибирається так, щоб зміни процесу на такому інтервалі були добре помітні. Для цієї моделі маємо
Спостережуваний процес можна тепер записати у векторній формі:
.
Оцінка максимальної правдоподібності параметра
де ковариационная матриця шуму має елементи: (чи період відліків компоненти вектора (або ) при подальшому, навіть необмеженому, збільшенні обсягу вибірки виявляється незначним.
Мал. 6.8. Залежність дисперсії помилки оцінювання обсягу вибірки (приклад 6.8.): 1 - алгоритм, орієнтований білий шум; 2 - алгоритм, орієнтований пофарбований шум.
Наведене вище вираз справедливо тільки в тому випадку, якщо компоненти вектора дійсно незалежні. Справжнє значення середньоквадратичної помилки оцінювання під час використання оцінки у разі пофарбованого шуму може бути знайдено із співвідношення
) алгоритм, орієнтований на білий шум, забезпечує значення середньоквадратичної помилки, лише трохи перевищує значення помилки для алгоритму, орієнтованого на пофарбований шум. Оскільки алгоритми для білого шуму набагато простіше, ніж алгоритми для пофарбованого шуму, то в практичних додатках можна надійти таким чином, обсяг вибірки прийняти рівним 40 і використовувати прості алгоритмиоцінювання, орієнтовані на білий шум, якщо така висока частота відліків допустима. Середньоквадратична помилка оцінювання за вибіркою об'єму при використанні алгоритму для забарвленого шуму (коли шум насправді забарвлений) дорівнює середньоквадратичній помилці оцінювання за вибіркою об'єму при використанні алгоритму для білого шуму. Відношення цих середньоквадратичних помилок при дорівнює приблизно двом.
