Взаємна інформація та її властивості. Умовна та безумовна взаємна інформація

Визначимо тепер інформацію, що міститься в одному ансамблі щодо іншого, наприклад, прийнятому сигналі щодо переданого повідомлення. Для цього розглянемо повідомлення двох дискретних ансамблів Aі B, Загалом кажучи, залежних. Його можна інтерпретувати як пару ансамблів повідомлень, або як ансамблі повідомлення та сигналу, за допомогою якого повідомлення передається, або як ансамблі сигналів на вході та виході каналу зв'язку тощо. P(a k,b l) спільна ймовірність реалізацій a kі b l. Спільною ентропією ансамблів Aі Bбудемо називати:

Введемо також поняття умовної ентропії:

(2.7)

де P(a k / b l)- умовна ймовірність a k ,якщо має місце b l, тут математич..

З теореми множення ймовірностей випливає, що .

Для умовної ентропії справедливо подвійна нерівність:

Розглянемо два крайні випадки:

1. Рівність має місце у разі, коли, знаючи реалізацію , можна точно встановити реалізацію . Іншими словами, містить повну інформацію про .

2. Інший крайній випадок, коли має місце, якщо події та незалежні. І тут знання реалізації не зменшує невизначеності , тобто. не містить жодної інформації про А.

У загальному випадку, Що має місце на практиці, умовна ентропія менше безумовної і знання реалізації знімає в середньому первісну невизначеність. Звичайно, назвати різницю кількістю інформації, що міститься щодо . Її називають також взаємною інформацією між і позначають:

Підставляючи в цю формулу значення H(A) та H(A/B) виразимо взаємну інформацію через розподіл ймовірностей:

Якщо скористатися теоремою множення, можна записати в симетричної формит.к. :

(2.12)

Взаємна інформація вимірюється у тих самих одиницях, як і ентропія. Величина показує, скільки ми в середньому отримуємо біт інформації про реалізацію ансамблю, спостерігаючи реалізацію ансамблю.

Сформулюємо основні властивостівзаємної інформації:

1., причому рівність має місце тоді і лише тоді, коли й незалежні між собою

2., тобто містить стільки інформації щодо , скільки містить щодо . Ця властивість випливає із симетрії виразу. Тому можна також записати:

3.

4. , причому рівність має місце, коли з реалізації можна встановити реалізацію .

5. Вважаючи та враховуючи, що отримаємо:

(2.14)

Це дозволяє інтерпретувати ентропію джерела як його власну інформацію, тобто інформацію, що міститься в ансамблі про себе.

Нехай – ансамбль дискретних повідомлень, а – ансамбль дискретних сигналів, в які перетворюються повідомлення. Тоді у тому й лише тому випадку, коли перетворення оборотне. При незворотному перетворенні і різницю можна назвати втратою інформації при перетворенні. Її називають ненадійністю. Таким чином, інформація не втрачається лише при оборотних перетвореннях.

Якщо - середній час передачі одного повідомлення, то розділивши формули H(A/B) і I(A,B) і позначаючи:

, , (2.15)

отримаємо відповідні рівності для ентропії та кількості інформації, розрахованих не на одне повідомлення, а на одиницю часу. Величина називається швидкістю передачі від (або навпаки).

Розглянемо приклад: якщо - ансамбль сигналів на вході дискретного каналу, а - ансамбль сигналів з його виході, то швидкість передачі з каналу.

Продуктивність джерела сигналу, що передається.

"продуктивність каналу", тобто повна власна інформація про прийнятий сигнал за одиницю часу.

Величина є швидкість “витікання” інформації при проходженні через канал, а - швидкість передачі сторонньої інформації, що не має відношення до і створюваної присутніми в каналі перешкодами. Співвідношення між і залежить від властивостей каналу. Так, наприклад, при передачі телефонного сигналу по каналу з вузькою смугою пропускання, недостатньою для задовільного відтворення сигналу, та з низьким рівнемперешкод втрачається частина корисної інформаціїале майже не виходить марною. В цьому випадку . Якщо ж розширюється смуга, сигнал відтворюється точно, але в паузах ясно прослуховуються наведення від сусіднього телефонного каналу, то, майже не втрачаючи корисної інформації, можна отримати багато додаткової, як правило, марної інформації і .

Ефективне кодування дискретних повідомлень

Застосуємо отримані результати проблеми кодування дискретних повідомлень. Нехай – джерело послідовності елементарних повідомлень(Знаків) з обсягом алфавіту та продуктивністю . Для передачі по дискретному каналу потрібно перетворити повідомлення в послідовність кодових сигналів так, щоб цю кодову послідовність можна було однозначно декодувати. Для цього необхідно, щоб швидкість передачі інформації від джерела до кодера дорівнювала продуктивності джерела =. Але з іншого боку з попереднього: . Отже, необхідною умовою для кодування є або, позначаючи через тривалість кодового символу, тривалість елементарного повідомлення, , або

, (2.17)

де - Число кодових символів, a - Число повідомлень, що передаються в секунду.

Розглядатимемо для простоти лише двійковий код, при якому алфавіт складається із символів 0 і 1. Тоді біт. Тому, необхідна умовазводиться до того, що:

Але це відношення представляє середню кількість кодових символів, що припадають одне елементарне повідомлення. Таким чином, для можливості кодування та однозначного декодування повідомлення необхідно, щоб середнє число двійкових символів повідомлення було не менше ентропії . Чи є ця умова достатньою?

Одна з основних теорем теорії інформації стверджує, що воно майже достатньо. Точніше, зміст теореми кодування для джерела полягає в тому, що передаючи двійкові символи зі швидкістю симв/с можна закодувати повідомлення так, щоб передавати їх зі швидкістю:

(повідомлень за секунду),

де - скільки завгодно мала величина.

Ця теорема майже тривіальна, якщо джерело передає повідомлення незалежно та рівноймовірно. У цьому випадку і, якщо ще до того ж -цілий ступіньдвох, то.

Таким чином, можна закодувати повідомлення будь-якого джерела з об'ємом алфавіту , витрачаючи двійкових символів на елементарне повідомлення. Якщо, однак, повідомлення передаються не рівноймовірно, і (або) не незалежно, то й можливе економніше кодування з витратою символів на повідомлення. Відносна економія символів при цьому виявиться рівною . Таким чином, надмірність визначає досяжний ступінь стиснення повідомлення.

Розглянемо кілька прикладів.

Тож якщо елементарними повідомленнями є російські літери і вони передаються рівноймовірно і незалежно, то . Кожну літеру можна закодувати послідовністю п'яти двійкових символів, оскільки існує 32 такі послідовності.

Зрозуміло, таким самим рівномірним кодом можна закодувати і літери у зв'язковому російському тексті, і саме так часто надходять на практиці. Але можна обійтися значно меншим числом символів на літеру. Для російської літературного тексту і, отже, можливий спосіб ефективного кодування (або кодування зі стиском повідомлення), при якому в середньому на букву російського тексту буде витрачено трохи більше 1,5 двійкових символи, тобто на 70% менше, ніж при примітивному коді.

Існує чимало способів стиснення повідомлень чи скорочення надмірності тексту. Приміром:”Ця фр. надпис. скороч. і тим не менше мож. сподіваються, що Ви зрозумій. її прав.” У попередній фразі вдалося зменшити число літер, а отже і символів, якщо кодувати її рівномірним кодом майже на 40%.

Інша можливість полягає в тому, щоб кодувати окремі літери, а цілі слова.

Подальше стиснення повідомлень можливе шляхом застосування нерівномірного коду, якщо більш короткі послідовності використовуються для частіших літер (слів) і довші – для більш рідкісних. Зауважимо, що ця ідея нерівномірного кодування вперше знайшла застосування в телеграфному коді Морзе, в якому найбільш короткі комбінації використані для літер, що часто зустрічаються (е, і, т, с, а).

Застосування нерівномірного коду дозволяє знизити надмірність, викликану не рівною ймовірністюміж повідомленнями.

Розроблено багато методів ефективного кодування для різних джерел. Завдання ефективного кодування найактуальніша задля передачі тексту, а інших джерел із значно більшою надмірністю. До них відносяться, наприклад, телевізійні передачі (промислове телебачення), деякі телеметричні системи, в яких можливе стиснення в десятки разів, фототелеграфія.

Тема 2.4. Інформація у безперервних сигналах

Узагальним тепер поняття ентропії та взаємної інформації на ансамблі безперервних сигналів. Нехай - випадкова величина (перетин або відлік випадкового сигналу), Визначена в деякій безперервній області, і її розподіл ймовірностей характеризується щільністю .

Розіб'ємо область значень на невеликі інтервали довжиною. Імовірність того, що лежить в інтервалі +, тобто , Приблизно дорівнює , причому наближення тим точніше, чим менше інтервал. Ступінь несподіванки такої події дорівнює . Якщо значення в межах кінцевого інтервалу замінити значеннями на початку інтервалу, то безперервний ансамбль заміниться дискретним, яке ентропія визначиться як:

Тепер збільшуватимемо точність визначення значення, зменшуючи інтервал. У межі, коли повинна вийти ентропія безперервної випадкової величини:

Другий член в отриманому вираженні прагне і зовсім не залежить від розподілу ймовірностей. Це значення, що власна інформація будь-якої безперервної випадкової величини нескінченно велика. Тим не менш, взаємна інформація між двома безперервними ансамблями, як правило, залишається кінцевою. Такою буде, зокрема, взаємна інформація між переданим і прийнятим сигналами, отже через канал зв'язку інформація передається з кінцевою швидкістю.

Звернімо увагу перший член у цій формулі. Він є кінцевим і визначається щільністю розподілу ймовірності. Його називають диференціальною ентропією і позначають:

(2.20)

Спробуємо тепер визначити взаємну інформацію між двома безперервними випадковими величинами та . Розбивши області визначення і відповідно на невеликі інтервали і замінимо ці безперервні величини дискретними так само, як це робилося при виведенні формули . Виходячи з цього виразу можна визначити взаємну інформацію між безперервними величинами та :

При цьому жодних явних нескінченностей не з'явилося, і справді, у звичайних випадках взаємна інформація виявляється кінцевою. За допомогою простих перетвореньїї можна уявити й у такому вигляді:

Тут - певна раніше диференціальна ентропія, а - Умовна диференціальна ентропія. Легко переконатися, що основні властивості взаємної інформації залишаються справедливими і даному випадку.

Як приклад знайдемо диференціальну ентропію випадкової величини з нормальним розподіломймовірності:

, (2.23)

де математичне очікування, а - дисперсія.

Підставивши (2.23) у (2.20), знайдемо:

Перший інтеграл за загальним властивістю щільності ймовірності дорівнює 1, а другий - визначення дисперсії дорівнює . Остаточно

Таким чином, диффіринціал ентропія гаусівської випадкової величини не залежить від її математичного очікування і монотонно зростає зі збільшенням дисперсії.

На закінчення вкажемо одне важлива властивістьнормального розподілу: із усіх безперервних випадкових величин з однаковою дисперсією найбільшу диференціальну ентропію має величина з нормальним розподілом.

Тема 2.5. Пропускна здатність каналу зв'язку

У будь-якій системі зв'язку через канал передається інформація. Її швидкість передачі залежить тільки від самого каналу, а й від властивостей сигналу, що подається на його вхід, і тому не може характеризувати канал як засіб передачі інформації. Знайдемо спосіб оцінки можливості каналу передавати інформацію. Для кожного джерела кількість інформації, переданої каналом набуває свого значення.

Максимальна кількість переданої інформації, взята за всілякими джерелами вхідного сигналу, характеризує сам канал і називається пропускною здатністю каналу в розрахунку на один символ:

біт/симв.

(де максимізація проводиться у всіх багатовимірних розподілах ймовірностей Р(А))

Можна також визначити пропускну здатність каналу в розрахунку на одиницю часу.

Обчислимо пропускну здатність симетричного каналу без пам'яті

(2.26)

Величина в даному випадку легко обчислюється, оскільки умовна (перехідна) ймовірність приймає лише два значення: якщо і (1-Р), якщо .

Перше цих значень виникає з ймовірністю Р, а друге – з ймовірністю (1-Р). До того ж, оскільки розглядається канал без пам'яті, результати прийому окремих символів є незалежними один від одного.

(2.27)

Отже Н(В/А) залежить від розподілу ймовірності в ансамблі А, а визначається лише перехідними ймовірностями каналу. Ця властивість зберігається всім моделей з адитивним шумом.

Підставивши (2.27) у (2.26) отримаємо:

Оскільки у правій частині лише член Н(В) залежить від розподілу ймовірності Р(А), то необхідно максимізувати саме його.

Максимальне значенняН(В) дорівнює log m і реалізується воно тоді, коли всі прийняті символи рівноймовірні та незалежні один від одного. Легко переконатися, що ця умова задовольняється, якщо вхідні символи є рівноймовірними та незалежними, оскільки в цьому випадку

При цьому і

Звідси пропускна спроможність у розрахунку на одиницю часу

Для двійкового симетричного каналу (m=2) пропускна здатність у двійкових одиницях в одиницю часу

Залежність від Р згідно з формулою (2.31)

При Р=1/2 пропускна здатність двійкового каналу С=0, оскільки за такої ймовірності помилки послідовність вихідних двійкових символів можна отримати зовсім не передаючи сигнали каналом, а вибираючи їх навмання (наприклад, за результатами кидання монети), тобто при Р= 1/2 послідовності на виході та вході каналу незалежні. Випадок С=0 називається урвищем каналу. Те, що пропускна здатність при P=1 у двійковому каналі така ж, як при Р=0 (канал без шумів), пояснюється тим, що при Р=1 достатньо всі вихідні символи інвертувати (тобто замінити 0 на 1 та 1 на 0 ), щоб правильно відновити вхідний сигнал.

Пропускна спроможність безперервного каналу обчислюється аналогічно. Нехай, наприклад, канал має обмежену смугу пропускання шириною F. Тоді сигнали U(t) та Z(t) відповідно на вході та виході каналу теореми. Котельникова визначаються своїми відліками, взятими через інтервал 1/(2F), і тому інформація, що проходить каналом за деякий час Т, дорівнює сумі кількості інформації, переданої за кожен такий відлік. Пропускна здатність каналу на один такий відлік:

Тут U і Z - випадкові величини - перерізу процесів U(t) і Z(t) на вході та виході каналу відповідно і максимум береться за всіма допустимими вхідними сигналами, тобто по всіх розподілах U.

Пропускна здатність визначається як сума значень , взята по всіх відрахунках за секунду. У цьому очевидно диференціальні ентропії в (2.35) повинні обчислюватися з урахуванням ймовірнісних зв'язків між отсчётами.

Обчислимо пропускну здатність безперервного каналу без пам'яті з адитивним гауссовским білим шумом, що має смугу пропускання шириною F, якщо середня потужність сигналу . Потужність (дисперсію) шуму у смузі F позначимо . Відліки вихідного та вхідного сигналів, а також шуму N пов'язані рівністю:

Так як N має нормальне розподілення з нульовим математичним очікуванням, то і умовна щільність ймовірності при фіксованому U буде так само нормальною - з математичним очікуванням U і дисперсією.

Пропускна здатність на один відлік визначатиметься за формулою (2.32):

Відповідно до (2.24) умовна диференціальна ентропія h(Z/U) нормального розподілу залежить від математичного очікування і дорівнює . Тому знаходження слід знайти таку щільність розподілу , коли він максимізується h(Z). З (2.33) враховуючи, що U та N незалежні випадкові величини маємо для дисперсій

Таким чином, дисперсія фіксована, так як і задані. Як відомо, при фіксованій дисперсії максимальна диференціальна ентропія забезпечується нормальним розподілом. З (2.33) видно, що при нормальному одномірному розподілі U розподіл Z буде так само нормальним і, отже, забезпечується максимум диференціальної ентропії (2.24).

(2.34)

Переходячи до пропускної спроможності З у розрахунку на секунду, зауважимо, що інформація, передана за кілька відліків, максимальна у тому випадку, коли відліки сигналів незалежні. Цього можна досягти, якщо сигнал U(t) вибрати так, щоб його спектральна щільність була рівномірною в смузі F. Відліки розділені інтервалами, кратними 1/(2F), взаємно некорельовані, а для гауссівських величин некорельованість означає незалежність. Тому пропускну спроможність С (за секунду) можна знайти, склавши пропускні здібності (2.35) для 2F незалежних відліків:

(2.36)

Вона реалізується, якщо U(t) – гаусівський процес із рівномірною спектральною щільністю у смузі частот F (квазибілий шум).

З (2.36) видно, що якби потужність сигналу була обмежена, то пропускна здатність була б як завгодно великою. Пропускна здатність дорівнює нулю, якщо відношення сигнал-шум у каналі дорівнює нулю. Зі зростанням цього відношення пропускна здатність збільшується необмежено, проте повільно, внаслідок логарифмічної залежності.

Співвідношення (2.36) називається формулою Шеннона. Ця формула має важливе значенняв теорії інформації, оскільки визначає залежність пропускної спроможності аналізованого безперервного каналу від таких його технічних характеристик, як ширина смуги пропускання та відношення сигнал шум. Формула Шеннона вказує на можливість обміну смуги пропускання на потужність сигналу та навпаки. Однак оскільки залежить від F лінійно, а від – за логарифмічним законом, компенсувати можливе скорочення смуги пропускання збільшенням потужності сигналу, як правило, не вигідно. Найефективнішим є зворотний обмін потужності сигналу смугу пропускання.

Максимальний обсягінформації, яку можна в середньому передати безперервним каналом за час ,

Для гаусівського каналу

(2.37)

Зауважимо, що з Вираз (2.37) збігається з характеристикою названої ємністю (об'ємом) каналу.

Тема 2.6. Теорема К. Шеннона

Пропускна здатність каналу характеризує потенційні можливості передачі. Вони розкриваються в фундаментальній теоремі теорії інформації, відомої як основна теорема кодування К. Шеннона. Стосовно дискретного джерела вона формулюється так: якщо продуктивність джерела повідомлень Н(А) менша за пропускну здатність каналу С:

(A)

то існує спосіб кодування (перетворення повідомлення на сигнал на вході) і декодування (перетворення сигналу на повідомлення на виході каналу), при якому ймовірність помилкового декодування і ненадійність можуть бути як завгодно малі. Якщо ж (A)>C, таких способів немає.

Розглянемо зміст теореми Шеннона.

Як зазначалося, для відновлення сигналу переданого повідомлення, що надійшов, необхідно, щоб сигнал містив про нього інформацію, рівну ентропії повідомлення. Отже, для правильної передачі повідомлення необхідно, щоб швидкість передачі була не менше продуктивності джерела. Так як за визначенням швидкість передачі інформації не перевищує пропускну здатність, то нерівність (A)

Але чи є ця умова достатньою?

Звичайно, при C>H'(A) можна передавати такі сигнали, що досягне значення H'(A). Але це швидкість передачі інформації про сигнал В, а не про повідомлення А. Тому питання зводиться до того, чи можна встановити таку відповідність (код) між повідомленням А і сигналом В щоб вся інформація, отримана на виході каналу про сигнал В, була в водночас інформацією про повідомлення А? (Щоб перетворення між А та В були оборотними)

Позитивна відповідь на це питання очевидна в тривіальному випадку, коли в каналі немає перешкод і сигнал приймається безпомилково. При цьому , і якщо між А та В встановлено взаємно однозначну відповідність, то за прийнятим сигналом можна однозначно відновити повідомлення. У загальному випадку в каналі є перешкоди і сигнал приймається з помилками, так що . Звідси випливає, що навіть якщо досягне (A), то все одно (В)> (А), оскільки . Це означає, що продуктивність джерела сигналу повинна бути вище продуктивності джерела повідомлення А і, отже, містить, крім інформації про А додаткову власну інформацію. Частина інформації про сигнал В каналі втрачається. Питання зводиться до наступного: чи можна здійснити кодування так, щоб губилася лише додаткова (надлишкова) частина власної інформації, а інформація про А зберігалася?

Теорема Шеннона дає це питання майже позитивний відповідь, з тією лише поправкою, що швидкість «витікання інформації» (чи ненадійність) не дорівнює точності нулю, але може бути зроблена скільки завгодно малою. відповідно як завгодно малої може бути зроблена ймовірність помилкового декодування. При цьому чим менше припустима ймовірність помилкового декодування, тим складнішим повинен бути код.

Якби двійковий канал був без перешкод і допускав передачу двійкових символів зі швидкістю символ/с, пропускна здатність у розрахунку на секунду була б

В цьому випадку дана теоремазвелася б до теореми про кодування джерела.

Однак основний інтерес представляє загальний випадок двійкового каналу з перешкодами. Його пропускна здатність менше тієї швидкості , з якою надходять на вхід каналу двійкові кодові символи. Отже, послідовність кодових символів, що надходить у канал, повинна мати, відповідно до теореми, продуктивність . Це означає, що символи, що передаються, не рівноймовірні і (або) не незалежні, тобто код повинен мати надмірність на відміну від ефективного коду, придатного для каналу без перешкод. Це означає, що при кодуванні повідомлень послідовністю кодових символів використовують не всі кодові послідовності.

Теорема кодування Шеннона справедлива для широкого класу каналів. Зокрема, вона вірна і для передачі дискретних повідомлень безперервним каналом. У цьому випадку під кодуванням розуміють відбір деякої кількості реалізацій U(t) вхідного сигналу на інтервалі Т і зіставлення з кожною з них послідовності елементарних повідомлень, що видається джерелом за інтервал Т.

Підкреслимо важливий результат, Наступний з теореми: вірність зв'язку тим вище, чим довше кодований відрізок повідомлення (а отже, і більше затримка при прийомі інформації), і чим менш ефективно використовується пропускна здатність каналу (що більша різниця, що визначає «запас пропускної здатності» каналу). Отже, існує можливість обміну між вірністю, затримкою та ефективністю системи. Зі збільшенням Т істотно зростає складність кодування та декодування (кількість операцій, кількість елементів і вартість апаратури). Тому практично найчастіше вважають за краще мати помірне значення затримок Т, які, до речі, не в усіх системах зв'язку можна довільно збільшувати, і домагаються підвищення вірності за рахунок менше. повного використанняпропускну здатність каналу.

Тема 2.7. Інформація у безперервних повідомленнях. Епсилон-ентропія

Для передачі безперервного повідомлення з абсолютною точністютреба було б передати нескінченно велика кількістьінформації, що, зрозуміло, неможливо зробити за кінцевий час, користуючись каналом із кінцевою пропускною спроможністю. Так само безперервне повідомлення не можна абсолютно точно запам'ятати (записати) за наявності як завгодно слабкої перешкоди.

Тим не менш, безперервні повідомлення (наприклад, телевізійні, телефонні) успішно передаються каналами зв'язку і записуються. Це пояснюється тим, що на практиці ніколи не потрібно абсолютно точного відтворення переданого та записаного повідомлення. А для передачі навіть із найвищою, але обмеженою точністю потрібно кінцева кількістьінформації так само, як і під час передачі дискретних повідомлень. Ця кількість інформації тим більше, що вища точність, з якою потрібно передати (відтворити) безперервне повідомлення. Нехай допустима неточність вимірюється деяким малим параметром. То мінімальна кількістьінформації, яку потрібно передати каналом зв'язку для відтворення безперервного повідомлення з неточністю не більш допустимою, академік О.М. Колмогоров запропонував називати -ентропією (епсілон-ентропією)

Критерій, що визначає необхідну точність, може бути різним. Будемо називати два варіанти повідомлень, що відрізняються не більше, ніж на , еквівалентними. Це означає, що й надіслано одне повідомлення, а прийнято інше, еквівалентне йому, то за даним критерієм передане повідомлення вважається прийнятим правильно. Так, у системі телефонного зв'язкуЯкщо необхідно передати лише зміст мови, то той самий текст, розбірливо прочитаний двома різними дикторами (наприклад, чоловіком і жінкою), є еквівалентними повідомленнями, незважаючи на те, що вони різко різні навіть за спектром. Критерієм еквівалентності повідомлень тут є розбірливість мови. При художніх передачах мовлення такий критерій не є прийнятним, бо в цих випадках істотні і більш тонкі характеристики повідомлення.

Надалі зручніше буде оперувати не з безперервним повідомленням А, а з первинним сигналом В і його реалізаціями b(t). Справа в тому, що безперервне повідомлення А може і не бути функцією часу або бути кількома аргументами (наприклад, при телевізійному мовленні). Первинний сигнал B(t) у сучасних системах зв'язку завжди є функцією часу. У тих випадках, коли повідомлення є функцією часу (наприклад, при телефонному зв'язку), первинний сигнал B(t) точно повторює функцію A(t) і відрізняється від повідомлення тільки фізичною природою[наприклад, A(t) – звуковий тиск, B(t) – струм]. Будемо вважати, що перетворення повідомлення на первинний сигнал оборотне і точність відтворення B(t) визначає точність відтворення A(t). Тому надалі під повідомленням розумітимемо первинний сигнал В(t).

Забезпечення необхідної вірності передачі є обов'язковою вимогою до системи зв'язку. Під час передачі дискретних повідомлень вірність передачі визначається вірогідністю правильного прийому (чи ймовірністю помилки). Таке визначення вірності можна поширити і безперервні повідомлення якщо поняття «правильно» замінити поняттям «еквівалентно». Тоді під вірністю передачі безперервних повідомлень розумітимемо ймовірність того, що прийняте повідомлення b(t) еквівалентно переданому b(t).Перейдемо до кількісному визначенню-ентропії.(t) має фіксовану дисперсію, Кількість інформації, що видається гауссівським джерелом за час. При

Однак наявність перешкод у реальних каналах зв'язку може призводити до хибних рішень. Так, у найпростішому випадку коливання на вході приймача може мати вигляд.

Де – параметр, що характеризує згасання (ослаблення) сигналу лінії зв'язку; він може бути випадковим і змінюватись у часі (так звана мультиплікативна перешкода); – параметр, що характеризує затримку сигналу під час поширення лінії, як і може мати випадковий характер; - Адитивна перешкода. Яким би чином не вибиралося безліч сигналів і який би не був спосіб прийому, у реальних каналах зв'язку завжди матимуть місце помилкові рішення. За незмінних умов передачі завжди буде незмінною статистика помилкових рішень. Завдання оптимального прийому полягає в організації такого способу передачі повідомлень, що дозволяє звести ймовірність помилкових рішень (або ефект, пов'язаний з помилковими рішеннями) до можливого мінімуму. Тим самим буде забезпечено максимально можливу вірність (точність) передачі повідомлення.

Якщо прийому сигналів враховується статистичний характер сигналів, перешкод і рішень приймача, ми говоримо, що прийом сигналів трактується як статистична задача. Вперше таку постановку завдання розглянув В.А. Котельників.

Здатність каналу забезпечити задану вірність передачі в умовах дії перешкод називається стійкістю до перешкод.

Максимум ймовірності правильного прийому символу для гаусівського каналу за заданого виду модуляції В.А. Котельников назвав потенційною стійкістю до перешкод, а демодулятор, що забезпечує цей максимум - ідеальним приймачем.

З цього визначення випливає, що в жодному реальному демодуляторі ймовірність правильного прийому символу не може бути більшою, ніж в ідеальному приймачі.

ЛЕКЦІЯ 2

ВЗАЄМНА ІНФОРМАЦІЯ.

МЕТА ЛЕКЦІЇ: За підсумками поняття умовної ентропії дати визначення взаємної інформації, розглянути якості і уявити висновок формули для обчислення середньої кількості взаємної інформації.

Виміряй все, доступне виміру, і роби недоступне виміру доступним. Галілео Галілей

У попередній лекції наведено визначення умовної ентропії як величини, яка показує, яка в середньому невизначеність вибору значення деякої величиниу коли відомо значеннях.

або H(x, y) = H(x) + H x (y)

Умовна ентропія задовольняє наступним умовам.

0 ≤ H x (y ) ≤ H (y ),

H x (y) = 0, коли з реалізації ансамблю X можна точно встановити реалізацію ансамблю Y;

H x (y) = H (y), коли ансамблі Х і У незалежні та знання реалізації X не додає інформації про Y;

H (y) > H x (y) загальний випадок, коли знання реалізації X знижує початкову невизначеність Y.

Взаємна інформація.

У техніці передачі повідомлень інтерес представляє можливість отримання інформації про переданих повідомленняхза символами, які спостерігаються на виході каналу. Представимо математично операції, що виконуються передавачем та приймачем. Передавач та приймач назвемо дискретними перетворювачами. На вхід перетворювача надходить послідовність вхідних символів деякого ансамблюХ, а на виході виходить послідовність вихідних символів, представлена ​​ансамблемУ . Перетворювач може мати внутрішню пам'ять. Вихідний символ у цій ситуації залежатиме не лише від цього вхідного символу, а й від попередніх символів. Завдання полягає в тому, щоб кількісно визначити інформацію про символих вхідного ансамблюХ , що міститься у вихідних символаху ансамблю У на виході каналу, зокрема з урахуванням зазначеної статистичної залежності.

Введемо позначення взаємної інформації I (x, y). Відповідно до властивості 5 ентропії, можемо записати співвідношення

I (x, y) = H (x) H (x, y),

яке визначатиме міру взаємної інформації для будь-яких пар(x, y) ансамблів Х і У.

У виразі Н(х) апріорна ентропія,Н(x, y) ¦ залишкова ентропія після отримання відомостей про ансамбльХ. Тоді I (x, y) характеризуватиме повну інформацію, що міститься в ансамбліУ ансамблі Х .

Проілюструємо графічно ентропію системи та інформацію

Мал. 1 Графічне відображеннявзаємної інформації.

Верхні роздільні овали - за відсутності зв'язку між ансамблями зміннихХ і У;

Нижні суміщені овали – за наявності статистичного зв'язку між ансамблямиХ та У .

Вивчимо ансамблі Х і У, що характеризують систему. Ентропію ансамблюХ зобразимо овалом із площеюН(Х): що більше ентропія, то більше більше площа. Ентропія ансамблюУ - другий овал із площеюН(У ). Якщо ансамблі статистично незалежні, тобто. зв'язок між ними відсутній, овали не перетинаються. Повна ентропія системи дорівнює сумі ентропій, тобто сумі площ.

Якщо ж між ансамблями виникає статистичний зв'язок(Кореляція), то овали на схемі перетинаються. Виникла взаємна інформація I(Х,У) і є кількісний захід цього перетину. Ентропія зменшується на величину цієї інформації:

Н(Х,У) = Н(Х) + Н(У) - I(Х, Y )

Чим більша взаємна інформація, тим вже зв'язоктим менше ентропіяН(Х,У).

З якості 5 ентропії випливає

H(X,Y) = H(X) + H X(Y)

H(X,Y) = H(Y) + HY(X)

а також

H(X) + H X (Y) = H(Y) + H Y (X)

H(X) H X (Y) = H (Y) H Y (X)

Порівнявши і відзначимо, що вираз характеризує взаємну рівність інформації про ансамбльХ якщо відомий ансамбльУ , і назад, знання про ансамбльУ , якщо відомий ансамбльХ.

I (X, Y) називається середньою взаємною інформацією, що міститься в ансамбляхХ та У .

Властивості взаємної інформації.

1. I (X, Y) = I (Y, X). Взаємна інформація симетрична.
2. I (X, Y) ≥ 0 . Взаємна інформація завжди є позитивною.

3 . I (X, Y) = 0 тоді і лише тоді, коли ансамбліХ та У незалежні.

1. I (X , Y ) = H (X ) H ( X ) = H ( Y ) H ( X ) = H ( X ) + H ( Y ) H ( X , Y ) , тобто у разі настання спільної події H (X) + H (Y) = H (X, Y) взаємна інформація відсутня.
2. I(X,Y) ≤ min(H(X),H(Y)). Взаємна інформація може бути більше інформації про кожному ансамблі окремо.
3. I(X,Y) ≤ min (log‌‌ ‌‌|X|, log|Y|).Логарифмічний захід кожного з ансамблів окремо більший або дорівнює взаємній інформації.

7. Взаємна інформація I (X, Y) має максимум (є опуклою функцієюрозподілу ймовірностей).

У випадку властивість 4 визначає взаємну інформацію через ентропію об'єднаної системи H (X, Y) та ентропію окремих її частин H(X) та H(Y) рис.1.

I(X,Y) = H(X) + H(Y) H(X,Y)

Виразимо повну взаємну інформацію через ймовірність станів системи. Важливо розуміти – для цього запишемо значення ентропії окремих системчерез математичне очікування:

H(X)=M[-log P(X)], H(Y)=M[-log P(Y)], H(X,Y)=M[-log P(X,Y)]

Тоді вираз набуде вигляду

I(X,Y) = M[ - logP(X) logP(Y) + log(X,Y)].

Перетворивши, отримаємо

Вираз перетворимо з використанням властивості математичної

очікування, що полягає у наступному. Важливо розуміти – для ансамблю випадкових величинХ можна визначити функціюφ(х) за всіма значеннямих . Тим самим встановлюється відображенняХ на безліч речових значеньх. Ансамбль

У = [у = φ (х)]

є набором безлічі значень випадкових величин Важливо розуміти - для обчислення математичного очікування величиниу необов'язково знати розподіл ймовірностей p y (y) для у . Якщо розподіл p x (x ) по ансамблю Х відомо , що

Тоді, якщо p (x i ) m елемент ансамблюХ, а p (y j) ймовірність реалізації будь-якого з n елемент ансамблюУ , то вираз кількості взаємної інформації матиме вигляд

Ця формула надає можливість визначити повна кількістьвзаємної інформації про ансамбльХ по прийнятому на виході каналу ансамблюУ . Кількість взаємної інформації вимірюється у бітах.

Марківська модель джерела.

Вивчимо випадкові послідовності з довільного числаподій. Якщо елементи випадкової послідовності – речові числа, то такі послідовності називаютьсявипадковими процесами. Номер елемента в послідовності трактується як момент часу, коли з'явилося дане значення

У загальному випадку безліч значень часу може бути безперервним або дискретним, безліч значень випадкової послідовності може бути безперервним або дискретним

Випадковий процесх 1, x 2, … зі значеннями x i, алфавіту Х, (i = 1, 2, …) заданий, якщо для будь-яких n вказано спосіб обчислення спільних розподілівймовірностей p (x 1, ... x n). Найпростіше задати випадковий процес, припустивши, що його значення різні моменти часу незалежні і однаково розподілені.

де p (x i) Імовірність появи x i у момент i . Важливо розуміти - для опису такого процесу достатньо вказати ймовірність p (x ) для всіх x (всього I Х I 1 ймовірностей). Важливо розуміти - для опису найбільш важливих моделей процесів слід спиратися на властивість стаціонарності, що дозволяє спростити математичні викладки. Процес називається стаціонарним, якщо для будь-яких n та t має місце рівність

p(x 1 , …, x n ) = p(x 1+ t x n+ t ),

причому x i = x 1+ t , i = 1, … n . Випадковий процес стаціонарний, якщо можливість будь-якої послідовності не зміниться при її зрушенні в часі. Числові характеристики, зокрема математичне очікування, стаціонарні процеси не залежать від часу. Розглядаючи стаціонарні процеси, ми можемо обчислювати незалежні від часу інформаційні характеристикивипадкових процесів. приклад стаціонарного процесупроцес, значення якого незалежні і однаково розподілені.

До. Шеннон визначає дискретне джерело повідомлень: “ Можна вважати, що дискретне джерело створює повідомлення символ за символом. Він вибиратиме послідовні символи з деякими ймовірностями, що залежать, взагалі кажучи, як від попередніх виборів, так і від конкретного символу. Фізична системаабо математична модельСистема, яка створює таку послідовність символів, що визначається деякою заданою сукупністю ймовірностей, називається імовірнісним процесом. З цієї причини можна вважати, що дискретне джерело є деяким імовірнісним процесом. Назад, будь-який ймовірнісний процес, який створює дискретну послідовність символів, що вибираються з деякої кінцевої множини, може розглядатися як дискретне джерело”.

Статистична структура такого процесу та статистичні властивостіджерела цілком визначаються одновимірними p (i), двовимірними p (i, j) ймовірностями появи елеменних повідомлень на виході джерела. Як вказувалося, якщо між послідовними елементами повідомлення відсутній статистичний зв'язок, то статистична структура повідомлення повністю визначається сукупністю одновимірних ймовірностей. Поява того чи іншого елемента повідомлення на виході джерела можна як певна подія, Що характеризується своєю ймовірністю появи Важливо розуміти - для сукупності подій разом із їх апріорними ймовірностями появи існує поняттяансамблю.

Прикладами дискретного джерела можуть бути:

1. Друковані тексти різними мовами.
2. Безперервні джерела повідомлень, які перетворені на дискретні за допомогою деякого процесу кванення (кванна мова, телевізійний сигнал.

3. Математичні випадки, коли просто визначається абстрактно певний імовірнісний процес, що породжує послідовність символів.

Подібні джерела створюють ймовірнісні процеси, відомі як дискретні Марківські процеси

У загальному випадку результат може бути описаний в такий спосіб. Існує кінцеве числоможливих "станів" системи: S 1, S 2,. . . , S n . Крім того, є сукупність перехідних ймовірностей pi (j), тобто ймовірностей того, що система, що знаходиться вз відстанню S i , перейде потім у стан Sj. Для того щоб використовувати цей Марківський процес як джерело повідомлень, потрібно тільки припустити, що при кожному переході з одного стану в інший створюється одна буква. Стану відповідатимуть “залишку впливу” попередніх літер

У графічному прикладі “станом” є вузлова точка схеми, а перехідні ймовірності і створювані у своїй букви вказані біля відповідних ліній.

Таке джерело з чотирьох букв A, B, C, В , Що мають, відповідно, перехідні ймовірності 0,1; 0,4; 0,3; 0,2, повертаючись у вузлову точку після

створення чергової літери може формувати як кінцеві, так і нескінченну послідовності.

На дискретне джерело можна поширити такі характеристики випадкового сигналу, як ергодичність та стаціонарність. Вважаючи джерело ергодичним, можна "... ототожнювати середні значення вздовж деякої послідовності із середнім значенням по ансамблю можливих послідовностей (причому ймовірність розходження дорівнює нулю)". Наприклад, відносна частота літериА у приватній нескінченній послідовності буде з ймовірністю одиниця дорівнювати її відносної частоті по ансамблю послідовностей.

Найпростішою моделлю джерела, що породжує залежні повідомлення, є Марківське джерело. Випадковий процес називаютьланцюгом Маркова зв'язності s якщо для будь-яких n і для будь-яких x = (x 1 , …, x n ) алфавіту X справедливі співвідношення

p(x) = p(x 1 , …, x s )p(x s+ 1 / x 1 , … , x s )p(x s+2 /x 2 , …,x s+1 )…p(x n /x n-s, ..., x n-1).

Марківським процесом зв'язності s називається такий процес, для якого при n > s p (x n, ..., x n -1) = p (x n / x n - s , ..., x n -1), тобто умовна ймовірність поточного значення при відомих s попередніх не залежить від решти попередніх значень.

Опис Марківського процесу задається початковим розподілом ймовірностей на послідовностях із перших s значень та умовними ймовірностями p (x n / x n - s, ..., x n -1) для різних послідовностей. Якщо зазначені умовні ймовірностіне змінюються при зрушенні послідовностей у часі, Марківський ланцюгназиваєтьсяоднорідний . Однорідний Марківський ланцюг зв'язності s = 1 називається простим ланцюгом Маркова. Важливо розуміти - для її опису достатньо вказати розподіл ймовірностей p (x 1) величини х, що належить множиніХ та умовні ймовірності

π ij = P (x t = j / x t-1 = i), i, j = 0,1, ..., M-1,

звані перехідними ймовірностями ланцюга Маркова.

Перехідні можливості зручно записувати у вигляді квадратної матрицірозмірностіМ х М

званою матрицею перехідних ймовірностей. Ця матриця ¦ стохастична (невід'ємна, сума елементів кожного рядка дорівнює 1).

Якщо p t - стохастичний вектор, компоненти якого ймовірності станів ланцюга Маркова в момент часу t, тобто. p t = [ p t (0), ..., p t (M -1)], де p t (i ) є ймовірність стану i у момент часу t (I = 0,1,…,

ЛЕКЦІЯ 29. Архітектурна акустикаМета архітектурної акустики ¦ забезпечення будівельними засобами гарної чутності природного мовленнята музики, а також звуків, що відтворюються електроакустичною апаратурою. При проектуванні залів до таких засобів відносяться їх розміри та форма, членування поверхонь стін та стель різними об'ємними елементами, обробка їх матеріалами, що відбивають або поглинають звук. У залах можуть розміщуватися спеціальні звукопоглинаючі конструкції, встановлюватися меблі з певними звукопоглинаючими характеристиками.

Властивості взаємної інформації

• Взаємна інформація є симетричною функцієювипадкових величин:

• Взаємна інформація невід'ємна і не перевищує інформаційну ентропію аргументів:

Зокрема, для незалежних випадкових величин взаємна інформація дорівнює нулю:

Якщо одна випадкова величина (наприклад, Неможливо розібрати вираз (виконуваний файл texvcНЕ знайдений; Math/README - довідка про налаштування.): X) є детермінованою функцією іншої випадкової величини ( Неможливо розібрати вираз (виконуваний файл texvcНЕ знайдений; Math/README - довідка про налаштування.): Y), взаємна інформація дорівнює ентропії:

Умовна та безумовна взаємна інформація

Умовна взаємна інформація - статистична функціятрьох випадкових величин, що описує кількість інформації, що міститься в одній випадковій величині щодо іншої, за умови заданого значеннятретьої:

Безумовна взаємна інформація- статистична функція трьох випадкових величин, що описує кількість інформації, що міститься в одній випадковій величині щодо іншої, за умови заданої третьої випадкової величини:

Властивості

• Є симетричними функціями:

• Задовольняють нерівності:

Напишіть відгук про статтю "Взаємна інформація"

Література

• Помилка Lua в Модуль:Sources на рядку 530: attempt to index field "wikibase" (a nil value).

Визначимо тепер кількість інформації, що передається по каналу зв'язку як різницю між кількістю інформації на його вході, рівної ентропіїджерела та кількістю втраченої інформації, яка дорівнює умовній ентропії. Величину називають також взаємною інформацієюі визначають співвідношенням:

Розкриваючи останній вираз, отримаємо співвідношення для взаємної інформації у симетричному вигляді:

Розглянемо основні властивості взаємної інформації:

1. . Ця властивість випливає з властивостей ентропії, причому при обриві каналу, коли вся інформація втрачається через перешкоди в каналі.

2. . Рівність досягається за відсутності перешкод, т. е. .

3. де ентропія виходу каналу H(B) і умовна ентропія визначаються аналогічно знайденим вище значенням ентропії. Ця властивість випливає із симетрії виразу для взаємної інформації.

4. . Ця властивість випливає з попереднього. Рівність тут має місце, якщо .

5. У виразі для взаємної інформації вважатимемо, тоді, а. Таким чином, ентропію можна трактувати як міру власної інформації про ансамбль джерела повідомлень.

Визначення взаємної інформації наочно ілюструється на рис. 2.

Нехай відомий час передачі одного повідомлення , тоді за аналогією з продуктивністю джерела можна легко визначити швидкість передачі по каналу як кількість інформації, переданої в одиницю часу:

Висновки

1. Взаємна інформація є різницею між кількістю інформації на вході каналу зв'язку, рівною ентропії джерела і кількістю втраченої інформації, яка дорівнює умовній ентропії.

Висновок

1. З усіх видів можливих розподілів ймовірностей випадкових процесів, у яких дисперсія є фіксованою величиною, найбільше значеннядиференціальної ентропії має гауссівський розподіл.

2. Умовна ентропія є кількістю інформації, що втрачається через перешкод і надходить одержувачу.

3. Взаємна інформація є різницею між кількістю інформації на вході каналу зв'язку, рівною ентропії джерела і кількістю втраченої інформації, яка дорівнює умовній ентропії.

Література

1. Р.Р. Біккенін, М.М. Часник Теорія електричного зв'язку. Випадкові процеси. Перешкодостійка передача дискретної інформації: Навчальний посібник/ СПб., 2001, стор 121-127.

2. Д.Д. Кловський «Теорія електричного зв'язку» М. «Радіо та зв'язок», стор 246-249, 227-231.

Спробуймо перевірити гіпотезу про те, чи є збільшення значень індексу DJI статистично незалежними. При цьому як референсне джерело даних, з яким будемо проводити порівняння, візьмемо штучний часовий ряд, згенерований з власне приростів вихідного ряду, але при цьому випадково перемішаних. Як міра статистичної незалежності скористаємося статистикою взаємної інформації.

Значення індексу Dow Jones Industrial Average (DJI)

Ряд процентних прирощень котирувань, розрахований за формулою X[t] / X - 1

Для приведення досліджуваної безперервної, по суті, змінної до дискретного типу перейдемо до ряду процентних прирощень, округлених до 0,01 (1%). Підрахунок взаємної інформації для безперервних змінних, хоч і можливий технічно, але з інформативний, з дуже великого значення n - кінцевого набору значень ознаки, прийнятого випадкової змінної.

Базові концепції інформаційно-теоретичних ідей, використаних у статті

(Всі формули і теорія запозичені в: ru.wikipedia.org і з низки монографій, які можна пошукати за ключовими словами.)

Теорія інформація розвивалася нерозривно з теорією зв'язку, я не відходитиму від цієї традиції.

Що таке інформація?

Уявімо, що є якийсь передавач та приймач даних. Передавач передає дискретну змінну X, яка приймає обмежену кількість можливих варіантівзначень x (це також називається алфавіт). Імовірність реалізації кожного конкретного значення відрізняється від нуля, інакше таке значення виключається з аналізу. Вигляд функції щільності ймовірності просторі значень, прийнятих змінної, може бути довільним. Сума всіх ймовірностей за кожним можливим значенням дорівнює 1 (якщо сума дорівнює 0, то подальший хід думок немає сенсу).

Приймач сприймає передані значення X, чи можна сказати, що у точці прийому значень здійснюється подія - змінна X прийняла значення x. І чим менше ми, тобто, спостерігачі, знаємо про те, яка саме подія відбудеться (або, яке саме значення прийме приймач), тим більшою ентропією має дана система, і тим більше інформації принесе з собою здійснення цієї події.

Значить, інформаційна ентропія (поняття, запозичене з ентропії в теоретичної фізики) це кількісна міра невизначеності в абстрактній системі що складається з можливості реалізації події та її безпосередньої реалізації. Мда, звучить справді абстрактно. Але в цьому і сила цієї теорії: вона може застосовуватися до найширшого класу явищ.

А все ж таки, що таке інформація? Це також кількісний захід, що характеризує кількість ентропії, або невизначеності, яка пішла із системи при реалізації конкретної події. Інформація, отже, кількісно дорівнює ентропії.

Якщо говорять про весь спектр значень, що реалізуються в системі, то говорять про середню інформацію чи інформаційну ентропію. Ця величина вважається за формулою:

Якщо говорять про інформацію окремо взятої реалізації випадкової величини, говорять про власну інформацію:

Наприклад, досвід з багаторазовим підкиданням чесної монетки - це система із середньою інформацією, що дорівнює 1 Біт (при підстановці у формулу логарифму на підставі 2). При цьому перед кожним підкиданням ми очікуємо випадання решки або орла з рівною ймовірністю (ці події! незалежні! одна від одної) і невизначеність завжди дорівнює 1. А якою буде інформаційна ентропія цієї системи при нерівній ймовірності випадання сторін монетки? Скажімо, орел випадає із ймовірністю 0,6, а решка - із ймовірністю 0,4. Порахуємо та отримаємо: 0,971 Біта. Ентропія системи зменшилася, оскільки невизначеність реалізації експерименту вже менше: ми очікуємо на орел частіше, ніж решку.

Повертаючись, наприклад, з передавачем і приймачем, якщо зв'язок між ними ідеально хороший, то інформація (у широкому значенні) завжди буде передаватися на 100% правильно. Інакше висловлюючись, взаємна інформація між передавачем і приймачем дорівнюватиме середньої інформації самого приймача (символізуючого реалізацію події), і якщо дані з передавача будуть ніякне пов'язані з даними, одержуваним приймачем, то взаємна інформація між ними дорівнюватиме 0. Інакше кажучи, те, що передає передавач нічого не говорить про те, що приймає приймач. Якщо є деякі втрати інформації, взаємна інформація буде величиною від 0 до середньої інформації приймача.

У контексті завдання, про яке я писав у цій статті, взаємна інформація виступає інструментом знаходження довільного виду залежності між приймачем (залежною змінною) та передавачем (незалежною змінною). Максимізація взаємної інформації між парою змінних свідчить про наявність певної детермінованості реалізації випадкового значенняпо відношенню до його минулих реалізацій. Можна, звичайно, як незалежні змінні взяти що завгодно, від складу птахів, що співають вранці, до частоти певних слів в інтернет-публікаціях на тему біржової торгівлі. "Істина десь поруч."

Отже, порахуємо ентропію джерела даних (http://ua.wikipedia.org/):

Середня інформація (або просто ентропія) даного джереладаних (порахована за логарифмом з основою 2) становить 2.098 Біт.

Взаємну інформацію між випадковими змінними пораховано через поняття інформаційної ентропії(http://ua.wikipedia.org/):

Гістограма значень взаємної інформації між залежною змінною - процентним збільшенням індексу, порахованим за цінами закриття, - та її значеннями зі зсувом від 1 до 250 кроків тому в часі.

Зокрема можна бачити, що максимальна взаємна інформація зважає на змінну з лагом 5, тобто зі значенням має місце один торговий тиждень тому. Також очевидно, що кількість взаємної інформації зменшується при зануренні в лаговий простір.

Вид функції розподілу густини ймовірності для отриманого набору значень кількості взаємної інформації:

Згенеруємо штучний часовий ряд для референсних цілей. Джерелом цілих чисел, що задають послідовність значень ознаки був обраний сайт www.random.org. За інформацією на сайті, вони надають справді випадкові числа(На відміну від ГПСЧ, генератора псевдовипадкових чисел).

Отриманий ряд прирощень, з випадково перемішаних хронологічним порядком

На око можна відзначити, наскільки більш стаціонарними стали дані.

Цей же ряд із заокругленими значеннями

Гістограма значень взаємної інформації між залежною змінною та її значеннями зі зсувом від 1 до 250 кроків назад у часі по штучному часовому ряду прирощень (зі збереженням того ж виду функції щільності ймовірності на просторі значень ознаки)

Вид функції розподілу густини ймовірності для даної вибірки:

Порівняння 2 розглянутих випадків розрахунку взаємної інформації

На очі видно, наскільки сильно відрізняються отримані вибірки значень кількості взаємної інформації.

Перевіримо гіпотезу про значущість відмінності (відмінності виду функції густини розподілу ймовірності) двох вибірок порахованих значень взаємної інформації - для вихідного та штучного часових рядів. Вдавшись до непараметричних тестів, порахуємо статистику за методом Колмогорова-Смирнова (тест Колмогорова-Смирнова застосовується для порівняння двох незалежних вибірок значень з метою визначити статистичну значимістьвідмінностей між значеннями вибірок. Для цієї ж мети використовується U-тест Манна та Уітні).

Результат: p = 0.00 за прийнятого порогового рівня значимості 0,05.

Результат U-тесту за методом Манна та Вітні: p = 0.00.

В обох випадках гіпотеза про різницю між вибірками значень ознаки приймається (p менше 0,05).

Можна дійти невтішного висновку у тому, що у природних фінансових даних (принаймні, в індексу DJI) є статистично значущі залежності довільного виду між прирощеннями котирувань. Тобто такий ряд даних не можна вважати випадковим. Теоретично існує простір можливостей прогнозування майбутніх значень такого ряду, наприклад, за допомогою нейронних мереж.

PS: Буду радий коментарям, критиці.