Умовна ентропія. Ентропія джерела безперервних повідомлень

Як зазначалося, для ефективного кодування інформації необхідно враховувати статистичну залежність повідомлень. Наша найближча мета – навчитися підраховувати інформаційні характеристики послідовностей залежних повідомлень. Почнемо із двох повідомлень.

Розглянемо ансамблі X= {x i) та Y={y j) та їх твір XY={(x i,y j), P(x i,y j)). Для будь-якого фіксованого y jÎ Yможна побудувати умовний розподіл ймовірностей P(x i/y j)на безлічі Xі для кожного x iÎ Xпідрахувати власну інформацію

яку називають умовною власною інформацієюповідомлення x iпри фіксованому y j.

Раніше ми назвали ентропією ансамблю Xсередню інформацію повідомлень x iÎ X. Аналогічно, усереднивши умовну інформацію I(x i/y j)по x iÎ X, отримаємо величину

,

звану умовною ентропією Xпри фіксованому y jÎ Y. Зауважимо, що в даному визначеннімає місце невизначеність у разі, коли P(x i/y j) = 0. Слід зазначалося, що вираз виду z log zпрагне до нуля при z® 0 і на цій підставі ми вважаємо складові ентропії, що відповідають буквам x iз ймовірністю P(x i/y j)=0, рівними нулю.

Знову введена ентропія H(X/y j) – випадкова величина, оскільки вона залежить від випадкової змінної y j. Щоб отримати невипадкову інформаційну характеристикупари ймовірнісних ансамблів, потрібно виконати усереднення за всіма значеннями y j.Величина

називається умовною ентропієюансамблю Xпри фіксованому ансамблі Y. Зазначимо низку властивостей умовної ентропії.

2. , причому рівність має місце в тому і тільки в тому випадку, коли ансамблі Xі Yнезалежні.

5. причому рівність має місце у тому й лише тому випадку, коли ансамблі Xі Yумовно незалежні за всіх zÎ Z.

Обговоримо « фізичний сенс» сформульованих властивостей умовної ентропії. Властивість 2 встановлює, що умовна ентропія ансамблю вбирається у його безумовної ентропії. Властивість 5 посилює це твердження. З нього випливає, що умовна ентропія не збільшується зі збільшенням кількості умов. Обидва ці факти не дивні, вони відбивають той факт, що додаткова інформаціяпро ансамбль X, що міститься в повідомленнях інших ансамблів, в середньому,зменшує інформативність (невизначеність) ансамблю X. Зауваження « в середньому"тут дуже важливо, оскільки нерівність H( X/y j) ≤ H( X), взагалі кажучи, не вірно.

З властивостей 1 – 5 випливає нерівність

, (11.4)

в якому рівність можлива лише у разі спільної незалежності ансамблів X 1 , …, X n.

Нагадаємо, що обчислення ентропії – це обчислення витрат за передачу чи зберігання букв джерела. Властивості умовної ентропії підказують, що з передачі букви X n+ 1 слід використовувати ту обставину, що попередні літери X 1 , …, X nвже відомі на приймальній стороні. Це дозволить замість H(X n+1)біт витратити меншу кількість H(X n +1 /X 1 ,…,X n) біт. У той же час нерівність (11.4) вказує на інший підхід до економного кодування. З цієї нерівності випливає, що літери перед кодуванням потрібно поєднувати в блоки і ці блоки розглядати як літери нового «розширеного» джерела. Витрати будуть меншими, ніж при незалежному кодуванні літер. Який із двох підходів ефективніший?

Нижче ми дамо більш точну кількісну характеристикуцих двох підходів, але нам треба згадати деякі визначення з теорії ймовірностей.

Умовна ентропія

Знайдемо спільну ентропію складною інформаційної системи(композиції А, У) у разі, якщо їх повідомлення є незалежними, тобто. якщо зміст повідомлення У впливає повідомлення А.

Наприклад, повідомлення про матч футбольних команд Комета та Ракета «Комета виграла» повністю знімає невизначеність про те, як зіграла Ракета.

Інший приклад: повідомлення А містить інформацію про чоловіка (прізвище, ім'я, по батькові, рік народження, місце народження, освіта, домашня адреса та телефон), а повідомлення Умістить аналогічну інформацію про жінку - дружину згаданого чоловіка. Очевидно, що повідомлення Участково містить у собі інформацію А, а саме: прізвище дружини, її домашню адресу та телефон, що швидше за все збігаються з прізвищем, домашньою адресою та телефоном чоловіка, а також імовірнісну оцінку її року народження, який швидше за все близький до року народження чоловіка. Таким чином, повідомлення Унесе для нас менше інформації, ніж повідомлення А, та спільна інформація двох повідомлень не є простою сумою інформації окремих повідомлень.

Нехай джерело Апороджує ансамбль Маповідомлень (а а, а 2 ,..., а Ма), джерело породжує ансамбль Mbповідомлень (Ь 2 , Ь 2,...,Ьдд,) та джерела залежні. Загальний алфавіт джерел є безліччю пар виду (а, Ь;), загальна потужність алфавіту: Мах Mb.

Ентропія складної інформаційної системи (з двох джерел) дорівнює

Оскільки А і Взалежні, то а

Підставивши це у вираз для ентропії складної системи, отримуємо:

У першому доданку індекс jє тільки у В,змінивши порядок підсумовування, отримаємо член виду ), який дорівнює 1, оскільки характеризує достовірну подію

(якесь із повідомлень у будь-якому випадку реалізується). Отже, перший доданок виявляється рівним:

У другому доданку члени виду

мають сенс ентропії джерела за умови, що реалізувалося повідомлення а; - називатимемо її приватною умовною ентропією. Якщо ввести дане поняттяі використовувати його позначення, то другий доданок матиме вигляд:

або докладніше

де Н(В |А) є загальна умовна ентропія джерела Ущодо джерела А. Остаточно отримуємо для ентропії складної системи:

Отриманий вираз є загальне правилознаходження ентропії складної системи. Цілком очевидно, що вираз (2.9) є окремим випадком (2.11) за умови незалежності джерел А та Ст.

Щодо умовної ентропії можна висловити такі твердження.

1. Умовна ентропія є величиною невід'ємною. Причому Н(В |А) = 0 тільки у тому випадку, якщо будь-яке повідомлення Аповністю визначає повідомлення В,тобто.

У цьому випадку Н(А, У) = Н(А).

2. Якщо джерела А та Унезалежні, то Н(В |А) = Н(В), причому це виявляється найбільшим значеннямумовної ентропії. Іншими словами, повідомлення джерела А не може підвищити невизначеність повідомлення джерела; воно може або не вплинути (якщо джерела незалежні), або знизити ентропію Ст.

Наведені твердження можна поєднати однією нерівністю:

тобто. умовна ентропія вбирається у безумовну.

3. Зі співвідношень (2.11) і (2.12) випливає, що

причому рівність реалізується лише у тому випадку, якщо джерела А та В незалежні.

Ентропія джерела безперервних повідомлень

Розглянемо систему, де якісні ознакистани змінюються безперервно (безперервний сигнал). Імовірність знаходження системи у стані х (тобто сигнал набуває значення х) характеризується щільністю ймовірності/(х). Щоб знайти ентропію такого повідомлення, розбиваємо діапазон можливої ​​зміни сигналу дискрети розміром Дх. Імовірність знаходження системи у i-й дискреті дорівнює

Розглядаючи формулу Шеннона (3.3) для обчислення ентропії випадкової величинита кількості інформації, ми припускали, що інформація про випадкову величину (X) надходить безпосередньо до спостерігача. Однак, як правило, ми отримуємо інформацію не про ту випадкову величину (X), яка нас цікавить, а про деяку іншу (Y), яка пов'язана з X стохастичним чином. Такий зв'язок випадкових величин відрізняється від функціонального зв'язку, при якій кожному значенню однієї величини відповідає єдине, цілком певне значенняіншої величини. Стохастична (імовірнісний) зв'язок двох випадкових величин X і Y означає, що зміна однієї з них впливає на значення іншої, але таким чином, що знаючи значення X не можна точно вказати значення, яке прийме величина Y. Можна лише вказати тенденцію зміни величини Y.

Нехай B – довільна подія; p(B) - ймовірність його наступу; позначимо через X випадкову величину, яка приймає N різних значень(x 1 , x 2 , … x N ), а через A k подія, що полягає в тому, що випадкова величина X прийме значення x k:

A k = (X = x k), k = 1,2, ... N;

Імовірність події A k позначимо через p(A k). Імовірність настання деяких подій може змінюватися в залежності від того, настала чи ні інша подія. Імовірність p B (A k) події Ak, обчислена в припущенні, що настала подія B, називається умовною ймовірністю події Ak, при цьому:

Події А k і B називаються незалежними, якщо ймовірність настання події Ak не залежить від того, настала чи ні подія B. Це означає, що умовна ймовірність події p B (A k) дорівнює «звичайній» ймовірності p(A k).

Визначення. Умовною ентропією випадкової величини X за умови B називається величина

(4.2)

На відміну від формули Шеннона (3.3) у тому, що замість ймовірностей p(A k) використовуються умовні ймовірності p B (A k).

Нехай тепер Y - інша випадкова величина, що приймає значення (y 1, y 2, ... y M). Позначимо через B j подію, яка полягає в тому, що випадкова величина Y прийме значення y j:

B j = (Y = y j), j = 1, 2, ... M.

Імовірність події Bj позначимо через p(Bj).

Визначення. Умовною ентропією випадкової величини X при заданому значеннівипадкової величини Y називається величина H Y (X)

(4.3)

Виконаємо перетворення формули (4.3):

Формула (4.3) набуває вигляду:

(4.4)

Обчислимо кількість інформації про випадкову величину X, отриману при спостереженні за випадковою величиною Y. Ця кількість інформації I(X,Y) дорівнює вбули ентропії випадкової величини X при спостереженні за випадковою величиною Y:

Підставимо в (15) вирази для H(X) та H Y (X):

Замінимо в першій сумі p (A k) = p (A k B 1) + p (A k B 2) + p (A k B 3) ... + p (A k B M). Ця рівність справді має місце, т.к. події Ak B 1 , Ak B 2 , ... Ak B M - попарно несумісні, при цьому одне з них настане, якщо настане Ak . Навпаки, якщо настане одне з B j то настане і A k . Продовжуючи перетворення, отримаємо:

Отже, ми отримали формулу для обчислення кількості інформації про випадкову величину X при спостереженні за іншою випадковою величиною Y:

(4.6)

Якщо випадкові величини (чи події) незалежні, то їм виконується співвідношення p(A k B j) = p(A k)p(B j) – ймовірність спільного наступу двох подій дорівнює добутку ймовірностей цих подій.

Щодо величини I(X,Y) справедливі такі твердження.

Для незалежних випадкових величин отримаємо

Це означає, що спостереження за випадковою величиною Y не дасть жодної переваги отримання інформації про випадкову величину Х.

В інших випадках I(X,Y) >0, при цьому виконується нерівність:

Рівність досягається у разі наявності функціонального зв'язку Y=F(X). У цьому випадку спостереження за Y дає повну інформаціюпро X. Якщо Y = X, то I (X, X) = H (X).

Розмір I(X,Y) симетрична: I(X,Y) = I(Y,X). Це означає, що спостереження випадкової величини Y дає таку ж кількість інформації про випадкову величину Х, яке спостереження випадкової величини Х дає щодо випадкової величини Y. Якщо ми розглядаємо дві випадкові величини, що знаходяться в стохастичній залежності, то засобами теорії інформації не можна встановити якась із них є причиною, а якась наслідком.

Для подальшого викладу знадобляться деякі відомі відомості з теорії ймовірності.

1) Властивості ймовірностей для ансамблю випадкових подій Аі У:

P(A,B)=P(A)*P(B/A); -> P(B/A)=P(A,B)/P(B);

P(A,B)=P(B)*P(B/A); -> P(A/B)=P(A,B)/P(A);

P(A/B)=P(A)*P(B/A)/P(B); P(B/A)=P(B)*P(A/B)/P(A);

Якщо Аі Унезалежні, то

P(A/B)=P(A); P(B/A)=P(B):

P(A,B)=P(A)*P(B);

Ще раз визначення ентропії за Шенноном для джерела дискретних повідомлень:

Її властивості:

Н > 0 ;

Нmах = log N;

За незалежних джерел H(A,B)=H(A)+H(B);

УМОВА ЕНТРОПІЯ

Якщо стану елементів системи не залежать один від одного або якщо стан однієї системи не залежить від стану іншої системи, то невизначеність того, що певний елемент системи (або деяка система) буде знаходитися в одному з можливих станів, повністю визначалася б імовірнісними характеристиками окремих елементів системи . В цьому випадку питома кількістьінформації на стан елемента системи або один символ повідомлень називається середньої ентропією, а її обчисленні використовується вираз

При підрахунку середньої кількості інформації на символ повідомлення взаємозалежність враховують через умовні ймовірності настання одних подій щодо інших, а отриману при цьому ентропію називають умовною ентропією.

Розглянемо передачу повідомлень джерела випадкових символів через канал передачі інформації. При цьому вважається, що при достовірній передачі при передачі символу a 1 отримуємо b 1 , a 2 - b 2 і т.д. При цьому для каналу з перешкодами передача спотворюється, і при отриманні сивол b 1 можна лише зговорити про можливість перепередачи символу a 1 . Цілком можливо, що було передано символи a 2 , a 3 і т.д.

Спотворення описуються матрицею умовних ймовірностей каналу P(A/ B)={ p(a i / b i }.

Розглянемо процес передачі сигналів каналом зв'язку з перешкодами і використовуємо його для з'ясування механізму обчислення умовної ентропії.

Якщо джерело повідомлень видає символи

a l , а 2 , ..., a i ..., а n

з ймовірностями відповідно

р (а 1 ), р (а 2 ) ... ..., р (а i ), ..., р (а n ),

а на виході каналу передачі ми отримуємо символи

b 1 ,b 2 , ..., b i ..., b n

з ймовірностями відповідно

р (b 1 ), р (b 2 ), ..., р (b i , ..., р (b n ),

то поняття умовної ентропії Н (B/a i ) висловлює невизначеність того, що, відправивши a i , ми отримаємо b i., поняття H(A/b i ) невпевненість, що залишається після отримання b i у тому, що було відправлено саме a i. Графічно це представлено на наведеному малюнку. Якщо в каналі зв'язку є перешкоди, то з різним ступенем ймовірності може бути прийнятий будь-який із сигналів b j і, навпаки, прийнятий сигнал b jможе з'явитися і в результаті відправлення будь-якого з сигналів a i . Якщо у каналі зв'язку перешкоди відсутні, то завжди надісланому символу а 1 відповідає прийнятий символ b 1 , а 2 - b 2 , ..., а n - b n .

При цьому ентропія джерела повідомлень H(А) дорівнює ентропії приймача повідомлень Н(В). Якщо в каналі зв'язку присутні перешкоди, то вони знищують або спотворюють частину інформації, що передається.

Інформаційні втрати повністю описуються через приватну та загальну умовну ентропію. Обчислення приватних та загальної умовної ентропії зручно проводити за допомогою канальних матриць. Термін «канальна матриця», що означає: матриця, що статистично описує даний канал зв'язку, застосовується для стислості. Якщо канал зв'язку описується з боку джерела повідомлень (тобто відомий надісланий сигнал), то ймовірність того, що при передачі сигналу a i каналом зв'язку з перешкодами ми отримаємо сигнал b j позначається як умовна ймовірність р (b j / ai).а канальна матриця має вигляд

Імовірності, які розташовані по діагоналі (виділені напівжирним шрифтом), визначають вірогідність правильного прийому, решта - хибного. Значення цифр, що заповнюють колонки канальної матриці, зазвичай зменшуються при віддаленні від головної діагоналі і при повній відсутності перешкод всі, крім цифр, розташованих на головній діагоналі, дорівнюють нулю.

Проходження символу a iз боку джерела повідомлень у цьому каналі зв'язку описується розподілом умовних ймовірностей виду р(b j /a i ), сума ймовірностей якого завжди повинна дорівнювати одиниці. Наприклад, для сигналу а 1

Втрати інформації, що припадають на сигнал a iописуються з допомогою приватної умовної ентропії. Наприклад, для сигналу a 1

Підсумовування проводиться за j,так як i-е стан (у даному випадкуперше) залишається незмінним.

Втрати під час передачі всіх сигналівданим каналом зв'язку описуються за допомогою загальної умовної ентропії. Для її обчислення слід підсумувати всі приватні умовні ентропії, тобто провести подвійне підсумовування iі по j.

У разі нерівноймовірної появи символів джерела повідомлень слід врахувати ймовірність появи кожного символу, помноживши її відповідну приватну умовну ентропію. При цьому загальна умовна ентропія

Якщо дослідити ситуацію з боку приймача повідомлень(тобто коли відомий прийнятий сигнал) , то з отриманням символу b jпередбачається, що був посланий якийсь із символів a 1 , a 2 , …, a i ,…, a m. У цьому випадку канальна матриця має вигляд:

В цьому випадку одиниці повинні дорівнювати суми умовних ймовірностей не по рядках, а по стовпчикам канальної матриці

Приватна умовна ентропія

А загальна умовна ентропія

Загальна умовна ентропія системиЩодо системи А характеризує кількість інформації, що міститься в будь-якому символі джерела повідомлень, через який ми представляємо стани елементів досліджуваних систем.

Загальну умовну ентропію визначають шляхом усереднення з усіх символів, т. е. за всіма станами а iз урахуванням ймовірності появи кожного їх. Вона дорівнює сумі творів імовірності появи символів джерела на невизначеність, яка залишається після того, як адресат прийняв символи:

Якщо каналі зв'язку перешкоди відсутні, всі елементи канальної матриці, крім розташованих на головній діагоналі, рівні нулю. Це говорить про те, що під час передачі сигналу а 1 ми напевно отримаємо b 1 під час передачі а 2 - b 2 , ..., а m - b m. Можливість отримання правильного сигналу стане безумовною, а умовна ентропія дорівнюватиме нулю.

Своєї максимуму умовна ентропія досягає у разі, коли при передачі символу а iможе бути з рівною ймовірністюотримано будь-який із сигналів b 1 , b 2 , ..., b m .

Умовна ентропія

Ентропія (інформаційна)- міра хаотичності інформації, невизначеність появи будь-якого символу первинного алфавіту. За відсутності інформаційних втрат чисельно дорівнює кількості інформації на символ повідомлення, що передається.

Наприклад, у послідовності букв, що становлять будь-яку пропозицію російською мовою, різні літериз'являються з різною частотоютому невизначеність появи для деяких літер менша, ніж для інших. Якщо ж врахувати, що деякі поєднання букв (у цьому випадку говорять про ентропію n-ого порядку, див) зустрічаються дуже рідко, то невизначеність ще більше зменшується.

Для ілюстрації поняття інформаційної ентропії можна також вдатися до прикладу в галузі термодинамічної ентропії, який отримав назву демона Максвелла. Концепції інформації та ентропії мають глибокі зв'язки один з одним, але, незважаючи на це, розробка теорій у статистичної механікиі теорії інформації зайняла багато років, щоб зробити їх відповідними один одному.

Формальні визначення

Інформаційна ентропіядля незалежних випадкових подій xз n можливими станами(від 1 до n) розраховується за формулою:

Ця величина також називається середньою ентропією повідомлення. Величина називається приватною ентропією, Що характеризує тільки i-e Стан.

Таким чином, ентропія події xє сумою з протилежним знакомвсіх творів відносних частот появи події i, помножених на них же двійкові логарифми(підстава 2 вибрано тільки для зручності роботи з інформацією, поданою у двійковій формі). Це визначення для випадкових дискретних подій можна розширити для функції розподілу ймовірностей .

У загальному випадку b-арна ентропія(де bодно 2, 3, …) джерела з вихідним алфавітом та дискретним розподіломймовірності де p iє ймовірністю a i (p i = p(a i) ) визначається формулою:

Визначення ентропії Шеннона пов'язані з поняттям термодинамічної ентропії. Больцман та Гіббс проробили велику роботупо статистичної термодинаміки, яка сприяла прийняттю слова «ентропія» в інформаційну теорію. Існує зв'язок між термодинамічної та інформаційною ентропією. Наприклад, демон Максвелла також протиставляє термодинамічну ентропіюінформації, і отримання будь-якої кількості інформації дорівнює втраченій ентропії.

Альтернативне визначення

Іншим способом визначення функції ентропії Hє доказом, що Hоднозначно визначено (як зазначено раніше), якщо і тільки якщо Hзадовольняє умовам:

Властивості

Важливо пам'ятати, що ентропія є кількістю, визначеною в контексті імовірнісної моделіджерела даних. Наприклад, кидання монети має ентропію − 2(0,5log 2 0,5) = 1 біт на одне кидання (за умови його незалежності). У джерела, що генерує рядок, що складається лише з літер «А», ентропія дорівнює нулю: . Так, наприклад, дослідним шляхом можна встановити, що ентропія англійського текстудорівнює 1,5 біт на символ, що звичайно буде змінюватись для різних текстів. Ступінь ентропії джерела даних означає середнє число бітів елемент даних, необхідних її зашифровки без втрати інформації, при оптимальному кодуванні.

1. Деякі біти даних можуть нести інформації. Наприклад, структури даних часто зберігають надмірну інформацію, або мають ідентичні секції незалежно від інформації у структурі даних.
2. Кількість ентропії який завжди виражається цілим числом біт.

Математичні властивості

Ефективність

Вихідний алфавіт, що зустрічається на практиці, має ймовірнісний розподіл, що далеке від оптимального. Якщо вихідний алфавіт мав nсимволів, тоді він можна порівняти з «оптимізованим алфавітом», імовірнісний розподіл якого однорідно. Співвідношення ентропії вихідного та оптимізованого алфавіту – це ефективність вихідного алфавіту, яка може бути виражена у відсотках.

З цього випливає, що ефективність вихідного алфавіту з nсимволами може бути визначена просто як рівна його n-арної ентропії.

Ентропія обмежує максимально можливе стискування без втрат (або майже без втрат), яке може бути реалізовано при використанні теоретично - типового набору або, на практиці, - кодування Хаффмана, кодування Лемпеля - Зіва - Велча або арифметичного кодування.

Варіації та узагальнення

Умовна ентропія

Якщо дотримання символів алфавіту не незалежно (наприклад, французькою мовоюпісля літери «q» майже завжди слідує «u», а після слова «передовик» у радянських газетахзазвичай було слово «виробництва» або «праці»), кількість інформації, яку несе послідовність таких символів (а отже і ентропія) очевидно менше. Для врахування таких фактів використовується умовна ентропія.

Умовною ентропією першого порядку (аналогічно для Марківської моделі першого порядку) називається ентропія для алфавіту, де відомі ймовірності появи однієї літери після іншої (тобто ймовірності дволітерних поєднань):

де i- це стан, що залежить від попереднього символу, та p i (j) - це ймовірність j, за умови, що iбув попереднім символом.

Так, для російської без літери «».

Через приватну та загальну умовні ентропії повністю описуються інформаційні втрати під час передачі даних у каналі з перешкодами. Для цього застосовуються так звані канальні матриці. Так, для опису втрат з боку джерела (тобто відомий посланий сигнал) розглядають умовну ймовірність отримання приймачем символу b jза умови, що було відправлено символ a i. При цьому канальна матриця має такий вигляд:

Очевидно, що ймовірності, розташовані по діагоналі описують ймовірність правильного прийому, а сума всіх елементів стовпця дасть ймовірність появи відповідного символу на стороні приймача - p(b j) . Втрати, що припадають на сигнал, що передається a i, Описуються через приватну умовну ентропію:

Для обчислення втрат під час передачі всіх сигналів використовується загальна умовна ентропія:

означає ентропію з боку джерела, аналогічно розглядається - ентропія з боку приймача: замість скрізь вказується (підсумовуючи елементи рядка можна отримати p(a i) а елементи діагоналі означають ймовірність того, що був відправлений саме той символ, який отриманий, тобто вірогідність правильної передачі).

Взаємна ентропія

Взаємна ентропія, або ентропія об'єднання, призначена для розрахунку ентропії взаємопов'язаних систем (ентропії спільної появи статистично залежних повідомлень) та позначається H(AB), де A, як завжди, характеризує передавач, а B- Приймач.

Взаємозв'язок переданих та отриманих сигналів описується ймовірностями спільних подій p(a i b j) , і для повного описухарактеристик каналу потрібна лише одна матриця:

Для більш загального випадкуКоли описується не канал, а просто взаємодіючі системи, матриця необов'язково повинна бути квадратною. Очевидно, сума всіх елементів стовпця з номером jдасть p(b j) , сума рядка з номером iє p(a i) а сума всіх елементів матриці дорівнює 1. Спільна ймовірність p(a i b j) подій a iі b jобчислюється як добуток вихідної та умовної ймовірності,

Умовні ймовірностівиробляються за формулою Байєса. Таким чином є всі дані для обчислення ентропій джерела та приймача:

Взаємна ентропія обчислюється послідовним підсумовуванням по рядках (чи стовпцям) всіх ймовірностей матриці, помножених з їхньої логарифм:

Одиниця виміру - біт/два символи, це пояснюється тим, що взаємна ентропія описує невизначеність на пару символів - відправленого та отриманого. Шляхом нескладних перетворень також отримуємо

Взаємна ентропія має властивість інформаційної повноти- З неї можна отримати всі аналізовані величини.