Ентропія досягає максимального значення коли. Ентропія у нашому житті

Знаходячи максимальне значення ентропії, ми отримуємо абсолютно аналогічно класичному випадку закон розподілу молекул за енергетичним рівням.
І означає максимальне значення ентропії.
При наявності максимального значенняентропії Н (х, у) система не має жодної організації та значення величин х і у не пов'язані між собою.
Довести необхідність максимального значення ентропії для рівноважного стану системи на основі узагальненого рівняння термодинаміки неможливо. Однак рівновага неможлива при немаксимальному значенні ентропії.
Формула (1.1) виражає максимальне значення ентропії (1.8); коли всі можливі станисистеми рівноймовірні, вона найбільш невпорядкована, а отже, її ентропія повинна мати найбільше значення.
Іншими словами, максимальне значення ентропії корозійної пари з кінцевим числомстанів дорівнює логарифму цього числа і досягає Smax тоді, коли всі стани є рівноймовірними. Якщо стани корозійної пари відомі заздалегідь, її ентропія дорівнює нулю.
Стан системи з максимальним значенням ентропії і стан стійкого рівноваги. Справді, у цьому стані у системі незворотні процеси протікати що неспроможні, оскільки інакше ентропія системи мала б зростати, чого не може.
Так як стан рівноваги відповідає максимальному значенню ентропії, а потоки в цьому стані зникають, всі параметри в рівноважному стані звертаються в нуль.
Метастабільний стан рівноваги характеризується також максимальним значенням ентропії (і мінімумами енергії та термодинамічних потенціалів), але для системи можливі й інші стани рівноваги, в яких при тих же значеннях енергії, об'єму та кількості речовин ентропія має ще великі значення.
Якщо термодинамічна рівновага, що відповідає максимальному значенню ентропії, має лише статистичну природу, слід очікувати відхилень від найімовірніших значень при спостереженнях у дуже малих областях. З цими флуктуаціями щільності пов'язане розсіювання світла у атмосфері, зокрема колір неба; теорія цього явища дозволяє обчислити число Авогадро із спектрального розподілу інтенсивності розсіяного світла. Якщо в рідині є малі, але все ж таки помітні під мікроскопом частинки ( колоїдні частинки), то видно їх нерегулярне тремтіння, обумовлене тим, що удари молекул рідини з різних сторінне в точності врівноважуються кожної миті: то з одного, то з іншого боку частинку вдаряє більша кількістьмолекул, і вона зміщується у відповідному напрямку. Сутність цього явища, названого броунівським рухом(На честь англійського ботаніка Броуна), довго залишалася неясною. Але під мікроскопом спостерігається швидкість, набагато порядків менша, якщо визначати її звичайним чином як відношення шляху до часу. Насправді ж швидкість частки настільки часто змінює свій напрямок, що рух такої частки є лише грубим наближенням істинного зигзагоподібного руху.
Якщо система перебуває у стані рівноваги, що характеризується максимальним значенням ентропії, найбільш ймовірними будуть процеси, у яких ентропія системи не змінюється. Зі зіставлення цих висновків з другим початком термодинаміки видно їхню еквівалентність.
У цьому прикладі (при двох можливих наслідках) максимальне значення ентропії дорівнює одній двійковій одиниці.
У цьому слід врахувати, що розподіл Флорі дає максимальне значення ентропії.
Зміна ентропії ізольованої системи кінцевих розмірів.
Система переважно перебуває у рівноважному стані, що відповідає максимальному значенню ентропії системи; відхилившись від цього стану, система потім повертається щодо нього. При спостереженні системи тривалий часможна відзначити, що випадки збільшення та зменшення ентропії зустрічаються однаково часто, причому час повторюваності будь-якого відхилення системи від рівноважного стану тим більше, чим менша ймовірність даного нерівноважного стану. Зі збільшенням розмірів системи час повторюваності швидко зростає. Тому процеси, що є незворотними з погляду звичайної термодинаміки, видаються практично незворотними і статистичної точки зору. Зазначена обставина зближує обидві формулювання другого початку термодинаміки та практично знімає зазначене вище та відмінність.
Доведемо для найпростішого випадку (для однофазної системи), що максимальне значення ентропії або мінімальне значеннявільної енергії системи відповідають рівнорозподілу ізотопів. Нехай далі в поєднанні АХ міститься а р п атомів елемента X, що бере участь в обміні.
Можна показати, що при заданій дисперсії станів про розподіл по нормальному законудає максимальне значення ентропії.
Мимовільні процеси в ізольованих системах можуть протікати лише у бік зростання ентропії, а рівновагу відповідає максимальне значення ентропії.
Вводячи швидкості і розглядаючи нерівноважні стани, що являють собою організми, ми втрачаємо такий надійний критерій, як максимальне значення ентропії, і повинні спробувати знайти інші підстави для відбору станів, які є стійкими.
Температури склування та плавлення ряду полімерів, області їх застосування. При деформації такої системи сумарна величина статистичної невпорядкованості зменшується, тому система прагне повернутися до стану, якому відповідає максимальне значення ентропії.
Глибина мимовільних процесів визначається величиною ентропії кожного з тіл, між якими здійснюється будь-який процес, що припиняється при досягненні максимального значення ентропії, після чого система вступає в рівноважний тепловий стан, вийти з якого мимовільно не може.
Молекулярно-масовий розподіл полігексаметиленадипаміду. При виведенні цього рівняння приймається основне припущення про незалежність реакційної здатності молекул від величини молекулярної маси, а також припущення про максимальне значення ентропії для рівноважного фракційного складу, про зміну фракційного складу при даній середній молекулярної масилише за рахунок зміни ентропії.
Рівновагу гетерогенних систем відповідає рівність хімічних потенціалівкожного компонента у всіх фазах, а також мінімальне значення ізохорного або ізобарного потенціалів або максимальне значення ентропії всієї системи при певних умов. Якщо в систему входить хоча б одна фаза, склад якої змінюється в процесі наближення до рівноваги, то рівноважний стан фази і всієї системи характеризується константою рівноваги, наприклад, системах, що складаються з індивідуальних речовин в конденсованому стані і газів. У системах, що складаються з індивідуальних речовин у конденсованому стані, у яких склад фаз у ході процесу не змінюється, а процес йде до повного зникнення одного з вихідних речовин(Наприклад, поліморфні перетворення речовин), поняття константи рівноваги не застосовується.
Рівновагу гетерогенних систем відповідає рівність хімічних потенціалів кожного компонента у всіх фазах, а також мінімальне значення одного з термодинамічних потенціалів або максимальне значення ентропії всієї системи за відповідних умов. Найбільш звичайними умовамина практиці є постійна температураі постійний тискТому ми будемо оцінювати рівновагу гетерогенних систем за їх ізобарним потенціалом.
Беручи до уваги молекулярну природу робочої речовини та флуктуації в ній внутрішніх параметрівМожна відзначити, що без встановлення рівноваги в системі максимальне значення ентропії неможливо досягти. Флуктуації призводять до рівноваги. Саме флуктуації в системах призводять до необхідності максимуму ентропії при рівновазі щоразу, коли ця умова не виконується, тобто система виведена з рівноваги.

Таким чином, основна причина пружності при деформації у високоеластичному стані та виникнення напруг у зразку полягає у зміні конформації та переході з рівноважної форми статистичного клубка з максимальним значенням ентропії у нерівноважну зі зменшенням ентропії та зворотний перехід після припинення деформації. Внесок енергетичної складової у цей процес невеликий, а для ідеальних сіток дорівнює нулю.
ТЕПЛОВА СМЕРТЬ ВСЕСВІТ - кінцевий стан світу, який нібито виникає в результаті незворотного перетворення всіх форм руху в теплову, розсіювання теплоти в просторі і переходу світу в стан рівноваги з максимальним значенням ентропії. Цей висновок робиться на основі абсолютизації другого закону термодинаміки та поширення його на весь всесвіт.
ТЕПЛОВА СМЕРТЬ ВСЕСВІТ - кінцевий стан світу, який нібито виникає в результаті незворотного перетворення всіх форм руху в теплову, розсіювання теплоти в просторі і переходу світу в стан рівноваги з максимальним значенням ентропії. Цей висновок робиться на основі абсолютизації другого закону термодинаміки та поширення його на весь всесвіт. Освіта зірок і галактик одна із проявів цього процесу. Необоротна змінаматерії у всесвіті не передбачає до.
Другий початок термодинаміки встановлює, що незворотні процеси (а такими є практично всі теплові процесиі у всякому разі всі природно протікають процеси) йдуть так, що ентропія системи тіл, що беруть участь у процесі, зростає, прагнучи максимального значення. Максимальне значення ентропії досягається тоді, коли система входить у стан рівноваги.
Властивість ентропії зростати в незворотних процесах, та й сама незворотність перебувають у протиріччі з оборотністю всіх механічних рухіві тому фізичний сенсЕнтропія не настільки очевидна, як, наприклад, фізичний зміст внутрішньої енергії. Максимальне значення ентропії замкнутої системи досягається тоді, коли система входить у стан термодинамічного рівноваги. Таке кількісне формулювання другого закону термодинаміки надано Клаузіусом, а її молекулярно-кінетичне тлумачення Больцманом, який ввів у теорію теплоти статистичні уявлення, засновані на тому, що незворотність теплових процесів має імовірнісний характер.
Співвідношення (IX.2) висловлює той факт, що для рівноваги ізольованої системи є умовний максимум ентропії. Максимальне значення ентропії ізольованої системи визначається заданими значеннямиенергії та обсягу системи, а також мас, а отже, і числа молей компонентів.
Зростання ентропії у процесі триває не безмежно, лише до певного максимального значення, властивого даної системи. Це максимальне значення ентропії відповідає стану рівноваги, і після того, як воно досягнуто, будь-які зміни стану без зовнішнього впливу припиняються.
Зростання ентропії у процесі триває не безмежно, лише до певного максимального значення, властивого даної системи. Це максимальне значення ентропії відповідає стану рівноваги, і після того, як воно досягнуто, будь-які зміни стану без зовнішнього впливу припиняються.
Отже, у разі рівноймовірності вхідних подій ентропія відповідає кількості інформації для рівноймовірних результатів. Хартлі відповідає максимальному значенню ентропії. Фізично це визначає випадок, коли невизначеність настільки велика, що прогнозувати виявляється важко.
Ншкс максимальна 2птропия, можлива всім складів з цим числом компонентів. Очевидно, максимальне значення ентропії мають склади, в яких всі компоненти знаходяться в рівних концентраціях.
Як бачимо, максимальна термодинамічна можливість вийде тоді, коли молекули поступово розподіляться по ділянках. Цьому рівномірному розподілу відповідає максимальне значення ентропії.
Суворіший розвиток цього питання дається в статистичної термодинаміки. Зазначимо лише, що максимальне значення ентропії, що відповідає стану рівноваги, сприймається лише як імовірне. При достатньо великому проміжкучасу можливі відхилення від нього. У макросистемах цього потрібні часи астрономічного порядку. У мікроскопічних обсягах, усередині оточуючих нас тіл такі зміни відбуваються постійно.
Звідси зрозуміло, що це процеси триватимуть до того часу, поки ентропія системи досягне максимуму. Стан ізольованої системи з максимальним значенням ентропії і є стан стійкої - - ної рівноваги.
Звідси зрозуміло, що це процеси триватимуть до того часу, поки ентропія системи досягне максимуму. Стан ізольованої системи з максимальним значенням ентропії і є стан стійкої рівноваги.

Статистичний характер закону зростання ентропії випливає із самого визначення ентропії (III.70), що пов'язує цю функцію з ймовірністю даного макроскопічного стану системи. Однак рівноважний стан, якому відповідає максимальне значення ентропії ізольованої системи, найімовірніше, причому для макроскопічних систем максимум є надзвичайно різким. Рівноважному стану макроскопічної ізольованої системи відповідає майже весь обсяг енергетичного шару, і точка системи, що зображає, з ймовірністю, близькою до одиниці, знаходиться Саме в цій галузі. Якщо система перебуває у стані, якому відповідає рівноважне значення макроскопічного параметра X (з точністю до інтервалу ДХ), вона майже напевно прийде до цього стану; якщо ж система вже знаходиться в цьому стані, вона дуже рідко виходитиме з нього.
Статистичний характер закону зростання ентропії випливає із самого визначення ентропії (II 1.63), що пов'язує цю функцію з ймовірністю даного макроскопічного стану системи. Однак рівноважний стан, якому відповідає максимальне значення ентропії ізольованої системи, найімовірніше, причому для макроскопічних систем максимум є надзвичайно різким. Рівноважному стану макроскопічної ізольованої системи відповідає майже весь обсяг енергетичного шару, і точка системи, що зображує, з ністю, близькою до одиниці, знаходиться саме в цій галузі, система не знаходиться в стані, якому відповідає рівноважне значення макроскопічного параметра X (з точністю до інтервалу АХ), вона майже напевно прийде до цього стану; якщо ж система вже знаходиться в цьому стані, вона дуже рідко виходитиме з нього.
Найбільш Загальні умовирівноваги випливають із затвердження другого закону термодинаміки про зростання ентропії адіабатично ізольованої системи при перебігу в ній незворотних процесів. Якщо деякий стан такої системи характеризується максимальним значенням ентропії, це стан може бути нерівноважним, оскільки інакше при релаксації ентропія системи відповідно до другого закону зростала б, що узгоджується з припущенням про її максимальності. Отже, умова максимальності ентропії ізольованої системи є достатньою умовоюїї рівноважності.

Будь-яке повідомлення, з яким ми маємо справу в теорії інформації, є сукупністю відомостей про деяку фізичну систему. Наприклад, на вхід автоматизованої системи керування виробничим цехомможе бути передано повідомлення про нормальний або підвищений відсоток шлюбу, про хімічний склад сировини або температуру в печі. На вхід системи керування засобами протиповітряної оборониможе бути передано повідомлення про те, що в повітрі знаходяться дві цілі, що летять на певній висоті, із певною швидкістю. На той же вхід може бути передано повідомлення про те, що на певному аеродромі в даний момент знаходиться така кількість винищувачів у бойовій готовності, або що аеродром виведений з ладу вогневим впливом противника, або що перша мета збита, а друга продовжує політ зі зміненим курсом. Будь-яке з цих повідомлень описує стан якоїсь фізичної системи.

Очевидно, якби стан фізичної системи було відомо заздалегідь, не було б сенсу передавати повідомлення. Повідомлення набуває сенсу лише тоді, коли стан системи заздалегідь невідомий, випадковий.

Тому як об'єкт, про який передається інформація, ми розглядатимемо деяку фізичну систему, яка випадковим чином може опинитися в тому чи іншому стані, тобто систему, якій свідомо властива якийсь ступінь невизначеності. Очевидно, відомості, отримані про систему, будуть, взагалі кажучи, тим ціннішими та змістовнішими, чим більшою була невизначеність системи до отримання цих відомостей («апріорі»). Виникає природне запитання: що означає «великий» чи «менший» ступінь невизначеності та чим можна її виміряти?

Щоб відповісти на це питання, можна порівняти між собою дві системи, кожній з яких властива деяка невизначеність.

Як перша система візьмемо монету, яка в результаті кидання може опинитися в одному з двох станів: 1) випав герб і 2) випала цифра. Як другий - гральна кістка, у якої шість можливих станів: 1, 2, 3, 4, 5 і 6. Постає питання, невизначеність якої системи більше? Очевидно, другий, так як у неї більше можливих станів, у кожному з яких вона може виявитися однаковою ймовірністю.

Може здатися, що ступінь невизначеності визначається кількістю можливих станів системи. Однак у загальному випадку це не так. Розглянемо, наприклад, технічний пристрій, який може бути у двох станах: 1) справно та 2) відмовило. Припустимо, що до отримання відомостей (апріорі) ймовірність справної роботи пристрою 0,99 а можливість відмови 0,01. Така система має лише дуже малий ступінь невизначеності: майже напевно можна передбачити, що пристрій працюватиме справно. При киданні монети теж є два можливі стани, але ступінь невизначеності набагато більший. Ми, що ступінь невизначеності фізичної системи визначається як числом її можливих станів, а й ймовірностями станів.

Перейдемо до загальної нагоди. Розглянемо деяку систему, яка може приймати кінцеву множину станів: з ймовірностями, де

(18.2.1)

Імовірність те, що система прийме стан (символом позначається подія: система перебуває у стані ). Вочевидь, .

Запишемо ці дані у вигляді таблиці, де у верхньому рядку перераховані можливі стани системи, а в нижньому - відповідні ймовірності:

Ця табличка по написанню подібна до ряду розподілу перервної випадкової величиниз можливими значеннями, що мають ймовірність. І справді, між фізичною системою з кінцевою множиною станів і перервною випадковою величиною багато спільного; щоб звести першу до другої, достатньо приписати кожному стану якесь числове значення (скажімо, номер стану). Підкреслимо, що для опису ступеня невизначеності системи зовсім не має значення, які саме значення записані у верхньому рядку таблиці; важливими є лише кількість цих значень та їх ймовірності.

Як міра апріорної невизначеності системи (або перервної випадкової величини) в теорії інформації застосовується спеціальна характеристиказвана ентропією. Поняття про ентропію є в теорії інформації основним.

Ентропією системи називається сума творів ймовірностей різних станівсистеми на логарифми цих ймовірностей, взята зі зворотним знаком:

. (18.2.2)

Ентропія, як ми побачимо надалі, має низку властивостей, що виправдовують її вибір як характеристику ступеня невизначеності. По-перше, вона звертається в нуль, коли один із станів системи достовірно, а інші – неможливі. По-друге, при заданій кількості станів вона звертається в максимум, коли ці стани рівноймовірні, а при збільшенні числа станів - збільшується. Нарешті, і це найголовніше, вона має властивість адитивності, тобто коли кілька незалежних систем об'єднуються в одну, їх ентропії складаються.

Логарифм у формулі (18.2.2) може бути взятий за будь-якої підстави . Зміна основи рівнозначна простому множенню ентропії на постійне число, а вибір основи рівносильний вибору певної одиниці виміру ентропії. Якщо за основу вибрано число 10, то говорять про «десяткові одиниці» ентропії, якщо 2 – про «двійкові одиниці». На практиці зручніше користуватися логарифмами при підставі 2 і вимірювати ентропію в двійкових одиницях; це добре узгоджується з застосовується в електронних цифрових обчислювальних машинах двійковою системоюобчислення.

Надалі ми скрізь, якщо не обумовлено неприємне, під символом розуміти двійковий логарифм.

У додатку (табл. 6) дано двійкові логарифми цілих чисел від 1 до 100.

Легко переконатися, що при виборі 2 як основа логарифмів за одиницю виміру ентропії приймається ентропія найпростішої системияка має два рівноможливі стани:

Справді, за формулою (18.2.2) маємо:

.

Певна в такий спосіб одиниця ентропії називається «двійковою одиницею» і іноді позначається bit (від англійської «binary digit» - двійковий знак). Це ентропія одного розряду двійкового числа, якщо він з однаковою ймовірністю може бути банкрутом або одиницею.

Виміряємо в двійкових одиницях ентропію системи, яка має рівноймовірні стани:

т. е. ентропія системи з рівноможливими станами дорівнює логарифму числа станів.

Наприклад, для системи з вісьмома станами .

Доведемо, що у випадку, коли стан системи точно відомий заздалегідь, її ентропія дорівнює нулю. Справді, у разі всі ймовірності у формулі (18.2.2) звертаються в нуль, крім однієї - наприклад , яка дорівнює одиниці. Член звертається в нуль, оскільки . Інші члени теж звертаються в нуль, оскільки

.

Доведемо, що ентропія системи з кінцевою множиною станів досягає максимуму, коли всі стани рівноймовірні. Для цього розглянемо ентропію системи (18.2.2) як функцію ймовірностей та знайдемо умовний екстремумцієї функції за умови:

Користуючись методом невизначених множників Лагранжа, шукатимемо екстремум функції:

. (18.2.5)

Диференціюючи (18.2.5) і прирівнюючи похідні нулю, отримаємо систему рівнянь:

, (18.2.6)

звідки видно, що екстремум (у разі максимум) досягається при рівних між собою значеннях . З умови (18.2.4) видно, що у своїй

, (18.2.7)

а максимальна ентропія системи дорівнює:

, (18.2.8)

т. е. максимальне значення ентропії системи з кінцевим числом станів дорівнює логарифму числа станів і досягається, коли всі стани рівноймовірні.

Обчислення ентропії за формулою (18.2.2) можна спростити, якщо ввести в розгляд спеціальну функцію:

, (18.2.9)

де логарифм береться на підставі 2.

Формула (18.2.2) набуває вигляду:

. (18.2.10)

Функція затабульована; у додатку (табл. 7) наведені її значення для від 0 до 1 через 0,01.

Приклад 1. Визначити ентропію фізичної системи, що складається з двох літаків (винищувача та бомбардувальника), що беруть участь у повітряному бою. В результаті бою система може опинитися в одному з чотирьох можливих станів:

1) обидва літаки не збиті;

2) винищувач збитий, бомбардувальник не збитий;

3) винищувач не збитий, бомбардувальник збитий;

4) обидва літаки збиті.

Імовірність цих станів дорівнює відповідно 0,2; 0,3; 0,4 та 0,1.

Рішення. Записуємо умови у вигляді таблиці:

Теорія інформації

Біля джерел теорії інформації стоїть Клод Шеннон, який у 1947-48 роках працював над питанням ефективності систем зв'язку. Внаслідок цього було сформульовано мету цієї теорії – підвищення пропускної спроможності каналу связи. Ефективна та система, яка за інших рівних умов і витрат передає більшу кількість інформації. Зазвичай під час аналізу розглядається об'єкта: джерело інформації та канал передачі.

Отже, є якісь події. Інформація про них у знаковій формі у вигляді сигналу передається по каналу зв'язку. Можна стверджувати, що канал добрий, якщо він відповідає двом умовам. По-перше, по ньому передається інформація з високою швидкістю і, по-друге, перешкоди, що впливають на передачу, знижують якість інформації незначно. Для того, щоб знайти умови для такої передачі, необхідно ввести якісь інформаційні характеристики.

Найбільш наочно основні положення теорії інформації виявляються при дискретному джерелі та такому ж каналі. Тому знайомство з темою почнемо при цьому припущенні.

1.1 Кількісний захід інформації.

Насамперед розберемося, що має сенс передавати каналом.

Якщо одержувачу відомо, яку інформацію буде передано, то, очевидно, немає необхідності її передачі. Є сенс передавати лише те, що є несподіваним. Чим більша ця несподіванка, тим більша кількістьінформації має бути у цій події. Наприклад, Ви працюєте за комп'ютером. Повідомлення про те, що сьогодні роботу треба закінчити за 45 хв. згідно з розкладом навряд чи є для Вас новим. Це абсолютно зрозуміло було і до заяви про кінець роботи. Отже, у такому повідомленні міститься нульова інформація; передавати його безглуздо. Нині ж інший приклад. Повідомлення наступне: через годину начальник подарує Вам авіаквиток до Москви та назад, та ще виділить суму грошей на розваги. Така інформація для Вас несподівана і, отже, містить велику кількість одиниць міри. Ось такі повідомлення має сенс передавати каналом. Висновок дуже простий: чим більше несподіванки в повідомленні, тим більше інформації в ньому міститься.

Несподіванка характеризується ймовірністю, що й закладається в інформаційний захід.

Ще кілька прикладів. Маємо дві скриньки, одну з білими, а іншу з чорними кулями. Яка кількість інформації міститься у повідомленні, де білі кулі? Імовірність того, що в будь-якій зазначеній скриньці білі кулі дорівнює 0,5. Назвемо цю ймовірність до досвідченої або апріорний .

Тепер витягаємо одну кулю. Незалежно від того, яку кулю ми вийняли, після такого досвіду буде абсолютно точно відомо, в якій ящику білі кулі. Отже, ймовірність відомостей дорівнюватиме 1. Ця ймовірність називається після дослідної або апостеріорної .

Подивимося на цю прикладз позиції кількості інформації. Отже, маємо джерело інформації ящики з кулями. Спочатку невизначеність про кулі характеризувалася ймовірністю 0,5. Далі джерело "заговорило" і видав інформацію; ми витягли кулю. Далі все стало визначено з ймовірністю 1. Ступінь зменшення невизначеності про подію в результаті досвіду логічно прийняти за кількісний захід інформації. У прикладі це буде 1/0,5.

Тепер приклад складніший. Відомо, що розмір деталі може бути 120,121,122, . . .,180 мм., тобто, має одне з 61-го значень. Апріорна ймовірність того, що розмір деталі i мм дорівнює 1/61.

У нас є досить недосконалий вимірювальний інструмент, що дозволяє виміряти деталь з точністю +5,-5 мм. В результаті виміру отримали розмір 130 мм. Але він може бути 125,126, . . .,135 мм.; всього 11 значень. В результаті досвіду залишається невизначеність, що характеризується апостеріорною ймовірністю 1/11. Ступінь зменшення невизначеності буде (1/11): (1/61). Як і вище, це ставлення і є кількість інформації.

Найбільш зручна логарифмічна функціядля відображення кількості інформації. Основа логарифму приймається рівна двом. Позначимо кількість інформації,
- апріорна ймовірність,
- Апостеріорна ймовірність. Тоді,

. (1)

У першому прикладі
1 біт інформації; у другому
2.46 біт інформації. Біт – одна двійкова одиниця інформації .

Тепер звернемося до реального джерела інформації, яке є безліччю незалежних подій(повідомлень) з різними апріорними ймовірностями
. Ця множина представляє дані про параметри об'єкта і є інформація про нього. Зазвичай після видачі повідомлення джерелом стає достовірно відомо, який параметр виданий. Апостеріорна ймовірність дорівнює 1. Кількість інформації, що міститься в кожній події, буде дорівнює

. (2)

Ця величина завжди більше нуля. Скільки подій, стільки кількості інформації. Для характеристики джерела це дуже зручно. Тому запроваджується поняття ентропії. Ентропія це середня кількість інформації, що припадає на одну подію (повідомлення) джерела . Знаходиться вона за правилами визначення математичного очікування:

. (3)

Або з огляду на властивості логарифмічної функції

. (4)

Розмір ентропії біт/повідомлення. Зупинимося на властивостях ентропії. Почнемо із прикладу. Допустимо, є двійкове джерело інформації з апріорними ймовірностями подій і складових повну групу. З цього випливає зв'язок між ними:
. Знайдемо ентропію джерела:

Неважко бачити, що й одна з ймовірностей дорівнює нулю, то друга дорівнює 1, а вираз ентропії у своїй дасть нуль.

Побудуємо графік залежності ентропії від
(Рис.1).

Звернемо увагу на те, що ентропія максимальна при ймовірності, що дорівнює 0,5 і завжди позитивна.

Перша властивість ентропії . Ентропія максимальна за рівноймовірних подій у джерелі. У прикладі двійкового джерела ця величина дорівнює 1. Якщо джерело не двійкове і містить N слів, то максимальна ентропія.

Друга властивість ентропії. Якщо ймовірність одного повідомлення джерела дорівнює 1, та інші дорівнюють нулю, як утворюють повну групу подій, то ентропія дорівнює нулю. Таке джерело не генерує інформацію.

Третя властивість ентропії – це теорема складання ентропій. . Розберемо це питання докладніше. Припустимо, є два джерела інформації, представлені безліччю повідомлень і .

У кожного з джерел є ентропії
і
. Далі ці джерела об'єднуються і потрібно знайти ентропію об'єднаного ансамблю.
. Кожній парі повідомлень і відповідає ймовірність
. Кількість інформації у такій парі буде

Діючи відомим чином, знайдемо середню кількість інформації, що припадає на кілька повідомлень ансамблю. Це буде ентропія. Щоправда, тут може бути два випадки. Об'єднані ансамблі можуть бути статистично незалежними та залежними.

Розглянемо перший випадок незалежних ансамблів, поява повідомлення жодною мірою не визначається . Запишемо вираз для ентропії:

, (7)

тут
- Число повідомлень в ансамблях.

Так як за незалежності двовимірна ймовірність , а із загальної попередньої формули отримаємо

де
і
визначаються за відомими формулами.

Далі розглянемо складніший випадок. Припустимо, що ансамблі повідомлень перебувають у статистичному зв'язку, тобто з якоюсь ймовірністю передбачає появу . Цей факт характеризується умовною ймовірністю
; Коса характеристика позначення характеризує умова. При введенні умовних ймовірностей двовимірна ймовірність може бути визначена через добуток одновимірних:

З огляду на це знайдемо вираз для ентропії. Перетворення відбувається так:

Зважаючи на рівність 1 суми всіх ймовірностей подій, перша подвійна сума в останньому виразі дає ентропію джерела X, H(x).

Друга подвійна сума отримала назву умовної ентропії та позначається як
. Таким чином,

Аналогічним чином можна довести, що .

В останніх висловлюваннях ми зустрілися з умовною ентропією, яка визначається зв'язком між ансамблями повідомлень, що об'єднуються. Якщо ансамблі статистично незалежні
, та умовна ентропія
. У результаті ми отримуємо відому формулу.

Якщо повідомлення залежні абсолютно, тобто знаходяться у функціональному зв'язку,
приймає одне з двох значень: або 1, коли
, або 0, коли
. Умовна ентропія дорівнюватиме 0, оскільки другий ансамбль повідомлень не має несподіванки, і, отже, не несе інформацію.

Після введення ентропії та її властивостей повернемося до єдиного джерела інформації. Слід знати, що будь-яке джерело інформації працює у поточному часі. Його символи (знаки) займають певне місце у послідовності. Джерело інформації називається стаціонарним, якщо ймовірність символу залежить від його місця у послідовності.І ще одне визначення. Символи джерела можуть мати статистичну (імовірнісну) зв'язок один з одним. Ергодичне джерело інформації це таке джерело, в якому статистичний зв'язокміж знаками поширюється кінцеве число попередніх символів.Якщо цей зв'язок охоплює лише сусідні два знаки, то таке джерело називається однозв'язковий ланцюг Маркова. Саме таке джерело ми зараз розглянемо. Схема генерації джерелом символів показано на рис. 2.

Поява символу залежить від того, який символ видав джерело у попередній момент. Ця залежність визначається ймовірністю
. Знайдемо ентропію такого джерела. Виходитимемо з розуміння взагалі ентропії, як математичного очікування кількості інформації. Допустимо, видається два символи як показано на рис. 2. Кількість інформації у такій ситуації джерелом видається

Усереднивши цю кількість за всіма можливими наступними символами, отримаємо приватну ентропію за умови, що попередньому завжди видається символ :

. (13)

Ще раз, усереднивши цю приватну ентропію по всіх попереднім символам, Отримаємо остаточний результат:

Індекс 2 у позначенні ентропії свідчить про те, що статистичний зв'язок поширюється лише на два сусідні символи.

Зупинимося на властивостях ертропічного ентропії джерело.

За незалежності символів у джерелі
формула (14) спрощується і наводиться до звичайного виду (4).

Наявність статистичних (імовірнісних) зв'язків між символами джерела завжди призводить до зменшення ентропії,
.

Отже, джерело інформації має максимальну ентропію, якщо виконується дві умови: всі символи джерела рівноймовірні (властивість ентропії) і між символами джерела немає статистичних зв'язків.

Щоб показати наскільки добре використовуються символи джерела, вводиться параметр надмірності :

. (15)

Величина знаходиться у діапазоні від 0 до 1.

Ставлення до цього параметра подвійне. З одного боку, що менше надмірність, то раціональніше працює джерело. З іншого боку, що більша надмірність, то менше перешкоди, шуми впливають на доставку інформації такого джерела споживачеві. Наприклад, наявність статистичних зв'язків між символами збільшує надмірність, але водночас збільшує вірність передачі. Окремі зниклі символи можуть бути передбачені та відновлені.

Розглянемо приклад. Джерело - літери російського алфавіту, всього їх 32. Визначимо максимальну ентропію:
біт/повідомлення.

Оскільки між літерами є статистичний зв'язок і ймовірність їх появи в тексті далеко не однакові, реальна ентропія дорівнює 3 біт/повідомлення. Звідси надмірність
.

Наступна характеристика джерела продуктивності; вона характеризує швидкість генерації інформації джерелом. Припустимо, кожна буква джерела видається за певний проміжок часу . Середні ці часи, знайдемо середній час видачі одного повідомлення . Середня кількість інформації, що видається джерелом в одиницю часу - продуктивність джерела
:

. (16)

Отже, підіб'ємо підсумок. Характеристиками ергодичного джерела інформації є:

кількість інформації у кожному знаку,

ентропія,

надмірність,

продуктивність.

Слід зазначити, що сильною стороною запровадженої міри кількості інформації та, очевидно, всіх показників є універсальність. Усі введені вище поняття застосовні до будь-якого виду інформації: соціологічної, технічної тощо. буд. Слабка сторона заходи у цьому, що у ній не відбито значимість інформації, її цінність. Інформація про виграш у лотерею авторучки та автомобіля однакова за значимістю.

1.2. Інформаційні характеристики каналу

Згадаймо, що інформація передається каналом зв'язку. Ми раніше запровадили інформаційні характеристики джерела інформації, а тепер запровадимо інформаційні характеристики каналу. Уявімо ситуацію так, як показано на рис. 1.

Рис. 1

На вході каналу є вхідний алфавіт, що складається з безлічі знаків , а на виході - .

П
представимо канал зв'язку математичною моделлю. Найбільш відоме уявлення дискретного каналу у вигляді графа. Вузли графа, одержувані ( ) та передані ( ) літери алфавіту; ребра відбивають можливі зв'язки між цими літерами (рис. 2).

Зв'язки між літерами алфавіту прийнято оцінювати умовними ймовірностями, наприклад,
ймовірність прийому за умови, що передана . Це можливість правильного прийому. Так само можна ввести умовні ймовірності помилкових прийомів, наприклад,
. Причини появи цих ненульових ймовірностей - перешкоди, яких не вільний жоден із реальних каналів. Звернімо увагу на те, що n і m кількість знаків (літер) у переданому та прийманому масиві не обов'язково рівні між собою. З цієї моделі вводяться подальші визначення.

Симетричний канал – це канал у якому всі вірогідності правильного прийому всім символів рівні, і навіть рівні ймовірності помилкових прийомів. Для такого каналу умовна ймовірність може бути записана так:

Тут - Імовірність помилкового прийому. Якщо ця ймовірність не залежить від того, які знаки передавалися до цього символу, такий канал називається " канал без пам'яті Як приклад нижче на рис.3 показаний граф симетричного двійкового каналу без пам'яті.

Р
іс. 3

Далі припустимо, що алфавіт на виході каналу містить додатковий символ, який з'являється тоді, коли декодер приймача не може розпізнати переданий символ. І тут він виробляє відмови від рішення. Це положення називається стиранням. Такий канал називається каналом без пам'яті зі стиранням та його граф показаний на рис. 4. Положення "прання" тут позначено знаком питання.

Р
іс. 4.

Найпростішим каналом із пам'яттю є марківський канал . У ньому ймовірність помилок залежить від цього правильно чи помилково було прийнято попередній символ.

Поряд із графом для каналу зв'язку існує й інший опис – канальна матриця . Це набір умовних ймовірностей
або
. Разом з апріорними ймовірностями,
і
це дає повну картинустатистика каналу з перешкодами. Для прикладу наведемо канальну матрицю

.

Ентропія (від др.-грец. ἐντροπία «поворот», «перетворення») – широко використовується в природних і точних наукахтермін. Вперше введений у рамках термодинаміки як функція стану термодинамічної системи, що визначає міру незворотного розсіювання енергії. У статистичній фізиці ентропія характеризує можливість здійснення будь-якого макроскопічного стану. Крім фізики, термін широко вживається в математиці: теорії інформації та математичної статистики.

У науку це поняття увійшло ще у XIX столітті. Спочатку воно було застосовне до теорії теплових машин, але досить швидко з'явилося і в інших галузях фізики, особливо в теорії випромінювання. Незабаром ентропія стала застосовуватися в космології, біології, теорії інформації. Різні областізнань виділяють різні видиміри хаосу:

• інформаційна;
• термодинамічна;
• диференційна;
• культурна та ін.

Наприклад, для молекулярних системіснує ентропія Больцмана, що визначає міру їхньої хаотичності та однорідності. Больцман зумів встановити взаємозв'язок між мірою хаосу та ймовірністю стану. Для термодинаміки це поняття вважається мірою незворотного розсіювання енергії. Це функція стану термодинамічної системи. У відокремленій системі ентропія зростає до максимальних значень, і вони стають станом рівноваги. Ентропія інформаційна має на увазі деяку міру невизначеності чи непередбачуваності.

Ентропія може інтерпретуватися як міра невизначеності (невпорядкованості) деякої системи, наприклад, будь-якого досвіду (випробування), який може мати різні результати, а отже, і кількість інформації. Таким чином, іншою інтерпретацією ентропії є інформаційна ємність системи. З цією інтерпретацією пов'язаний той факт, що автор поняття ентропії в теорії інформації (Клод Шеннон) спочатку хотів назвати цю величину інформацією.

Для оборотних (рівноважних) процесів виконується наступна математична рівність (наслідок так званої рівності Клаузіуса), де – підведена теплота, – температура, і – стану, і – ентропія, що відповідає цим станам (тут розглядається процес переходу зі стану в стан).

Для незворотних процесів виконується нерівність, яка з так званої нерівності Клаузіуса, де – підведена теплота, – температура, і – стану, і – ентропія, відповідна цим станам.

Тому ентропія адіабатично ізольованої (немає підведення чи відведення тепла) системи при незворотних процесах може лише зростати.

Використовуючи поняття ентропії Клаузіус (1876) дав найбільш загальне формулювання 2-го початку термодинаміки: за реальних (незворотних) адіабатичних процесахЕнтропія збільшується, досягаючи максимального значення у стані рівноваги (друге початок термодинаміки не є абсолютним, воно порушується при флуктуаціях).

Абсолютна ентропія (S) речовини або процесу– це зміна доступної енергії при теплопередачі за даної температури (Btu/R, Дж/К). Математично ентропія дорівнює теплопередачі, поділеній на абсолютну температуру, коли відбувається процес. Отже, процеси передачі великої кількостітеплоти збільшують ентропію. Також зміни ентропії збільшаться під час передачі теплоти за низької температури. Так як абсолютна ентропія стосується придатності усієї енергії всесвіту, температуру зазвичай вимірюють в абсолютних одиницях (R, К).

Питома ентропія(S) вимірюють щодо одиниці маси речовини. Температурні одиниці, які використовуються при обчисленні різниць ентропії станів, часто наводяться температурними одиницямиу градусах за Фаренгейтом або Цельсієм. Оскільки відмінності в градусах між шкалами Фаренгейта і Ренкіна або Цельсія і Кельвіна рівні, рішення таких рівняннях буде правильним незалежно від цього, виражена ентропія в абсолютних чи звичайних одиницях. У ентропії така сама дана температура, як і ця ентальпія певної речовини.

Підбиваємо підсумок: ентропія збільшується, отже, будь-якими своїми діями ми збільшуємо хаос.

Просто про складне

Ентропія - міра безладдя (і характеристика стану). Візуально, що рівномірніше розташовані речі у певному просторі, то більше вписувалося ентропія. Якщо цукор лежить у склянці чаю як шматочка, ентропія цього стану мала, якщо розчинився і розподілився по всьому обсягу – велика. Безлад можна виміряти, наприклад, вважаючи скільки способами можна розкласти предмети в заданому просторі (ентропія тоді пропорційна логарифму числа розкладок). Якщо всі шкарпетки складені гранично компактно однією стопкою на полиці в шафі, число варіантів розкладки мало і зводиться лише до перестановок шкарпеток у стопці. Якщо шкарпетки можуть перебувати в довільному місці в кімнаті, то існує неймовірна кількість способів розкласти їх, і ці розкладки не повторюються протягом нашого життя, як і форми сніжинок. Ентропія стану «шкарпетки розкидані» – величезна.

Другий закон термодинаміки говорить, що мимоволі в замкнутій системі ентропія неспроможна зменшуватися (зазвичай вона зростає). Під її впливом розсіюється дим, розчиняється цукор, розсипаються з часом каміння та шкарпетки. Ця тенденція пояснюється просто: речі рухаються (переміщаються нами чи силами природи) зазвичай під впливом випадкових імпульсів, які мають спільної мети. Якщо імпульси випадкові, все рухатиметься від порядку до безладдя, тому що способів досягнення безладу завжди більше. Уявіть собі шахівницю: король може вийти з кута трьома способами, всі можливі для нього шляхи ведуть з кута, а прийти назад у кут з кожної сусідньої клітини - тільки одним способом, причому цей хід буде тільки одним з 5 або 8 можливих ходів. Якщо позбавити його мети і дозволити рухатися випадково, він зрештою з рівною ймовірністю зможе опинитися в будь-якому місці шахівниці, ентропія стане вищою.

У газі чи рідині роль такої розпоряджувальної сили відіграє тепловий рух, у вашій кімнаті - ваші миттєві бажання піти туди, сюди, повалятися, попрацювати, тощо. Які ці бажання – неважливо, головне, що вони не пов'язані зі збиранням і не пов'язані один з одним. Щоб знизити ентропію, потрібно піддати систему зовнішньому впливуі здійснити над нею роботу. Наприклад, згідно з другим законом, ентропія в кімнаті безперервно зростатиме, поки не зайде мама і не попросить вас трохи прибрати. Необхідність зробити роботу означає також, що будь-яка система чинитиме опір зменшення ентропії і наведенню порядку. У Всесвіті та сама історія – ентропія як почала зростати з Великого Вибуху, і зростатиме, доки прийде Мама.

Міра хаосу у Всесвіті

Для Всесвіту може бути застосований класичний варіант обчислення ентропії, оскільки у ній активні гравітаційні сили, а речовина сама по собі не може утворити замкнуту систему. Фактично для Всесвіту – це міра хаосу.

Найголовнішим та найбільшим джереломневпорядкованості, що спостерігається в нашому світі, вважаються всім відомі масивні утворення – чорні дірки, масивні та надмасивні.

Спроби точно розрахувати значення хаосу поки що не можна назвати вдалими, хоча вони відбуваються постійно. Але всі оцінки ентропії Всесвіту мають значний розкид в отриманих значеннях - від одного до трьох порядків. Це не лише недоліком знань. Відчувається недостатність відомостей вплив на розрахунки як всіх відомих небесних об'єктів, а й темної енергії. Вивчення її властивостей та особливостей поки що в зачатку, а вплив може бути визначальним. Міра хаосу Всесвіту постійно змінюється.Вчені постійно проводять певні дослідження, щоб отримати можливість визначення загальних закономірностей. Тоді можна буде робити досить вірні прогнози існування різних космічних об'єктів.

Теплова смерть Всесвіту

Будь-яка замкнута термодинамічна система має кінцевий стан. Всесвіт теж не є винятком. Коли припиниться спрямований обмін всіх видів енергії, вони переродяться в теплову енергію. Система перейде у стан теплової смерті, якщо термодинамічна ентропія отримає найвищі значення. Висновок про такий кінець нашого світу сформулював Р. Клаузіус у 1865 році. Він узяв за основу другого закону термодинаміки. Відповідно до цього закону, система, яка не обмінюється енергіями з іншими системами, шукатиме рівноважного стану. А воно може мати параметри, характерні для теплової смерті Всесвіту. Але Клаузіус не враховував впливу гравітації. Тобто для Всесвіту, на відміну від системи ідеального газу, де частинки розподілені у якомусь обсязі рівномірно, однорідність частинок неспроможна відповідати самому великому значеннюентропії. І все-таки, остаточно незрозуміло, ентропія - допустима міра хаосу чи смерть Всесвіту?

Ентропія у нашому житті

У пік другого початку термодинаміки, за положеннями якого все має розвиватися від складного до простого, розвиток земної еволюції просувається у зворотному напрямку. Ця нестиковка обумовлена ​​термодинамікою процесів, які мають незворотний характер. Споживання живим організмом, якщо його уявити як відкриту термодинамічну систему, відбувається в менших обсягах, ніж викидається із неї.

Харчові речовини мають меншу ентропію, ніж вироблені з них продукти виділення.Тобто організм живий, тому що може викинути цей захід хаосу, який у ньому виробляється через перебіг незворотних процесів. Наприклад, шляхом випаровування з організму виводиться близько 170 р води, тобто. тіло людини компенсує зниження ентропії деякими хімічними та фізичними процесами.

Ентропія – це певна міра вільного стану системи. Вона тим повніша, чим менші обмеження ця система має, але за умови, що ступенів свободи у неї багато. Виходить, що нульове значення міри хаосу – це повна інформація, А максимальне - абсолютне незнання.

Все наше життя – суцільна ентропія, тому що міра хаосу іноді перевищує міру здорового глузду. Можливо, не так далеко, коли ми прийдемо до другого початку термодинаміки, адже іноді здається, що розвиток деяких людей, та й цілих держав, уже пішов назад, тобто від складного до примітивного.

Висновки

Ентропія – позначення функції стану фізичної системи, збільшення якої здійснюється рахунок реверсивної (оборотної) подачі тепла в систему;

величина внутрішньої енергії, яка не може бути перетворена на механічну роботу;

точне визначення ентропії виробляється у вигляді математичних розрахунків, з яких встановлюється кожної системи відповідний параметр стану (термодинамическое властивість) пов'язаної енергії. Найбільш виразно ентропія проявляється в термодинамічні процеси, де розрізняють процеси, оборотні і незворотні, причому у першому випадку ентропія залишається незмінною, тоді як у другому постійно зростає, і це збільшення здійснюється рахунок зменшення механічної енергії.

Отже, все те безліч незворотних процесів, що відбуваються в природі, супроводжується зменшенням механічної енергії, що зрештою має призвести до зупинки, до «теплової смерті». Але цього може статися, оскільки з погляду космології неможливо остаточно завершити емпіричне пізнання всієї «цілісності Всесвіту», з урахуванням якого наше уявлення про ентропії міг би знайти обгрунтоване застосування. Християнські теологи вважають, що, ґрунтуючись на ентропії, можна дійти невтішного висновку про кінцівки світу і використовувати її докази «існування Бога». У кібернетиці слово «ентропія» використовується в сенсі, відмінному від нього прямого значення, який лише формально можна вивести з класичного поняття; воно означає: середню наповненість інформацією; ненадійність щодо цінності «очікування» інформації.

Пролог 113. Сенс принципу максимуму ентропії

Ступінні розподіли можуть виникати в результаті дії принципу максимуму ентропії - ми переконалися в цьому Пролозі 111 і в Пролозі 112 описали побудовану на цій основі модель мультиплікативних колізій, яка розвиває статечний розподіл на деякій об'єкті.

Однак, щоб адекватно застосувати цю модель для пояснення походження статечних розподілів, які спостерігаються в різних природних і людських системах, необхідно уважно придивитися до двох її підстав - до принципу максимуму ентропії та до мультиплікативності взаємодій. Ми спробуємо вдуматися в їхнє "філософське" значення. Почнемо по порядку з принципу максимуму ентропії.

Два трактування принципу максимуму ентропії

У такому трактуванні принцип максимуму ентропії явно перегукується з другим початком термодинаміки. фундаментальним закономфізики, відповідно до якого ентропія замкнутої системи може наростати або залишатися незмінною, але не зменшуватися. З цього прямо випливає, що якщо ми візьмемо будь-яку замкнуту систему, яка залишалася такою достатньо тривалий часто ми виявимо її в стані з максимальною ентропією.

Однак історично принцип максимуму ентропії веде свій родовід зовсім з іншого джерела - не з термодинаміки, а з теорії ймовірностей. І саме це джерело дає друге трактування принципу максимуму ентропії, ймовірно фундаментальнішу. Її можна сформулювати так: з усіх гіпотез про форму розподілу випадкової величини слід вибирати ту, за якої ентропія розподілу максимальна, з урахуванням обмежень, що накладаються нашими знаннями про систему.

На початку 18 століття Якоб Бернуллі, роздумуючи над підставами теорії ймовірностей, сформулював "Принцип недостатньої причини", який і вважається предтечею принципу максимуму ентропії. Нехай ми розглядаємо два альтернативні та взаємовиключні результати Aі B. Принцип Бернуллі говорить, що якщо ми не маємо ніякої інформації про ймовірності цих результатів, їх слід вважати рівноймовірними. Тобто, у нас у цих умовах недостатньо причин призначити одному з наслідків вищу ймовірність, ніж іншому. Зауважимо, що з позицій Бернуллі ймовірності відбивають наші знання про предмет. Якщо у нас про нього немає жодних знань (крім того, що можливо два виходи), ймовірності мають бути рівними. У будь-якого іншого розподілу ймовірностей має бути підстава, причина, заснована на нашому знанні законів, які керують предметом.

Отже, кожен результат слід припускати рівноймовірним, якщо немає підстав іншого вибору. Якщо різними наслідками є різні значення деякої величини, ми повинні приймати однорідний розподіл ймовірностей. Як ми знаємо, саме однорідний розподіл має максимальну ентропію. Але Бернуллі не говорив про ентропію - він жив і працював за два століття до того, як з'явилося це поняття. Щоб прийти від принципу недостатньої причини до принципу максимуму ентропії, потрібно було зробити чимало кроків - і цей шлях був пройдений до кінця лише до середини 20 століття, а останні кроки пов'язуються з роботами американського фізикаЕдвіна Джейнса.

Від принципу недостатньої причини – до принципу максимуму ентропії

Однак ми, озброєні сучасними поняттями, можемо пройти цей шлях набагато швидше, безпосередньо. Він здається дуже простим – але лише з висоти наших нинішніх знань. Проте саме Бернуллі міг стати першовідкривачем і принципу максимуму ентропії і самого обчислення ентропії/інформації. Міг би, якби трохи більше вірив у описову здатність чисел – а в неї він, безумовно, вірив, адже не задарма став одним із засновників теорії ймовірностей.

Отже, коли ми маємо два альтернативні результати A і B, і більше невідомо нічого, принцип недостатньої причини вимагає припускати їхню рівноймовірність: p A=p B= 1/2. Саме так ми привносимо мінімум якихось упереджень до своїх припущень про ймовірність наслідків. Припустимо, що є якась функція від цих ймовірностей H(p A ,p B), яка виявляється максимальною у тому випадку, якщо p A=p B=1/2 (чи ми б прийняти, що у умовах навпаки, мінімальна - це принципово). Позначимо цей мінімум як H(1/2,1/2). Чи можемо щось сказати більше про цю функцію виходячи з загальних міркувань?

Цілком і Якоб Бернуллі був майстром у таких речах. По-перше, зауважимо, що якщо у нас є лише один можливий результат A, він автоматично має ймовірність, рівну одиниці. Це означає, що не існує жодних знань, які ми могли б привнести додатково і які могли б вплинути на оцінку ймовірності результату. Тобто, ми маємо абсолютно повним знаннямпро результат. У цьому випадку розумно очікувати, що наша функція, що відображає кількість наведених нами в оцінку результатів знань, приймає мінімальне значення, скажімо, нульове: H(1) = 0.

Далі, зауважимо, що коли ситуація з двох рівноймовірних альтернатив вирішується тим чи іншим чином, ми опиняємось у ситуації з одним можливим результатом- З тим, який вибрав випадок. Що відбувається в цей момент із функцією H? Вона зменшується від значення H(1/2,1/2)до значення H(1)= 0. Цю різницю: H(1/2,1/2)-H(1) = H(1/2,1/2)резонно вважати кількістю знань, які ми придбали щодо двох рівноймовірних результатів, коли альтернатива вирішилася. Або, інакше, кількістю не-знання чи невизначеностіу початковій ситуації з двома рівноймовірними наслідками. на сучасною мовоюця кількість називається ентропією.

Нехай тепер ми знаємо, що може бути чотири результату A,B,C,Dі більше нічого. Принцип недостатньої причини вимагає, щоб ми також призначили їм рівні можливості. p A=p B=p C=p D=1/4. Але чому одно значення функції H(p A ,p B ,p C,p D)в цьому випадку? Елементарна логіка призводить до висновку, що її значення має бути вдвічі більше, ніж для двох можливих рівноймовірних результатів: 2* H(1/2,1/2). Справді, нехай результати A, B з одного боку і C, D з іншого боку дуже схожі. Якщо ми не дуже уважні чи не дуже зірки, ми їх можемо не розрізнити між собою. Тоді ми повертаємось до випадку з двома результатами і невизначеність ситуації дорівнює H(1/2,1/2). Але ми придивилися уважно і побачили, що насправді там, де ми бачили один результат, насправді є два близькі. Перед нами знову виникає завдання вибору "чесного" розподілу ймовірностей між ними, і їм знову виявиться рівномірний розподіл. І до невизначеності додається ще H(1/2,1/2). Значить для ситуації із чотирма рівноймовірними альтернативами H(1/4,1/4,1/4,1/4) = 2*H(1/2,1/2). Індуктивно продовжуючи, ми б встановили, що для ситуації з вісьмома наслідками кількість невизначеності дорівнює 3* H(1/2,1/2), і т.д.

Вважаю, читач розуміє, що наш висновок властивостей функції Hзбігається з логікою, що призводить до рівняння кількості інформації/ентропії по Хартлі. Якщо позначити кількість рівноймовірних результатів як N, ентропія по Хартлі дорівнює

Ми знайомилися з простою стежкою, яка веде від формули Хартлі до формули Шеннона - Якоб Бернуллі її легко виявив би. А якби Бернуллі у своє розпорядження цю формулу, він міг би кількісно оцінювати ступінь невизначеності деякого розподілу ймовірностей і встановити принцип, відповідно до якого ми повинні наділяти результати ймовірностями так, щоб ентропія розподілу була максимальною з усіх допустимих - це і є принцип максимуму ентропії.

Втім, історія не знає умовних способів, А у науки своя повільна хода.

На закінчення варто зауважити, що ключовим кроком є ​​перший, в якому ми вважаємо існування деякої функції H, що досягає максимуму при рівноймовірних наслідках. Решта розкочується як клубок. Це зайве підтвердження користі екстремальних принципівколи ми вважаємо якийсь звичайний або правильний стан системи таким, в якому деяка функція її стану досягає екстремального значення.

Головна інтрига принципу максимуму ентропії полягає в тому, що він має два трактування (що випливають з двох різних джерел), які навіть з першого погляду докорінно різняться за змістом. У трактуванні, що веде свою історію від принципу Бернуллі, йдеться про правил організації наших описів світу. Ми повинні описувати світ так, щоб не нав'язувати йому своїх упереджень, що виражаються у призначенні різних подій невиправданих ймовірностей. Щоразу слід вибирати такий опис, в якому немає нічого, крім того, що нам достовірно відомо. Це евристичне правило, що дозволяє уникати спотворень в описах реальності.

Фізичне трактування, за допомогою якого ми, зокрема, можемо вивести розподіл енергій молекул ідеального газу, говорить про щось інше. Вона задає правила, що керують не нашим описом реальності, а самою реальністю. Якщо фізична системакерується якимось законом і нічим іншим, то розподіл параметрів у ній 1) відповідатиме цьому закону і 2) матиме максимальну ентропіюсеред дозволених розподілів. Це твердження не про те, як нам краще описувати світ, а про сам світ.

Коли в Маніфесті когнітивіста йдеться про те, що будова світу відповідає будові нашої свідомості, йдеться саме про ці разючі "збіги": кращий вибір при побудові наших описів світу є також і найкращим виборомсамої природи.

На це можна заперечити, що принцип Бернуллі дозволяє отримувати правдоподібніші описи реальності, і тільки тому він може вважатися вірним. Однак Бернуллі вивів його зовсім не емпірично, не порівнюючи його з реальністю. Він висунув його з вимог логіки, з властивостей самого розуму та її абстрактних побудов. (Більше того, він усвідомлював велику проблемуз практичною цінністюсвого принципу в його вихідному вигляді - тільки в дуже рідкісних обставинах природних явищахможна бачити результати з рівними ймовірностями.) Але виявляється, світ підпорядкований тієї ж логіці, і ніби несе в собі такий самий розум, як і наш власний.

Ми краще оцінимо цю дивовижну двоїстість принципу максимуму ентропії, зіставивши його з одним ідейно близьким принципом, якому не пощастило бути настільки добре сформульованим. Ми спробуємо це виправити.

Бритва Оккама та принцип мінімуму складності

Близьким родичем принципу недостатньої причини є знаменита бритва Оккама. Це правило, яке пропонує нам серед альтернативних описів світу віддавати перевагу найпростішому, що містить у собі мінімальну кількість сутностей і параметрів. Переформулюючи цю евристику, спорідненість двох принципів легко розглянути: серед усіх альтернативних описів слід вибирати що містить у собі мінімум структурної чи алгоритмічної складності. Мова йдепро те, що слід вибирати модель або опис, що має найбільше простим алгоритмом. "Алгоритмічна складність" - це не фігура мови, це обчислювана величина, що має пряме відношеннядо ентропії/інформації. Її також називають алгоритмічною ентропією або колмогорівською складністюна ім'я російського математика А. Н. Колмогорова, який ввів цю величину у науковий ужиток. Колмогоровська складність деякого рядка символів вимірюється як довжина програми чи алгоритму, необхідного у тому, щоб відтворити цей рядок. Чим складніше організовано рядок символів, тим довша програма, яка потрібна для її відтворення. Зрозуміло, довжина програми залежить від мови програмування, однак, цим фактором можна знехтувати, поклавши, що ми пишемо програми якоюсь ідеальною, найекономічнішою і лаконічнішою мовою.

Нехай, наприклад, наступний запис на цьому ідеальною мовоюозначає взяти рядок "AB" і повторити його 10 разів:

Можна сказати, що алгоритмічна складність цього рядка дорівнює 5 символам - саме таку довжину має найкоротша програма, що породжує цей рядок.

Ще приклад: цей рядок з 20 символів має алгоритмічну складність у 12 символів, тому що саме таку довжину має програма, що її генерує:

Звернімо увагу на важливий момент: це безсистемнарядок символів у тому сенсі, що ми в ньому не бачимо системи, яка б дозволила скоротити алгоритм. Але це не означає, що це випадковапослідовність символів. Якщо нам потрібно відтворити саме випадковупослідовність, слід скористатися іншою програмою:

Це парадоксально: здається цілком випадковий рядок має ту саму складність, що й повністю впорядкований. Але насправді гранично високою складністюмає не однорідний рядок і не випадковий рядок, а безсистемний рядок, який є зовсім не випадковим, а навпаки, гранично закономірним. Це легко зрозуміти: уявимо, що ми навмання тицяємо у розкриту книгу пальцем і завждипотрапляємо на одне й те саме слово. Ясно, що ця ситуація докорінно відрізняється від тієї, коли ми потрапляємо абсолютно випадково різні слова. Важливість цього нюансу ми побачимо трохи далі.

Зазначимо, що незважаючи на здавалося б зовсім віддалене ставлення складності Колмогорова до ентропії по Шеннону і Хартлі, насправді можна показати їх глибокий взаємозв'язок - але ми тут не вдаватимемося в цю тему.

Отже, ми можемо дивитися на деяку модель або опис як алгоритм, який відтворює необхідний набір властивостей (необхідне "рядок"). Тоді бритва Оккама вимагає вибирати опис, що має мінімальну алгоритмічну ентропію.

Історичний сюжет, який може стати прикладом ситуації, в якій цей принцип виявився б корисним - протистояння систем Птолемея і Коперника. Система Птолемея - це модель світобудови, заснована на наївно-релігійному переконанні у тому, що у центрі всесвіту має бути Земля:

Навколо Землі обертаються орбітами небесні світила, зокрема і Сонце. Однак, при ідейній правильності такої конструкції, вона мала деякий недолік: у її рамках не можна було пояснити феномен зміни напряму руху планет по небесному склепенню. Скажімо, Юпітер протягом кількох тижнів поступово пересувається щодо зірок. Але потім він робить петлю і деякий час рухається в зворотний бік. Потім повертається до "правильного" руху. Щоб пояснити це явище, Птолемей ввів у свою систему так звані епіцикли - він припустив, що крім обертання навколо Землі кожне світило додатково обертається по невеликій орбіті навколо деякого центру, який у свою чергу обертається навколо Землі по круговій орбіті. Тоді ті моменти, коли Юпітер рухається своїм епіциклом назад, ми бачимо зміну напряму його руху по небосхилу.

Коперник запропонував іншу систему: у ній у центрі знаходиться Сонце (читач напевно чув). Система Коперника спромоглася пояснити петлі Юпітера та інших світил без введення епіциклів, було досить простого кругового рухупланет, щоб ми із Землі іноді бачили петлі у русі планет. Навіть не вдаючись у точність передбачень руху планет небесним склепінням, система Коперника, очевидно, має меншу алгоритмічну складність, і при цьому здатна "відтворити правильний рядок". Таким чином, якщо керуватися принципом Оккама, нам слід віддати перевагу саме системі Коперника.

Але чи є у бритви Оккама свій аналог у властивостях самої реальності як він має принцип недостатньої причини? Автор упевнений у позитивній відповіді. Спробуймо його сформулювати, назвемо його принципом мінімальної структурної складності: система, потенційно здатна мати різною структуроюмає структуру, що має мінімальну складність по Колмогорову з урахуванням зовнішніх вимогдо властивостей цієї системи.

Ось тут і виявляється важлива різниця між випадковими рядками та гранично закономірними. Документуючи положення та швидкості молекул у посудині з газом, ми щоразу отримуватимемо набір цифр, близький до випадкового - "випадковий рядок". Але якби ми щоразу отримували один і той самий результат, це б говорило про те, що система знаходиться в гранично структурно складному стані.

Зазначимо, що є дуже важливий для нас приклад структур, які мають низьку алгоритмічну складність: фрактали розвиваються в результаті повторення одних і тих же генеруючих перетворень, що застосовуються до різних масштабних рівнів. Алгоритмічно це прості структури. Можливо, принцип мінімальної структурної складності здатний пояснити таку всеосяжну поширеність фрактальних структур у різних явищах світу.

Втім, це поки що лише невиразна ідея.

Далі, ми бачили, як принцип максимуму ентропії пов'язані з другим початком термодинаміки. Але, можливо, принцип мінімуму структурної складності підказує нам ще один наслідок другого початку. Його можна сформулювати так: якщо у вихідний момент часу структура системи не є найменш складною, вона еволюціонує в бік зменшення складності, досягаючи можливого мінімуму.

Якщо це трактування другого початку термодинаміки правильна, виникає питання, адресоване для його звичайного тлумачення: якщо ентропія світу як системи тільки збільшується, чому всесвіт ще не прийшов у стан максимуму ентропії (і мінімуму структурної складності), який називають "тепловою смертю"? Наука неспроможна відповісти це питання. Можливо – до цієї відповіді схиляються матеріалісти – ще не встигла. А може, наш всесвіт - не закритий, а відкрита системаі десь отримує ресурс, що дозволяє їй справлятися з другим початком термодинаміки. Цієї думки дотримуються ідеалісти, до яких себе зараховує і автор. У нас поки що не достатньо знань, щоб поставити крапку в цій дилемі.

Завершимо цей Пролог тим, що "розділимо шкуру не вбитого ведмедя" і захопимося тим, що бритва Оккама не тільки здатна відсікати все зайве від наших думок, а й відсікає все зайве від структури світу, так що він постає перед нами в найпростішому, найелегантнішому зовнішності з усіх можливих. Як тут не згадати Лейбніца, який вважав, що ми живемо у найкращому з можливих світів?