Будь-яке повідомлення, з яким ми маємо справу в теорії інформації, являє собою сукупність відомостей про деяку фізичну систему. Наприклад, на вхід автоматизованої системи управління виробничим цехом може бути передано повідомлення про нормальному або підвищеному відсотку шлюбу, про хімічний склад сировини або температурі в печі. На вхід системи управління засобами протиповітряної оборони може бути передано повідомлення про те, що в повітрі знаходяться дві цілі, що летять на певній висоті, з певною швидкістю. На той же вхід може бути передано повідомлення про те, що на певному аеродромі в даний момент знаходиться таке-то кількість винищувачів в бойовій готовності, або що аеродром виведений з ладу вогневим впливом противника, або що перша мета збита, а друга продовжує політ зі зміненим курсом. Будь-яке з цих повідомлень описує стан якоїсь фізичної системи.
Очевидно, якби стан фізичної системи було відомо заздалегідь, не було б сенсу передавати повідомлення. Повідомлення набуває сенсу тільки тоді, коли стан системи заздалегідь невідомо, випадково.
Тому в якості об'єкта, про який передається інформація, ми будемо розглядати деяку фізичну систему. яка випадковим чином може виявитися в тому чи іншому стані, т. е. систему, якої свідомо властива якась ступінь невизначеності. Очевидно, відомості, отримані про систему, будуть, взагалі кажучи, тим цінніше і набагато змістовніші, чим більше була невизначеність системи до отримання цих відомостей ( «апріорі»). Виникає природне запитання: що означає «велика» або «менша» ступінь невизначеності і чим можна її виміряти?
Щоб відповісти на це питання, можна порівняти між собою дві системи, кожній з яких властива деяка невизначеність.
У якості першої системи візьмемо монету, яка в результаті кидання може опинитися в одному з двох станів: 1) випав герб і 2) випала цифра. В якості другої - гральну кістку, у якій шість можливих станів: 1, 2, 3, 4, 5 і 6. Питається, невизначеність якої системи більше? Очевидно, другий, так як у неї більше можливих станів, в кожному з яких вона може виявитися з однаковою ймовірністю.
Може здатися, що ступінь невизначеності визначається числом можливих станів системи. Однак в загальному випадку це не так. Розглянемо, наприклад, технічний пристрій, який може бути в двох станах: 1) справно і 2) відмовило. Припустимо, що до отримання відомостей (апріорі) ймовірність справної роботи пристрою 0,99, а ймовірність відмови 0,01. Така система має тільки дуже малим ступенем невизначеності: майже напевно можна передбачити, що пристрій буде працювати справно. При киданні монети теж є два можливих стану, але ступінь невизначеності набагато більше. Ми бачимо, що ступінь невизначеності фізичної системи визначається не тільки числом її можливих станів, а й можливостями станів.
Перейдемо до загального випадку. Розглянемо деяку систему. яка може приймати кінцеве безліч станів: з вірогідністю. де
- ймовірність того, що система прийме стан (символом позначається подія: система знаходиться в стані). Очевидно,.
Запишемо ці дані у вигляді таблиці, де у верхньому рядку перераховані можливі стану системи, а в нижній - відповідні ймовірності:
т. е. ентропія системи з рівноможливими станами дорівнює логарифму числа станів.
Наприклад, для системи з вісьма станами.
Доведемо, що в разі, коли стан системи в точності відомо заздалегідь, її ентропія дорівнює нулю. Дійсно, в цьому випадку все ймовірності у формулі (18.2.2) звертаються в нуль, крім однієї - наприклад. яка дорівнює одиниці. Член звертається в нуль, так як. Решта членів теж звертаються в нуль, так як
Доведемо, що ентропія системи з кінцевим безліччю станів досягає максимуму, коли всі стани різновірогідні. Для цього розглянемо ентропію системи (18.2.2) як функцію ймовірностей і найдемусловний екстремум цієї функції за умови:
Користуючись методом невизначених множників Лагранжа, будемо шукати екстремум функції:
Диференціюючи (18.2.5) за і прирівнюючи похідні нулю, отримаємо систему рівнянь:
звідки видно, що екстремум (в даному випадку максимум) досягається при рівних між собою значеннях. З умови (18.2.4) видно, що при цьому
а максимальна ентропія системи дорівнює:
т. е. максимальне значення ентропії системи з кінцевим числом станів одно логарифму числа станів і досягається, коли всі стани різновірогідні.
Обчислення ентропії за формулою (18.2.2) можна дещо спростити, якщо ввести в розгляд спеціальну функцію:
де логарифм береться за основою 2.
Формула (18.2.2) набирає вигляду:
Функція затабулірована; в додатку (табл. 7) наведено її значення для від 0 до 1 через 0,01.
Приклад 1. Визначити ентропію фізичної системи, що складається з двох літаків (винищувачі і бомбардувальники), що беруть участь в повітряному бою. В результаті бою система може виявитися в одному з чотирьох можливих станів:
1) обидва літака не збиті;
2) винищувач збитий, бомбардувальник не збитися;
3) винищувач не збитися, бомбардувальник збитий;
4) обидва літаки збиті.
Ймовірності цих станів рівні відповідно 0,2; 0,3; 0,4 і 0,1.
Рішення. Записуємо умови у вигляді таблиці:
Приклад 3. Визначити максимально можливу ентропію системи, що складається з трьох елементів, кожен з яких може бути в чотирьох можливих станах.
Рішення. Загальна кількість можливих станів системи дорівнює. Максимально можлива ентропіясістеми дорівнює (дв. Од.).
Приклад 4. Визначити максимально можливу ентропію повідомлення, що складається з п'яти букв, причому загальне число букв в алфавіті дорівнює 32.
Рішення. Число можливих станів системи. Максимально можлива ентропія дорівнює (дв. Од).
Формула (18.2.2) (або рівносильна їй (18.2.10)) служить для безпосереднього обчислення ентропії. Однак при виконанні перетворень часто більш зручною виявляється інша форма запису ентропії, а саме, подання її у вигляді математичного очікування:
де - логарифм ймовірності будь-якого (випадкового) стану системи, що розглядається какслучайная величина.
Коли система приймає стану. випадкова величина приймає значення:
Середнє значення (математичне очікування) випадкової величини - і є, як неважко переконатися, ентропія системи. Для її отримання значення (18.2.12) осредняются з «вагами», рівними соответствующімвероятностям.
Формули, подібні (18.2.11), де ентропія представляється у вигляді математичного очікування, дозволяють спрощувати перетворення, пов'язані з ентропією, зводячи їх до застосування відомих теорем про математичних очікуваннях.