Ентропія як міра невизначеності фізичної системи
Відомості є об'єктом зберігання, передачі і перетворення, називаються інформацією. Міра вимірювання кількості інформації заснована на понятті ентропії. Ентропія - це міра ступеня невизначеності стані системи Х (випадкової величини) з кінцевим або рахунковим числом результатів.
Що означає невизначеність і як її виміряти?
Приклад. Нехай є дві системи: перша система - гральна кістка (має 6 станів), друга система - монета (має 2 стану).
Питається: стан якої системи важче передбачити (невизначеність якої системи більше)? Природно невизначеність першої системи вище. Значить, ступінь невизначеності системи залежить від числа можливих її станів. Однак число станів не є вичерпною характеристикою ступеня невизначеності.
Покажемо це на прикладі для систем з двома стійкими станами. Нехай є 2 монети М1 і М2 (у монети є два можливих стани: орел 0 і решка Р):
Р i - ймовірність знаходження монет в стані орел чи решка.
Неважко помітити, що невизначеність цих двох систем буде різною. Невизначеність першої системи більше, так як з таблиці видно, що друга монета практично постійно перебуває в стані орел. Перша ж монета невідомо в якому знаходиться стані, вона з однаковою ймовірністю може перебувати або в стані орел або в стані решка.
Таким чином, ми бачимо, що ступінь невизначеності визначається також і можливостями станів системи. В якості запобіжного апріорної невизначеності теорія інформації пропонує ентропію.
Ентропія по Шеннону дорівнює сумі творів ймовірностей станів системи на логарифми цих ймовірностей, узятих зі зворотним знаком:
де X = (x 1. x2. ... x i, ... x n) - безліч можливих станів системи X. прийнятих елементами з вірогідністю p (x 1), p (x 2), ... p (xi), ... p (xn),
n - число можливих станів. При цьому необхідно дотримуватися умова нормування:
У формулі 1.1 підставу логарифма може бути двійковим, десятковим або натуральним. Якщо використовується двійкове підставу, то воно може бути опущено. При довічним підставі ентропія вимірюється в двійкових одиницях або бітах. Формула (1.1) може бути представлена і в наступному вигляді:
Ентропія характеризує середнє значення і являє собою математичне очікування від - log p. тобто H (X) = M [- log p (x)].
Розглянемо властивості ентропії:
1. Ентропія є величина речова, обмежена і неотрицательная: Н # 8807; 0.
Це властивість випливає з виразу (1.2).
Розглянемо один доданок - pk log pk. При зміні pk від нуля до одиниці це позитивне дійсне доданок змінюється від нуля, досягає максимуму при pk =. потім знову спадає до нуля (см.ріс.1.1)
Справді, спрямовуючи pk до нуля, отримуємо
якщо зробити заміну
то отримаємо таку формулу: тобто доданок звертається в нуль, коли pk = 0. Якщо pk = 1, то log pk = 0 і доданок також дорівнює нулю: - pk log pk = 0.
Максимальне значення визначимо з умови:
- log pk e = 0. Звідси pk × e = 1; Підставами в Hk
Максимальне значення становить 0,531.
2. Ентропія мінімальна і дорівнює нулю, якщо хоча б один зі станів системи достовірно відомо: H = Hmin = 0.
Нехай система має три стану, і ймовірності цих станів будуть рівні: p 1 = p 2 = 0, p 1 = 1. Тоді
3. Ентропія максимальна і дорівнює логарифму числа станів, якщо стану системи різновірогідні:
4. Ентропія бінарних величин змінюється від 0 до 1.
Нехай p 1 = p; p 2 = (1 p); Тоді H = - p × log p - (1 p) × log (1 p);
Ентропія дорівнює нулю, коли ймовірність одного з станів дорівнює нулю, потім зростає і досягає максимуму при p = 0.5, тобто коли p 1 = p 2 = 0.5. При цьому невизначеність повідомлень при прийомі найбільша.
Підстава логарифма може бути виражено в довічних, десяткових або натуральних одиницях. У разі оцінки ентропії в довічних одиницях підстава може бути опущено:
Обчислення ентропії можна спростити, якщо ввести спеціальну функцію # 951; (p) =. тоді H (x) = # 931; # 951; (p).
Для обчислення ентропії за допомогою даної функції є спеціально складені таблиці (див.табл.1 додатки 1).