Факт отримання інформації завжди пов'язаний зі зменшенням різноманітності або невизначеності. Встановимо кількісні міри невизначеності для інформації і з'ясуємо її властивості.
Дискретне джерело інформації може в кожен момент часу випадковим чином прийняти одне з кінцевого безлічі можливих станів. Різні стану ui «реалізуються внаслідок вибору їх джерелом». Ансамбль станів U характеризується сумою ймовірностей їх появи:
Введемо міру невизначеності вибору стану джерела. Її можна розглядати і як міру кількості інформації. За таку міру можна було б взяти число станів джерела (при їх равновероятности). Тоді вона відповідала б умові монотонного зростання при збільшенні числа можливих станів джерела.
Однак такий захід не відповідає вимозі адитивності:
Якщо два незалежних джерела з числом рівноймовірно станів N і M розглядати як одне джерело, одночасно реалізує пари станів ni mj. то невизначеність об'єднаного джерела повинна дорівнювати сумі невизначеностей вихідних джерел:
Співвідношення (2.2) виконується, якщо в якості міри невизначеності джерела з рівноімовірними станами прийняти логарифм числа станів:
Тоді при N = 1 і H (U) = 0 вимога аддитивности виконується (Р. Хартлі). Підстава логарифма не має принципового значення і визначає тільки масштаб або одиницю невизначеності. Технічні міркування підказують вибір підстави логарифма - 2. При цьому одиниця невизначеності називається бітом (від англ. Binary digit). Іноді використовується дит (від decimal).
Приклад: Визначити мінімальне число зважувань для виявлення однієї фальшивої монети серед 27: H (U) = log3 27. Одне зважування: три можливих результату, означають, що і невизначеність: H (U ¢) = log3 3 і підстава логарифма також має бути рівним 3. Тому H (U) = 3log3 3 = H (U ¢), тобто. потрібно 3 зважування.
Запропонована міра вдала, але широко не застосовується, тому що використовує занадто грубу модель джерела інформації (рівноймовірно).
К. Шеннон запропонував більш широко використовувану міру:
де C - довільна позитивне число.
Такий захід називають ентропією дискретного джерела інформації, або ентропією кінцевого ансамблю. Це єдиний функціонал (твердження К. Шеннона, строго доведене Л. Я. Хінчіним), що задовольняє всім вимогам до міри невизначеності (міру інформації).
Для двійкової системи вимірювання, прийнявши С = 1, отримаємо
Формальна структура (2.4) збігається з ентропією фізичної системи (Больцман). Згідно з другим законом термодинаміки ентропія замкнутого простору визначається як
де MП - число молекул в даному просторі; mi - число молекул, що володіють швидкістю від v до v + Dv.
Так як mi / MП є ймовірність того, що молекула має швидкість від v до v + Dv. то (2.6) можемо переписати: H = -.
Збіг має глибокий фізичний зміст, оскільки в обох випадках величина H характеризує ступінь різноманітності станів системи.
Міра Шеннона є природним узагальненням заходи Хартлі на випадок ансамблю з неравновероятнимі станами. Вона дозволяє врахувати статистичні властивості джерела інформації.
Деякі властивості ентропії:
1. Ентропія є реальною і неотрицательной величиною, тому що для будь-якого pi (1 £ i £ N) вона змінюється в інтервалі від 0 до 1, log pi негативний і, отже, -pi log pi позитивно.
2. Ентропія - величина обмежена. Для доданків -pi log pi в діапазоні 0 3. Ентропія звертається в нуль, якщо ймовірність однієї з станів дорівнює 1. 4. Ентропія максимальна, коли всі стани джерела рівноймовірно, що доводиться використанням методу невизначених множників Лагранжа. 5. Ентропія джерела u з двома станами u1 і u2 змінюється від 0 до 1, досягаючи максимуму при рівності їх ймовірностей: 6. Ентропія об'єднання декількох статистично незалежних джерел інформації дорівнює сумі ентропій вихідних джерел. 7. Ентропія характеризує середню невизначеність вибору одного стану з ансамблю і нічого більше (при оцінці невизначеності впливу ліків байдуже, чи видужає 90% пацієнтів, а 10% помре, або навпаки). Ентропія може характеризувати не тільки дискретний, а й безперервний джерело інформації. Ентропію для такого джерела називають диференціальної ентропією: Ця величина при Du ® 0 прямує до нескінченності (невизначеність вибору з безлічі можливих станів (значень) нескінченно велика). Перший член в правій частині виразу (2.7) має кінцеве значення, залежне тільки від закону розподілу U. і не залежить від кроку квантування Du. Він має точно таку ж структуру, як і ентропія дискретного джерела. Другий член залежить лише від кроку квантування Du. Він відповідальний за те, що H (U) звертається в нескінченність. До трактуванні виразу (2.7) відомі два підходи. Перший полягає в тому, що в якості міри невизначеності безперервного джерела приймають перший член. Ця величина отримала назву диференціальної ентропії безперервного джерела. Її можна трактувати як середню невизначеність вибору випадкової величини U з довільним законом розподілу в порівнянні з середньою невизначеністю вибору випадкової величини U ¢, що змінюється в діапазоні, що дорівнює 1, і має рівномірний розподіл. Умовна ентропія безперервного джерела може бути виражена як При другому підході для кількісного визначення інформаційних властивостей безперервного джерела пропонується прийняти до уваги практичну неможливість забезпечення нескінченно великої точності розрізнення значень неперервної величини U. Тому все нескінченне число значень U в межах заданої точності вимірювань слід розглядати як одне значення. З середньої невизначеності вибору джерелом деякого значення в цьому випадку необхідно відняти середню невизначеність того ж джерела, отриману за умови, що ми знаємо результати визначення з деякою точністю e. Тоді інформаційні властивості безперервного джерела будуть оцінюватися різницею безумовної (2.7) і умовної (2.8) ентропій. Така різниця є мірою знятої невизначеності, яку називають кількістю інформації. кількість інформації Передача інформації диктується бажанням усунути невизначеність щодо послідовності станів, що реалізуються джерелом. Передача інформації або ініціюється самим джерелом, або здійснюється за запитом. Інформація проявляється завжди у формі сигналів. Сигнали, що надходять з виходу первинного перетворювача джерела інформації на вхід каналу зв'язку, прийнято називати повідомленнями. на відміну від сигналів, що формуються на вході лінії зв'язку. Окремі первинні сигнали з виходу джерела повідомлень називають елементами повідомлень. Кожному елементу повідомлення відповідає певний стан джерела інформації. Якщо джерело інформації реалізує безліч станів паралельно (аркуш паперу з текстом), первинний перетворювач забезпечує їх послідовне відображення елементами повідомлень (проголошення звуків людиною). Основне поняття теорії інформації - кількість інформації - розглядається тут стосовно передачі окремих статистично незв'язаних елементів повідомлення. Дискретне джерело інформації повідомлень при цьому повністю характеризується ансамблем Безперервний джерело інформації характеризується одномірної щільністю розподілу p (z) випадкової величини z.
як міра знятої невизначеності