1. Підходи до вимірювання кількості інформації. Міра Хартлі.
Інформація може розумітися і інтерпретуватися в різних проблемах, предметних областях по-різному. Внаслідок цього, є різні підходи до визначення виміру інформації і різні способи введення міри кількості інформації.
Кількість інформації - числова величина, адекватно характеризує актуалізуються інформацію за різноманітністю, складності, структурованості (впорядкованості), визначеності, вибору станів відображається системи.
Якщо розглядається деяка система, яка може приймати одне з n можливих станів, то актуальним завданням є завдання оцінки цього вибору, результату. Такою оцінкою може стати міра інформації (події).
Міра - безперервна дійсна неотрицательная функція, певна на безлічі подій і є адитивною (міра суми дорівнює сумі заходів).
Заходи можуть бути статичні і динамічні, в залежності від того, яку інформацію вони дозволяють оцінювати: статичну (не актуалізована; насправді оцінюються повідомлення без урахування ресурсів і форми актуалізації) або динамічну (актуализированную тобто оцінюються також і витрати ресурсів для актуалізації інформації).
Існують різні підходи до визначення кількості інформації. Найбільш часто використовуються наступні два способи вимірювання інформації: об'ємний і імовірнісний.
Використовується двійкова система числення, тому що в технічному пристрої найбільш просто реалізувати два протилежних фізичних стану: намагнічене / НЕ намагнічене, вкл. / Викл. заряджена / не заряджена і ін.
Обсяг інформації, записаної двійковими знаками в пам'яті комп'ютера або на зовнішньому носії інформації, підраховується просто за кількістю необхідних для такого запису двійкових символів. При цьому невозмож¬но нецілим число бітів.
Для зручності використання введені і більші, ніж біт, одиниці колі¬чества інформації. Так, двійкове слово з восьми знаків містить один байт інформації, 1024 байта утворюють кілобайт (КБ), 1024 кілобайт - мегабайт (Мбайт), а 1 024 мегабайта - гігабайт (Гбайт).
Ентропійний (імовірнісний) підхід
Цей підхід прийнятий в теорії інформації та кодування. Даний спосіб вимірювання виходить з наступної моделі: одержувач повідомлення має певне уявлення про можливі наступах деяких подій. Ці уявлення в загальному випадку недостовірні і виражаються можливостями, з якими він очікує ту чи іншу подію. Загальна міра невизначеностей називається ентропією. Ентропія характеризується деякою математичною залежністю від сукупності ймовірності настання цих подій.
Кількість інформації в повідомленні залежить від того, наскільки зменшилася цей захід після отримання повідомлення: чим більше ентропія системи, тим більше ступінь її невизначеності. Що поступає повідомлення повністю або частково знімає цю невизначеність, отже, кількість інформації можна вимірювати тим, наскільки знизилася ентропія системи після отримання повідомлення. За міру кількості інформації приймається та ж ентропія, але з протилежним знаком.
Іншими, менш відомими способами вимірювання інформації є:
Алгоритмічний підхід. Так як є багато різних обчислювальних машин та мов програмування, тобто різних способів завдання алгоритму, то для визначеності задається деяка конкретна машина, наприклад машина Тьюринга. Тоді як кількісної характеристики повідомлення можна взяти мінімальну кількість внутрішніх станів машини, потрібних для відтворення даного повідомлення.
Семантичний підхід. Для вимірювання смислового змісту інформації, тобто її кількості на семантичному рівні, найбільше визнання отримала Тезаурусний міра (тезаурус - сукупність відомостей, якими володіє пользо¬ватель або система), яка пов'язує семанті¬ческіе властивості інформації зі здатністю користувача приймати надійшло повідомлення.
Прагматичний підхід. Цей захід визначає корисність інформації (цінність) для досягнення користувачем поставленої мети.
В основі всієї теорії інформації лежить відкриття, зроблене Р. Хартлі в 1928 році, і яке у тому, що інформація допускає кількісну оцінку.
Підхід Р. Хартлі заснований на фундаментальних теоретико-множинних, по суті комбінаторних підставах, а також декількох інтуїтивно ясних і цілком очевидних припущеннях.
Якщо існує безліч елементів і здійснюється вибір одного з них, то цим самим повідомляється або генерується певна кількість інформації. Ця інформація полягає в тому, що якщо до вибору не було відомо, який елемент буде обраний, то після вибору це стає відомим. Необхідно знайти вид функції, що зв'язує кількість інформації, одержуваної при виборі деякого елемента з безлічі, з кількістю елементів в цій множині, тобто з його потужністю.
Якщо безліч елементів, з яких здійснюється вибір, складається з одного-єдиного елемента, то ясно, що його вибір зумовлений, тобто ніякої невизначеності вибору немає - нульове кількість інформації.
Якщо безліч складається з двох елементів, то невизначеність вибору мінімальна. В цьому випадку мінімально і кількість інформації.
Чим більше елементів у множині, тим більше невизначеність вибору, тим більше інформації.
Кількість цих чисел (елементів) в безлічі одно:
З цих очевидних міркувань слід перша вимога: інформація є монотонна функція від потужності вихідного безлічі.
Вибір одного числа дає нам таку кількість інформації:
Таким чином, кількість інформації, що міститься в довічним числі, дорівнює кількості двійкових розрядів в цьому числі.
Цей вислів і являє собою формулу Хартлі для кількості інформації.
При збільшенні довжини числа в два рази кількість інформації в ньому також має зрости в два рази, незважаючи на те, що кількість чисел в безлічі зростає при цьому по показовому закону (в квадраті, якщо числа виконавчі), тобто якщо
Це неможливо, якщо кількість інформації виражається лінійною функцією від кількості елементів у множині. Але відома функція, що володіє саме такою властивістю: це Log:
Log2 (N2) = Log2 (N1) 2 = 2 * Log2 (N1).
Це друга вимога називається вимогою аддитивности.
Таким чином, логарифмічна міра інформації, запропонована Хартлі, одночасно задовольняє умовам монотонності і аддитивности. Сам Хартлі прийшов до своєї міру на основі евристичних міркувань, подібних щойно викладеним, але в даний час строго доведено, що логарифмічна міра для кількості інформації однозначно випливає з цих двох постульованих їм умов.
Приклад. Є 192 монети. Відомо, що одна з них - фальшива, наприклад, легша за вагою. Визначимо, скільки зважувань потрібно зробити, щоб виявити її. Якщо покласти на терези рівну кількість монет, то отримаємо 3 незалежні можливості: а) ліва чашка нижче; б) права чашка нижче; в) чашки врівноважені. Таким чином, кожне зважування дає кількість інформації I = log23, отже, для визначення фальшивої монети потрібно зробити не менше k зважувань, де найменше k задовольняє умові log23k log2192. Звідси, k 5 або, k = 4 (або k = 5 - якщо вважати за одне зважування і останнє, очевидне для визначення монети). Отже, необхідно зробити не менше 5 зважувань (досить 5).
Ще роботи з інформатики
Реферат з інформатики