Будь-яке повідомлення являє собою сукупність відомостей про деяку фізичну систему. Наприклад, на вхід системи управління засобами протиповітряної оборони може бути передано повідомлення про те, що на певному аеродромі в даний момент знаходиться певна кількість винищувачів в бойовій готовності, або що аеродром виведений з ладу вогнем противника і т.п. Кожне з наведених повідомлень описує стан фізичної системи. Але при відомому заздалегідь стані фізичної системи не має сенсу передача повідомлення - воно набуває сенсу тільки тоді, коли стан системи випадково. Як об'єкт, про який передається інформація, розглядається деяка фізична система X, яка випадковим чином може в будь-якому стані - систему, якій притаманна деяка ступінь невизначеності. Відомості, отримані про систему тим набагато змістовніші, чим більше була невизначеність системи до отримання цих відомостей (апріорі). Яким чином вимірюється ступінь невизначеності? Ступінь невизначеності фізичної системи визначається не тільки числом її можливих станів, а й можливостями станів. Тепер розглянемо деяку систему X. приймаючу кінцеве безліч станів: з вірогідністю. де. ймовірність того, що система X прийме стан xi (позначається подія: система знаходиться в стані). Очевидно також, що.
Ентропія визначається як міра невизначеності стану деякої фізичної системи. В результаті отримання відомостей невизначеність системи може бути зменшена. Чим більше обсяг отриманих відомостей, ніж вони більш змістовні, тим більше буде інформація про систему, тим менше невизначеним буде її стан. Тому кількість інформації вимірюють зменшенням ентропії тієї системи, для уточнення стану якої призначені відомості.
Розглянемо деяку систему X. над якою проводиться спостереження. Оцінимо інформацію, що отримується в результаті того, що стан системи X стає повністю відомим. До отримання відомостей (апріорі) ентропія системи була H (X); після отримання інформації про стан системи повністю визначилося, тобто ентропія стала рівною нулю. Позначимо через Ix інформацію, що отримується в результаті з'ясування стану системи X. Вона дорівнює зменшенню ентропії: або
тобто кількість інформації, що купується при повному з'ясуванні стану деякої фізичної системи, так само ентропії цієї системи.
Уявімо (1.1) у вигляді:
Формула (1.2) означає, що інформація Ix є осредненное по всім станам системи значення логарифма ймовірності стану з протилежним знаком. Дійсно, для отримання Ix кожне значення (логарифм ймовірності i -го стану) зі знаком «-» множиться на ймовірність цього стану і все такі твори складаються. Кожне окреме доданок - розглядати як приватну інформацію, що отримується від окремого повідомлення, що складається в тому, що система X знаходиться в стані xi. Позначимо цю інформацію через:
Тоді інформація Ix подається як середня (або повна) інформація, що отримується від всіх можливих окремих повідомлень з урахуванням їх ймовірностей. Перепишемо формулу (1.2) в формі математичного очікування:
Де X - будь-який (випадкове) стан системи X.
Так як всі числа pi не більш одиниці, то як приватна інформація. так і повна не можуть приймати негативні значення. Якщо всі можливі стану системи мають різні можливостями, інформації від різних неоднакові: найбільшу інформацію несуть повідомлення про ті події, які апріорі були найменш вірогідні.
Приклад. На шахівниці в одній з клітин довільним чином поставлена фігура. Апріорі всі положення фігури на дошці однаково ймовірні. Необхідно визначити інформацію, що отримується від повідомлення, в який саме клітці знаходиться фігура.
Рішення. Ентропія системи X з n рівноімовірними станами дорівнює; в даному випадку: (дв.ед.), тобто повідомлення містить 6 двійкових одиниць інформації. Оскільки їхні капітали системи різновірогідні, то ту ж інформацію несе і будь-яке конкретне повідомлення типу: фігура знаходиться в квадраті e2.
Приклад. В умовах попереднього прикладу визначити приватну інформацію від повідомлення, що фігура знаходиться в одній з кутових клітин дошки.
Рішення. Апріорна ймовірність стану, про який повідомляється, дорівнює. Приватна інформація дорівнює (дв.ед.).
У термодинаміки ентропія позначається через S.. де Q - теплота, T - температура.
. де E - енергія системи, F - вільна енергія системи.
Нехай - деякий кінцевий розподіл ймовірностей, тобто набір невід'ємних чисел, що задовольняють умові:.
Ентропією цього розподілу називається величина. (1.5)
де і . Очевидно, що . причому H = 0 тоді і тільки тоді, коли всі ймовірності. крім однієї, рівні 0.
Функція. . опукла догори і. Отже,.
Інакше, ентропія досягає свого максимального значення при. «Ступінь невизначеності» в здійсненні тієї чи іншої події різна для різних розподілів. (Якщо. То немає невизначеності і в результаті досвіду відбудеться подія A1. Якщо. Розподіл має максимальну невизначеністю).