Подання та кодування інформації за допомогою знакових систем. Алфавітний підхід до визначення кількості інформації.
Подання інформації може здійснюватися за допомогою знакових систем. Кожна знакова система будується на основі певного ^ алфавіту і правил виконання операцій над знаками. Знаковими системами є природні мови (російська, англійська і т. Д.), Формальні мови (мови програмування, системи числення та т. Д.), Біологічні алфавіти (стану нейрона в нервовій системі, нуклеотиди, що зберігають генетичну інформацію в молекулі ДНК) і ін.
Знаки можуть мати різну фізичну природу. Наприклад, для письма використовуються знаки, що представляють собою зображення на папері або інших носіях; в усному мовленні як знаки виступають різні звуки (фонеми), а при обробці тексту на комп'ютері знаки представлені у формі послідовностей електричних імпульсів (комп'ютерних кодів).
Кодування, т. Е. Переклад інформації з однієї знакової системи в іншу, проводиться за допомогою таблиць відповідності знакових систем, які встановлюють взаємно однозначна відповідність між знаками або групами знаків двох різних знакових систем. Приклад такої таблиці - таблиця кодів ASCII (американський стандартний код обміну інформацією), що встановлює відповідність між інтернаціональними знаками алфавіту і їх числовими комп'ютерними кодами.
При зберіганні і передачі інформації за допомогою технічних пристроїв доцільно відволіктися від змісту інформації і розглядати її як послідовність знаків (літер, цифр, кодів кольору точок зображення і т. Д.).
Виходячи з імовірнісного підходу до визначення кількості інформації, набір символів знакової системи (алфавіт) можна розглядати як різні можливі стани (події).
Тоді, якщо вважати, що поява символів в повідомленні равновероятно, за формулою можна розрахувати, яка кількість інформації несе кожен символ:
де N - кількість знаків у алфавіті, I - кількість інформації.
Інформаційна ємність знаків залежить від їх числа в алфавіті (потужності алфавіту): чим більше їх число, тим більша кількість інформації несе один знак.
Так, інформаційна ємність букви в російській алфавіті, якщо не використовувати букву "е", становить:
Аналогічно легко підрахувати, що кожен знак «алфавіту» нервової системи (є імпульс, немає імпульсу) відповідно до формули несе інформацію 1 біт, а кожен з чотирьох символів генетичного алфавіту - інформацію 2 біт.
Відповідно до алфавітним підходом кількість інформації, яке містить повідомлення, закодоване за допомогою знакової системи, дорівнює кількості інформації, яке несе один знак, помноженому на число знаків в повідомленні.