Якщо окремі літери алфавіту або їх комбінації зустрічаються в тексті частіше за інших або є взаємозв'язку м / у елементами, повідомленням, то кількість інф. у всьому повідомленні припадає на одну букву зменшується. У цих випадках, як правило, можна передати її в повідомленні меншим числом букв.
Наявність в повідомленні більшого числа букв, ніж це мінімально необхідно для передачі вмісту. в них кількості інформації - надмірність.
Два повідомлення однієї довжини і складені з букв одного алфавіту можуть нести різну кількість інформації або володіти різною інформативністю.
Чим більше надмірність повідомлення, тим відносно менша частка можливих повідомлень є дозволеною і більше число помилок може бути виявлено і виправлено.
Чисельна надмірність визначається відносною різницею максимально можливе і реальне ентропією.
Він показує на скільки можна стиснути кодову комбінацію або повідомлення зменшуючи число букв в ньому, щоб виключити наявну надмірність.
nH- кількість інформації в цьому повідомленні
Hmax =
n '= nH /
Звідси kсж = H /
Надмірність вимірюється ставленням зайвих літер до їх загальної кількості в повідомленні.
Статистичне кодування використовується для виключення надмірності повідомлень, зумовленою не равновероятности елементів.
Зменшення надмірності повідомлень - стиснення.
Код знижує надмірність можна побудувати в різних варіантах, але у всіх випадках часто зустрічаються високій ймовірності елементи або букви повинні складати короткі кодові комбінації, а для рідше зустрічаються повинні складати довші кодові комбінації. Необхідно також, щоб короткі кодові комбінації, відповідні високоймовірним елементам не збігалися з началами довших - св-во непроводімості.
В іншому випадку неможливо буде правильно декодувати повідомлення. На можливість такого кодування, що враховує статистичні св-ва повідомлення вказав Шеннон, а алгоритм запропонував Фано, тому коди такого роду називають статистичними.
13 Завадостійке кодування. Підвищення вірності в односторонньому і двосторонньому каналах передачі.
Перешкоди м. Б. адитивними та мультиплікативними і виникати в каналах під впливом різних факторів. Адитивні - з'являються в каналах провідних ліній зв'язку від впливу електротяги, впливу з боку інших || йдуть ланцюгів зв'язку. Їх зниження досягається скручуванням, екрануванням ланцюгів лінії зв'язку, застосуванням компенсаційних методов.В радіозв'язку - прим-е спрямованого изл-я і доцільний вибір частот.
Заходами боротьби з мультиплікат. перешкодами на дротяних лініях явл-ся застосування автоматичного регулювання рівня (АРУ). Безперервний канал елекросвязі вважається заданим і хар-ся значенням відношення потужності сигналу і перешкоди на його виході.
Критерієм якості передачі служить вер-ть помилковою передачі. При поелементному прийомі - вір-ть помилки при прийомі одного ел-та і розподіл її в часі.
Однією з основних дост-й ТПС док-во можливості практично безпомилкової передачі повідомлень по каналах, в кіт-х отд. елементи передаються з помилками. Таке кодування повідомлення наз-ся перешкодостійким. Конкретний спосіб кодування зав-т від того явл-ся чи розглянути-й канал одно- або двостороннім і від статистики помилок в каналі.
Підвищення вірності в односторонньому каналі:
Єдиний спосіб пов-я вірності - введення в повідомлення надмірності, що забезпечує виправлення помилок в пункті прийому. Найпростіше і найменш ефект-й формою явл. багаторазове повторення повідомлення.
Нехай необхідно передати по каналу з помилками кодову комб. Якщо її передати 3 рази, а в пункті прийому поелементно порівняти рез-ти прийому трьох передач, то використовую мажоритарну декодування можна виправити помилки в отд. елементах, якщо вони тільки не повторюються в одному і тому ж ел-ті при різних передачах.
Для виправлення подвійної помилки - 5-кратне повторення.
Підвищення вірності в двосторонньому каналі:
орг-я каналу зі зворотним зв'язком повторенням
Повідомлення вводиться в пам'ять перед-й станції і перед-ся по каналах на приймальну станцію, де також записи-ся в пам'яті. Прийняте і записане повідомлення перед-ся потім назад на перед-ту станцію, де вирішальне пристрої під поелементно порівнює повторне повідомлення і передане, що утримується в пам'яті передавача. Якщо розбіжностей немає - перед-ся сигнал «правильно», по якому повідомлення з пам'яті приймальні станції виділяється одержувачу і обидві пам'яті очищ-ся.
Якщо при порівняй-і обнар-ся розбіжність, то пер-ся сигнал «неправильно», за яким очищається пам'ять приймальні станції і повідомлення пер-ся повторно.
орг-я каналу зі зворотним зв'язком з перебросом
Повідомлення вводиться в пам'ять перед-й станції і перед-ся по прямому каналу на приймальну станцію, де також записи-ся в пам'яті. Повідомлення д. Перед-ся надлишковим кодом, що допускають виявлення помилок.
Вирішальне пристрої під приймальні станції перевіряє прийняту кодову комбінацію. Якщо помилок не обнар-ся повідомлення видається одержувачу і на перед-ту станцію посил-ся сигнал «зрозуміле», за яким очищається пам'ять перед-й станції. Якщо обнар-ся помилка, то за сигналом «повторити» очищається пам'ять приймальні станції і повідомлення збережене в пам'яті перед-й станції перед-ся повторно.
Найпростіші коди, які виявляють помилку - двійкові коди з постійною вагою, тобто з одним і тим же числом одиниць в кожної кодової комбінації і коди з парним числом одиниць.
10101,11001,00111 - з постійним вагою
+11000,10111 - з парним числом одиниць
Будь-яка помилка викличе в 1-му випадку изм-е ваги одиниць, а в 2-му число одиниць стане не парних.