Гошин Е.В. Теория информации и кодирования

Учебное пособие. — Самара: Самарский университет, 2018. — 124 с. — ISBN: 978-5-7883-1260-6.В учебном пособии рассматриваются основы теории информации и кодирования. В качестве теоретической основы приведены понятия энтропии и количества информации. Рассмотрены основные типы дискретных и непрерывных каналов, для них приведены и обоснованы численные характеристики пропускной способности.
Значительная часть пособия посвящена методам и алгоритмам кодирования источника и кодирования канала. В частности, рассмотрены следующие подходы: кодирование Шеннона-Фано; кодирование Хаффмена; арифметическое кодирование; циклические коды, в том числе, исправляющие пакеты ошибок; алгоритм подсчёта контрольной суммы; коды Адамара; коды Рида-Маллера; свёрточные коды.
Предназначено для студентов, обучающихся по направлению подготовки 01.03.02 Прикладная математика и информатика и специальности 10.05.03 Информационная безопасность автоматизированных систем.Предисловие.
Рекомендации по распределению тем.
Введение в предмет.
Ансамбли и вероятности. Байесовский вывод.
Энтропия.
Понятие энтропии.
Свойства энтропии.
Понятие дифференциальной энтропии.
Понятие дифференциальной условной энтропии.
Свойства дифференциальной энтропии.
Распределения, обладающие максимальной дифференциальной энтропией.
Количество информации.
Количество информации при передаче отдельного элемента дискретного сообщения.
Свойства частного количества информации.
Среднее количество информации в любом элементе дискретного сообщения.
Свойства среднего количества информации в элементе сообщения.
Количество информации при передаче сообщений от непрерывного источника.
Каналы передачи данных.
Дискретный канал без памяти.
Равномерно диспергирующий канал.
Равномерно фокусирующий канал.
Сильно-симметричный канал.
Симметричный канал.
Непрерывный гауссов канал.
Символьные коды. Префиксные коды.
Неравенство Крафта.
Кодирование Шеннона-Фано. Кодирование Хаффмена. Арифметическое кодирование.
Другие эффективные коды.
Коды Элиаса.
Словарные коды.
Помехоустойчивое кодирование. Код Хэмминга.
Основные характеристики помехоустойчивого кодирования.
Связь корректирующей способности с кодовым расстоянием.
Кодирование Хэмминга.
Циклические коды.
Операции на многочленах.
Понятие и общая схема построения циклического кода.
Выбор образующих многочленов для обнаружения и исправления одиночных ошибок.
Методы формирования комбинаций и декодирования циклического кода.
Исправление пакетов ошибок. Циклический избыточный код.
Матричные коды. Коды Адамара.
Коды Рида-Маллера.
Свёрточные коды. Треллис-диаграммы.
Модели детерминированных сигналов.
Частотное представление периодических сигналов.
Частотное представление непериодических сигналов.
Соотношение между длительностью сигналов и шириной их спектров.
Восстановление сигнала по его дискретным значениям.
Список источников.