Шпора по теоретической информатике

Отличная шпаргалка по теории информации, на зачет. 30 вопросов (3 не отвечено"Может быть, Вам не попадется!"). Препод Фрид А.И. Понятие информации. Свойства информации.Знаки и сигналы. Сигнал, его характеристики. Квантование сигналов.Синтаксическая и семантическая информация.
Энтропия и ее свойства. Количество информации.Энтропия непрерывных сообщений.
Условная энтропия и взаимная информация - дискретные системы передачи информации.Условная энтропия и взаимная информация - непрерывные системы передачи информации.Информационные характеристики квантованного сигнала.
Пропускная способность канала связи при отсутствии шумов.Структура канала связи. Пропускная способность канала связи при наличии шумов. Формула К.Шеннона.
Понятие о помехоустойчивом кодировании. Пространственная и временная избыточность. Код с повторением. Кодирование сообщений в дискретном канале: кодирующее отображение, равномерный и неравномерный коды, декодирование.
Эффктивное кодирование. Формула для построения кода, близкого к эффективному.
Код Хаффмена. Код Шеннона-Фано. Группы. Примеры групп. Расстояние по Хэммингу. Вес слова. Кодовое расстояние. Связь обнаруживающей и корректирующей способности кода с кодовым расстоянием. Геометрическая интерпретация связи кодового расстояния и корректирующей способности кода. Линейные групповые коды Порождающая матрица - технология построения. Задача построения линейного группового кода с заданными свойствами. Кодирование в линейных групповых кодах: систематическое и несистематическое. Декодирование в линейных групповых кодах. Синдромы. Фактические возможности линейных групповых кодов по обнаружению ошибок. Проверочная матрица - ее структура и связь с порождающей матрицей.
Коды Хэмминга. Систематический и несистематический коды Хэмминга.
Понятие о циклических кодах. Порождающие многочлены. Структура кодового слова.
Порождающая матрица циклического кода. Систематический и несистематический циклический коды. Алгоритм построения циклического кода с заданными свойствами.
Алгоритм коррекции ошибок в циклическом коде. Процедура выбора порождающего многочлена. Схемы аппаратной реализации кодеров и декодеров циклического кода. Декодер Меггита. Циклические коды, исправляющие пакеты ошибок.
Код Голея. Коды с постоянным весом.