1.
Информация — сведения об объектах и явлениях окружающей
среды, их параметрах, свойствах и состоянии, которые воспринимают информационные
системы (живые организмы, управляющие машины и др.) в процессе
жизнедеятельности и работы. В информатике под информацией понимается сообщение, снижающее
степень неопределенности знаний о состоянии предметов или явлений и помогающее
решить поставленную задачу.
2.Канал
связи — система технических средств и среда
распространения сигналов для передачи сообщений (не только данных) от источника
к получателю (и наоборот). Канал связи, понимаемый в узком смысле (тракт
связи), представляет только физическую среду распространения сигналов,
например, физическую линию связи.
Сигнал —
материальный носитель информации, используемый для
передачи сообщений в системе связи. Сигнал
может генерироваться, но его приём не обязателен, в отличие
от сообщения, которое рассчитано на принятие принимающей стороной, иначе
оно не является сообщением. Сигналом может быть любой физический процесс,
параметры которого изменяются в соответствии с передаваемым сообщением.
3.Различают
две формы представления информации — непрерывную и дискретную.
Чтобы сообщение было
передано от источника к получателю, необходима некоторая материальная
субстанция – носитель информации. Сообщение, передаваемое с помощью носителя,
назовем сигналом. В общем случае сигнал – это изменяющийся во времени
физический процесс.
В случае, когда
параметр сигнала принимает последовательное во времени конечное число значений,
сигнал называется дискретным, а сообщение, передаваемое с помощью таких
сигналов - дискретным сообщением. Информация, передаваемая источником, в этом
случае также называется дискретной.
Если же источник
вырабатывает непрерывное сообщение (соответственно параметр сигнала –
непрерывная функция от времени), соответствующая информация называется непрерывной.
Пример дискретного
сообщения – процесс чтения книги, информация в которой представлена текстом,
т.е. дискретной последовательностью отдельных значков (букв). Примером
непрерывного сообщения служит человеческая речь, передаваемая модулированной
звуковой волной; параметром сигнала в этом случае является давление,
создаваемое этой волной в точке нахождения приемника – человеческого уха.
4.Количеством
информации называют числовую характеристику сигнала,
отражающую ту степень неопределенности (неполноту знаний), которая исчезает
после получения сообщения в виде данного сигнала. Эту меру неопределенности в
теории информации называют энтропией. Если в результате получения
сообщения достигается полная ясность в каком-то вопросе, говорят, что была
получена полная или исчерпывающая информация и необходимости в получении
дополнительной информации нет. И, наоборот, если после получения сообщения
неопределенность осталась прежней, значит, информации получено не было (нулевая
информация).
Объемный подход. При реализации информационных процессов
информация передается в виде сообщения, представляющего собой совокупность
символов какого-либо алфавита. При этом каждый новый символ в сообщении
увеличивает количество информации, представленной последовательностью символов
данного алфавита. Если теперь количество информации, содержащейся в сообщении
из одного символа, принять за единицу, то объем информации V в любом другом
сообщении будет равен количеству символов (разрядов) в этом сообщении. Так как
одна и та же информация может быть представлена многими разными способами (с
использованием разных алфавитов), то и единица измерения информации (данных)
соответственно будет меняться.
Энтропийный подход. В теории информации и кодирования принят
энтропийный подход к измерению информации. Этот подход основан на том, что факт
получения информации всегда связан с уменьшением разнообразия или
неопределенности (энтропии) системы. Исходя из этого, количество информации в
сообщении определяется как мера уменьшения неопределенности состояния данной
системы после получения сообщения. Неопределенность может быть интерпретирована
в смысле того, насколько мало известно наблюдателю о данной системе. Как только
наблюдатель выявил что-нибудь в физической системе, энтропия системы снизилась,
так как для наблюдателя система стала более упорядоченной.
Энтропия — это количество информации, приходящейся на одно
элементарное сообщение источника, вырабатывающего статистически независимые
сообщения.
Информационная энтропия — мера неопределённости или
непредсказуемости информации, неопределённость появления какого-либо
символа первичного алфавита. При отсутствии информационных потерь она
численно равна количеству информации на символ передаваемого сообщения.
В простейшем случае
источника независимых сообщений, в котором вероятность выбора того или иного
элемента сообщения не зависит от ранее выбранных элементов,
