Информация в кибернетических системах

Информация, содержащаяся в любом независимом сообщении (тексте, телевизионной передаче, дорожной обстановки и т. п.), измеряется энтропией (неопределенностью) последнего. Количество информации, которое содержится в одной букв (элементе) сообщения, зависит от вероятности (частот повторяемости и числа типов (алфавита) элементов. Та информация, заключенная в элементе дорожной обстановки будет наибольшей при прочих равных условиях (числе элемент тов, их типе), если частоты появления в поле зрения водителя различных элементов равны между собой. Однако дорожная обстановка, как и большинство аналогичных сообщений, содержащих определенную информацию, состоит из элементов невероятных по частоте повторяемости. В последнем случае информация, содержащаяся в одном элементе, будет измеряться энтропией первого порядка, которая по величине меньше энтропии, вычисленной для равновероятных значений элементов Кроме того, в любом сообщении между его элементами имеются более глубокие связи, обусловливающие наличие не смысловой информации.

Эти связи учитываются условными энтропиям второго, третьего и т. д. порядка. Введение понятия условная энтропия вызвано тем, что отдельные элементы любого сообщения связаны между собой. Так, элементы, составляющие дорожную обстановку на участке дороги, обусловлены ландшафтом местности, его насыщенностью инженерными сооружениями и другими предметами. Следовательно, появление в поле зрения водителя того или иного элемента дорожной обстановки не случайно, а в значительной степени определяется характером элементов, встретившихся ранее.

Так, водитель осуществляющий движение по дороге, проложенной, например в степной зоне, будет встречать элементы ландшафта, характерные для этой зоны (поля, отдельные группы деревьев). Вероятность же того, что в поле зрения водителя появится элементе ландшафта из другой геофизической зоны (болото, скальный массив), практически равна нулю. Зависимость корреляциям между отдельными элементами сообщения определяет наличие избыточности. Именно избыточность позволяет водителю распознать дорожную обстановку с большой надежностью даже при удалении из картины целого ряда деталей, которые дополняют придают смысловой информации, содержащейся в или иной оттенок.