Filosofa.net

Теперь для определения средней неопределенности одного акта приема сообщения нужно лишь усреднить индивидуальные неопределенности по множеству типов сообщений:

Формула Шеннона совпадает по виду с формулой Больцмана для статистического определения энтропии, взятой с обратным знаком [А2]. В термодинамике энтропия служит мерой хаотичности, беспорядка в системе. Таким образом, информация, будучи отрицательной энтропией (негэнтропией) может рассматриваться как вклад в упорядочение системы.

Развитие статистической теории информации привело к следующим результатам. Во-первых, стало возможным строгое количественное исследование информационных процессов. Во-вторых, был расширен объем понятия информации, так как статистическая теория полностью отвлекается от двух высших семиотических аспектов информации: семантичиского (смыслового) и прагматического (ценностного). С позиций этой теории информацию несет не только человеческая речь, но и любые объекты и процессы, которые подчиняются статистическим закономерностям.

Далее, статистический подход позволил выявить фундаментальную связь информационных процессов и термодинамики. Знак «минус» в формуле Шеннона однозначно указывает на то, что информационные процессы в известном смысле противоположны естественным термодинамическим процессам, ведущим, как известно, к деградации. Статистическая теория прямо связывает информацию с процессом превращения возможности в действительность, случайности в необходимость, что уже дает основание для философского анализа. Наконец, в рамках статистического подхода было получено первое определение информации, удовлетворительное с философской точки зрения: информация есть устраненная неопределеность.

Вместе с тем, статистическая теория обладает и существенными недостатками, которые являются продолжением ее достоинств. Во-первых, информация связывается лишь со случайными процессами, подчиняющимися вероятностным законам. Статистическая теория утверждает, что информационные процессы не происходят в однозначно детерминиованных системах. В частности, компьютер, выполняющий определенную программу и функционирующий по законам необходимости, оказывается, согласно статистической теории, неинформационной системой, а игральная кость — информационной. Во-вторых, отвлечение от осмысленности и полезности информации, вполне уместное при анализе систем связи, уже не может нас удовлетворить, если речь идет о живых системах, о человеке и обществе. Эти и другие неадекватности заставляют искать иные, более общие определения информации. Это, конечно, означает не отказ от статистической теории, а лишь четкое определение области ее применимости.

Характерной особенностью статистической теории является то, что в качестве математического средства формализации понятия неопределенности была выбрана вероятность. Однако понятие неопределенности в общем случае оказывается шире понятия вероятности, а статистическая теория не может правильно описывать те процессы снятия неопределенности, которые к вероятности не сводятся. Действительно, пусть имеется множество элементов, из которых осуществляется выбор. Выбор может происходить и по заранее заданному закону (детерминированному алгоритму), неизвестному познающему субъекту. В этом случае у субъекта существует неопределенность относительно данного закона, однако эта неопределенность имеет невероятностную природу. Даже если к такому случаю удастся применить статистическую теорию, это будет искусственный прием, искажающий внутреннюю логику и сущность познаваемого процесса. Это есть ни что иное, как втискивание реальной ситуации в прокрустово ложе готовой теории вместо того, чтобы разработать теорию, адекватную своему предмету.

Невероятностные теории, относящиеся к качественному аспекту информации, будут рассмотрены ниже. Здесь же упомянем одну из наиболее известных невероятностных количественных теорий — алгоритмический подход А. Н. Колмогорова. В основе подхода лежит тот факт, что количество информации, заключенной в объекте нас чаще всего интересует не само по себе (абсолютное количество информации), а относительно определенного объекта , то есть взаимное, относительное количество информации. Количество информации по А. Н. Колмогорову — это сложность объекта относительно объекта , данного в качестве строительного материала. А именно, количество информации измеряется как наименьшая длина алгоритма, строящего объект из объекта . Алгоритмический подход связан с конструктивным направлением в математике.

Качественный аспект информации

Теории, имеющие дело с «чистым» количеством информации, по необходимости ограничиваются синтаксическим аспектом — низшим в тройке семиотических характеристик. Однако информация имеет еще и качественную сторону (вернее, стороны), некоторые из которых успешно формализуются и изучаются средставми математики. В частности, для некоторых качественных характеристик информации получены количественные выражения.

Наиболее простая теория, имеющая отношение к качеству информации — это теория кодирования. Данное направление развивалось в тесной связи со статистической теорией, но отнюдь не сводится к ней. Для теории кодирования характерно использование не вероятностных, а алгебраических методов.

Понятие кодирования охватывает такие процессы, как перевод предложения с одного естественного языка на другой, представление текста в памяти компьютера, где каждой букве ставится в соответствие числовое обозначение, переход от «человеческого» алфавита к азбуке Морзе и обратно и т. д. Система правил, позволяющая переводить сообщение из одной формы представления в другую, называется кодом.

В процессе кодирования форма представления информации, вид сообщения, количество символов, используемых для его записи, и другие характеристики могут существенно меняться. Однако, и это главное, содержание сообщения остается неизменным. Следовательно, от перекодирования не изменяется неопределенность, устраняемая сообщением у субъекта. Таким образом, кодирование изменяет качественную природу носителя информации и количественные характеристики формы представления сообщения, но не изменяет количество и качество информационного содержания сообщения. Как видно, теория кодирования, хотя и имеет определенное отношение к качественному аспекту информации, все же не выходит за пределы синтаксического уровня.

В человеческом общении особую роль играет смысл информации, то есть семантический аспект. Одна из известных семантических теорий — теория Р. Карнапа и Й. Бар-Хиллела [А11], использующая аппарат символической логики. По существу, каждому предложению, выражающему законченную мысль, ставится в соответствие его вероятность (мера истинности). Когда из более простых суждений образуются более сложные, вероятность последнего вычисляется по определенным правилам исходя из вероятностей исходных суждений. Таким образом, теория Карнапа — Бар-Хиллела основывается на вероятностной логике.

Допустим, имеется начальное достоверное знание о мире , и пусть — гипотеза. Методы вероятностной логики позволяют вычислить степень новизны гипотезы по сравнению с начальным знанием — . Степень новизны тем больше, чем меньше данная гипотеза следует из установленных фактов. Очевидно, если сбъекту будет сообщена новая информация, никак не следующая из имеющегося у него запаса знаний, то субъект получит большое количество информации. Наоборот, если то, что субъекту сообщено, и без того следует из известных фактов, то никакой новой информации субъект не получает. На основании этого в теории Карнапа — Бар-Хиллела степень новизны сообщения и считается количеством семантической информации.