Самоорганизация и неравновесные
процессы в физике, химии и биологии
 Мысли | Доклады | Самоорганизация 
  на первую страницу НОВОСТИ | ССЫЛКИ   

Ю.Л. Климонтович. Статистическое определение информации по Шеннону
от 18.05.06
  
Доклады


Трах, трах, тара-рах! Едет баба на волах.

Определение понятия - информация - не менее сложно, чем определение понятий: хаос и порядок. В книге (Чернавский, 2001) в начале главы - Основные понятия динамической теории информации - приведено более двадцати определений информации. Среди них есть, несомненно, очень интересные. Отметим, лишь определение Генри Кастлера:
Информация есть случайный и запомненный выбор одного из нескольких возможных и равноправных -.
Однако, ни в этом определении, ни в других нет указания ни на способ количественной оценки информации, ни на определение ее ценности. Все определения в той или иной мере основаны на интуиции. Ясно лишь, что количественное определение информации может быть дано лишь на основе статистической теории.
Основы количественной теории информации заложены в классических работах Шеннона.
Шеннон предложил два количественных способа определения информации. Первое соответствует определениям энтропии по Больцману и Гиббсу. Большая общность определения Шеннона в том, что оно не связано с механической моделью вещества как это имеет место в статистической теории Больцмана и Гиббса. Шеннон использует распределения значений величин, которые не имеют физических аналогов. Именно такие величины существенны, в частности, в теории связи, одним из основоположников которых был Клодт Шеннон.
Энтропия, введенная Шенноном, получила название S-информация. Как и энтропия (S) Больцмана-Гиббса она служит мерой степени неопределенности при выбранном уровне статистического описания рассматриваемой системы. По этой причине и оправдан термин S-информация.
Такое определение, хотя и широко используется в литературе, все же не является достаточным в теории информации и, тем более, при исследовании информативности открытых систем. На примере критерия S-теорема было показано, что относительная мера степени упорядоченности состояний открытых систем определяется (с учетом описанной выше перенормировки к заданному значению средней энергии) разностью энтропий.
В связи с этим для открытых систем более предпочтительным является другое, также предложенное К. Шенноном, определение информации. Суть его состоит в следующем.
Информация выражается разностью безусловной и условной энтропий, тем самым, с соответствующим изменением степени неопределенности при статистическом задании состояний рассматриваемой системы
Ю.Л. Климонтович. Введение в физику открытых систем. Информация и энтропия открытых систем
http://kirsoft.com.ru/freedom/KSNews_231.htm
Ю.Л. Климонтович. Энтропия и информация открытых систем
http://kirsoft.com.ru/freedom/KSNews_228.htm

  


СТАТИСТИКА