Самоорганизация и неравновесные
процессы в физике, химии и биологии
 Мысли | Доклады | Самоорганизация 
  на первую страницу НОВОСТИ | ССЫЛКИ   

Руслан Стратонович. Определение ценности информации
от 02.09.05
  
Доклады


Уходите мысли восвояси, Обнимись души и моря глубь. Тот, кто постоянно ясен, Тот, по-моему, просто глуп

Практическая деятельность человека представляет чрезвычайное разнообразие, и для удовлетворения всех ее требований, разумеется, недостает науке многих и различных метод. Но из них особенную важность имеют те, которые необходимы для решения различных видоизменений одной и той же задачи, общей для всей практической деятельности человека: как располагать средствами своими для достижения по возможности большей выгоды - П.Л. Чебышев. Сочинения, т.11, Спб., 1907, с.239
Руслан Стратонович. Определение ценности информации
Глава 9. Определение ценности информации Понятие ценности информации, вводимое в настоящей главе, связывает шенноновскую теорию информации с теорией статистических решений. В последней теории основным является понятие средних потерь или риска, которое характеризует качество принимаемых решений. Ценность информации специализируется как та максимальная польза, которую данное количество информации способно принести в деле уменьшения средних потерь. Такое определение ценности информации оказывается связанным с формулировкой и решением определенных условных вариационных задач. Ввести понятие ценности информации можно тремя родственными способами, выбирая за основу хартлиевское, больцмановское или шенноновское количество информации. При выборе шенноновского количества информации нужно решать третью вариационную задачу. Между указанными определениями существует известная связь, и одно понятие может служить удобной заменой другого. Все эти понятия характеризуют определенный обьект - бейесовскую систему, который наряду с каналом является важнейшим обьектом исследования теории информации. Прежде чем теория ценности информации превратилась в самостоятельный раздел теории информации, существующий и развивающийся независимо от теории передачи сообщений по каналам, некоторые ее элементы и результаты вызревали в недрах традиционной теории, исследующей каналы. К. Шенноном в 1948 г. [1] была рассмотрена третья вариационная задача, взятая в форме минимизации энтропии при заданном уровне потерь или, в шенноновской терминологии, при заданной точности воспроизведения. Используемая при этом терминология далека от терминологии статистических решений, но это, разумеется, не меняет математической сущности. Позднее Колмогоровым [1] было введено основанное на указанной вариационной задаче понятие e - энтропии и получен ряд относящихся к нему результатов. Вместо термина e -энтропия мы используем здесь термин a - информация, поскольку рассматривается все-таки не энтропия, а шенноновская информация. В настоящее время в работах американских авторов вслед за работами Шеннона [1,3] данная теория (в первоначальной шенноновской интерпретации) получила значительное развитие (см. особенно монографию Бергера [1]). Мы придерживаемся, однако, другой интерпретации и другой терминологии. В принятом нами способе изложение понятия и результаты теории рассматриваются независимо от понятия каналов с помехами, их пропускной способности. Мы хотим подчеркнуть, что круг вопросов, связанный с третьей вариационной задачей, равноправен кругу вопросов, относящихся ко второй или первой вариационной задаче (это, конечно, не исключает возможности обьединенного рассмотрения, например, формулировки обобщенной теоремы Шеннона, см. 11. 5)
9.1. Уменьшение средних штрафов при уменьшение неопределенности Польза, приносимая информацией, заключается в том, что она позволяет уменьшить потери, связанные со средними штрафами. Предполагается, что в условии задачи указана функция штрафов, которая по-разному штрафует различные действия и решения, принимаемые действующим лицом. За более удачные действия назначаются меньшие штрафы или большие награды, чем за менее удачные. Цель заключается в минимизации средних штрафов. Имеющаяся в распоряжении информация позволяет добиться меньшего уровня средних потерь. Прежде чем переходить к математической формулировке сказанного, рассмотрим в этом параграфе, носящем подготовительный характер, более простую задачу (типа первой вариационной задачи), иллюстрирующую тот факт, что высокая неопределенность в системе (негинформация), действительно, повышает уровень потерь. Пусть имеется система с дискретными возможными состояниями. В действительности осуществляется одно из возможных состояний и величина x, описывающая состояние, принимает одно определенное значение. Пусть в соответствии с назначением системы указана функция штрафа с(x). Если, например, требуется, чтобы система придерживалась вблизи нулевого состояния x=0 (задача стабилизации), то может быть взята, скажем, функция штрафа с(x) = abs(x). По каким-либо причинам пусть в данный задаче невозможно обеспечить идеальное равенство x=0. Например, вследствие неизбежных флюктуаций в составных частях системы, в ней присутствует статистический разброс, т.е. имеет место неопределенность - негинформация. При этом величина x будет случайной и будет описываться некоторыми вероятностями P(x).  Мерой неопределенности, как известно, является энтропия
Hx   = S P(x)  ln P(x).

(9.1.1)
Будем предполагать, что количество неопределенности Hx зафиксировано и рассмотрим, какие при этом возможны средние штрафы M c(x). Существует некоторый нижний предел для этих штрафов, который может быть найден теми же методами, что и в 3.2, 3.3, 3.6. В самом деле, там уже решалась задача на экстремум средних штрафов при условии фиксированной энтропии (первая экстремальная задача)…
<...>
Согласно теореме 3.4 потери R0(Hx) при Т > 0 возрастают с ростом энтропии H(x). Пусть теперь имеется приток информации, уменьшающий энтропию согласно (1.1.2). Если сначала в системе была негоинформация Hx и вследствие притока информации I она уменьшилась до величины Hx - I = Hps, то, очевидно, это привело к уменьшению потерь. Разность говорит о той пользе, которую принесла информация I. Она есть количественная мера ценности информаци
<...>
Рис. 9.1.


Средние потери и дифференциальная ценность информации как функции от энтропии (пример 1).
<...>
Как было отмечено, уменьшение неопределенности в системе может быть достигнуто приобретением информации. При этом количество информации мыслилось просто как разность двух энтропий Hx одной переменной x. Между тем, согласно в гл. 6, количество информации I = Ixy является более сложным понятием, предполагающим существование двух случайных величин x и y (а не одной x). Должна быть случаная величина x, о которой передается информация, и случайная величина y, которая несет эту информацию. Это заставляет усложнить приведенные в настоящем параграфе рассуждения, перейдя от простой (первой) вариационной задачи к усложненной вариационной задаче, которую будем называть третьей вариационной задачей теории информации
<…>
9. 3.  Определение ценности шенноновского количества информации и a-информации Как и в п. 2 предыдущего параграфа, будем считать, что задана случайная величина x, описываемая распределением P(dx) и (измеримая) функция штрафов c(x,u) от x и оценки u. Значения x и u являются точками заданных измеримых пространств X и U соответственно. Тем самым задана система [P(dx), c(x,u)], которую будем называть бейсовской системой
Для любого условного распределения P(du/x) можно вычислить средние штрафы или риск
Mc(x,u) = Sum c(x,u) P(du/x) P(dx)    -  где Sum - знак интеграла

(9.3.1)


И шенноновское количество информации
I(xu) = Sum ln [p(du/x)/Sum P(du/x) P (dx)] P(du/x)P(dx)

(9.3.2)


Сформулируем следующую третью экстремальную задачу. Назовем условное распределение P(dx/u) экстремальным, если оно обращает в экстремум средние штрафы (9.3.1) при фиксированном значении количества информации (9.3.2):
I(xu) = I

(9.3.3)


Где I - независимо задаваемое число. Как показывает анализ, это же распределение обращает в экстремум, а именно в минимум, информацию I(xu) при фиксированных средних штрафах:
I(xu) = min,
Sum c(x,u) P(du/x) P(dx) = a = fix.

(9.3.4)


Средние штрафы (риск) (9.3.1) экстремального распределения будем обозначать буквой R, Вследствие условия (9.3.3) они являются функцией от I:
R(I) = Sum c(x,u) P(du/x) P(dx).

(9.3.5)


Наряду с R(I) можно рассматривать и обратную зависимость I(xy) от а. Значение I(a) называем информацией, соответствующей уровню потерь R = a или, коротко а-информацией. Как видно из последующего (теорема 9.6), функция I(xy) от а - является вогнутой (рис. 9.7).  Поэтому R(I) является, вообще говоря, двузначной. В общем случае функция R(I) принимает минимальное значение, равное нулю, на некотором интервале
R0 =< R =< RQ

(9.3.6)


Функцию R(I) = R+(I), обратную функции I(R), R =< R0, назовем нормальной ветвью, а функцию R(I) = R-(I), обратную к I(R), R >= RQ, аномальной ветвью. Для нормальной ветви определяем ценность шенноновской информации
V(I) = R0 - R+(I).

(9.3.7)


Для аномальной ветви ценность информации определяем формулой
V(I) = R-(I) - RQ.

(9.3.8)


<…>
Теорема 9.2. Пусть задана бейесовская система [P(dx), c(x,u)] и наблюдаемая функция у(х), описываемая условным распределением P(y/x). Каков бы ни был решающий алгоритм u = d(y) (рандомизированный или нерандомизированный), уровень потерь удовлетворяет неравенству
Мс(х, d(y))>=R(I(xy)) = R0 - V (I(xy))
<…>
Приведенная теорема свидетельствует о плодотворности введения понятия ценности информации. Вопрос о том, как фактически достигать предельно малых средних штрафов, указываемых теорией ценности информации - будет разбираться в гл. 11. Понятие информации, соответствующей заданному уровню потерь, было введено (под названием скорости создания сообщений) Шенноном [1] и (под  названием W-энтропии или e-энтропии Колмогоровым [1], а понятие ценности информации - Стратоновичем [3].
<…>
Глава 11. Асимптотические результаты, касающиеся ценности информации. Третья асимптотическая теорема Главным асимптотическим результатом, затрагивающим ценность информации, следует признать факт асимптотической равноценности различных родов информации: хартлиевской, больцмановской, шенноновской, имеющей место при весьма широких предположениях типа требований информационной устойчивости. Этот факт не сводится к факту асимптотической безошибочности передачи информации через канал с помехами, утверждаемому теоремой Шеннона (гл.7), а является самостоятельным и не менее значимым. Комбинация двух указанных фактов приводят к обобщенному результату, носящему название обобщенной теоремы Шеннона (п.11.5). В последней рассматривается общий критерий качества, определяемый произвольной функцией штрафов и соответствующим ей риском. Исторически факт асимптотической равноценности информации был впервые доказан (1959 г.) именно в такой комбинированной, завуалированной форме, в сочетании со вторым фактом (асимптотической безошибочности). Он не осмысливался сначала как самостоятельный факт, а составлял по существу часть обобщенной теоремы Шеннона. Мы в этой главе придерживаемся другого способа изложения и рассматриваем факт асимптотической равноценности различных количеств информации как совершенно особый самостоятельный факт, более элементарный, нежели обобщенная теорема Шеннона. Этот принцип изложения мы считаем более предпочтительным как с принципиальной, так и с педагогической точки зрения. При этом отчетливее видна симметрия теории информации, равноправие второй и третьей вариационных задач. Помимо самого факта асимптотической равноценности информаций, разумеется, важен и интересен вопрос о величине расхождения между ценностями различных родов информации. В п. 11.3, 11.4 приводятся найденные автором первые члены асимптотического разложения для указанного расхождения. Эти члены являются точными для выбранного случайного кодирования и дают представление (как во всяком асимптотическом, полусходящемся разложении) о быстроте убывания расхождения, хотя сумма всех остальных членов разложения и не оценивается. Особо рассматривается вопрос об инвариантности результатов относительно преобразования функции штрафов с(x, y) ->  с(x, y) + f(x), которое не сказывается на передаче информации и на ее ценности. Предпочтение отдается тем формулам, в которых фигурируют величины и функции, инвариантные относительно указанного преобразования, например, берется отношение инвариантной разности R' - R = V - V' к инвариантной величине V, а не к риску R, который является неинвариантным (см. теорему 11.2). Разумеется, исследования в данном направлении могут быть дополнены и улучшены. Скажем, при рассмотрении обобщенной теоремы Шеннона в п.11.5 законно ставить вопрос о быстроте исчезновения расхождения в рисках. Этот вопрос, однако, остался нерасмотренным
11.5 Обобщенная теорема Шеннона Здесь будет рассмотрено обобщение результатов п.7.3 (теоремы 7.1 и 7.2) и п.8.1 (теорема 8.1) на случай произвольного критерия качества. Напомним, что в гл.7 был взят единственный критерий качества, именно, качество информационной системы характеризовалось средней вероятностью принятия ложного сообщения. Работами Колмогорова [1], Шеннона [4], Добрушина [1] начато распространение указанных результатов на случай более общего критерия качества, характеризуемого произвольной функцией штрафов с...
Руслан Стратонович. Теория информации (1975). Глава 9. Определение ценности информации. Обобщенная теорема Шеннона
http://kirsoft.com.ru/freedom/KSNews_186.htm
Р.Л. Стратонович. О ценности информации. Изв. АН СССР.  Сер. техн. Кибернетики. 1965 (5). с.3–12  
В последующем потоке работ по теории информации выделяется книга Р.Л. Стратоновича (Теория информации. М., Сов.радио, 1975). В ней, наряду с традиционным к тому времени изложением основных результатов теории информации Шеннона, излагается и разработанная Р.Л. Стратоновичем теория ценности информации. Прослеживается также глубокая аналогия математического аппарата теории информации и статистической термодинамики. Известны и другие, чем у Стратоновича, способы определения ценности информации. Один из них предложен в работах М.М. Бонгарда и А.А. Харкевича, а другой в работе В.И. Корогодина (см. Чернавский). Существенно при этом, что количественная оценка ценности информации существенно зависит от достижимости (полной, вероятной или невероятной) поставленной цели. В этом отношении понятие: ценность информации - является, конечно, субьективным.
При достижении поставленной цели роль получаемой информации может быть двоякой. Условно можно считать информацию положительной, если она облегчает достижение поставленной цели. Например, получение отраженного сигнала при радиолокации. Естественно, что информация об отраженном при отражении налета является ценной.
Напротив, информация отрицательна, если наличие ее затрудняет достижение поставленной цели. Отрицательную, в этом смысле, информацию можно назвать и дезинформацией. Примером может служить шумовое подавление полезного сигнала при радиолокации. При этом для налетчиков дезинформация является ценной.
Из изложенного следует, что понятие ценности информации не является однозначным. Это существенно затрудняет формализацию этого понятия. За примерами количественных определений ценности информации отсылаем к книгам Р.Л. Стратоновича и Д.С. Чернавского. В этих книгах, а также в книгах Г. Хакена (Информация и самоорганизация) и Б.Б. Кадомцева (Динамика и информация), прослеживается также глубокая аналогия математического аппарата теории информации и статистической термодинамики. Значение этих книг прежде всего в том, что они содержат существенный вклад в разьяснение ряда принципиальных вопросов и понятий как классической, так и квантовой физики. В число основных входит и понятие информация
Ю.Л. Климонтович. Введение в физику открытых систем. Информация и энтропия открытых систем
http://kirsoft.com.ru/freedom/KSNews_231.htm
http://kirsoft.com.ru/freedom/KSNews_346.htm
13 января 1997 года скоропостижно скончался один из самых ярких ученых современности и замечательный человек
Руслан Леонтьевич Стратонович.
Я познакомился с ним в 1955 году, когда на семинаре кафедры физики колебаний физического факультета Московского
университета он докладывал результаты своей кандидатской диссертации. Она была посвящена, в большой мере, теории флуктуаций в автоколебательных системах. Меня поразила глубина его познаний, легкость, с которой он разбирал самые сложные вопросы теории и эксперимента...Результаты диссертации легли в основу его первой монографии Избранные вопросы теории флуктуаций в радиотехнике. На русском языке она была опубликована в 1961 году и после этого неоднократно издавалась на
английском языке (В этой монографии им была предложена (как он ее тогда называл) симметризационная форма стохастических
интегральных и дифференциальных выражений для марковских процессов и основанное на ней стохастическое исчисление, которое теперь носит его имя и известно в науке наряду с исчислением Ито. Сам он до конца дней называл его симметризационным). По широте охвата материала, по оригинальности она не имела в то время себе равных в литературе. Во
многом он опередил своих современников на несколько десятилетий. Эта книга и по настоящее время остается
непревзойденной.
Руслан Леонтьевич (многие его называли просто Руслан) обладал удивительным интеллектом. С одинаковой легкостью он разбирал тонкие вопросы как теории, так и эксперимента. Широта его интересов удивительна - от теории колебаний и теории информации до теории квантовых измерений, от термодинамики до самых тонких вопросов теории стохастических процессов и статистической физики
Ю.Л. Климонтович. Штрихи к портретам ученых. Руслан Стратонович. М.: Янус-К, 2005. с.62-66
http://www.twirpx.com/file/588468/ 3.7Мб
http://sinsam.kirsoft.com.ru/KSNews_334.htm
Профессор Р.Л. Стратонович (1930-1997). Воспоминания родных коллег и друзей
http://spkurdyumov.narod.ru/CULTURE.htm
http://www.mptalam.org/200710.pdf
В книге рассмотрена в основном теория нелинейных преобразований флюктуационных и полезных сигналов, воздействие шума на электронное реле и теория работы автоколебательных систем при наличии флюктуации.
Р.Л. Стратонович. Избранные вопросы теории флюктуаций в радиотехнике. М.: Советское радио. 1961. 558с.
http://www.twirpx.com/file/287060/
Р.Л. Стратонович. Условные Марковские процессы и их применение к теории оптимального управления. М.: МГУ, 1965. 319с.
http://www.twirpx.com/file/77957/
Р.Л. Стратонович. Теория информации. М.: Сов. радио, 1975, 424с.
http://www.twirpx.com/file/34571/
Р.Л. Стратонович. Нелинейная неравновесная термодинамика. 1985, 480с.
http://www.twirpx.com/file/306393/
Р.Л. Стратонович. Неравновесная термодинамика открытых систем
http://sinsam.kirsoft.com.ru/KSNews_150.htm
Р.Л. Стратонович. Теория информации. Деревья (Великий Лес) выбора
http://sinsam.kirsoft.com.ru/KSNews_323.htm
Р.Л. Стратонович. Энтропия в квантовой статистике // ЖЭТФ. 1955. Т.28. В.5. с.547558 [Stratonovich R.L. Entropy in quantum statistics // Sov. Phys. JETP. 1955. V.1. P.426-434]
http://www.mathnet.ru/php/person.phtml?option_lang=rus&personid=21286

  


СТАТИСТИКА