Большая База Рефератов - Энтропия. Теория информации - бесплатно рефераты, скачать рефераты, рефераты на тему

Меню

Поиск

Энтропия. Теория информации

Все стадии перехода от состояния максимальной энтропии, описываемого условиями (3.4), (3.5), (3.6), к состоянию жесткой детерминации, которому соответствуют условия ( 3.9 ) + (3.13) можно представить в виде дуги, соединяющей исходное состояние Н с конечным состоянием К (рис. 2).

Рис. 2

На рис.3 изображена расширяющаяяся иерархическая спираль, которая может служить моделью формирования иерархических упорядоченных структур.

Пусть нижний уровень этой спирали (п = 0) соответствует начальному алфавиту, состоящему из N0 различных элементов (букв, атомов, нуклеотидов и др.).

n = 3

n = 2

n = 1

n = 0

рис. 3

Тогда на уровне N = 1 из этого алфавита можно составить N1 «слов». Если каждое слово состоит из K1 букв, то из N0 букв можно составить число слов, равное:

N1 = N0K1 (3.14)

Соответственно, на уровне п = 2 из N1 «слов» можно составить количество «фраз», равное:

N2=N1K2=N0K1K2 (3.15)

где Кг - число входящих в каждую «фразу» «слов»

Для упрощения математических выражений мы уже приняли одно допущение, сказав, что все слова содержат одинаковое количество букв (К1), а все фразы содержат одинаковое количество слов (К2). Очевидно, что в реальных системах (например, в письменных текстах ) эти условия не соблюдаются. Однако для выполнения общих свойств нашей информационно -энтропийной модели подобные упрощения вполне допустимы, поэтому мы введем еще одно допущение:

K1 = К2 = К (3.16)

Подставив (3.16) в (3.15), мы получим :

N2=N0K2 (3.17)

Проводя аналогичные операции для любой (п-ой) ступени при условии:

K1 = K2 = … = Кп = К,

получим:

Nn = N0K2 (3.18)

Рассмотрим пример, иллюстрирующий увеличение разнообразия (числа различимых элементов) с переходом на более высокие уровни изображенной на рис . 3.3 спирали в соответствии с формулами (3.14) + (3.18).

Если алфавит (уровень п = 0) содержит 30 букв (N0 = 30), а каждое «слово» искусственного текста состоит из 6 букв (К = 6), то общее число таких «слов» составит:

N1 = N0K1 = 306 = 729 ·106

Среди указанного количества «слов» большинство составят бессмысленные или даже непроизносимые «слова» (из 6-ти гласных, 6-ти согласных и т.п.).

Но если хотя бы 0,01% от общего числа буквенных комбинаций составят осмысленные слова, общий лексикон составит 72 900 слов.

Еще более прогрессивно возрастает число комбинаций с переходами на более высокие уровни n = 2, п = 3 и т.д.

Для определения возрастания информационной емкости по мере перехода на более высокие уровни изображенной на информационно-энтропийной спирали напомним , что максимальное количество структурной информации A/s' накапливается при переходе от Нr′ = Нmax к Нr′′ = 0, т.е. равно:

D IS = Нr′ – Нr′′ = Hmax

Величина максимальной энтропии для п - ой ступени определяется как:

Нпmax = log Nn = Кn log N0 (3.19)

Сопоставляя величину Нпгнх с величиной энтропии ступени n = О

H0max = log N0 (3.20)

убеждаемся, что в результате перехода с уровня n = 0 на уровень n , максимальная энтропия возросла в Кn раз :

Нпmax =Кn Н0max (3.21)

При переходе от исходного состояния Н в конечное состояние К энтропия уменьшается от Нr = Нmax до Нr = 0, а величина накапливаемой системой информации соответственно возрастает от I=0 до D IS = Нmax (см. рис 1).

При переходе с уровня n = О на уровень n в соответствии с увеличением энтропии в Кn раз увеличивается значение DISmax то есть возрастает потенциальная емкость:

(D ISmax)0 = Kn(D ISmax)0 (3.22)

В качестве примера подсчитаем с помощью формулы (3.22), как будут возрастать размеры витков спирали по мере увеличения номера ступени п .

Приняв условно диаметр витка при n = 0 за 1 см., получим размеры вышележащих витков, сведенные в таблицу 2.

Таблица 2

Диаметры витков в см.

216

1296

7776

Таблица 2 дает наглядное представление о степени прогрессивности роста информационной емкости по мере перехода на вышележащие витки. Нетрудно заметить, что при n = 3 , размеры витка (36 см.) близки к размерам раскрытой книжки, при n = 5 – к размерам довольно просторной залы (с диаметром 12,96 м ) , а при п = 6 – к размерам городской площади (с диаметром 77,76 м ).

Вследствие роста информационной емкости система, поднимаясь в процессе развития на все более высокие уровни иерархической спирали и постоянно стремясь к состоянию жесткой детерминации, оказывается тем дальше от этого состояния (в смысле потенциальной возможности накопления информации), чем больше витков в этой спирали ей удается пройти.

Как уже отмечалось, системы в своем развитии, как правило, не достигают состояния жесткой детерминации. Условием их динамичного равновесия оказывается сочетание частично детерминированных , а частично вариабельных (вероятностых) внутренних связей. Соотношение степени детерминации и вариабельности внутренних связей может быть выражено количественно как отношение величины остаточной энтропии Нr к количеству накопленной и сохраняемой структурной информации D IS:

G =

(3.23)

D IS

где G – коэффициент стохастичности (вариабельности, гибкости) внутренних связей.

Оптимальным соотношением жесткости и гибкости внутренних связей Gopt оказывается такое соотношение, которое соответствует степени вариабельности условий внешней среды.

Результаты исследований статистических свойств письменных текстов дали близкие результаты для всех европейских языков:

G @ ¼

Очевидно, эта величина G является для языка оптимальной, так как она характеризует соотношение, возникшее в результате эволюционного развития языка. Будучи величиной статистической, она может варьироваться в зависимости от характера текста: для служебных бумаг и инструкций G < Gopt, для поэтических текстов G > Gopt.

Чем больше величина G, тем менее избыточным будет текст. Избыточность текста характеризуется коэффициентом избыточности R, определяемым как:

R =

Hmax - Hr

D IS

(3.24)

Hmax

Сопоставляя (3.23) и (3.24). можно выразить величину G через R как:

G =

1 – R

(3.25)

ИНФОРМАЦИЯ И ЭНЕРГИЯ

Для выявления взаимосвязи структурной информации с внутренней энергией систем воспользуемся уравнением Гельмгольца:

U=F+ST (4.1)

где: U - внутренняя энергия ;

F - свободная часть внутренней энергии ;

ST - связанная (энтропийная ) часть внутренней энергии ;

S - физическая энтропия ;

Т - абсолютная температура.

В состоянии термодинамического равновесия вся внутренняя энергия становится «энтропийной», а сама энтропия достигает максимальной величины[3].

Таким образом , при достижении равновесия достигается условие:

F=0 (4.2)

из которого, согласно (4.1) следует:

U = Smax T (4.3)

или:

Smax =

(4.4)

Преобразуем выражение (4.1), поделив левую и правую части уравнения на Т:

+ S

(4.5)

Подставляя (4.4) в (4.5) и перенося член S в левую часть с противоположным знаком, получаем :

Smax – S=

(4.6)

Для дальнейшего рассмотрения к входящему в выражение члену S добавим индекс r, имея в виду, что Sr – это та реальная энтропия, внутренняя энергия которой определяется выражением (4.1).

Учитывая, что в соответствии с соотношением (1.4)

S = K H (4.7)

приведем выражение (4.6) к виду:

K ( Hmax – Hr )

(4.8)

где К – постоянная Больцмана;

Нтах – максимальная информационная энтропия ;

Нr – реальная информационная энтропия .

Сопоставляя (4.8) с ранее полученным выражением (2.7) получаем :

KD IS

(4.8)

Полученное соотношение свидетельствует о том, что при неизменном значении температуры Т свободная часть внутренней энергии F зависит только от количества сохраняемой системой структурной информации D IS.

Другими словами, свободная энтропия F – это часть энергии, которая расходуется на определяющие структурную организацию системы межэлементной связи.

Г.Гельмгольц назвал эту часть внутренней энергии «свободной энергией» имея в виду, что эту энергию, в отличие от составляющей внутренней энергии ST , можно «освободить» для той или иной полезной работы. Такое «освобождение» осуществляется путем разрушения внутренних связей, определяющих структуру используемых для этой цели систем: сжигания органических веществ (нефти, угля), разрушения атомов или атомных ядер и т.п.

Введем понятие потенциального коэффициента полезного действия η, показывающего, какая часть внутренней энергии может быть, в принципе, использована для полезной работы:

η =

(4.10)

С учетом (4.4) и (4.9) выражение (4.10) приводится к виду :

η =

DIS

(4.10)

Hmax

Сопоставляя (4.11) с выражением (3.24), приходим к выводу, что потенциальный КПД η равен коэффициенту избыточности R.

Рассмотрим два крайних состояния систем, одному из которых соответствуют условия D IS = 0 (состояние равновесия), а другому – D IS = Нmax (жесткая детерминация) .

В соответствии с выражением (4.11) в состоянии равновесия η = 0 (поскольку вся внутренняя энергия в этом случае оказывается не «свободной», а «связанной», т.к. F = 0, a U = Smax T).

При жесткой детерминации (D IS = Нmax) в соответствии с (4.11), η = 1.

Это условие означает, что вся внутренняя энергия расходуется только на сохранение межэлементных структурных связей, поэтому структура такой системы останется неизменной (жестко детерминированной ) до тех пор, пока система не разрушится под влиянием изменившихся условий внешней среды.

При неизменных внешних условиях и при η = 1 осуществляется «вечное движение», примером которого может служить жестко детерминированное движение небесных светил и планет.

ЗАКЛЮЧЕНИЕ.

Подводя итог всему, что было сказано выше, отметим, что по мере того, как рациональная наука все глубже и глубже постигает сложность организации существующих в мире систем она все в большей мере осознает недостаточность ранее признанных редукционистских концепций. Поиски источников информации определяющей структуры и функции сложных систем, приводят науку к необходимости создания телеологических концепций, то есть, в конечном счете, к признанию некого организующего начала, которое и есть не что иное, как проявление воли Творца.

СПИСОК ЛИТЕРАТУРЫ

1. Седов Е., Кузнецов Д. В начале было Слово… – СПб., 1994.

2. Шеннон К.Е. Математическая теория связи. Работы по теории инфор -мации и кибернетике., М, 1963.

3. Шеннон К. Е. Бандвагон. /Работы по теории информации и кибернетике/, М., 1963.

4. Бриллюэн Л. Научная неопределенность и информация, М.,1966.

5. Винер Н. Кибернетика, или Управление и связь в животном и машине. М,1968.

6. Аптер М. Кибернетика и развитие М. 1970.

7. Седов Е.А. Взаимосвязь информации, энергии и физической энтропии в процессах управления и самоорганизации. Информация и управление. М., Наука, 1986.

8. Седов Е.А. Эволюция и информация. М., Наука, 1976.

9. Шеннон К. Е. Предсказание и энтропия английского печатного текста.

10. Пригожий И., Ствнгврс И. Порядок из хаоса. М.. Прогресс, 1986.

11. Тейяр де Шарден Феномен человека. М., Наука, 1987.

[1] Зависимость вероятностей последующих событий от предыдущих определяется в теории вероятностей термином «корреляция».

[2] Близкое к указанному сочетание избыточной и непредсказуемой информации было затем получено в результате анализа тестов на русском и ряде европейских языков.

[3] Данное состояние относится к категории теоретических абстракция, поскольку при достижении термодинамического равновесия не разрешается структура элементарных частиц.

Страницы: 1, 2, 3, 4, 5

Новости

Мои настройки

Наверх