На головну

Ентропія і інформація в системному аналізі

Суркова Л. В.

С90Теорія системного аналізу: Навчальний посібник / Л. В. Суркова,

Н. Г. Мішина - М .: Університет машинобудування, 2013. - 46 с.

У навчальному посібнику викладено теоретичні основи системного аналізу: інформаційна ентропія і кількість інформації.

Призначено студентам 3-4 курсів при вивченні теоретичного курсу навчальних дисциплін «Системний аналіз», «Системний аналіз процесів хімічної технології», «Теорія системного аналізу і прийняття рішення» денної та очно-заочної форм навчання за напрямами підготовки: 241000.62 «Енерго- та ресурсозберігаючі процеси хімііческой технології, нафтохімії та біотехнології », 280700.62« техносферной безпеку », 240700.62« Біотехнологія »та ін.

УДК 007: 66.0

ББК 34.455

© Л. В. Суркова, М. Г. Мішина, 2013 роки

© Університет машинобудування, 2013 роки

Ентропія і інформація в системному аналізі

Сучасне розуміння інформації та її роль в штучних і 'природних системах склалося не відразу. Інформація - це сукупність знань, отриманих різними науками: фізикою, біологією, філософією, теорією зв'язку і т. Д.

З іншого боку до цієї проблеми прийшла філософська теорія пізнання. Визнавши, що наше знання є відображенням реального світу, матеріалістична теорія пізнання встановила, що відображення є загальною властивістю матерії. Свідомість людини є специфічною формою відображення.

Як тільки стан одного об'єкта знаходиться відповідно до станами іншого об'єкта, ми говоримо, що один об'єкт відображає інший, містить інформацію про інше (положення стрілки вольтметра і напруга на його клемах, відповідність між нашими відчуттями і реальністю).

В даний час інформація розглядається як фундаментальне властивість матерії. Поняття інформації так само фундаментально для всієї системології як і поняття енергії для фізики.

Досліджуючи інформацію, кібернетика не відчинила нового властивості матерії: воно відоме в філософії під назвою властивості відображення. Нове полягає в тому, що інформацію можна досліджувати кількісно.

1.1. Ентропія дискретного безлічі.

поняття невизначеності

У системному аналізі теоретичних ядром є поняття ентропія і кількість інформації. Ентропія виступає як міра невизначеності. Характер невизначеності може бути найрізноманітнішим, наприклад:

- Невизначеність типу незнання (чи є ми єдиними у Всесвіті; чи є життя на Марсі і т. Д.) з часом дізнаємося;

- Невизначеність типу розпливчастості (стародавні філософи дискутували питання про те, скільки піщинок має бути зібрано разом, щоб вийшла купа піску; в математиці - теорія розпливчастих множин);

- Невизначеність статистичного типу (невизначеність змісту очікуваного повідомлення або події, невизначеність стану системи).

Невизначеність статистичного типу можна звести до теорії ймовірності та виміряти. Введемо кількісну міру для даного типу невизначеності.

Зосередимо увагу на суті невизначеності і розглянемо декілька простих дослідів, які позначимо А, Б і В.

Введемо характеристики досвіду:

k - Число фіналів досвіду;

Рi - ймовірність i-го результату досвіду (i =  );

Н - Міра невизначеності результату досвіду

досвід А полягатиме в підкиданні монети. У цьому досвіді можливі два результати (k = 2). Монета впала гербом вгору, або вниз. Імовірність кожного результату .

досвід Б - Підкидання гральною шестигранною кістки. У цьому досвіді можливі шість випадків (k= 6). Імовірність кожного результату .
( )

досвід У передбачає одночасне підкидання двох гральних кісток. Для цього досвіду и .

Оцінка невизначеності результатів цих дослідів є оцінка труднощі вгадування результатів дослідів. Інтуїтивно ясно, що з усіх описаних дослідів досвід В має максимальну невизначеність, оскільки число випадків тут найбільше і заздалегідь передбачити результат цього досвіду найважче. Щоб перейти до кількісної оцінки невизначеності, сформулюємо основні вимоги до функції, яка повинна виконувати роль міри невизначеності Н.

Так як будь-яка теорія будується на аксіоматиці, постулируем:

1. Значення Н монотонно зростаюча функція при збільшенні числа фіналів досвіду, ;

2. значення  , Якщо досвід має єдиний результат (k  ). Це означає, що ніякої невизначеності не виникає і результат досвіду очевидний;

3. Невизначеність двох дослідів Б слід розглядати як невизначеність одного досвіду В, т. Е сумарне значення ентропії двох дослідів Б одно ентропії досвіду В. Не можна стверджувати, що це два досвіду Б або один досвід В, т. К. ситуація невиразна. Оцінка невизначеності має властивість адитивності. Це положення випливає з того, що ці дві ситуації фізично неможливо розрізнити. За замовчуванням ми приймаємо, що ймовірність кожного результату досвіду однакова.

,

де  - Невизначеність досвіду Б;
 - Невизначеність досвіду В;
 k - число фіналів досвіду Б.

У загальному вигляді для п простих дослідів можна записати:

 (1)

Функціональне рівняння (1) можна вирішити щодо функції  . Диференціюючи вираз (1) по k, використовуючи властивість монотонності функції

 (2)

Далі диференціюючи вираз (1) по n

 (3)

Розділимо рівняння (2) на (3)

або

Інтегруючи, знаходимо:

,

де  - Постійна інтегрування.

З останнього виразу випливає

Отримано просте рішення рівняння (1), але З визначити не можна, так як немає необхідної інформації для відшукання постійної інтегрування.

Так як зі збільшенням k ентропія зростає, то С> 0, і останній вираз можна переписати в остаточному вигляді:

 (4)

З цього виразу видно, що воно задовольняє другого вихідного постулату.

Вибір підстави логарифма не має значення і визначає лише вибір одиниці вимірювання невизначеності. У теорії інформації зазвичай використовується двійковий логарифм, в термодинаміці - натуральний логарифм. Міра невизначеності Н визначається з точністю до множника.

Отже, при k рівноймовірно випадки невизначеність досвіду становить:

,  (4 *)

де  - Ймовірність результату досвіду.

Якщо врахувати, що для рівноймовірно результатів

то множачи (4 *) на одиницю у вигляді  , отримаємо

 (5)

Кожен член правої частини виразу (5) можна розглядати як внесок окремого результату в загальну невизначеність досвіду. У разі рівно можливих випадків внесок кожного результату однаковий.

Якщо припустити, що деякі результати дослідів менш вірогідні, ніж інші, в такому випадку можна говорити про середню невизначеності досвіду. Ми прийшли до тієї ж формі запису (5), тільки тепер передбачається, що внесок кожного результату в загальну невизначеність досвіду необов'язково однаковий.

наприклад:  - Внесок першого результату в загальну невизначеність досвіду.

Вираз (5) можна записати в компактній формі:

 (6)  (6)

Якщо число дослідів N, то в силу адитивності ентропії

 (7)

Функція (6) називається середня ентропія досвіду, ентропія вибору, а також інформаційна ентропія дискретного безлічі. Ентропія як міра невизначеності (7) була введена Шенноном при розробці математичної теорії зв'язку. Оскільки поняття ентропія стало загальнонаукових, то вказівка ??на її інформаційне походження використовується лише в тому випадку, якщо за текстом слід розрізняти інформаційну і термодинамічну (фізичну) ентропію.

1.2. Основні властивості ентропії

Розглянемо основні властивості ентропії дискретного безлічі. Перш за все, відзначимо, що ентропія дискретного безлічі не може приймати від'ємного значення. Так як  , То величина  завжди позитивна.

якщо  , то  , якщо  , То також .

Так як  тільки при  або  , То ентропія досвіду дорівнює нулю тільки в тому випадку, коли одна з ймовірностей дорівнює одиниці, отже, всі інші дорівнюють нулю. Це добре узгоджується зі змістом величини Н як міри невизначеності: в цьому випадку досвід не містить ніякої невизначеності, так як результат досвіду можна передбачити заздалегідь. Розглянемо приклад: в ящику лежать білі і чорні кулі одного розміру. Виймаємо навмання куля з ящика. Даний досвід має два виходи: ми можемо вийняти з ящика тільки білий або чорний куля.

Запишемо формулу ентропії для двох фіналів досвіду:

де p1 - Можливість отримання білого кулі;
р2 - Можливість отримання чорного кулі,

тоді

На рис 1. зображено графік функції Н для двох фіналів досвіду. З якого видно, як змінюється ентропія при зміні ймовірності одного з фіналів досвіду від нуля до одиниці. З графіка випливає, що максимальне значення ентропії відповідає рівно можливих подій  . При цьому максимальне значення ентропії при виборі двійкового підстави логарифма дорівнює одиниці, т. Е

У загальному випадку для k фіналів досвіду максимальне значення ентропії відповідає .

Максимум ентропії відповідає рівно можливих подій, і це добре узгоджується зі змістом ентропії. У разі рівно можливих подій не можна віддати перевагу жодному з них і, таким чином, результат передбачити найважче. Поняття ентропії дуже тісно пов'язане з поняттям кількості інформації.

Одиниця виміру ентропії

Якщо досвід має тільки два результати, які характеризуються рівними можливостями р = 0.5, то вираз (6) при використанні двійкового логарифма набуде вигляду:

 (8)

Отже, одиницею невизначеності служить ентропія об'єкта з двома рівноімовірними станами. Ця одиниця отримала назву 1 біт. Наприклад, в досвіді з киданням монети (орел, решка) невизначеність досвіду А дорівнює 1 біт, в осередку комп'ютера 1 біт інформації. Поряд з бітом набула поширення більш укрупнена одиниця - байт (1 байт = 8 біт).

1.3. Ентропія як міра різноманітності,

невпорядкованості, хаосу

До сих пір поняття ентропії ми пов'язували з невизначеністю. Ентропія допускає й інше тлумачення.

Уявімо собі систему, що складається з камери, в якій знаходяться N куль різного ґатунку, наприклад, що відрізняються кольором. Припускаємо, що N досить велика кількість. Позначимо частку куль i-го сорту (кольору) - x  . Проведемо наступний досвід: навмання винесемо куля з камери. Можливість отримання кулі i-го сорту дорівнює .

При цьому слід прийняти, що розміри куль однакові, в іншому випадку можливість отримання куль i-го сорту не буде точно відповідати їх частці в камері.

Ентропія всіх дослідів над системою дорівнює:

 (9)

Права частина виразів (8) і (9) включає параметри даної системи. Виникає питання, з якої точки зору ці функції характеризують вміст камери. Перша з функцій (8) характеризує ступінь невпорядкованості системи або ступінь різноманітності в ній з точки зору обраного ознаки для розрізнення елементів системи (кольору куль). Якби в камері знаходилися кулі одного сорту, тоді одне із значень р дорівнювало б одиниці, а всі інші нулю, і ентропія прийняла б нульове значення. Це означає, що система повністю впорядкована або, що те ж саме - в системі відсутній різноманітність по оцінюваного ознакою (в даному випадку - кольором). Друга функція (9) вимірює невпорядкованість (різноманітність) в системі трохи інакше. Відмінність цих двох функцій можна ілюструвати таким прикладом. Якщо камеру розділити на дві частини, то при досить великій кількості куль в ній частка куль i-го сорту в кожній з двох частин залишиться колишньою, але число куль зменшиться вдвічі, удвічі зменшиться невпорядкованість, оцінюється формулою (9). Однак ступінь невпорядкованості для кожної з двох частин залишиться колишньою, однаковою мірою невпорядкованості системи. Таким чином, функція (8) не залежить від кількості елементів в системі. Такі характеристики в термодинаміки називають інтенсивними. Навпаки, функція (9) залежить від числа елементів. Такі характеристики в термодинаміки звуться екстенсивних. Невпорядкованість системи часто ототожнюють з рівнем хаосу і неоднорідності в ній. За аналогією з вище розглянутим прикладом можна оцінити невпорядкованість потоку суміші будь-яких речовин:

 , (10)

де z1 - концентрація i-го компонента в мольних частках ;
N - Витрата потоку йди число молекул, що проходить через деякий перетин в одиницю часу;
m - Кількість компонентів в суміші.

Таким чином, видно, що ентропія оцінює різноманітність елементів в системі по деякому певною ознакою, який може нас цікавити в тій чи іншій завданню.

1.4. Ентропія як міра кількості інформації

В основі всієї теорії інформації лежить відкриття, що інформація допускає кількісну оцінку. У простій формі ця ідея була висунута ще в 1928 році Хартлі, але завершений і загальний вигляд надав їй Шеннон (7) в 1948 році.

Процес отримання інформації можна інтерпретувати як зміна невизначеності в результаті досвіду або повідомлення.

Повернемося до найпростіших дослідів з монетою або кісткою. Перед проведенням досвіду існує деяка невизначеність, пов'язана з незнанням результату досвіду. Після проведення досвіду, т. Е після отримання результату, ця невизначеність усувається. У практиці найчастіше зустрічаються випадки, коли після проведення досвіду ще залишається деяка невизначеність.

Якщо невизначеність до досвіду становила Н, А після досвіду H1, То усунена в ході досвіду невизначеність становить:

 (11)

Різниця апріорної (до досвіду) ентропії Н і апостеріорної (після досвіду) ентропії H1, Носить назву кількості інформації.

Таким чином, кількість інформації змиритися кількістю знятої невизначеності. В окремому випадку, коли невизначеність в результаті досвіду знімається повністю, т. Е H1 = 0, отримуємо I = Н. Хоча кількість інформації чисельно дорівнює ентропії, слід мати на увазі різний зміст кількості інформації і ентропії.

Кількість інформації, як і ентропія вимірюється в бітах. Один біт інформації - це кількість інформації, що повідомляє про те, яке з двох рівноймовірно подій мало місце, т. Е така кількість інформації, яке зменшує вдвічі число можливих результатів (див. П. 1.3). Раніше ми познайомилися з ентропією як мірою невизначеності і невпорядкованості (різноманітності). З вищесказаного випливає, що ентропію можна вважати також як міру кількості інформації.

Розглянемо приклад знаходження кількості інформації (11) (приклад з області математики). Необхідно знайти корінь рівняння, використовуючи чисельний метод рішення.

 
 

Нехай відомо, що корінь рівняння знаходиться на відрізку від 0 до 100 і відшукується з точністю до 1. Корінь рівняння знайдемо перебором всіх можливих варіантів, їх число k = 100. Імовірність відшукання кореня на одиничному відрізку дорівнює р = 1 / k = 0.01, оскільки всі відрізки різновірогідні.

Невизначеність до досвіду (завжди апріорна ентропія), т. Е до рішення рівняння дорівнює:

Нехай ми перебрали значення від 0 до 95 (k = 95), але корінь не знайшли. Залишилося перебрати ще 5 варіантів (k = 5). Тоді залишкова (апостериорная) невизначеність після досвіду складе:

Кількість інформації дорівнює усуненою невизначеності

Якщо ми перебрали всі значення від 0 до 100 і знайшли корінь рівняння, тоді невизначеність після досвіду H1 = 0 і кількість інформації I = H.

З наведеного прикладу видно, що кількість інформації не пов'язано з цінністю інформації. У сучасній фізиці кількість інформації - поняття об'єктивне, а не суб'єктивне.

1.5. Ентропія безперервного безлічі

На практиці ми стикаємося з ситуацією, коли число фіналів досвіду може бути як завгодно велике, т. Е  . Наприклад, спробуємо оцінити невизначеність досвіду, пов'язаного з випадковим пошуком в заданому інтервалі значення кореня з попереднього прикладу. Підвищуючи вимоги до точності відповіді можна очікувати як завгодно великого числа можливих результатів цього досвіду. При цьому ймовірність кожного результату прагне до нуля (  ), А шуканий корінь може вживати всіх можливих значення в заданому інтервалі (  ). З теорії ймовірності відомо, що в даному випадку необхідно використовувати щільність розподілу ймовірності Р (х).

Ця функція має ту властивість, що величина Р (х) dх є ймовірність того, що змінна х (Значення кореня в розглянутому прикладі) прийме значення, укладені в інтервалі від х до (Х + d х).

Для оцінки невизначеності досвіду необхідно використовувати ентропію безперервного безлічі, яке за аналогією з ентропією дискретного безлічі (6) має вигляд:

 (12)

При цьому завжди

(Аналогічно нагоди дискретного безлічі  ). Інтегрування здійснюється в інтервалі змінної х.

Ентропія безперервного безлічі (12) володіє більшістю властивостей ентропії дискретного безлічі.

розподіл Р(Х), яке відповідає максимальному значенню ентропії, має вигляд:

,

де х0, х1 - Межі інтегрування.


 При цьому, якщо позначити l = х1 - х0, То ймовірність виявити корінь рівняння на відрізку довжиною l всередині інтервалу dx дорівнює р = dx / l

За визначенням ймовірності:

Звідси

 (13)

Перепишемо формулу (12) з урахуванням (13)

Отже, ентропія безперервного безлічі запишеться

 (14)

Цей вислів аналогічно  для ентропії дискретного безлічі (4).

Таким чином, якщо для дискретного безлічі ентропія вимірює невизначеність (невпорядкованість) абсолютним чином і ентропія дискретного безлічі завжди позитивна, то в разі безперервного безлічі під логарифмом формули (14) може стояти величина менше одиниці і ентропія прийме негативне значення. Однак, це не має принципового значення, т. К. при аналізі систем представляє інтерес не сама ентропія, а різниця ентропій, то зазначене властивість ентропії безперервного безлічі не вносить будь-яких ускладнень в розрахунки.

1.6. Кількість інформації як критерій оцінки ступеня

організованості системи

Як показано вище, ентропія є не тільки мірою невизначеності (7), але і мірою різноманітності, невпорядкованості, хаосу (9). Тоді замість визначення «усунена невизначеність» можна вжити термін «блоковане різноманітність».

Термін «усунена невизначеність» відноситься до ентропії, записаної через ймовірність (7). Це визначення ближче до теорії інформації (див. 1.4):

Якщо ентропія є мірою різноманітності (9), то вживається термін «блоковане різноманітність». Це визначення ближче до фізики, термодинаміки:

,  (15)

де I - Блоковане різноманітність;
Нвх - Ентропія, яка оцінює невпорядкованість на вході системи;
Нвих - Ентропія, яка оцінює невпорядкованість на виході системи.

У кібернетиці біологом Ешбі був сформульований закон «необхідної різноманітності». Відповідно до закону Ешбі: кожна система, що блокує різноманітність, повинна мати власну різноманітність не менше блокованого, т. Е «тільки різноманітність може зменшити інше різноманітність».

Цей закон проводить дуже простий принцип. Процес зі зростанням ентропії відбувається спонтанно. Для здійснення процесу з пониженням ентропії потрібна деяка організація процесу, наприклад, наявність спеціальних установок.

Критерії ступеня оцінки організованості системи в загальному вигляді записується як відношення

,  (16)

де ? - Критерій оцінки ступеня організованості системи.

У термодинамічної інтерпретації цей критерій є ставлення термодинамічно мінімальної роботи поділу вихідної суміші на задані продукти, до аналогічної роботи поділу на абсолютно чисті продукти.

Оскільки різниця в чисельнику (16) є кількість інформації, то цей критерій можна розглядати також як інформаційний

Як приклад розглянемо поділ в ректифікаційної колоні F молей багатокомпонентної суміші складу zi, На дистилят D і кубовий залишок W (Рис.2).

Рис 2. Схема ректифікаційної колони

zi - Молярна частка i-го компонента в харчуванні (  );
 F - витрата харчування;
D - Кількість дистиляту;
 W - кількість кубового залишку;
 - Молярна частка i-го компонента в дистиляти (  );
 - Молярна частка / -го компонента в кубовому залишку (  );
?y - Відносний відбір дистиляту;
?x - Відносний відбір кубового залишку;
m - Кількість компонентів суміші.

Для процесу ректифікації позначимо: HF - Ентропія потоку харчування, НD - Ентропія потоку дистиляту, Нw - Ентропія кубового залишку.

Блоковане різноманітність (15) запишемо у вигляді:

,

де , ,

Для процесу поділу ентропія потоків може бути розрахована за формулою (10)

 (17)

Критерій оцінки ступеня організованості системи (16) для розділових систем:

 (18)

За допомогою критерію (18) зручно оцінювати розділову здатність колони: чим більше різниця  , Т. Е блоковане різноманітність  , Тим вище роздільна здатність колони і, відповідно, тим краще якість поділу.

Критерій (18) нормований на одиницю. Максимально можлива роздільна здатність колони ректифікації відповідає = 0 и  , Т. Е Нвих= 0. тоді F и ? = 1. Це відповідає гіпотетичному випадку, коли колона ділить бінарну суміш (m = 2) на чисті продукти або багатокомпонентну суміш на дві чисті фракції. Практично такий режим недосяжний. критерій  , якщо  , Т. Е процес зводиться до простого поділу суміші на два потоки без зміни вихідного складу (відсутність поділу суміші на компоненти).

За допомогою критерію ? може оцінюватися як розділова здатність колони, так і многоколонной установки в цілому.

З точки зору характеру впливу на організованість системи варійовані параметри можна розбити на дві групи: інтенсивні і екстенсивні.

Інтенсивні параметри в змозі підвищити організованість системи (якість поділу) при незмінних витратах працездатною енергії і фіксованих енергетичних витратах. Зміна цих параметрів обов'язково призводить до екстремального значенням критерію якості поділу.

Екстенсивні параметри можуть підвищити організованість системи тільки за рахунок енергетичних або неенергетичних витрат.

Частка відбору дистиляту (кубового залишку), місце введення харчування є інтенсивними параметрами. Кількість зрошення, число ступенів поділу можна розглядати як екстенсивні параметри. Таким чином, одну і ту ж мету, наприклад, підвищення якості поділу, можна досягти або інтенсивним, або екстенсивним впливом на систему. Природно, що в тому випадку, коли вичерпані інтенсивні шляхи, при оптимізації слід користуватися екстенсивним впливом.

Вираз (18) застосовується як критерій оптимальності в задачах оптимізації процесів поділу суміші. При цьому, критерій ? використовується як відносна оцінка якості поділу. У загальному випадку, число вхідних потоків може бути будь-яким. Природно домагатися максимального значення ? для діючої ректифікаційної колони. якщо величина НF фіксована, то максималізація ? зводиться до мінімізації ентропії вихідних потоків.

Таким чином, в завданнях оптимізації з фіксованою ентропією вхідних потоків реалізується принцип мінімальної ентропії. Однак слід звернути увагу, що в задачах опису процесів (розділ 3) буде використаний принцип максимальної ентропії (максимальної правдоподібності).

 



Призначення і область застосування систем управління поліграфічного підприємства | Двоїстий характер ентропії і кількості інформації

Зв'язок інформаційної ентропії з ентропією | Ентропія як критерій максимальної правдоподібності | бібліографічний список |

© um.co.ua - учбові матеріали та реферати