На головну

Теорія інформації Шеннона.

  1.  A) Природно-правова теорія
  2.  Case study: «глибинна» технологія отримання інформації про латентних процесах на соціальних об'єктах
  3.  Google і Китай сьогодні конфліктують з питання про свободу інформації. Такі конфлікти між компаніями і державою стануть звичайним явищем в найближчі 10 років ».
  4.  I. ЛОГІКА А. Теорія пізнання
  5.  I. Теоріяли? с?ра?тар
  6.  VI. Теорія адекватного харчування. Уголев А. М.
  7.  А) Феномен і теорія. природний реалізм

Точніше кількості інформації, виходить з елементарного альтернативного вибору між двома знаками (бітами) 0 і 1. Такий вибір відповідає прийому повідомлення, що складається з одного двійкового символу. Кількість інформації, що міститься в такому повідомленні, приймається за одиницю і називається бітом.

Якщо вибір з безлічі п знаків, де  то це можна зробити за допомогою кінцевого числа наступних один за одним альтернативних виборів: дане безліч з п знаків розбивається на два (непустих) підмножини, кожне з яких точно так же розбивається далі, поки ми не отримаємо одноелементні підмножини.

Часто зустрічаються знаки містять малу, а рідкісні знаки - велика кількість інформації. Треба розбивати вихідне безліч знаків на рівноімовірні підмножини, (суми ймовірностей для знаків одного і для знаків іншого підмножини були близькі один до одного). Нехай, задані ймовірності дозволяють отримати точне рівність. Тоді якщо iзнак виділяється після kiальтернативних виборів, то ймовірність його появи рi =  . Для вибору знака, який зустрічається з ймовірністю рi потрібно ki =  (1 / рi) Альтернативних виборів. Кількість інформації, що міститься в знаку, задається частотою появи такого знака  (Біт).

тоді середня кількість інформації, що припадає на один довільний знак, так само  (Біт).

; Н - кількість інформації на знак (ентропія джерела повідомлення).

кількість інформації  при спостереженні випадкової величини

 з розподілом ймовірностей  задається формулою Шеннона:

Одиницею вимірювання кількості інформації є біт, Який представляє собою кількість інформації, що отримується при спостереженні випадкової величини, що має два рівноймовірно значення.

 




 Каскадна, итерационная і спіральна гносеологічні моделі процесу проектування ІС. |  ISO (International Standart Organization), система сертифікації якості. |  Роль сертифікації по ISO 9001 |  принципи моделювання |  діаграми UML |  Activity diagram (діаграми діяльності) |  Державні стандарти з розробки автоматизованих систем. |  SADT-технологія структурного аналізу і проектування |  Генетичні алгоритми. |  основоположні стандарти |

© um.co.ua - учбові матеріали та реферати