Головна

Я кількісна міра інформації

  1. IV етап. Спосіб представлення інформації.
  2. Автоматизація збору і передачі інформації про перевізних процесах при управлінні пасажирськими перевезеннями
  3. Аналіз вторинної інформації
  4. АНАЛІЗ ІНФОРМАЦІЇ ДЛЯ ДІАГНОСТИКИ І ОЦІНЮВАННЯ СТАНУ МЕХАНІЗМІВ
  5. Введення інформації в ЕОМ.

I = mn(3.1)

Недолік цього заходу - неадитивності (непропорційність кількості інформації і довжини повідомлення). Логічно припустити, що повідомлення, що має, наприклад, в два рази більшу довжину, несе в два рази більшу інформацію.

2-я кількісна міра - міра Р. Хартлі

Роберт Хартлі - американський інженер, працював в телеграфної компанії. Міркуючи про кількість інформації, що міститься в телеграфному тексті, заклав основи теорії інформації, визначивши логарифмічну міру кількості інформації (1928р.).

 (3.2)

Звідси виникла і біт. Повідомлення повинно мати мінімум один символ: nmin= 1. Алфавіт повинен мати мінімум два елементи: mmin= 2. Ось в такому повідомленні і міститься мінімально можливу кількість інформації.

Imin = nmin· log mmin

При використанні двійкового логарифма Imin = 1 (Біт, від англ. binary digit). Тому в теорії інформації використовується логарифм по підставі 2.

I = n · log2m.(3.3)

Міра Хартлі (логарифмічна міра) (3.2) не враховує імовірнісний характер повідомлення (згадаємо, що повідомлення має сенс, коли воно невідомо заздалегідь).

3-тя кількісна міра - міра К. Шеннона

Кількісна міра Шеннона отримана з наступних міркувань. Якщо символ з'являється в повідомленні з ймовірністю 1 (На певному місці), то такий символ ніякої інформації не несе. У разі якщо будь-який з m символів алфавіту равновероятен p = 1 / m. Кількість інформації, що міститься в повідомленні з одного елемента визначається так:


Класифікація систем | Інші способи класифікація інформаційних систем | Класифікація систем за складністю | Якісні методи опису систем | | | | | | |

© 2016-2022  um.co.ua - учбові матеріали та реферати