На головну

Моделі, які використовуються в теорії інформації

  1. IV етап. Спосіб представлення інформації.
  2. Автоматизація збору і передачі інформації про перевізних процесах при управлінні пасажирськими перевезеннями
  3. Аналіз вторинної інформації
  4. АНАЛІЗ ІНФОРМАЦІЇ ДЛЯ ДІАГНОСТИКИ І ОЦІНЮВАННЯ СТАНУ МЕХАНІЗМІВ
  5. Аналітичним, тобто виходячи з теорії досліджуваної взаємозв'язку;
  6. Антианемічні засоби, ВИКОРИСТОВУЮТЬСЯ ПРИ гіпохромна анемія

ГЛАВА 7. ОСНОВИ ТЕОРІЇ ІНФОРМАЦІЇ

Теорія інформації - це наука, що вивчає кількісні закономірності, пов'язані зі зберіганням, передачею та обробкою інформації.

Завданнями теорії інформації є:

1. Встановлення міри кількості інформації.

2. Визначення найвищої швидкості передачі інформації по каналу при заданих умовах (пропускна здатність каналу).

3. Визначення найкращих умов кодування, що забезпечують швидкість передачі близькому до пропускної здатності каналу.

ІНФОРМАЦІЙНІ ХАРАКТЕРИСТИКИ ДЖЕРЕЛ ПОВІДОМЛЕНЬ

Визначення кількості інформації

Моделі, які використовуються в теорії інформації

поняття інформаціятотожне поняттю відомості або повідомлення і асоціює з наявністю принаймні двох взаємодіючих систем А і В (рис.7.1), одна з яких А є джерелом інформації (передавачем), а друга В є що спостерігається системою (приймачем). Поза зазначеної схеми поняття «Інформація» втрачає сенс.


Повідомлення - це те, що можна повідомити, а повідомити можна тільки стан системи. Отже, повідомлення - це стан системи.

Будь-яка система описується сукупністю фізичних величин, які можуть залежати від параметрів. Стану системи - це значення фізичної величини або параметра (зображення, звук, текст і т.д.), які її описують. Наприклад, є передавач, що виробляє аналоговий сигнал, фрагмент реалізації якого представлений на рис.7.2. Даний сигнал піддається дискретизації по часу і квантованию за рівнем. Дозволені рівні якраз і є станами джерела.


Для даного прикладу кількість можливих станів джерела дорівнює чотирьом.

Як інший приклад можна привести джерело, що виробляє текст, що складається з букв будь-якої мови. Букви цієї мови разом з розділовими знаками і пропуском будуть можливими станами для даного джерела.

Система випадковим чином з певною ймовірністю може виявитися в тому або іншому стані (передавач приходить в стан, який відповідає переданому символу). Отже, безліч станів системи можна розглядати як безліч випадкових подій. Дві системи будемо називати статистично залежними, Якщо стан однієї з них впливає на ймовірність стану іншої.

безлічі станів Х и Y, відповідно систем А и В, в залежності від того, в якому відношенні вони розглядаються, можна інтерпретувати як безлічі станів, повідомлень і подій.

два безлічі Х и Y із заданим на них двовимірним розподілом  являють собою модель двох взаємодіючих систем. Ця модель лежить в основі побудови статистичної теорії інформації.

Сигнал - це матеріальний переносник інформації в просторі і в часі.

Сигнали можуть бути динамічними і статичними. Динамічні сигнали призначені для передачі інформації в просторі (електромагнітна хвиля). Статичні сигнали (пристрої, що запам'ятовують) призначені для передачі інформації в часі (наприклад, компакт-диск). Точніше, сигналом є не сам матеріальний переносник інформації, а його стан. Тому доцільно конкретизувати визначення сигналу.

Сигнал - це значення фізичної величини, яке відображає стан джерела повідомлень. Оскільки безліч повідомлень можна розглядати як безліч випадкових подій, то відображає значення фізичної величини також буде випадковим.

Отже, випадкову величину можна прийняти в якості моделі сигналу. У загальному випадку стан системи (передане повідомлення) змінюється в часі, тому зазначена випадкова величина також буде змінюватися в часі, залежатиме від часу. Випадкова величина, що залежить від часу (деякого параметра), називається випадковим процесом. Отже, випадковий процес є моделлю сигналу.

Відповідно до рішення питання встановлення міри кількості і якості інформаціїв теорії інформації виділяють три основні напрямки: структурний, статистичний і семантичне.

структурна теорія розглядає дискретне будова масивів інформації і їх вимір простим підрахунком інформаційних символів; застосовується для оцінки граничних можливостей інформаційних систем незалежно від умов їх застосування.

статистичнатеорія оперує поняттям «ентропія» як мірою невизначеності або несподіванки, що враховує ймовірність, а, отже, інформативність повідомлень; застосовується для оцінки інформаційних систем в конкретних умовах їх застосування.

семантична теорія враховує доцільність, цінність, корисність або істотність інформації; застосовується для оцінки ефективності логічного досвіду.

Зупинимося на розгляді заходів інформації в перших двох теоріях.



| Комбинаторное визначення кількості інформації

Визначення кількості інформації по К. Шеннону | Ентропія дискретних джерел повідомлень | Диференціальна ентропія. | Імовірнісні моделі каналів зв'язку в теорії інформації | інформація | Ентропія, середня кількість інформації в прийнятому повідомленні | Швидкість передачі інформації по дискретному каналу зв'язку без перешкод | Швидкість передачі інформації по дискретному каналу зв'язку з перешкодами | Пропускна здатність дискретного каналу без перешкод | Пропускна здатність дискретного каналу з перешкодами |

© um.co.ua - учбові матеріали та реферати