Лекція № 1. | Інформатика ЯК ФУНДОМЕНТАЛЬНАЯ НАУКА. | Четверта революція (70-ті роки XX ст.) Пов'язана з винаходом персонального комп'ютера. | ПОНЯТТЯ Про дискретизації. | СЕМАНТИЧНИЙ, синтаксичних і прагматичних. | Одиниці виміру. | Теорема 1. | Приклад 5. | Вимірювання кількості інформації по К. Шеннон. | Приклад 7. |

загрузка...
загрузка...
На головну

Імовірність і інформація.

  1. Б. Фактори, які не впливають на ймовірність рецидиву
  2. імовірність
  3. імовірність
  4. Імовірність появи хоча б однієї події
  5. Імовірність протилежної події
  6. Імовірність випадкової події

У практичному житті постійно доводиться мати справу з випадковими подіями, настання яких передбачити наперед важко.

імовірність - Це числова характеристика ступеня настання випадкової події за певних умов, ставлення числа шансів, які сприяють настанню події, до загальної кількості шансів, які сприяють або не сприяють настанню події.

Якщо число шансів, які сприяють настанню події,, а число всіх можливих шансів, які сприяють і не сприяють настанню події,, то ймовірність

 (1.2)

Наприклад, якщо на вечорі були присутні 37 студентів будівельного факультету, 43 механіка та 20 архітекторів, то ймовірність зустріти першого студента будівельного факультету дорівнює, механіка -, архітектора -

Має місце теорема додавання ймовірностей:

ймовірність суми двох незалежних подій дорівнює сумі ймовірностей цих подій, т. е.

Теорема має два важливих наслідки.

слідство 1. Якщо розглянутих подій створюють повну групу несумісних подій, то сума їх ймовірностей дорівнює 1, т. Е.

слідство 2.Якщо розглядати два залежних події, то ймовірність їх суми дорівнює сумі ймовірностей цих подій без ймовірності одночасного їх настання, т. Е

.

Таким чином, в сумі всі ймовірності дають 1. Значення ймовірності змінюється в межах від 0 до 1:. Імовірність достовірної події (події, яке обов'язково здійсниться) дорівнює 1; відповідно, ймовірність події, яке ніколи не настане, дорівнює 0. Наприклад, ймовірність того, що зима настане після осені, дорівнює 1, а ймовірність події, що в лютому 30 днів, - 0.

Який зв'язок існує між ймовірністю і інформацією? Інформація та ймовірність з'єднані між собою зворотним зв'язком. Чим менша ймовірність деякої події, тим більше інформації міститься в повідомленні, що воно відбулося. Наприклад, повідомлення, що після 23 серпня настане 24 серпня (День незалежності України), не містить ніякої інформації, оскільки в цьому повідомленні ймовірність дорівнює 1 (це достовірна подія); але якщо повідомляють, що цей день четвер, то ймовірність, оскільки тиждень має 7 днів, і це повідомлення вже містить певну кількість інформації. Реалізація менш ймовірного події, т. Е велика можливість вибору, дає більше інформації. Таким чином, чим більше невизначеність до отримання повідомлення про подію, менше ймовірність його настання, тим більше кількість інформації при отриманні повідомлення.

Проблеми вимірювання інформації вивчаються спеціальним розділом інформатики (теорія інформації) - інформметріі. Є багато підходів для вирішення цієї проблеми. Одним з найбільш поширених і практично пристосованих є імовірнісний підхід, ідеї якого заклав англійський вчений Роберт Хартлі (1927-1928 рр.), А узагальнив і розвинув американський вчений Клод Шеннон (1948-1949 рр.).

 
 

 



Приклад 1. | Вимірювання кількості інформації по Р. Хартлі.
загрузка...
© um.co.ua - учбові матеріали та реферати