На головну

Технології інформаційних сховищ

  1.  I. Збільшення факторів виробництва при незмінній технології, т. Е. Використання екстенсивних факторів росту.
  2.  IBM Power 7 | технології
  3.  АВТОМАТИЗОВАНЕ ПРОЕКТУВАННЯ ТЕХНОЛОГІЇ І ОБЛАДНАННЯ
  4.  Актуальність впровадження нових інформаційних технологій
  5.  Біотехнології в харчовій промисловості
  6.  БЛОКИ ІНФОРМАЦІЙНИХ СИСТЕМ
  7.  Види і структури вимірювальних інформаційних систем

Використання баз даних не дає бажаного результату автоматизації діяльності підприємства. Причина проста: реалізовані функції зберігання, обробки даних за запитом значно відрізняються від функцій ведення бізнесу, так як дані, зібрані в базах, не адекватні інформації, яка потрібна особам, які приймають рішення. Рішенням даної проблеми стала реалізація технології інформаційних сховищ (складів даних).

технології інформаційного сховища забезпечують збір даних з існуючих внутрішніх баз підприємства і зовнішніх джерел, формування, зберігання та експлуатацію інформації як єдиної, зберігання аналітичних даних (знань) у формі, зручній для аналізу і прийняття управлінських рішень. До внутрішніх баз даних підприємства відносяться локальні бази підсистем ЕІС (бухгалтерський облік, фінансовий аналіз, кадри, розрахунки з постачальниками і покупцями і т.д.). До зовнішніх баз - будь-які дані, доступні через інтернет і розміщення на web cepвеpax підприємств-конкурентів, урядових і законодавчих органів, інших установ.

Відмінність реляційних баз даних, що використовуються в ЕІС, від інформаційного сховища полягає в наступному:

- Реляційні бази даних містять тільки оперативні дані організації. Інформаційне сховище забезпечує доступ як до внутрішніх даних організації, так і до зовнішніх джерел даних, доступним по інтернету.

- База даних орієнтована на одну модель даних функціональної підсистеми ЕІС. Бази забезпечують запити оперативних даних організації. Інформаційні сховища підтримують велику кількість моделей даних, включаючи багатовимірні, що забезпечує ретроспективні запити (запити за минулі роки і десятиліття), запити як до оперативних даних організації, так і до даних зовнішніх джерел.

- Дані інформаційних сховищ можуть розміщуватися не тільки на сервері, а й на вторинних пристроях зберігання.

Технологія інформаційних сховищ стала можливою після появи мейнфреймів і вторинних пристроїв - оптичних пристроїв зберігання даних з високою ємністю. Серед них можна виділити CD-ROM (оптичні диски тільки для читання), WORM (диски з одноразовим записом), МО (магнітооптичні диски, стираються і перезапису), оптичні бібліотеки зі зміною дисків вручну, бібліотеки-автомати з автоматичною зміною дисків (так звана технологія Jukebox).

Для розміщення і доступу до даних на таких пристроях розроблений ряд файлових систем. Найбільш використовувані технології реалізують системи HSM (Hierarchical Storage Management) і DM (Data Migration). HSM реалізує технології ієрархічного сховища, Data Migration - міграції даних. HSM - Система створює як би «продовження» дискового простору файлового сервера на вторинних пристроях (бібліотеках-автоматах), доступного додатків

При конфігурації HSM вказується розмір простору на сервері, що відводиться під буфер для обміну з оптичними бібліотеками. Як тільки це простір стає зайнятим, і потрібні дані з оптичної бібліотеки-автомата, реалізується алгоритм міграції даних: найменш використовувані файли з сервера переносяться в бібліотеку-автомат, простір, що звільнився передається буферу. З бібліотеки в буфер перекачуються необхідні файли. Якщо додаток звернеться до файлу, перенесеного в бібліотеку - автомат, HSM повторює алгоритм міграції.

Всі переміщення виконуються автоматично і додатки «не підозрює» про наявність вторинних пристроїв зберігання. Зміна оптичних дисків в бібліотеках-автоматах дозволяє необмежено збільшувати базу даних.

Для зберігання даних в інформаційних сховищах зазвичай використовуються виділені сервери, кластери серверів (група накопичувачів, відеопристроїв е загальним контролером), мейнфрейми.

Для доступу до інформаційних сховищ потрібні технології, що відповідають таким умовам:

- мала затримка. Сховища даних породжують два типу трафіку. Перший містить запити користувачів, другий - відповіді. Для формування відповіді потрібен час. Але так як число користувачів велике, час відповіді стає невизначеним. Для звичайних даних така затримка не суттєва, а для мультимедійних - істотна;

- висока пропускна здатність. Так як дані для відповіді можуть перебувати в різних базах на значних відстанях один від одного, потрібен час на формування відповіді. Тому для забезпечення збалансованої навантаження потрібна швидкість передачі не менше 100 Мега біт / сек;

- надійність. При роботі з кластерами серверів інтенсивний обмін даними
 вимагає, щоб ймовірність втрати пакета була дуже мала;

- можливість роботи на великих відстанях, Так як сервери кластера можуть
 бути віддалені один від одного.

Всім цим вимогам .удовлетворяет АТМ-технологія, технології Fast Ethernet, Fibre Channel і ін.

Особливість технологій інформаційного сховища полягає в тому, що вони пропонують середу накопичення даних, яка не тільки надійна, але в порівнянні з мережевими СУБД оптимальна з точки зору доступу до даних і маніпулювання ними. Інформаційне сховище забезпечує кошти для перетворення великих обсягів деталізованих даних локальних баз за допомогою статистичних методів в форму, яка зручна для стратегічного планування »реорганізації бізнесу, прийняття обґрунтованих управлінських рішень. Воно забезпечує «злиття» відомостей з внутрішніх і зовнішніх джерел в необхідну предметно орієнтовану форму.

У процесі занурення дані:

- Очищаються для усунення непотрібної для аналізу інформації (адреси, поштові індекси, ідентифікатори записів і т.д.).

- Агрегує (обчислюються сумарні, середні, мінімальні, максимальні та інші статистичні показники).

- Перетворюються на єдину структуру зберігання з різних типів даних предметних додатків.

- При об'єднанні даних з внутрішніх і зовнішніх джерел проводиться їх перетворення в єдиний формат.

- Чи узгоджуються в часі, тобто приводяться у відповідність до одного моменту
 часу (наприклад, до єдиного курсу рубля на поточний момент) для використання в порівняннях, трендах, прогнозах.

При злитті даних з різних джерел і розміщенні їх в інформаційному сховищі забезпечується:

- Предметна орієнтація. Дані організовані відповідно до способом їх подання до предметних додатках. На відміну від локальних баз інформаційне сховище містить агреговані дані і не містить непотрібну з точки зору аналізу інформацію, що значно скорочує обсяги інформації, що зберігається.

- Цілісність і внутрішня взаємозв'язок. Хоча дані занурюються з різних внутрішніх і зовнішніх джерел, вони об'єднані єдиними законами найменування, способами вимірювання розмірностей і т.д. У різних джерелах однакові по найменуванню дані можуть мати різні форми подання (наприклад, дати) або назви (наприклад, «ймовірність доведення інформації» в одному джерелі і «вірогідність по одержанні інформації» - в іншому). Подібні невідповідності видаляються автоматично.

- Відсутність тимчасової прив'язки. Оперативні бази організації містять дані за невеликий інтервал часу (тиждень, місяць), що досягається за рахунок періодичного архівування даних. Інформаційне сховище містить ретроспективні дані, накопичені за великий інтервал часу (року, десятиліття).

- Узгодження в часі; дані узгоджуються в часі (Наприклад, наводяться до єдиного курсу рубля на поточний момент) для використання в порівняннях, трендах і прогнозах.

- Незмінюваність. Дані не оновлюються і не змінюються, а тільки перевантажуються і зчитуються з джерел на сервер, підтримуючи концепцію «одного правдивого джерела». Дані доступні лише для читання, так як їх модифікація може призвести до порушення цілісності даних сховища.

Додатків клієнтів інформаційне сховище забезпечує вибір необхідної їм інформації за запитами. Запити клієнтів об'єднуються в розподілені транзакції.

Використання інформаційних сховищ дає суттєвий виграш по продуктивності в системах підтримки прийняття рішень, в системах обробки великого числа транзакцій з великим об'ємом поновлення даних. Самі системи на базі інформаційних сховищ називають транзакційними системами OLTP (On-Line Transaction Processing).

Для опису та управління даними в інформаційному сховищі використовується метабаза. Мета - приставка, яка вказує на те, що об'єкт належить до більш високого рівня абстракції. Метабаза містить метадані, які описують, як влаштовані дані інформаційного сховища, частоту змін даних в джерелах, джерела даних (можливі посилання на розподілені бази, розміщені на серверах з іншими платформами), хто і як може користуватися даними, права доступу та ін.

Розглянемо три типи архітектури інформаційних сховищ: вітрини даних, двох і трирівневі архітектури.

вітрини даних - невеликі сховища зі спрощеної архітектурою, призначені для зберігання частини даних інформаційного сховища з метою зняття навантаження з основного інформаційного сховища. В основному вітрини містять відповіді на конкретний ряд питань, наприклад, дані АРМ співробітників організації. Інформація в різних вітринах може дублюватися.

дворівнева архітектура інформаційного сховища (рис. 3.2) забезпечує ретроспективні запити (запити даних за минулі роки), аналіз тенденцій, підтримку прийняття стратегічних рішень. Вони орієнтовані на оперативні бази організації та зовнішні джерела, доступні через інтернет.


трирівнева архітектура інформаційного сховища забезпечує наявність

інформаційного сховища і вітрин даних (рис. 3.3) За рахунок використання вітрин

даних прискорюється обслуговування і збільшується число користувачів по

порівняно з дворівневої архітектурою.

Прикладами інформаційних сховищ можуть служити Oracle VLM, розроблена фірмами Oracle і Digital, Red Brick Warehouse 5.0 корпорації Red Brick Systems, Business Information Warehouse і ін.

 




 Класифікація інформаційних технологій |  Еволюція інформаційних технологій |  Властивості інформаційних технологій |  слід запам'ятати |  Інформаційні технології електронного офісу |  Технології обробки графічних образів |  гіпертекстова технологія |  Мережеві технології |  технологія мультимедіа |  технології відеоконференції |

© um.co.ua - учбові матеріали та реферати