Головна |
Протягом багатьох років інформаційні технології концентрувалися на побудові систем підтримки обробки корпоративних транзакцій. Такі системи повинні бути візуально відмовостійкими і забезпечувати швидкий відгук. Ефективне рішення було забезпечено OLTP, які зосереджувалися на розподіленому реляционном оточенні БД.
Більш пізнім досягненням в цій області стало додавання архітектури клієнт - сервер. Було видано багато інструментів для розвитку OLTP додатків.
Доступ до даних часто потрібно як OLTP додатків, так і інформаційних систем підтримки рішень. На жаль, спроба обслужити обидва типи запитів може бути проблематична. Тому деякі компанії обрали шлях поділу БД на OLTP тип і OLAP тип.
OLAP (Online Analytical Processing - оперативна аналітична обробка) - Це інформаційний процес, який дає можливість користувачу запитувати систему, проводити аналіз і т.д. в оперативному режимі (онлайн). Результати генеруються протягом секунд.
З іншого боку, в OLTP системі величезні обсяги даних обробляються так скоро, як вони надходять на вхід.
OLAP системи виконані для кінцевих користувачів, в той час як OLTP системи робляться для професійних користувачів ІС. В OLAP передбачені такі дії, як генерація запитів, запити нерегламентованих звітів, проведення статистичного аналізу та побудова мультимедійних додатків.
Для забезпечення OLAP необхідно працювати зі сховищем даних (або багатовимірним сховищем), а також з набором інструментальних засобів, зазвичай з багатовимірними здібностями. Цими коштами можуть бути інструментарій запитів, електронні таблиці, засоби видобутку даних (Data Mining), засоби візуалізації даних і ін.
В основі концепції OLAP лежить принцип багатовимірного представлення даних. Е. Кодд розглянув недоліки реляційної моделі, в першу чергу вказавши на неможливість поєднувати, переглядати і аналізувати дані з точки зору множинності вимірів, тобто самим зрозумілим для корпоративних аналітиків способом, і визначив загальні вимоги до систем OLAP, які розширюють функціональність реляційних СУБД і включає багатовимірний аналіз як одну зі своїх характеристик.
У великій кількості публікацій абревіатурою OLAP позначається не тільки багатовимірний погляд на дані, але і зберігання самих даних в багатовимірної БД. Взагалі кажучи, це невірно, оскільки сам Кодд зазначає, що реляційні БД були, є і будуть найбільш підходящою технологією для зберігання корпоративних даних. Необхідність існує не в новій технології БД, а скоріше, в засобах аналізу, доповнюють функції існуючих СУБД і досить гнучких, щоб передбачити і автоматизувати різні види інтелектуального аналізу, властиві OLAP.
За Кодд, багатовимірне концептуальне уявлення є множинну перспективу, що складається з декількох незалежних вимірювань, уздовж яких можуть бути проаналізовані певні сукупності даних. Одночасний аналіз по декількох вимірах визначається як багатовимірний аналіз. Кожен вимір включає напрямки консолідації даних, що складаються з серії послідовних рівнів узагальнення, де кожен вищестоящий рівень відповідає більшою мірою агрегації даних по відповідному вимірюванню. Так вимір Виконавець може визначатися напрямком консолідації, що складається з рівнів узагальнення «підприємство - підрозділ - відділ - службовець». Вимірювання Час може навіть включати два напрямки консолідації - «рік - квартал - місяць - день» і «тиждень - день», оскільки відлік часу по місяцях і по тижнях несумісний. У цьому випадку стає можливим довільний вибір бажаного рівня деталізації інформації по кожному з вимірів. Операція спуску відповідає руху від вищих ступенів консолідації до нижчих; навпаки, операція підйому означає рух від нижчих рівнів до вищих.
Кодд визначив 12 правил, яким повинен задовольняти програмний продукт класу OLAP. Ці правила:
1. Багатомірне концептуальне уявлення даних.
2. Прозорість.
3. Доступність.
4. Стійка продуктивність.
5. Клієнт - серверна архітектура.
6. Рівноправність вимірювань.
7. Динамічна обробка розріджених матриць.
8. Підтримка розрахованого на багато користувачів режиму.
9. Необмежена підтримка кроссмерних операцій.
10. Інтуїтивне маніпулювання даними.
11. Гнучкий механізм генерації звітів.
12. Необмежена кількість вимірювань і рівнів агрегації.
Набір цих вимог, що послужив фактичним визначенням OLAP, слід розглядати як рекомендаційний, а конкретні продукт оцінювати за ступенем наближення до ідеально повної відповідності всім вимогам.
Інтелектуальний аналіз даних.
Інтелектуальний аналіз даних (ІАД), або Data Mining, - термін, який використовується для опису відкриття знань в базах даних, виділення знань, вишукування даних, дослідження даних, обробки зразків даних, очищення та збору даних; тут же мається на увазі супутнє ПО. Всі ці дії здійснюються автоматично і дозволяють отримувати швидкі результати навіть непрограмістів.
Запит оформлюється кінцевим користувачем, можливо природною мовою. Запит перетвориться в SQL - формат. SQL запит по мережі надходить в СУБД, яка управляє БД або сховищем даних. СУБД знаходить відповідь на запит і доставляє його назад. Користувач може потім розробляти презентацію або звіт відповідно до своїх вимог.
Багато важливих рішень в майже будь-якій області бізнесу і соціально сфери ґрунтуються на аналізі великих і складних БД. ИАД може бути дуже корисним в цих випадках.
Методи інтелектуального аналізу даних тісно пов'язані з технологіями OLAP і технологіями побудови сховищ даних. Тому найкращим варіантом є комплексний підхід до їх впровадження.
Для того щоб існуючі сховища даних сприяли прийняттю управлінських рішень, інформація повинна бути представлена ??аналітику в потрібній формі, тобто він повинен мати розвинені інструменти доступу до даних сховища і їх обробки.
Дуже часто інформаційно - аналітичні системи, створювані в розрахунку на безпосереднє використання особами, які приймають рішення, виявляються надзвичайно прості в застосуванні, але жорстко обмежені у функціональності. Такі статичні системи називаються Інформаційними системами керівника. Вони містять у собі зумовлені безлічі запитів і, будучи достатніми для повсякденного огляду, нездатні відповісти на всі питання до наявних даних, які можуть виникнути при прийнятті рішень. Результатів роботи такої системи, як правило, є багатосторінкові звіти, після ретельного вивчення яких у аналітика з'являється нова серія питань. Однак кожен новий запит, непередбачений при проектуванні такої системи, повинен бути спочатку формально описаний, закодований програмістом і тільки потім виконаний. Час очікування в такому випадку може складати години і дні, що не завжди прийнятно. Таким чином, зовнішня простота статистичних ІС підтримки рішень, за яку активно бореться більшість замовників інформаційно - аналітичних систем, обертається втратою гнучкості.
Динамічні ІС підтримки рішень, навпаки, орієнтовані на обробку нерегламентованих (ad hoc) запитів аналітиків до даних. Робота аналітиків з цими системами полягає в інтерактивній послідовності формування запитів і вивчення їх результатів.
Але динамічні ІС підтримки рішень можуть діяти не тільки в області оперативної аналітичної обробки (OLAP). Підтримка прийняття управлінських рішень на основі накопичених даних може виконуватися в трьох базових сферах.
1. Сфера деталізованих даних. Це область дії більшості систем, націлених на пошук інформації. У більшості випадків реляційні СУБД відмінно справляються з виникаючими тут завданнями. Загальновизнаним стандартом мови маніпулювання реляційними даними є SQL. Інформаційно - пошукові системи, що забезпечують інтерфейс кінцевого користувача в задачах пошуку деталізованої інформації, можуть використовуватися в якості надбудов як над окремими базами даних транзакційних систем, так і над загальним сховищем даних.
2. Сфера агрегованих показників. Комплексний погляд на зібрану в сховище даних інформацію, її узагальнення та агрегація і багатовимірний аналіз є завданнями систем OLAP. Тут можна або орієнтуватися на спеціальні багатовимірні СУБД, або залишатися в рамках реляційних технологій. У другому випадку заздалегідь агреговані дані можуть збиратися в БД звездообразного виду, або агрегація інформації може здійснюватися в процесі сканування деталізованих таблиць реляційної БД.
3. Сфера закономірностей. Інтелектуальна обробка проводиться методами інтелектуального аналізу даних, головними завданнями яких є пошук функціональних і логічних закономірностей в накопиченої інформації, побудова моделей і правил, які пояснюють знайдені аномалії і / або прогнозують розвиток деяких процесів.
Повна структура інформаційно - аналітичної системи побудованої на основі сховища даних, показана на рис.9.2. У конкретних реалізаціях окремі компоненти цієї схеми часто відсутні.
Ріс.9.2. Структура корпоративної інформаційно - аналітичної системи.
Управлінських рішень. | Організація роботи з даними і знаннями. Інженерія знань. | Дані. Джерела даних. | Структура даних і системи управління базами даних. | Система управління базою знань | Інженерія знань. | Експертні системи - основний різновид інтелектуальних систем. Введення в експертні системи. | Функціональні можливості та характеристика експертних систем. Ролі експерта, інженера знань і користувача. База знань. | Області застосування експертних систем. | Статичні і динамічні експертні системи. |