ПРО РОЗРОБКУ РЕГЛАМЕНТУ ПРОВЕДЕННЯ ЗБОРУ ТА АНАЛІЗУ експертних ДУМОК | МЕТОД УЗГОДЖЕННЯ кластерізованний ранжировок | МАТЕМАТИЧНІ МЕТОДИ АНАЛІЗУ ЕКСПЕРТНИХ ОЦІНОК |

загрузка...
загрузка...
На головну

ОСНОВНІ СТАДІЇ експертного ОПИТУВАННЯ

  1. A-Амінокислоти, класифікація стереохімія, кислотно-основні властивості, особливості хімічної поведінки. Пептиди, пептидний зв'язок. Поділ амінокислот і пептидів.
  2. II Основні завдання регіонального розвитку
  3. II. Основні жанри усного ділового спілкування
  4. II. Мовна тактика. Основні тактики спілкування
  5. III. Основні правила оформлення посилань і списку використаної літератури
  6. III. Основні вимоги до форми і зовнішнім виглядом учнів
  7. III. Основні цілі і завдання стратегічного розвитку

ЕКСПЕРТНІ ОЦІНКИ

Навчальний посібник

А. І. Орлов

Москва 2002

(С) Орлов А. І., 2002

анотація

Викладено основні питання теорії і практики експертних оцінок, в тому числі пов'язані з типовими стадіями експертного опитування, методами підбору експертів, розробкою регламентів проведення збору та аналізу експертних думок. Розглянуто основні ідеї сучасної теорії вимірювань, методи узгодження групових ранжировок і ряду інших математичних методів аналізу експертних оцінок.

зміст

Введение..........................................................................................2

1. Основні стадії експертного опитування ............................................ ....... 5

2. Підбір експертів .............................................. .............................. 6

3. Про розробку регламенту проведення збору та аналізу експертних думок .... 8

4. Сучасна теорія вимірювань та експертних оцінках ............................. 13

5. Метод узгодження групових ранжировок .............................. 22

6. Математичні методи аналізу експертних оцінок .............................. 26

Литература......................................................................................31


ВСТУП

Як зміниться екологічна обстановка через десять років? Чи буде забезпечена екологічна безпека промислових виробництв або ж навколо буде сягати рукотворна пустеля? Досить вдуматися в цю постановку питання, проаналізувати, як десять років тому ми уявляли собі сьогоднішній день, щоб зрозуміти, що стовідсотково надійних прогнозів просто не може бути. Замість тверджень з конкретними числами можна очікувати лише якісних оцінок. Проте ми повинні приймати рішення, наприклад, про екологічні та інших проектах і інвестиціях, наслідки яких позначаться через десять, двадцять і більше років.

 Безперечно абсолютно, що для прийняття обґрунтованих рішень необхідно спиратися на досвід, знання і інтуїцію фахівців. Після другої світової війни в рамках кібернетики, теорії управління, менеджменту і дослідження операцій стала розвиватися самостійна дисципліна - теорія і практика експертних оцінок.

Методи експертних оцінок - це методи організації роботи з фахівцями-експертами і обробки думок експертів. Ці думки зазвичай виражені частково в кількісної, частково в якісній формі. Експертні дослідження я проводять з метою підготовки інформації для прийняття рішень особою, яка приймає рішення (ОПР). Для проведення роботи по методу експертних оцінок створюють Робочу групу (скорочено РГ), яка і організовує за дорученням ОПР діяльність експертів, об'єднаних (формально чи по суті) в експертну комісію (ЕК).

Експертні оцінки бувають індивідуальні и колективні. індивідуальні оцінки - Це оцінки одного фахівця. Наприклад, викладач одноосібно ставить позначку студенту, а лікар - діагноз хворому. Але в складних випадках захворювання або при загрозі відрахування студента за погане навчання звертаються до колективному думку - симпозіуму лікарів або комісії викладачів. Аналогічна ситуація - в армії. Зазвичай командувач приймає рішення одноосібно. Але в складних і відповідальних ситуаціях проводять військову раду. Один з найбільш відомих прикладів такого роду - військова рада 1812 в Філях, на якому під головуванням М. І. Кутузова вирішувалося питання: "Давати чи не давати французам бій під Москвою?"

Інший найпростіший приклад експертних оцінок - оцінка номерів в КВН. Кожен з членів журі піднімають фанерку спираючись на власну оцінку, а технічний працівник обчислює середню арифметичну оцінку, яка і оголошується як колективна думка журі (нижче ми побачимо, що такий підхід є некоректним з точки зору теорії вимірювань).

У фігурному катанні процедура ускладнюється - перед собою усереднення відкидаються найбільша і найменша оцінки. Це робиться для того, щоб не було спокуси завищити оцінку однієї спортсменці (наприклад, співвітчизниці) або занизити інший. Такі різко виділяються із загального ряду оцінки будуть відразу відкинуті.

Експертні оцінки часто використовуються при виборі - одного варіанту технічних пристроїв з декількох, групи космонавтів з багатьох претендентів, набору проектів науково-дослідних робіт для фінансування з маси заявок, одержувачів екологічних кредитів з багатьох бажаючих, вибір інвестиційних проектів для реалізації серед представлених, і т. Д.

Існує маса методів отримання експертних оцінок. В одних з кожним експертом працюють окремо, він навіть не знає, хто ще є експертом, а тому висловлює свою думку незалежно від авторитетів. В інших експертів збирають разом для підготовки матеріалів для ОПР, при цьому експерти обговорюють проблему один з одним, вчаться один у одного, і невірні думки відкидаються. В одних методах число експертів фіксоване і таке, щоб статистичні методи перевірки узгодженості думок і потім їх усереднення дозволяли приймати обгрунтовані рішення. В інших - число експертів росте в процесі проведення експертизи, наприклад, при використанні методу "сніжної грудки" (про нього - нижче). Чи не менше існує і методів обробки відповідей експертів, в тому числі дуже насичених математикою і комп'ютеризованих

Один з найбільш відомих методів експертних оцінок - це метод "Дельфі". Назва дана по асоціації з Дельфийским храмом, куди за давнім звичаєм було прийнято звертатися для отримання підтримки при прийнятті рішень. Він був розташований біля виходу отруйних вулканічних газів. Жриці храму, надихавшись отрути, починали пророкувати, вимовляючи незрозумілі слова. Спеціальні "перекладачі" - жерці храму тлумачили ці слова і відзначали на питання, хто прийшов зі своїми проблемами паломників.

У США в 1960-х роках методом Дельфі назвали експертну процедуру прогнозування науково-технічного розвитку. У першому турі експерти називали ймовірні дати тих чи інших майбутніх звершень. У другому турі кожен експерт знайомився з прогнозами всіх інших. Якщо його прогноз сильно відрізнявся від прогнозів основної маси, його просили пояснити свою позицію, і часто він змінював свої оцінки, наближаючись до середніх значень. Ці середні значення і видавалися замовнику як групова думка. Треба сказати, що реальні результати дослідження виявилися досить скромними - хоча дата висадки американців на Місяць була передбачена з точністю до місяця, всі інші прогнози провалилися - холодного термоядерного синтезу і засоби від раку в ХХ ст. людство не дочекалося. Однак сама методика виявилася популярною - за наступні роки вона використовувалася не менше 40 тис. Разів. Середня вартість експертного дослідження за методом Дельфі - 5 тис. Доларів США, але в ряді випадків доводилося витрачати і більші суми - до 130 тис. Доларів.

Трохи осторонь від основного русла експертних оцінок лежить метод сценаріїв, Застосовуваний насамперед для експертного прогнозування. Розглянемо основні ідеї технології сценарних експертних прогнозів. Екологічне або соціально-економічне прогнозування, як і будь-яке прогнозування взагалі, може бути успішним лише при деякої стабільності умов. Однак рішення органів влади, окремих осіб, інші події змінюють умови, і події розвиваються по-іншому, ніж раніше передбачалося. При розробці методологічного, програмного та інформаційного забезпечення аналізу ризику хіміко-технологічних проектів необхідно скласти детальний каталог сценаріїв аварій, пов'язаних з витоками токсичних хімічних речовин. Кожен з таких сценаріїв описує аварію свого типу, зі своїм індивідуальним походженням, розвитком, наслідками, можливостями попередження. Таким чином, метод сценаріїв - це метод декомпозиції задачі прогнозування, що передбачає виділення набору окремих варіантів розвитку подій (сценаріїв), в сукупності охоплюють всі можливі варіанти розвитку. При цьому кожен окремий сценарій повинен допускати можливість досить точного прогнозування, а загальне число сценаріїв має бути оглядатися.

Можливість подібної декомпозиції не очевидна. При застосуванні методу сценаріїв необхідно здійснити два етапи дослідження:

- Побудова вичерпного, але недалекого набору сценаріїв;

- Прогнозування в рамках кожного конкретного сценарію з метою отримання відповідей на питання, що цікавлять дослідника питання.

Кожен з цих етапів лише частково формалізуємо. Істотна частина міркувань проводиться на якісному рівні, як це прийнято в суспільно-економічних і гуманітарних науках. Одна з причин полягає в тому, що прагнення до зайвої формалізації і математизації призводить до штучного внесення визначеності там, де її немає по суті, або до використання громіздкого математичного апарату. Так, міркування на словесному рівні вважаються доказовими в більшості ситуацій, в той час як спроба уточнити зміст використовуваних слів за допомогою, наприклад, теорії нечітких множин призводить до дуже громіздким математичним моделям. Набір сценаріїв повинен бути Оглянувши. Доводиться виключати різні малоймовірні події. Саме по собі створення набору сценаріїв - предмет експертного дослідження. Крім того, експерти можуть оцінити ймовірності реалізації того чи іншого сценарію. Прогнозування в рамках кожного конкретного сценарію з метою отримання відповідей на питання, що цікавлять дослідника питання також здійснюється відповідно до описаної вище методологією прогнозування. При стабільних умовах можуть бути застосовані статистичні методи прогнозування часових рядів. Однак цьому передує аналіз за допомогою експертів, причому найчастіше прогнозування на словесному рівні є достатнім (для отримання цікавлять дослідника і ЛПР висновків) і не вимагає кількісного уточнення.

Як відомо, при прийнятті рішень на основі аналізу ситуації, В тому числі результатів прогнозних досліджень, можна виходити з різних критеріїв. Так, можна орієнтуватися на те, що ситуація складеться найгіршим, або найкращим, або середнім (в будь-якому сенсі) чином. Можна спробувати намітити заходи, що забезпечують мінімально допустимі корисні результати при будь-якому варіанті розвитку ситуації, і т. Д

Ще один варіант експертного оцінювання - мозковий штурм. Організовується він як збори експертів, на виступи яких накладено одне, але дуже суттєве обмеження - не можна критикувати пропозиції інших. Можна їх розвивати, можна висловлювати свої ідеї, але не можна критикувати! В ході засідання експерти, "заражаючи" один від одного, висловлюють все більше екстравагантні міркування. Години через два записане на магнітофон або відеокамеру засідання закінчується, і починається другий етап мозкового штурму - аналіз висловлених ідей. Зазвичай з 100 ідей 30 заслуговують подальшого опрацювання, з 5-6 дають можливість сформулювати прикладні проекту, а 2-3 виявляються в результаті приносять позитивний ефект - прибуток, підвищення екологічної безпеки і т. П При цьому інтерпретація ідей - творчий процес. Наприклад, під час обговорення можливостей захисту кораблів від торпедної атаки була висловлена ??ідея: "Побудувати матросів вздовж борту і дути на торпеду, щоб змінити її курс". Після опрацювання ця ідея привела до створення пристроїв, що створюють хвилі, що збиваються торпеду з курсу.

ОСНОВНІ СТАДІЇ експертного ОПИТУВАННЯ

Як показує досвід проведення експертних досліджень, з точки зору менеджера - організатора такого дослідження доцільно виділяти наступні стадії проведення експертного опитування.

1) Прийняття рішення про необхідність проведення експертного опитування і формулювання Обличчям, що приймають Рішення (ОПР) його мети. Таким чином, ініціатива повинна виходити від керівництва, що в подальшому забезпечить успішне вирішення організаційних та фінансових проблем.

2) Підбір і призначення ЛПР основного складу Робочої групи, скорочено РГ (зазвичай - наукового керівника і секретаря). При цьому науковий керівник відповідає за організацію і проведення експертного дослідження в цілому, а також за аналіз зібраних матеріалів і формулювання висновку експертної комісії. Він бере участь у формуванні колективу експертів і видачі завдання кожному (разом з ОПР або його представником). Справа секретаря - ведення документації, вирішення організаційних задач.

3) Розробка РГ (точніше, її основним складом, насамперед науковим керівником і секретарем) і твердження у ЛПР технічного завдання на проведення експертного опитування. На цій стадія рішення про проведення експертного опитування набуває чіткість в часі, фінансовому, кадровому, матеріальному та організаційному забезпеченні. Зокрема, в РГ виділяються різні групи фахівців - аналітична, економетрична (фахівці з методів аналізу даних), комп'ютерна, по роботі з експертами (наприклад, інтерв'юерів), організаційна. Дуже важливо для успіху, щоб всі ці напрямки робіт були затверджені ЛПР.

4) Розробка аналітичною групою РГ докладного сценарію (т. е регламенту) Проведення збору та аналізу експертних думок (оцінок). Сценарій включає в себе перш за все конкретний вид інформації, яка буде отримана від експертів (наприклад, тексти (слова), умовні градації, числа, ранжування, розбиття чи інші види об'єктів нечислової природи). Так, досить часто експертів просять висловитися у вільній формі, відповівши при цьому на деякі кількість заздалегідь сформульованих питань. Крім того, їх просять заповнити формальну карту, в кожному пункті вибравши одну з декількох градацій. Сценарій повинен містити і конкретні методи аналізу зібраної інформації. Наприклад, обчислення медіани Кемені, статистичний аналіз люсіанов, застосування інших методів статистики об'єктів нечислової природи та інших розділів сучасної економетрики. Ця робота лягає на економетричну і комп'ютерну групу РГ. Традиційна помилка - спочатку зібрати інформацію, а потім думати, що з нею робити. В результаті, як показує досвід, інформація використовується лише на 1-2%.

5) Підбір експертів відповідно до їх компетентністю. На цій стадії РГ становить список можливих експертів.

6) Формування експертної комісії. На цій стадії РГ проводить переговори з експертами, отримує їх згоду на роботу в експертній комісії (скорочено ЕК), можливо, частина намічених РГ експертів відмовляється з тих чи інших причин. ЛПР затверджує склад експертної комісії, можливо, викресливши або додавши частина експертів до пропозицій РГ. Проводиться укладання договорів з експертами про умови їх праці та її оплати.

7) Проведення збору експертної інформації. Часто перед цим проводиться набір і навчання інтерв'юерів - однієї з груп, що входять в РГ.

8) Комп'ютерний аналіз експертної інформації за допомогою включених в сценарій методів. Йому зазвичай передує введення інформації в комп'ютери.

9) При застосуванні відповідно до сценарію експертної процедури з декількох турів - повторення двох попередніх етапів.

10) Підсумковий аналіз експертних думок, інтерпретація отриманих результатів аналітичною групою РГ і підготовка заключного документа ЕК для ЛПР.

11) Офіційне закінчення діяльності РГ, в тому числі затвердження ОПР заключного документа ЕК, підготовка та затвердження наукового та фінансового звітів РГ про проведення дослідження, оплата праці експертів і співробітників РГ, офіційне припинення діяльності (розпуск) ЕК і РГ.

Розберемо докладніше окремі стадії експертного дослідження.

 



Запорізької міської ради по Орджонікідзевському району | ПІДБІР ЕКСПЕРТІВ
загрузка...
© um.co.ua - учбові матеріали та реферати