Оцінка якості моделі множинної регресії: F-критерій Фішера, t-критерій Стьюдента. Мультиколінеарності. Методи усунення мультиколінеарності.

Значимість рівняння множинної регресій в цілому, так само як і в парній регресії, оцінюється за допомогою F-критерію Фішера:

(3.32)

де - Факторна сума квадратів на одну ступінь свободи;

- Залишкова сума квадратів на одну ступінь свободи;

- Коефіцієнт (індекс) множинної детермінації;

m - число параметрів при змінних х (в лінійної регресії збігається з числом включених в модель факторів);

n - число спостережень.

Оцінюється значимість не тіль до рівняння в цілому, але і фактора, додатково включеного в регресійну модель. Необхідність такої оцінки пов'язана з тим, що не кожен фактор, який увійшов варіації в модель, може істотно збільшувати частку пояснене варіації результативної ознаки. Крім того, при наявності в моделі декількох факторів вони можуть вводитися в модель в різній послідовності. З огляду на кореляції між факторами значущість одного і того ж фактора може бути різною в залежності від послідовності його введення в модель. Мірою для оцінки включення фактора в модель служить приватний F- критерій, тобто .

(3.33)

де - Коефіцієнт множинної детермінації для моделі з повним набором факторів;

- Той же показник, але без включення в модель чинника ;

- Число спостережень;

- Число параметрів в моделі (без вільного члена).

Якщо оцінюємо значимість впливу фактора , То формула приватного F-критерію набуде вигляду:

(3.34)

У загальному вигляді для фактора приватний критерій визначиться як

У чисельнику - приріст частки варіації у за рахунок додатковий включається в модель співвідношення фактура, в значенні частка залишкових варіації для повної моделі

Розглянути залежність обсягу продукції у від витрат праці х, і технічної оснащеності виробництва

дисперсійний аналіз

Приватний F-критерій оцінює значимість коефіцієнтів чистої регресії. Знаючи величину Fxi, можна визначити і t-критерій для коефіцієнта регресії при i-му факторі, t_bi, а саме:

Якщо рівняння містить більше двох факторів, то відповідна програма РС дає таблицю дисперсійного аналізу, показуючи значимість послідовного додавання до рівняння регресії відповідного фактора. Так, якщо розглядається рівняння:

то визначаються послідовно F-критерій для рівняння з одним фактором х₁, Далі F-критерій для додаткового включення в модель чинника х₂, Тобто для переходу від однофакторного рівняння регресії до двухфакторную, і нарешті, F-критерій для додаткового включення в модель чинника х₃, Тобто дається оцінка значущості фактора х₃після включення в модель факторів х₁і х₂. В цьому випадку F-критерій для додаткового включення фактора х₂ після х₁ є послідовним на відміну від F-критерію для додаткового включення фактора х₃, Який є приватним F-критерієм, бо оцінює значимість фактора в припущенні, що він включений в модель останнім. З t-критерієм Стьюдента пов'язаний саме приватний F-критерій. Послідовний F-критерій може цікавити дослідника на стадії формування моделі.

Оцінка значущості коефіцієнтів чистої регресії по t-критерієм Стьюдента може бути проведена і без розрахунку приватних F-критеріїв. У цьому випадку, як і в парній регресії, для кожного фактора використовується формула:

де b_i- Коефіцієнт чистої регресії при факторі х_i

m_bi - Середня квадратична помилка коефіцієнта регресії b_i

Для рівняння множинної регресії:

середня квадратична помилка коефіцієнта регресії може бути визначена за такою формулою

- Середньоквадратичне відхилення для ознаки у;

- Середньоквадратичне відхилення для ознаки х_i

- Коефіцієнт детермінації для рівняння множественнаой регресії.

- Коефіцієнт детермінації для значущості фактора х_i з усіма іншими факторами рівняння множинної регресії.

n - m - 1 - число ступенів свободи для залишкової суми квадратів відхилень.

Як бачимо, щоб скористатися цією формулою, необхідні матриця межфакторной кореляції і розрахунок по ній відповідних коефіцієнтів детермінації . Так, для рівняння

оцінка значимості коефіцієнтів регресії b1, b2, b3 передбачає розрахунок трьох межфакторних коефіцієнтів детермінації, а саме: , , .

Разом з тим, якщо врахувати, що

то можна переконатися, що

На основі співвідношення b_i і m_bi отримаємо

Аналогічно можна оцінювати і істотність приватних показників кореляції. Фактичне значення приватного коефіцієнта кореляції порівнюється з табличним значенням при або і числі ступенів свободи k = n-h-2, де n - число спостережень, h - число виключених змінних. Так, якщо n = 30 і оцінюється істотність приватного коефіцієнта кореляції другого порядку (наприклад, ), То h = 2 і k = 26.

Якщо h є найвищим порядком розрахунку приватних коефіцієнтів кореляції для рівняння регресії, то практично величина k збігається з числом ступенів свободи для залишкової варіації з n-m-1. Так, в рівнянні , Розрахованому при n = 30, n-m-1 = 26. Якщо ж рівняння регресії доповнюється розрахунком приватних коефіцієнтів кореляції різних порядків (другого, третього і т.п.), то

k = n-h-2

Якщо величина приватного F-критерію вище табличного значення, то це означає одночасного як значимість розглянутого коефіцієнта регресії, а й значимість приватного коефіцієнта кореляції. Існує взаємозв'язок між квадратом приватного коефіцієнта кореляції і приватним F-критерієм, а саме:

де - Приватний коефіцієнт детермінації фактора з y при незмінному рівні всіх інших факторів.

- Частка залишкової варіації рівняння регресії, що включає всі фактори, крім фактора

- Частка залишкової варіації для рівняння регресії з повним набором факторів.

Приклад. Для даної регресії

; ;

тоді

що відповідає раніше певної величиною .

Взаємозв'язок показників приватного коефіцієнта кореляції, приватного F-критерію і t- критерію Стьюдента для коефіцієнтів чистої регресії може використовуватися в процедурі відбору факторів. Відсів чинників при побудові рівняння регресії методом виключення практично можна здійснювати не тільки по приватним коефіцієнтам кореляції, виключаючи на кожному кроці фактор з найменшим незначним значенням приватного коефіцієнта кореляції, а й за величинами t_bi і F_xi. Приватний F-критерій широко використовується і при побудові моделі шляхом включення змінних і кроковим регресійний методом.

Попередня 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 Наступна