Вибір форми рівняння регресії. |  Суть кореляційного і регресійного аналізу. Основні завдання вирішуються методами аналізу |  поле кореляції |  Лінійна регресія і кореляція, сенс і оцінка параметрів. Парні регресивні прямі |  Оцінка суттєвості параметрів лінійної регресії і кореляції. |  Коефіцієнт множинної детермінації |  Коефіцієнт приватної детермінації |  Коефіцієнт детермінації між пояснюють змінними |  коефіцієнт детермінації |  визначення |

загрузка...
загрузка...
На головну

Властивості оцінок МНК. Перевірка якості рівняння регресії.

  1.  IV. ЗАГАЛЬНІ ВЛАСТИВОСТІ КУЛЬТУР
  2.  IV. Перевірка статистичних гіпотез
  3.  KE-Jetronic -Перевірка, пошук несправностей
  4.  V11. Білки і їх біологічні властивості.
  5.  А (додаткова). Кілька слів про методологію науки. Принцип актуалізму, "Бритва Оккама" і презумпції. Перевірка теорії: верифікації та фальсифікації.
  6.  А. Прогнозування за допомогою програми EXCEL по рівняннях трендів
  7.  Автономні системи і властивості їх рішень.

Якість моделі регресії пов'язують з адекватністю моделі спостережуваним (емпіричним) даними. Перевірка адекватності (або відповідності) моделі регресії спостережуваним даними проводиться на основі аналізу залишків - .

Аналіз залишків дозволяє отримати уявлення, наскільки добре підібрана сама модель і наскільки правильно обраний метод оцінки коефіцієнтів. Згідно із загальними припущеннями регресійного аналізу, залишки повинні вести себе як незалежні (в дійсності, майже незалежні) однаково розподілені випадкові величини.

Якість моделі регресії оцінюється за наступними напрямками:

перевірка якості всього рівняння регресії;

перевірка значущості всього рівняння регресії;

перевірка статистичної значущості коефіцієнтів рівняння регресії;

перевірка виконання передумов МНК.

При аналізі якості моделі регресії, в першу чергу, використовується коефіцієнт детермінації, який визначається наступним чином:

 , (2.5)

де  - Середнє значення залежної змінної,

 - Передбачене (розрахункове) значення залежної змінної.

коефіцієнт детермінаціїпоказує частку варіації результативного ознаки, що знаходиться під впливом чинників, що вивчаються, т. е. визначає, яка частка варіації ознаки Y врахована в моделі і обумовлена ??впливом на нього факторів.

чим ближче  до 1, тим вище якість моделі.

Для оцінки якості регресійних моделей доцільно також використовувати коефіцієнт множинної кореляції (Індекс кореляції) R

R = =  (2.6)

Даний коефіцієнт є універсальним, так як він відображає тісноту зв'язку і точність моделі, а також може використовуватися при будь-якій формі зв'язку змінних.

Важливим моментом є перевірка значущості побудованого рівняння в цілому і окремих параметрів.

Оцінити значимість рівняння регресії - це означає встановити, чи відповідає математична модель, що виражає залежність між Y і Х, фактичним даним і чи достатньо включених в рівняння пояснюють змінних Х для опису залежною змінною Y

Оцінка значущості рівняння регресії проводиться для того, щоб дізнатися, придатне рівняння регресії для практичного використання (наприклад, для прогнозу) чи ні.

для перевірки значущості моделі регресії використовується F-критерій Фішера. Якщо розрахункове значення з n1= k і n2 = (N - k - 1) ступенями свободи, де k - кількість факторів, включених в модель, більше табличного при заданому рівні значущості, то модель вважається значущою.

 (2.7)

В якості міри точності застосовують несмещенную оцінку дисперсії залишкової компоненти, яка представляє собою відношення суми квадратів рівнів залишкової компоненти до величини (n- k -1), де k - кількість факторів, включених в модель. Квадратний корінь з цієї величини (  ) називається стандартною помилкою:

 (2.8)

значимість окремих коефіцієнтів регресії перевіряється по t-статистикою шляхом перевірки гіпотези про рівність нулю j-го параметра рівняння (крім вільного члена):

, (2.9)

де Saj- це стандартне (середньоквадратичне) відхилення коефіцієнта рівняння регресії aj. величина Saj являє собою квадратний корінь з добутку несмещенной оцінки дисперсії и j -го діагонального елемента матриці, зворотної матриці системи нормальних рівнянь.

де  - Діагональний елемент матриці .

Якщо розрахункове значення t-критерію з (N - k - 1) ступенями свободи перевершує його табличне значення при заданому рівні значущості, коефіцієнт регресії вважається значимим. В іншому випадку фактор, що відповідає цьому коефіцієнту, слід виключити з моделі (при цьому її якість не погіршиться).

1) математичне очікування

Теорема: М (а) = a, M (b) = b - Незміщеність оцінок

Це означає, що при збільшенні кількості спостережень значення МНК-оцінок a і b будуть наблизитись до дійсних значень a і b;

2) дисперсія

теорема:

;

Завдяки цій теоремі, ми можемо отримати уявлення про те, як далеко, в середньому, наші оцінки a і b знаходяться від істинних значень a і b.

Необхідно мати на увазі, що дисперсії характеризують не відхилення, а «відхилення в квадраті». Щоб перейти до порівнянним значенням, розрахуємо стандартні відхилення a і b:

;

Будемо називати ці величини стандартними помилками a і b відповідно.

5. Побудова довірчих інтервалів

Нехай ми маємо оцінку а. Реальне значення коефіцієнта рівняння регресії a лежить десь поруч, але де точно, ми дізнатися не можемо. Однак, ми можемо побудувати інтервал, в який це реальне значення потрапить з певною ймовірністю. Доведено, що:

з ймовірністю Р = 1 - g

де tg/ 2(N-1) - g / 2-процентна точка розподілу Стьюдента з (n-1) ступенями свободи - визначається зі спеціальних таблиць.

При цьому рівень значімостіg встановлюється довільно.

Нерівність можна перетворити в такий спосіб:

,

або, що те ж саме:

Аналогічно, з імовірністю Р = 1 - g:

звідки слід:

,

або:

Рівень значущості g - це ймовірність того, що насправді справжні значення a і b лежать за межами побудованих довірчих інтервалів. Чим менше його значення, тим більше величина tg/ 2(N-1), відповідно, тим ширше буде довірчий інтервал.

6. Перевірка статистичної значущості коефіцієнтів регресії

Ми отримали МНК-оцінки коефіцієнтів, розрахували для них довірчі інтервали. Однак ми не можемо судити, чи не занадто широкі ці інтервали, чи можна взагалі говорити про значущість коефіцієнтів регресії.

гіпотеза Н0: Припустимо, що a = 0, т. Е. Насправді незалежною постійної складової у відгуку немає (альтернатива - гіпотеза Н1: A ? 0).

Для перевірки цієї гіпотези, із заданим рівнем значущості g, розраховується t-статистика, для парної регресії:

Значення t-статистики порівнюється з табличним значенням tg/ 2(N-1) - g / 2-процентної точка розподілу Стьюдента з (n-1) ступенями свободи.

Якщо | t | g/ 2(N-1) - гіпотеза Н0 не відкидається (звернути увагу: не «вірна», а «не відкидається»), т. е. ми вважаємо, що з імовірністю 1-g можна стверджувати, що a = 0.

В іншому випадку гіпотеза Н0 відкидається, приймається гіпотеза Н1.

Аналогічно для коефіцієнта b формулюємо гіпотезу Н0: B = 0, т. Е. Змінна, обрана нами як фактор, насправді ніякого впливу на відгук не виявляється.

Для перевірки цієї гіпотези, із заданим рівнем значущості g, розраховується t-статистика:

і порівнюється з табличним значенням tg/ 2(N-1).

Якщо | t | g/ 2(N-1) - гіпотеза Н0 не відкидається, т. е. ми вважаємо, що з імовірністю 1-g можна стверджувати, що b = 0.

В іншому випадку гіпотеза Н0 відкидається, приймається гіпотеза Н1.

7. Автокорреляция залишків.

1. Приклади автокорреляции.

Можливі причини:

1) невірно обрана функція регресії;

2) є неврахована пояснює змінна (змінні)

2. Статистика Дарбіна-Уотсона

очевидно:

0 ? DW ? 4

Якщо DW близько до нуля, це дозволяє припускати наявність позитивної автокореляції, якщо близько до 4 - негативною.

Розподіл DW залежить від спостережених значень, тому отримати однозначну критерій, при виконанні якого DW вважається «хорошим», а при невиконанні - «поганим», не можна. Однак, для різних величин n і g знайдені верхні і нижні межі, DWL і DWU, Які в ряді випадків дозволяють з упевненістю судити про наявність (відсутність) автокореляції в моделі. правило:

1) При DW <2:

а) якщо DW L - Робимо висновок про наявність позитивної автокореляції (з ймовірністю 1-g);

б) якщо DW> DWU - Робимо висновок про відсутність автокореляції (з ймовірністю 1-g);

в) якщо DWL ? DW ? DWU - Не можна зробити ніякого висновку;

2) При DW> 2:

а) якщо (4 - DW) L - Робимо висновок про наявність негативної автокореляції (з ймовірністю 1-g);

б) якщо (4 - DW)> DWU - Робимо висновок про відсутність автокореляції (з ймовірністю 1-g);

в) якщо DWL ? (4 - DW) ? DWU - Не можна зробити ніякого висновку;

8. гетероскедастичними залишків.

Можливі причини:

- Помилки у вихідних даних;

- Наявність закономірностей;

Виявлення - можливі різні тести. Найбільш простий:

(Спрощений тест Голдфелда - Куандт)

1) упорядковуємо вибірку по зростанню однією з пояснюють змінних;

2) формулюємо гіпотезу Н0: Залишки гомоскедастичність

3) ділимо вибірку приблизно на три частини, виділяючи k залишків, відповідних «маленьким» х і k залишків, відповідних «великим» х (k »n / 3);

4) будуємо моделі парної лінійної регресії окремо для «меншою» і «більшої» частин

5) оцінюємо дисперсії залишків в «меншою» (s21) І «більшої» (s21) Частинах;

6) розраховуємо дисперсійне співвідношення:

7) визначаємо табличне значення F-статистики Фішера з (k-m-1) ступенями свободи чисельника і (k - m - 1) ступенями свободи знаменника при заданому рівні значимості g

8) якщо дисперсійне співвідношення не перевищує табличне значення F-статистики (т. Е., Воно підпорядковується F-розподілу Фішера з (k-m-1) ступенями свободи чисельника і (k - m - 1) ступенями свободи знаменника), то гіпотеза Н0 не відкидається - робимо висновок про гомоскедастичність залишків. Інакше - припускаємо їх гетероскедатічность.

Метод усунення: зважений МНК.

Ідея: якщо значення х надають якийсь вплив на величину залишків, то можна ввести в модель якісь «вагові коефіцієнти», щоб звести цей вплив до нуля.

Наприклад, якщо припустити, що величина залишку ei пропорційна значенню xi (Т. Е., Дисперсія залишків пропорційна xi2), То можна перебудувати модель наступним чином:

т. е. перейдемо до моделі спостережень

де

Таким чином, завдання оцінки параметрів рівняння регресії методом найменших квадратів зводиться до мінімізації функції:

або

де  - Ваговий коефіцієнт.

 



 Метод найменших квадратів (МНК). узагальнений МНК |  Перевірка значущості коефіцієнта кореляції і коефіцієнта детермінації
загрузка...
© um.co.ua - учбові матеріали та реферати