Головна |
Метод найменших квадратів - один з методів регресійного аналізу для оцінки невідомих величин за результатами вимірів, що містить випадкові помилки.
Метод найменших квадратів застосовується також для наближеного представлення заданої функції іншими (простішими) функціями і часто виявляється корисним при обробці спостережень.
Завдання методу найменших квадратів полягає у виборі вектора , Що мінімізує помилку . Ця помилка є відстань від вектора до вектора .
Апроксимація даних і регресійний аналіз
нехай є n значень деякої змінної y (Це можуть бути результати спостережень, експериментів і т. Д.) І відповідних змінних x. Завдання полягає в тому, щоб взаємозв'язок між y и x апроксимувати деякою функцією f (x, b), Відомої з точністю до деяких невідомих параметрів b, Тобто фактично знайти найкращі значення параметрів b, Максимально наближають значення до фактичних значень y. Фактично це зводиться до випадку «рішення» перевизначення системи рівнянь щодо b:
У регресійному аналізі і зокрема в економетрики використовуються імовірнісні моделі залежності між змінними
де et - Так звані випадкові помилки моделі.
Відповідно, відхилення спостережуваних значень y від модельних f (x, b) передбачається вже в самій моделі. Сутність МНК (звичайного, класичного) полягає в тому, щоб знайти такі параметри b, При яких сума квадратів відхилень (помилок, для регресійних моделей їх часто називають залишками регресії) et буде мінімальною:
де RRS- Англ. Residual Sum of Squares [3] визначається як:
У загальному випадку рішення цього завдання може здійснюватися чисельними методами оптимізації (мінімізації). У цьому випадку говорять про нелінійному МНК (NLS або NLLS - англ. Non-Linear Least Squares). У багатьох випадках можна отримати аналітичне рішення. Для вирішення завдання мінімізації необхідно знайти стаціонарні точки функції RRS (b), Продифференцировав її з невідомих параметрах b, Прирівнявши похідні до нуля і вирішивши отриману систему рівнянь:
Сутність узагальненого МНК
Відомо, що симметрическую позитивно певну матрицю можна розкласти як , Де P- деяка невироджена квадратна матриця. Тоді узагальнена сума квадратів може бути представлена ??як сума квадратів перетворених (за допомогою P) залишків . Для лінійної регресії це означає, що мінімізується величина:
де , Тобто фактично суть узагальненого МНК зводиться до лінійному перетворенню даних і застосування до цих даних звичайного МНК. Якщо в якості вагової матриці W використовується зворотна ковариационная матриця V випадкових помилок e (тобто ), Перетворення P призводить до того, що перетворена модель задовольняє класичним припущенням (Гаусса-Маркова), отже оцінки параметрів за допомогою звичайного МНК будуть найбільш ефективними в класі лінійних незміщених оцінок. А оскільки параметри вихідної і перетвореної моделі однакові, то це означає твердження - оцінки ОМНК є найбільш ефективними в класі лінійних незміщених оцінок (теорема Айткена). Формула узагальненого МНК має вигляд:
Коваріаційна матриця цих оцінок дорівнює:
Лінійна регресія і кореляція, сенс і оцінка параметрів. Парні регресивні прямі | Властивості оцінок МНК. Перевірка якості рівняння регресії.
Вибір форми рівняння регресії. | Суть кореляційного і регресійного аналізу. Основні завдання вирішуються методами аналізу | поле кореляції | Перевірка значущості коефіцієнта кореляції і коефіцієнта детермінації | Оцінка суттєвості параметрів лінійної регресії і кореляції. | Коефіцієнт множинної детермінації | Коефіцієнт приватної детермінації | Коефіцієнт детермінації між пояснюють змінними | коефіцієнт детермінації | визначення |