Головна |
Розглянемо функцію правдоподібності для регресійних моделей логит і пробитий. Функція втрат для цих моделей обчислюється як сума натуральних логарифмів логит або пробитий правдоподібності L1:
log (L1) = in= 1 [yi* Log (pi ) + (1-yi ) * Log (1-pi )]
де:
log (L1) - Натуральний логарифм функції правдоподібності для обраної
(Логіт або пробитий) моделі
yi - i-е спостережуване значення
pi - Ймовірність появи (передбачена або підігнана) (між 0 і 1)
Логарифм функції правдоподібності для нульової моделі (L0), Тобто моделі, що містить тільки вільний член (і не включає інших коефіцієнтів регресії) обчислюється як:
log (L0) = N0* (Log (n0/ N)) + n1* (Log (n1/ N))
де:
log (L0) - Натуральний логарифм функції правдоподібності для нульової (логит
або пробитий) моделі
n0 - Число спостережень зі значенням 0
n1 - Число спостережень зі значенням 1
n - загальне число спостережень
4.6.Алгоритми мінімізації функцій
Тепер, після обговорення різних регресійних моделей і функцій втрат, які використовуються для їх оцінки, єдине, що залишилося "в таємниці", це як знаходити мінімуми функцій втрат (тобто набори параметрів, найкращим чином відповідні оцінюваної моделі), і як обчислювати стандартні помилки оцінювання параметрів. нелінійне оцінювання використовує дуже ефективний (квазі-ньютоновский) Алгоритм, який наближено обчислює другу похідну функції втрат і використовує її при пошуку мінімуму (тобто, при оцінці параметрів за відповідною функції втрат). Крім того, нелінійне оцінювання пропонує кілька більш загальних алгоритмів пошуку мінімуму, використовують різні стратегії пошуку (не пов'язані з обчисленням других похідних). Ці стратегії іноді більш ефективні при оцінюванні функцій втрат з локальними мінімумами; тому, ці методи часто дуже корисні для знаходження початкових значень за допомогою квазі-ньютоновского методу.
У всіх випадках, ви можете вирахувати стандартні помилки оцінок параметрів. Ці обчислення проводяться з використанням приватних похідних другого порядку за параметрами, які наближено підраховуються з використанням методу скінченних різниць.
Якщо вас цікавить, не як саме відбувається мінімізація функції втрат, а тільки те, що така мінімізація в принципі можлива, Ви можете пропустити наступні розділи. Однак вони можуть стати в нагоді, якщо отримується регресійна модель буде погано узгоджуватися з даними. У цьому випадку, ітеративна процедура може не зійтися, видаючи несподівані (наприклад, дуже великі або дуже маленькі) оцінки для параметрів.
У наступних параграфах, ми спочатку розглянемо деякі питання, які стосуються оптимізації без обмежень, потім дамо короткий огляд методів використовуваних в цьому модулі. Більш детальне обговорення цих методів є в книгах Brent (1973), Gill and Murray (1974), Peressini, Sullivan, and Uhl (1988), і Wilde and Beightler (1967). Більш широкий огляд алгоритмів можна знайти в книгах Dennis and Schnabel (1983), Eason and Fenton (1974), Fletcher (1969), Fletcher and Powell (1963), Fletcher and Reeves (1964), Hooke and Jeeves (1961), Jacoby, Kowalik, and Pizzo (1972), і Nelder and Mead (1964).
Побудова рівняння регресії | сенс моделі | загальне призначення | Оцінювання лінійних і нелінійних моделей | Регресивні моделі з лінійною структурою | Істотно нелінійні регресійні моделі | Регресивні моделі з точками розриву | Метод найменших квадратів. | Функція втрат. | Метод зважених найменших квадратів. |