Головна

Коефіцієнт детермінації між пояснюють змінними

  1.  I. Кома між незалежними реченнями, об'єднаними в одне складне, і між підрядними, що відносяться до одного головного
  2.  I. Міжнародне значення п'ятирічки
  3.  I. Міжнародне становище
  4.  I. Міжнародне становище
  5.  I. Міжнародне становище Радянського Союзу
  6.  II. Кома між головним і підрядним реченнями
  7.  II. Міжнародне право

Для вирішення системи нормальних рівнянь дуже важливо знати співвідношення між пояснюють змінними xk. Використовуючи поняття коефіцієнта детермінації, введемо міру залежності цих змінних між собою. позначимо через  коефіцієнт детермінації, що характеризує ступінь обумовленості k-й пояснює змінної іншими пояснюють змінними, що входять в дану регресію.

Зазначимо формулу для обчислення коефіцієнта детермінації між пояснюють змінними. Для її виведення виходять з матриці дисперсій і ковариаций пояснюють змінних :

 (31)

де  - Дисперсія пояснює змінної xk, а  при  - Коваріація пояснюють змінних xk и xl. Помноживши кожен елемент (31) на n-1, Отримаємо матрицю  сум квадратів відхилень і творів відхилень:

 (32)

де  , а  . Матрицю, обернену до  , Позначимо через :

 (33)

Коефіцієнт детермінації між пояснюють змінними обчислюється за формулою

 (34)

де и  - елементи kго рядка і k-гo стовпчика матриць и  відповідно.

Приклад.

Повернемося до прикладу з трьома пояснюють змінними з додатка Б. Побудуємо такі матриці:

(Елементи матриці  вказані з округленням.) По (34) отримаємо:

В силу того що величина коефіцієнта детермінації між змінними також укладена в межах від 0 до 1, результати обчислень відображають невелику залежність між пояснюють змінними.

Різні коефіцієнти детермінації не можуть бути єдиним критерієм оцінки регресії. Необережне їх використання може призвести до помилкових висновків. Наприклад, якщо емпіричні дані представляють собою тимчасової ряд або між змінними існують не тільки безпосередні, а й різноманітні непрямі зв'язки, то застосування коефіцієнта детермінації стає вельми проблематично. Тому далі ми ще будемо обговорювати способи оцінки точності підбору функції регресії.

15. Відбір факторів при побудові множинної регресії

Побудова рівняння множинної регресії починається з вирішення питання про специфікацію моделі. Він включає в себе два кола питань: відбір факторів і вибір виду рівняння регресії.

Включення в рівняння множинної регресії того чи іншого набору факторів пов'язано перш за все з поданням дослідника про природу взаємозв'язку моделируемого показника з іншими економічними явищами. Фактори, що включаються у множинну регресію, повинні відповідати наступним вимогам.

Вони повинні бути кількісно вимірні. Якщо необхідно включити в модель якісний фактор, який не має кількісного виміру, то йому потрібно надати кількісну визначеність.

Фактори не повинні бути інтеркорреліровани і тим більше перебувати в точної функціонального зв'язку.

Включення в модель факторів з високою интеркорреляций, може привести до небажаних наслідків - система нормальних рівнянь може виявитися погано обумовленої і спричинити за собою нестійкість і ненадійність оцінок коефіцієнтів регресії.

Якщо між факторами існує висока кореляція, то не можна визначити їх ізольоване вплив на результативний показник і параметри рівняння регресії виявляються неінтерпретіруемимі.

Включаються у множинну регресію фактори повинні пояснити варіацію незалежної змінної. Якщо будується модель з набором  факторів, то для неї розраховується показник детермінації  , Який фіксує частку пояснене варіації результативної ознаки за рахунок розглянутих в регресії  чинників. Вплив інших, не врахованих в моделі факторів, оцінюється як  з відповідною залишкової дисперсією .

При додатковому включенні в регресію  фактора коефіцієнт детермінації повинен зростати, а залишкова дисперсія зменшуватися:

и .

Якщо ж цього не відбувається і дані показники практично не відрізняються один від одного, то включається в аналіз фактор  не покращує модель і практично є зайвим чинником.

Насичення моделі зайвими чинниками не тільки не знижує величину залишкової дисперсії і не збільшує показник детермінації, але і призводить до статистичної незначущості параметрів регресії за критерієм Стьюдента.

Таким чином, хоча теоретично регресійна модель дозволяє врахувати будь-яке число факторів, практично в цьому немає необхідності. Відбір факторів проводиться на основі якісного теоретико-економічного аналізу. Однак теоретичний аналіз часто не дозволяє однозначно відповісти на питання про кількісну взаємозв'язку розглянутих ознак і доцільності включення фактора в модель. Тому відбір факторів зазвичай здійснюється в дві стадії: на першій підбираються фактори виходячи із сутності проблеми; на другий - на основі матриці показників кореляції визначають статистики для параметрів регресії.

Коефіцієнти интеркорреляции (т. Е. Кореляції між пояснюють змінними) дозволяють виключати з моделі дублюючі фактори. Вважається, що дві змінні явно колінеарні, т. Е. Перебувають між собою в лінійній залежності, якщо  . Якщо фактори явно колінеарні, то вони дублюють один одного і один з них рекомендується виключити з регресії. Перевагу при цьому віддається не фактору, більш тісно пов'язаного з результатом, а тому фактору, який при досить тісному зв'язку з результатом має найменшу тісноту зв'язку з іншими факторами. У цій вимозі проявляється специфіка множинноїрегресії як методу дослідження комплексного впливу чинників в умовах їх незалежності один від одного.

Нехай, наприклад, при вивченні залежності  матриця парних коефіцієнтів кореляції виявилася такою:

Таблиця 2.1

 
 0,8  0,7  0,6
 0,8  0,8  0,5
 0,7  0,8  0,2
 0,6  0,5  0,2

Очевидно, що чинники и  дублюють один одного. В аналіз доцільно включити фактор  , а не  , Хоча кореляція  з результатом  слабкіше, ніж кореляція фактора с  , Але зате значно слабкіше межфакторная кореляція  . Тому в даному випадку в рівняння множинної регресії включаються чинники , .

За величиною парних коефіцієнтів кореляції виявляється лише явна коллінеарність факторів. Найбільші труднощі у використанні апарату множинної регресії виникають при наявності мультиколінеарності факторів, коли більш ніж два фактори пов'язані між собою лінійною залежністю, т. Е. Має місце сукупне вплив факторів один на одного. Наявність мультиколінеарності факторів може означати, що деякі фактори будуть завжди діяти в унісон. В результаті варіація у вихідних даних перестає бути повністю незалежною і не можна оцінити вплив кожного фактора окремо.

Включення в модель мультіколлінеарності факторів небажано в силу наступних наслідків:

Ускладнюється інтерпретація параметрів множинної регресії як характеристик дії факторів в «чистому» вигляді, бо фактори корельовані; параметри лінійної регресії втрачають економічний сенс.

Оцінки параметрів ненадійні, виявляють великі стандартні помилки і змінюються зі зміною обсягу спостережень (не тільки за величиною, а й за знаком), що робить модель непридатною для аналізу і прогнозування.

Для оцінки мультиколінеарності факторів може використовуватися визначник матриці парних коефіцієнтів кореляції між факторами.

Якби чинники не корелювали між собою, то матриця парних коефіцієнтів кореляції між факторами була б одиничною матрицею, оскільки все недіагональні елементи  були б нульовими. Так, для рівняння, що включає три пояснюють змінних

матриця коефіцієнтів кореляції між факторами мала б визначник, що дорівнює одиниці:

.

Якщо ж, навпаки, між факторами існує повна лінійна залежність і всі коефіцієнти кореляції дорівнюють одиниці, то визначник такої матриці дорівнює нулю:

.

Чим ближче до нуля визначник матриці межфакторной кореляції, тим сильніше мультиколінеарності факторів і ненадійніше результати множинної регресії. І, навпаки, чим ближче до одиниці визначник матриці межфакторной кореляції, тим менше мультиколінеарності факторів.

Існує ряд підходів подолання сильної межфакторной кореляції. Найпростіший шлях усунення мультиколінеарності полягає у виключенні з моделі одного або декількох факторів. Інший підхід пов'язаний з перетворенням факторів, при якому зменшується кореляція між ними.

Одним із шляхів обліку внутрішньої кореляції факторів є перехід до поєднаним рівнянням регресії, т. Е. До рівнянь, які відображають не тільки вплив факторів, а й їх взаємодія. Так, якщо  , То можлива побудова наступного суміщеного рівняння:

.

Аналізованих рівняння включає взаємодію першого порядку (взаємодія двох факторів). Можливе включення в модель і взаємодій більш високого порядку, якщо буде доведена їх статистична значимість по  -критерієм Фішера, але, як правило, взаємодії третього і більш високих порядків виявляються статистично незначущими.

Відбір факторів, що включаються в регресію, є одним з найважливіших етапів практичного використання методів регресії. Підходи до відбору факторів на основі показників кореляції можуть бути різні. Вони призводять побудова рівняння множинної регресії відповідно до різними методиками. Залежно від того, яка методика побудови рівняння регресії прийнята, змінюється алгоритм її вирішення на ЕОМ.

Найбільш широке застосування отримали наступні методи побудови рівняння множинної регресії:

Метод виключення - відсів факторів з повного його набору.

Метод включення - додаткове введення фактора.

Кроковий регресійний аналіз - виняток раніше введеного фактора.

При відборі факторів також рекомендується користуватися таким правилом: число включаються факторів зазвичай в 6-7 разів менше обсягу сукупності, по якій будується регресія. Якщо це співвідношення порушено, то число ступенів свободи залишкової дисперсії дуже мало. Це призводить до того, що параметри рівняння регресії виявляються статистично незначущими, а  критерій менше табличного значення.

16. Мультіколленіарность

При вивченні множинної лінійної регресії часто стикаються з наявністю лінійного зв'язку між усіма або деякими пояснюють змінними. Це явище називається мультіколлінеарності. На наш погляд, вперше на проблему мультиколінеарності звернув увагу Р. Фріш. Мультиколінеарності між пояснюючими змінними викликає технічні труднощі, пов'язані зі зменшенням точності оцінювання або навіть з неможливістю оцінки впливу тих чи інших змінних. Причина полягає в тому, що варіації в вихідних даних перестають бути незалежними і тому неможливо виділити вплив кожної пояснює змінної окремо на залежну змінну. Продемонструємо це на простому прикладі.

Нехай досліджується залежність собівартості від обсягу виробництва і введених в дію основних фондів. Слід очікувати, що обсяг виробництва залежить також від основних фондів. Якщо ми обидві змінні виберемо як пояснюють, то, очевидно, коефіцієнти регресії не будуть точно відображати залежність собівартості від обох факторів, так як основні фонди надають додатковий вплив на собівартість через обсяг виробництва.

Які наслідки мультиколінеарності в регресійному і кореляційному аналізі? Перш ніж відповісти на це питання, розглянемо форми її виникнення. Мультиколінеарності може проявлятися у функціональній (явної) і стохастичною (прихованої) формі. Функціональна форма мультіколлінеарності виникає, коли принаймні одна з пояснюють змінних пов'язана з іншими пояснюють змінними лінійним функціональним співвідношенням. Лінійний коефіцієнт кореляції між цими двома змінними в такому випадку дорівнює +1 або -1.

Нехай слід побудувати рівняння регресії у вигляді  . При цьому відомо, що змінні х2 і х1 пов'язані лінійним співвідношенням  . В цьому випадку можна показати, що визначник матриці (X 'X) дорівнює нулю, т. Е. Ранг матриці X менше т + 1, і матриця (Х'Х) вироджена. Це призводить до порушення передумови і до того, що система нормальних рівнянь не має однозначного вирішення, якщо принаймні одна з пояснюють змінних може бути представлена ??у вигляді лінійної комбінації інших.

Однак на практиці функціональна форма мультіколлінеарності зустрічається досить рідко. Значно частіше мультиколінеарності проявляється в стохастичною формі. Вона має місце, коли принаймні між двома пояснюють змінними існує більш-менш сильна кореляція. Система нормальних рівнянь тоді хоча і має рішення (так як визначник матриці Х'Х відмінний від нуля і матриця Х'Х невироджена), але виявляються надзвичайно великі стандартні помилки. Під стохастичною формою мультіколлінеарності може ховатися функціональна через накладаються на неї помилок спостереження, вимірювання або специфікації моделі, коли нелінійна регресія розглядається як лінійна або враховуються не всі змінні. Чим сильніше кореляція між пояснюють змінними, тим менше визначник матриці Х'Х. Це призводить до серйозного зниження точності оцінки параметрів регресії, спотворення оцінок дисперсії залишків, дисперсії коефіцієнтів регресії і коваріації між ними. У цьому випадку говорять, що стандартна помилка «вибухає». Наслідком падіння точності є ненадійність коефіцієнтів регресії і частково неприйнятність їх використання для інтерпретації як заходи впливу відповідної пояснює змінної на залежну змінну. Оцінки коефіцієнтів стають дуже чутливі до вибіркових спостережень. Невелике збільшення обсягу вибірки може привести до дуже сильним зрушень у значеннях оцінок. Крім того, стандартні помилки входять в формули критеріїв значущості. Тому застосування самих критеріїв стає також ненадійним. Зі сказаного ясно, що дослідник повинен намагатися встановити стохастическую мультиколінеарності і по можливості усунути її.

Причина виникнення мультиколінеарності в економічних явищах - різноманіття об'єктивно існуючих співвідношень між пояснюють змінними. Це стосується регресії, побудованої як на результатах одночасних обстежень, так і за даними, отриманими з часових рядів. У загальному випадку в тимчасових рядах мають справу з трендом, який, по-перше, не вимагає обов'язкової для регресії незалежності окремих спостережень, а по-друге, певною мірою автоматично призводить до регресії з іншими пояснюють змінними, якщо вони мають таку ж тенденцією. Крім того, слід зазначити, що для тих змінних, які знаходяться в об'єктивній зв'язку, помилка прогнозу при мультіколлінеарності пояснюють змінних в загальному відносно мала, якщо на час попередження не змінюються всі інші умови.

Тепер перейдемо до питань встановлення функціональної та стохастичної мультіколлінеарності. Функціональну мультиколінеарності встановити легко, так як получающаяся система нормальних рівнянь не має однозначного вирішення. Стохастичну форму мультіколлінеарності ми можемо виявити за допомогою наступних показників.

Для вимірювання стохастичною мультіколлінеарності можна використовувати коефіцієнт множинної детермінації. У розділі 4.6 ми показали, що при відсутності кореляції між пояснюють змінними, т. Е. За відсутності мультиколінеарності, коефіцієнт множинної детермінації дорівнює сумі відповідних коефіцієнтів парної детермінації:

 (1.1)

де у - залежна змінна, a xk - Пояснює, k = 1, .., т. При наявності мультиколінеарності співвідношення (9.1) не дотримується. Тому в якості запобіжного мультіколлінеарності можна запропонувати різницю M1:

 (1.2)

Чим менше ця різниця, тим менше мультиколінеарності.

Інший показник розроблений А. Е. Хорли *, він заснований на використанні для вимірювання мультіколлінеарності чисельника формули коефіцієнта множинної детермінації. У припущенні множинноїрегресії чисельник коефіцієнта детермінації можна представити таким чином:


(1.3)

для j, k = 1,2, ..., m; i = 1,2, ... n і j  k. вираз

 (1.4)

є чисельником формули коефіцієнта парної кореляції між змінними Xj і хк. При відсутності коллінеарності між цими змінними він дорівнює нулю. Тому в якості загального показника мультіколлінеарності можна використовувати різницю М2:

 (1.5)

якщо значення M2 мало, то вважаємо, що мультиколінеарності теж незначна.

Як показник мультіколлінеарності можна також скористатися виразом (9.2), розділивши його на Ву.12...m:

 (1.6)

Чим більше M3, Тим інтенсивніше мультиколінеарності.

Відомий також показник мультіколлінеарності, що є похідним від (1.5). Розділивши праву і ліву частини виразу (1.5) на  , отримаємо

 (1.7)

величина М4 укладена в межах  . Чим більше M4 наближається до 1, тим сильніше мультиколінеарності. показники M1, М2, М3 и М4 є вельми наближеними. Їх недолік полягає в тому, що невідомі їх розподілу і тому не можна встановити їх критичні значення. Крім того, за допомогою цих показників можна визначити, які з змінних «відповідальні» за мультиколінеарності. Тепер розглянемо методи виключення або зменшення мультиколінеарності. Часто досить важко вирішити, які з набору лінійно пов'язаних пояснюють змінних виключити, а які найбільш повно розкривають природу і фізичну сутність явища і тому повинні бути враховані в кореляційному і регресійного аналізу. В області економіки ці питання повинні вирішуватися насамперед виходячи з логічно-професійних міркувань. Отже, розроблені наступні методи зменшення мультиколінеарності:

а) Виключення змінних

б) Лінійне перетворення змінних

в) Виняток тренда

г) Використання попередньою інформацією

д) Покрокова регресія

е) Метод головних компонент

17. Вибір форми рівняння регресії

Як і в парній залежності, можливі різні види рівнянь множинної регресії лінійні і нелінійні.

З огляду на чіткої інтерпретації параметрів найбільш широко використовуються лінійна і статечна функції. У лінійної регресії параметри при x називаються коефіцієнтами чистої регресії. Вони характеризують середня зміна результату зі зміною відповідного фактора на одиницю при незмінному значенні інших факторів, закріплених на середньому рівні.

Стандартні комп'ютерні програми обробки регресійного аналізу дозволяють перебирати різні функції і вибрати ту з них, для якої залишкова дисперсія і помилка апроксимації мінімальні, а коефіцієнт детермінації максимальний.

Якщо дослідника не влаштовує пропонований стандартний набір функцій регресії, то можна використовувати будь-які інші, які приводяться шляхом відповідних перетворень до лінійного вигляду.

Однак чим складніше функція, тим менше інтерпретованих її параметри.

При складних поліноміальних функціях з великим числом факторів необхідно пам'ятати, що кожен параметр перетвореної функції є середньою величиною, яка повинна бути підрахована по достатньому числу спостережень. Якщо число спостережень невелика, що, як правило, має місце в економетрики, то збільшення числа параметрів функції призведе до їх статистичної незначущості і відповідно потребують спрощення виду функції. Якщо один і той же фактор вводиться в регресію в різних ступенях, то кожна ступінь розглядається як самостійний фактор.

У економетрики регресивні моделі часто стоятся на основі макрорівня економічних показників, коли ставиться завдання оцінки впливу найбільш економічно істотних факторів на модельований показник при обмеженому обсязі інформації. Тому поліноміальні моделі високих порядків використовуються рідко.

18. Оцінка параметрів рівняння множинної регресії.

Оцінюються, як і в парній регресії, методом найменших квадратів (МНК). При його застосуванні будується система нормальних рівнянь, рішення якої і дозволяє отримати оцінки параметрів регресії.

Так, для рівняння y = a + b1 * x1 + b2 * x2 + ... + bp * xp + E система нормальних рівнянь складе:

?y = n * a + b1 * ?x1 + b2 * ?x2 + ... + bp * ?xp,

?y * x1 = a * ?x1 + b1 * ?x1 ^ 2 + b2 * ?x1 * x2 + ... + bp * ?xp * x1,

... ...

?y * xp = a * ?xp + b1 * ?x1 * xp + b2 * ?x2 * xp + ... + bp * ?xp ^ 2.

Її рішення може бути здійснено методом визначників:

a = ?a / ?, b1 = ?b1 / ?, ... bp = ?bp / ?.

Де ? - визначник системи; ?a, ?b1, ... ?bp - приватні визначники

При цьому:

n ?x1 ?x2 ... ?xp

?x1 ?x1 ^ 2 ?x2 * x1 ... ?xp * x1

? = ?x2 ?x1 * x2 ?x2 ^ 2 ... ?xp * x2

...

?xp ?x1 * xp ?x2 * xp ... ?xp ^ 2

a ?a, ?b1 ... ?bp виходять шляхом заміни відповідного стовпчика матриці визначника системи даними лівій частині системи.

Можливий інший підхід до визначення параметрів, коли на основі матриці парних коефіцієнтів кореляції будується рівняння регресії в стандартизованому масштабі:

ty = B1 * tx1 + B2 * tx2 + ... + bp * txp + E

Де ty, tx1 ... txp -стандартізованние змінні: ty = (y-y cp) / ?y, tx1 = (xi-xi cp) / ?x1,

для яких середнє значення дорівнює нулю: ty cp = txi = 0,

a пор. відхилення дорівнює одиниці: ?ty = ?tx = 1;

? - стандартизовані коефіцієнти регресії.

Застосовуючи МНК до рівняння МР в стандартизованном масштабі, після відповідних перетворень отримаємо систему нормальних рівнянь виду

Ryx1 = B1 + B2 * Rx2x1 + B3 * Rx3x1 + ... + Bp * Rxpx1,

Ryx2 = B1 * Rx2x1 + B2 + B3 * Rx3x2 + ... + Bp * Rxpx2,

... ...

Ryxp = B1 * Rxpx1 + B2 * Rxpx2 + B3 * Rx3xp + ... + Bp.

Вирішуючи її методом визначників, знайдемо параметри - стандартизовані коефіцієнти регресії (В-коефіцієнти). Вони показують, на скільки сигм зміниться в середньому результат, якщо відповідний фактор хі зміниться на одну сигму при незмінному середньому рівні інших факторів. В силу того, що всі змінні задані як центровані і нормовані, стандартизовані коефіцієнти регресії Вi можна порівняти між собою. Порівнюючи їх один з одним, можна ранжувати фактори за силою їх впливу на результат. У цьому основна перевага стандартизованих коефіцієнтів регресії на відміну від коефіцієнтів «чистої» регресії, які непорівнянні між собою.

Розглянутий сенс стандартизованих коефіцієнтів регресії дозволяє їх використовувати при відсів чинників - з моделі виключаються чинники з найменшим значенням В j

19. Узагальнений метод найменших квадратів

Сутність узагальненого МНК

Відомо, що симметрическую позитивно певну матрицю можна розкласти як  , Де P- деяка невироджена квадратна матриця. Тоді узагальнена сума квадратів може бути представлена ??як сума квадратів перетворених (за допомогою P) залишків  . Для лінійної регресії  це означає, що мінімізується величина:

де  , Тобто фактично суть узагальненого МНК зводиться до лінійному перетворенню даних і застосування до цих даних звичайного МНК. Якщо в якості вагової матриці W використовується зворотна ковариационная матриця V випадкових помилок e (тобто  ), Перетворення P призводить до того, що перетворена модель задовольняє класичним припущенням (Гаусса-Маркова), отже оцінки параметрів за допомогою звичайного МНК будуть найбільш ефективними в класі лінійних незміщених оцінок. А оскільки параметри вихідної і перетвореної моделі однакові, то це означає твердження - оцінки ОМНК є найбільш ефективними в класі лінійних незміщених оцінок (теорема Айткена). Формула узагальненого МНК має вигляд:

Коваріаційна матриця цих оцінок дорівнює:

20. Приватні рівняння регресії

На основі лінійного рівняння множинної регресії:

y = a + b1 * x1 + b2 * x2 + ... + bp * xp + e, можуть бути знайдені приватні рівняння регресії:

yx1.x2, x3, ..., xp = f (x1),

yx2.x1, x3, ..., xp = f (x2),

...

yxp.x1, x2, ..., xp-1 = f (xp),

т. е. рівняння регресії, які пов'язують результативний ознака з відповідними факторами х при закріпленні інших врахованих у множинноїрегресії факторів на середньому рівні. Приватні рівняння регресії мають такий вигляд:

yx1.x2, x3, ..., xp = a + b1 * x1 + b2 * x2 з межею вгорі + b3 * x3 з межею ... + bp * xp з межею + e,

yx2.x1, x3, ..., xp = a + b1 * x1 з межею + b2 * x2 + b3 * x3 з межею ... + bp * xp з межею + e,

...

yxp.x1, x2, ..., xp-1 = a + b1 * x1 з межею + b2 * x2с рисою + ... + bp-1 * xp-1 з межею + bp * xp + e,

При підстановці в ці рівняння середніх значень відповідних чинників вони приймають вид парних рівнянь лінійної регресії, т. Е. Маємо:

y з будиночком (^) нагорі x1..x2x3..xp = A1 + b1 * x1;

y з будиночком (^) нагорі x2..x1x3..xp = A2 + b2 * 21;

... ...

y з будиночком (^) нагорі xp..x1x2..xp-1 = Ap + bp * xp;

де

A1 = a + b2 * x2 з межею вгорі + b3 * x3 з межею ... + bp * xp з межею,

A2 = a + b1 * x1 з межею вгорі + b3 * x3 з межею ... + bp * xp з межею,

... ...

Ap = a + b1 * x1 з межею вгорі + b2 * x2 з межею ... + bp-1 * xp-1 з межею.

На відміну від парної регресії приватні рівняння регресії характеризують ізольоване вплив фактора на результат, бо інші фактори закріплені на незмінному рівні. Ефект впливу інших факторів приєднані в них до вільного члену рівняння множинної регресії. Це дозволяє на основі приватних рівнянь регресії визначати приватні коефіцієнти еластичності:

Еyxi = bi * (xi / y c ^ нагорі xi.x1x2 ... xi-1xi + 1 ... xp), де

bi - коефіцієнт регресії для фактора xi в рівнянні множинної регресії;

y c ^ нагорі xi.x1x2 ... xi-1xi + 1 ... xp - приватна рівняння регресії.

21. Множинна кореляція.

Як багато разів підкреслювалося, в практиці соціально-економічних досліджень найчастіше зустрічаються складні взаємозв'язки між явищами. Звідси виникає завдання визначення інтенсивності, або тісноти, зв'язку між більш ніж двома явищами (змінними). Для цієї мети використовується коефіцієнт множинної кореляції, або сукупний коефіцієнт кореляції, який характеризує тісноту зв'язку однієї з змінних з сукупністю інших.

Розглянемо спочатку кореляцію між трьома змінними. За аналогією з формою запису коефіцієнта множинної детермінації "позначимо коефіцієнт множинної кореляції через ry · 12

Він показує інтенсивність зв'язку за умови, що змінна i одночасно залежить від змінних х1 и х2. У припущенні лінійного зв'язку між змінними ми можемо виходячи з коефіцієнта детермінації (3.)

 (2.34)

з урахуванням ( =  - Коеф. кореляции) записати:

 (2.35)

Далі звернемося до (2.36):

(  ) + (  ) (2.36)

Підставами (2.36) в (2.35):

 (2.37)

Розділивши чисельник і знаменник (2.37) на  і з огляду на вираження дисперсій и  , А також ковариации s12, отримаємо

 (2.38)

Застосувавши формули (2.28), (2.29) і (2.4), після відповідних скорочень отримаємо

 (2.39)

Помножимо перше з рівнянь (2.31) на b1', а друге - на b2'. потім

складемо праві і ліві частини цих рівнянь:

 (2.40)

Праві частини рівності (2.39) і (2.40) рівні. звідси

 (2.41)

або

 (2.42)

З огляду на тепер (2.26) і (2.27), отримаємо формулу коефіцієнта множинної кореляції у вигляді, дуже зручному для практичних обчислень:

 (2.43)

З (2.43) видно, що коефіцієнт множинної кореляції укладений в межах 0 ?  ? 1.

За допомогою коефіцієнта множинної кореляції не можна зробити висновок про характер взаємозв'язку, т. Е. Про позитивну або негативну кореляцію між змінними. Тільки якщо всі коефіцієнти парної кореляції мають однаковий знак, то можна цей знак віднести також до коефіцієнта множинної кореляції і стверджувати про відповідному характері множинної зв'язку. Чим більше значення коефіцієнта наближається до одиниці, тим взаємозв'язок сильніше. Легко побачити, що (2.43) для випадку r12= 0 набирає вигляду

= +  (2.44)

Отже, якщо пояснюючі змінні х1 и x2 НЕ корельовані, т. е. зв'язок між ними відсутній, то квадрат коефіцієнта множинної кореляції дорівнює сумі квадратів коефіцієнтів парних кореляцій. Іншими словами, він дорівнює сумі інтенсивності взаємозв'язку між у и х1 , А також між у и х2. Отже, при некоррелированности пояснюють змінних аналіз взаємозв'язку полегшується.

Коефіцієнт множинної кореляції використовується, крім того, як показник точності оцінки функції регресії, по ньому можна судити, чи достатньо вибрані пояснюючі змінні обумовлюють кількісну варіацію залежної змінної. Якщо коефіцієнт множинної кореляції, який, як ми покажемо далі, тісно пов'язаний з коефіцієнтом множинної детермінації, приймає значення, близькі до 1, то варіація залежної змінної майже повністю визначається змінами пояснюють змінних. Включені в аналіз пояснюючі змінні роблять сильний вплив на залежну змінну.

Коефіцієнт множинної кореляції менше, ніж абсолютна величина будь-якого коефіцієнта парної і приватної кореляції з таким же первинним індексом. Це справедливо незалежно від того, існує між пояснюють змінними причинний зв'язок чи ні. Ми не будемо зупинятися на доказі цього твердження.

Вираз коефіцієнта множинної кореляції для будь-якого числа пояснюють змінних можна отримати шляхом узагальнення (2.42):

 (2.45)

Використовуючи матричну форму запису (2.32) і узагальнюючи формулу (2.43), отримаємо

 = R 'R-1 r. (2.46)

22. Приватна кореляція.

Як неодноразово підкреслювалося, економічні явища найчастіше доводиться описувати багатофакторним моделями. У зв'язку з цим виникають два завдання:

1) визначення тісноти зв'язку однієї з змінних з сукупністю інших змінних, включених b аналіз; це є завданням вивчення множинної кореляції;

2) визначення тісноти зв'язку між двома змінними при фіксуванні або виключення впливу інших. Інтенсивність такого зв'язку оцінюється за допомогою коефіцієнтів часткової кореляції. Якщо змінні корелюють один з одним, то на величині коефіцієнта парної кореляції частково позначається вплив інших змінних. Якщо, наприклад, між х1 и х2 існує тісний зв'язок, і, крім того, у залежить від х1, то у буде також корелювати з х2. Цілком можливо, що кореляцію між у и х2 не пряма, а непряма, що виникає внаслідок впливу х1. Тому необхідно досліджувати приватну кореляцію між у и х2 при виключенні впливу х1 на у. Виключаються змінні можуть закріплюватися як на середніх, так і на інших рівнях, обраних відповідно до цікавлять нас ділянками зміни змінних, між якими визначається зв'язок в «чистої» формі. Тут слід враховувати професійно-теоретичні міркування про досліджуваному явищі.

Вимірювання приватного впливу окремих змінних виконується на основі приватної регресії і приватної кореляції. Дотримуючись формі запису коефіцієнта приватної детермінації, позначимо через ry1 · 2 коефіцієнт приватної кореляції, за допомогою якого оцінюється інтенсивність зв'язку між змінними у і х1 при виключенні впливу х2. Відповідно до даного визначення, наприклад, r12.у також буде коефіцієнтом приватної кореляції, що вимірює тісноту зв'язку між змінними х1 и х2 при виключенні впливу у.

У той час як при розгляді множинної кореляції використовується міра залежності однієї з змінних з сукупністю інших, при вивченні приватної кореляції визначається частка вплив кожної окремої змінної при припущенні її зв'язку з іншими змінними.

Розглянемо завдання дослідження приватної кореляції на прикладі взаємозв'язку трьох змінних. Проаналізуємо коефіцієнт приватної кореляції між змінними у и х1 при виключенні впливу х2. Грунтуючись на формулі (2.48)

b1  (2.48)

побудуємо коефіцієнт детермінації за аналогією з (2.49)

 (2.49)

і будемо вимагати відповідно до ( =  - Коеф. кореляции), щоб цей коефіцієнт детермінації дорівнював квадрату коефіцієнта приватної кореляції. Ця вимога цілком виправдана, так як коефіцієнт детермінації повинен обчислюватися за даними, з яких виключено вплив змінної х2. Отже, отримуємо

 (2.50)

Враховуючи що = 0, (2.50) можна привести до виду

 (2.51)

Формула (2.51) мало придатна для практичних обчислень. Для отримання більш зручного виразу виконаємо деякі перетворення. Підставами (2.48) в (2.51). З огляду на далі

а також те, що коефіцієнти приватної регресії рівні коефіцієнтам регресії, отримаємо

 (2.52)

Введемо наступні позначення. нехай by1.2 - Коефіцієнт приватної регресії у на x1; b0 (12) - Постійна, а b12 - Коефіцієнт регресії x1 на х2; b0 (У2) - Постійна, а by2 - Коефіцієнт регресії у на х2.

Відповідно c

отримаємо вираз

 (2.53)

яке буде непоясненної дисперсією для регресії х1 на х2. Звідси робимо висновок, що знаменник в (2.52) являє собою непоясненим дисперсію для регресії у на х2. Виходячи з цих міркувань (2.52) записуємо у вигляді

 (2.54)

Ми знаємо, що загальну дисперсію можна розкласти на дві складові - пояснення не можна було пояснити дисперсії. Використовуємо цю обставину в подальших наших міркуваннях. Розділимо обидві частини тотожності

 на  і, з огляду на (2.6), після деяких простих перетворень отримаємо

 (2.55)

За аналогією можна записати

 (2.56)

Підставами (2.56) в (2.54)

 (2.57)

Тепер підставимо (2.24) в (2.57) і виконаємо деякі перетворення:

 (2.58)

Таким чином, ми отримали формулу коефіцієнта приватної кореляції, зручну для практичних обчислень. За аналогією можна легко записати вирази для інших коефіцієнтів часткової кореляції.

Обчислення коефіцієнтів часткової кореляції зводиться до знаходження коефіцієнтів парної кореляції. Завдяки виведеним формулам легко встановити співвідношення між цими коефіцієнтами. Так, якщо rу2 = r12 = 0, то rу1.2 = rв1. якщо r12 = 0 (т. Е. Змінні х1 и х2 НЕ корельовані), то | ry1.2| > | Rв1| і | rу2.1| > | Rу2| . Отже, зі зменшенням взаємодії між х1 и х2 слід очікувати збільшення коефіцієнта приватної кореляції в порівнянні з відповідним коефіцієнтом парної кореляції. Це збільшення тим сильніше, чим більше | rв1| або | rу2|. далі, | ry1.2| > | Rв1|, якщо rу2 = 0 і | rу2.1| > | Rу2|, якщо ry1 = 0. В обох випадках нерівності тим більше, чим сильніше взаємодія між х1 і х2, А отже, чим більше r12. Якщо коефіцієнти кореляції rу2 і r12 мають протилежні знаки, то завжди | ry1.2| > | Rв1|.

Узагальнимо тепер вираз коефіцієнта приватної кореляції на будь-яке число пояснюють змінних. Скористаємося для цього формулою (2.57). Після вилучення кореня квадратного з обох частин рівності отримаємо

 (2.59)

За аналогією запишемо

 (2.60)

Так як r1y.2 = ry1.2, то, перемножая відповідно праві і ліві частини (2.59) і (2.60), отримаємо

 (2.61)

Відповідно до (2.28) і (2.29)

 (2.62)

Узагальнюючи, можна записати

 (2.63)

Формула (2.63) дозволяє нам обчислювати коефіцієнт приватної кореляції за коефіцієнтами приватної регресії.

За аналогією з (2.58), узагальнюючи на будь-яке число пояснюють змінних, отримаємо

 (2.64

Як видно з (2.64), обчислення коефіцієнта приватної кореляції порядку m зводиться до визначення коефіцієнтів часткової кореляції порядку m-1. При використанні (2.64) спочатку необхідно знати коефіцієнти парної кореляції, а потім приступати до обчислення коефіцієнтів кореляції більш високого порядку. При більш ніж чотирьох змінних обчислення приватних коефіцієнтів кореляції бажано проводити на КВМ.

23. Оцінка надійності результатів множинної регресії і кореляції.

24. Нелінійні моделі регресії. Множинна нелінійна регресія

Кілька явищ можуть бути з'єднані між собою нелінійними співвідношеннями. В цьому випадку для опису залежностей слід скористатися множинної нелінійної регресією. Тут також розрізняють множинну нелінійну регресію першого і другого класів. Всі міркування, наведені в розділі 5.1, щодо цієї проблематики мають силу і для даної регресії.

Виходячи з логічних міркувань процедура побудови рівняння множинної нелінійної регресії повинна бути аналогічна процедурі визначення простий нелінійної регресії. Розглянемо наступний приклад квазилинейной регресії, обмежившись двома пояснюють змінними:

 (1.30)

Якщо професійно-теоретичний аналіз економічного явища дозволяє функції від пояснюють змінних представити у вигляді

 (1.31)

и

 (1.32)

то залежність (1.30) виражається так:

 (1.33)

Застосовуючи метод найменших квадратів, знаходять параметри а, Ь1, с1 ..., d2. Але в цьому випадку рівняння (1.33) можна відносно просто звести до лінійного вигляду, позначивши , , и  . Обмежившись лише цим зазначенням, ми не будемо записувати рівняння в лінійній формі.

Завданням множинної лінійної регресії є побудова лінійної моделі зв'язку між набором безперервних предикторів і безперервної залежною змінною. Часто використовується наступне регресійні рівняння:

 (1)

тут аi - Регресивні коефіцієнти, b0 - Вільний член (якщо він використовується), е - Член, що містить помилку - з приводу нього робляться різні припущення, які, однак, частіше зводяться до нормальності розподілу з нульовим вектором мат. очікування і кореляційної матрицею .

Такий лінійної моделлю добре описуються багато завдань в різних предметних областях, наприклад, економіці, промисловості, медицині. Це відбувається тому, що деякі завдання лінійні за своєю природою.

25. логарифмічні моделі

Нехай деяка економічна залежність моделюється формулою (ступенева залежність від X)

де у і в1 - параметри моделі (константи, що підлягають визначенню), є - випадковий член.
 Ця функція може відображати залежність попиту Y на благо від його ціни X (в даному випадку в lt; 0) або від доходу X (в даному випадку вgt; 0; при такій інтерпретації змінних X і Y функція (8.1) називається функцією Енгеля). Функція (8.1) може відображати також залежність обсягу випуску Y від використання ресурсу X (виробнича функція), в якій 0 lt; в lt; 1, а також ряд інших залежностей.
 Модель (8.1) не є лінійною функцією відносно X. Стандартним і широко використовуваним підходом до аналізу функцій даного роду в економетрики є логарифмирование по підставі e = 2,71828 ... Прологаріфміровав обидві частини (8.1), маємо логарифмічну модель:

яка є лінійною в логарифмічних змінних.

Лінійна модель (8.3) докладно розглянута раніше. Якщо всі необхідні передумови класичної лінійної регресійної моделі для (8.3) виконані, то по МНК можна визначити найкращі лінійні незсунені оцінки коефіцієнтів у і в1.
 Параметри моделі (8.3) оцінюються за звичайними формулами парної регресії з урахуванням заміни змінних:

Тут b0 - оцінка параметра в0, b1 - оцінка параметра Д1.
 Очевидно, оцінка параметра в0 дорівнює b0 = ebo = exp (b0).
 Відзначимо, що коефіцієнт в1 визначає еластичність змінної Y за змінної X, т. Е. Процентна зміна Y для даного процентного зміни X. Дійсно, продифференцировав ліву і праву частини (8 3) по X отримаємо '

Коефіцієнт в є константою, вказуючи на постійну еластичність. Тому найчастіше подвійна логарифмічна модель (або модель (8.1) називається моделлю постійної еластичності.
 Зауважимо, що в разі парної регресії обґрунтованість використання логарифмічною моделі перевірити досить просто. Замість спостережень (x ,, y,) розглядаються спостереження

{Lnxi, lnyi) i = 1,2, ..., п. Знову отримані точки наносяться на
 кореляційне поле. Якщо їх розташування відповідає прямій лінії, то вироблена заміна вдала і використання логарифмічною моделі обгрунтовано.
 Приклад 8.1. Нехай є такі дані (табл. 8.1).

Дані для аналізу статечної моделі

X 5 6 7 4 8 1 3  10 9 2
Y  3,2  3,5  3,7  3,0  3,7  1,6  3,0  4,0  3,9,  2,5


 Якщо розглядати лінійну модель, то отримаємо результат, представлений на рис. 8.1. Якщо розглянути ступеневу модель і прологаріфміровать обидві змінні, то отримаємо результат, представлений на рис. 8.2.

1пХ
 Рис 8.2. Статечна модель (лінійна в логарифмах)

Таблиця 8.2
 Розрахункова таблиця для визначення параметрів статечної моделі

Х У  Х = ln Х  У * = ln у  Х * 2  * * Ху
5  3,2  1,6094  1,1632  2,5903  1,872
6  3,5  1,7918  1,2528  3,2104  2,2446
7  3,7  1,9459  1,3083  3,7866  2,5459
4 3  1,3863  1,0986  1,9218  1,523
8  3,7  2,0794  1,3083  4,3241  2,7206
 0,5  1,6  -0,6931  0,47  0,4805  -0,326
3 3  1,0986  1,0986  1,2069  1,2069
 10 4  2,3026  1,3863  5,3019  3,1921
9  3,9  2,1972  1,361  4,8278  2,9904
2  2,5  0,6931  0,9163  0,4805  0,6351
2    14,411  11,363  28,131  18,605



 1 = \ l - L /
 Дана модель легко узагальнюється на більше число змінних. наприклад,

Тут коефіцієнти вь ві є еластичностями змінної Y за змінними Х1 і Х2 відповідно.
 Добре відома виробнича функція Кобба-Дугласа:

(Тут не вказано випадковий член, але повинен входити в модель мультиплікативно).
 Після логарифмування обох частин отримаємо:

Тут а, в - еластичності випуску за витратами капіталу і праці відповідно. Сума цих коефіцієнтів є таким важливим економічним показником, як віддача від масштабу. При а + в = 1 говорять про постійну віддачі від масштабу (у скільки разів збільшуються витрати ресурсів, у стільки ж разів збільшується випуск). При а + в lt; 1 має місце спадна віддача від масштабу (збільшення обсягу випуску менше збільшення витрат ресурсів). При а + вgt; 1 зростаюча віддача від масштабу (збільшення обсягу випуску більше збільшення витрат ресурсів).
 У загальному випадку статечна модель множинної регресії має вигляд:

Вона перетворюється в лінійну модель після логарифмування.

26. напівлогарифмічному моделі

Експонентну модель (3.1) у вигляді (3.2) називають також полулогарифмической.

До полуекспоненціальним відносять також модель виду:


27 Зворотній модель

28 Статечна модель

29 Показова модель

30 Лінеаризація нелінійних моделей

При нелінійної залежності ознак, що приводиться до лінійного вигляду, параметри множинної регресії також визначаються по МНК з тією лише різницею, що він використовується не до вихідної інформації, а до перетвореним даними.

 Застосовується для поліноміальних, гіперболічних, полулогарифмических моделей.

31. Перетворення випадкового відхилення.

32. Співвідношення між коефіцієнтами множинної і приватної кореляції, регресії і детермінації

Покажемо, що між коефіцієнтами множинної і приватної кореляції, регресії і детермінації існують співвідношення, що дозволяють робити обчислення одних коефіцієнтів по відомим іншим. Обмежимося найбільш важливими співвідношеннями. Розділимо чисельник і знаменник правої частини формули (5.1)

 (5.1)

на

.

Шляхом простого перетворення з урахуванням

а також (2.52) і (2.53) отримаємо наступне співвідношення:

 (5.2)

Порівнюючи (5.2) з (2.54), можна зробити висновок, що


 Вибір форми рівняння регресії. |  Суть кореляційного і регресійного аналізу. Основні завдання вирішуються методами аналізу |  поле кореляції |  Лінійна регресія і кореляція, сенс і оцінка параметрів. Парні регресивні прямі |  Метод найменших квадратів (МНК). узагальнений МНК |  Властивості оцінок МНК. Перевірка якості рівняння регресії. |  Перевірка значущості коефіцієнта кореляції і коефіцієнта детермінації |  Оцінка суттєвості параметрів лінійної регресії і кореляції. |  Коефіцієнт множинної детермінації |  визначення |

© 2016-2022  um.co.ua - учбові матеріали та реферати