Mažiausių kvadratų metodas leidžia rasti. Matematika ant pirštų: mažiausių kvadratų metodai

Funkciją aproksiminkime 2 laipsnio polinomu. Norėdami tai padaryti, apskaičiuojame normalios lygčių sistemos koeficientus:

, ,

Sukurkime įprastą mažiausių kvadratų sistemą, kurios forma:

Sistemos sprendimą lengva rasti:, , .

Taigi randamas 2-ojo laipsnio daugianario: .

Teorinė informacija

Grįžti į puslapį<Введение в вычислительную математику. Примеры>

2 pavyzdys. Optimalaus daugianario laipsnio radimas.

Grįžti į puslapį<Введение в вычислительную математику. Примеры>

3 pavyzdys. Normalios lygčių sistemos išvedimas empirinės priklausomybės parametrams rasti.

Išveskime lygčių sistemą koeficientams ir funkcijoms nustatyti , kuri atlieka tam tikros funkcijos vidurkio kvadrato aproksimaciją taškais. Sudarykime funkciją ir užrašykite jam būtiną ekstremalią sąlygą:

Tada įprasta sistema bus tokia:

Gavome tiesinę lygčių sistemą nežinomiems parametrams ir kurią lengva išspręsti.

Teorinė informacija

Grįžti į puslapį<Введение в вычислительную математику. Примеры>

Pavyzdys.

Eksperimentiniai duomenys apie kintamųjų reikšmes X Ir adresu pateikiami lentelėje.

Dėl jų išlyginimo gaunama funkcija

Naudojant mažiausių kvadratų metodas, apytiksliai apskaičiuokite šiuos duomenis tiesine priklausomybe y=kirvis+b(raskite parametrus A Ir b). Sužinokite, kuri iš dviejų eilučių geriau (mažiausių kvadratų metodo prasme) suderina eksperimentinius duomenis. Padarykite piešinį.

Mažiausių kvadratų metodo (LSM) esmė.

Užduotis – rasti tiesinės priklausomybės koeficientus, kuriems esant veikia dviejų kintamųjų funkcija A Ir bužima mažiausią vertę. Tai yra, duota A Ir b eksperimentinių duomenų nuokrypių kvadratu suma nuo rastos tiesės bus mažiausia. Tai yra mažiausių kvadratų metodo esmė.

Taigi, sprendžiant pavyzdį, reikia rasti dviejų kintamųjų funkcijos ekstremumą.

Koeficientų radimo formulės.

Sudaroma ir išsprendžiama dviejų lygčių su dviem nežinomaisiais sistema. Funkcijos dalinių išvestinių radimas pagal kintamuosius A Ir b, šias išvestines prilyginsime nuliui.

Gautą lygčių sistemą išsprendžiame naudodami bet kurį metodą (pvz pakeitimo būdu arba Cramerio metodu) ir gauti koeficientų nustatymo formules naudojant mažiausių kvadratų metodą (LSM).

Duota A Ir b funkcija užima mažiausią vertę. Šio fakto įrodymas pateiktas žemiau esančiame tekste puslapio pabaigoje.

Tai visas mažiausių kvadratų metodas. Parametrų radimo formulė a yra sumos , , , ir parametras n— eksperimentinių duomenų kiekis. Rekomenduojame šių sumų vertes skaičiuoti atskirai.

Koeficientas b rasta po skaičiavimo a.

Atėjo laikas prisiminti originalų pavyzdį.

Sprendimas.

Mūsų pavyzdyje n=5. Lentelę užpildome, kad būtų patogiau apskaičiuoti sumas, kurios įtrauktos į reikalingų koeficientų formules.

Ketvirtoje lentelės eilutėje esančios reikšmės gaunamos 2-os eilutės reikšmes padauginus iš 3-osios kiekvieno skaičiaus reikšmių i.

Penktoje lentelės eilutėje esančios reikšmės gaunamos padalijus kiekvieno skaičiaus 2-os eilutės reikšmes kvadratu i.

Paskutiniame lentelės stulpelyje esančios reikšmės yra reikšmių visose eilutėse sumos.

Koeficientams rasti naudojame mažiausių kvadratų metodo formules A Ir b. Į jas pakeičiame atitinkamas vertes iš paskutinio lentelės stulpelio:

Vadinasi, y = 0,165x+2,184— norima apytikslė tiesi linija.

Belieka išsiaiškinti, kuri iš eilučių y = 0,165x+2,184 arba geriau aproksimuoja pradinius duomenis, tai yra, įvertina taikydamas mažiausių kvadratų metodą.

Mažiausių kvadratų metodo klaidų įvertinimas.

Norėdami tai padaryti, turite apskaičiuoti pirminių duomenų kvadratinių nuokrypių nuo šių eilučių sumą Ir , mažesnė reikšmė atitinka liniją, kuri geriau apytiksliai atitinka pradinius duomenis mažiausiųjų kvadratų metodo prasme.

Nuo tada tiesiai y = 0,165x+2,184 geriau atitinka pradinius duomenis.

Mažiausių kvadratų (LS) metodo grafinė iliustracija.

Grafikuose viskas aiškiai matosi. Raudona linija yra rasta tiesi linija y = 0,165x+2,184, mėlyna linija yra , rožiniai taškai yra pirminiai duomenys.

Kam to reikia, kam visi šie aproksimacijos?

Aš asmeniškai naudoju jį duomenų išlyginimo, interpoliacijos ir ekstrapoliacijos problemoms spręsti (pradiniame pavyzdyje jų gali būti paprašyta rasti stebimos reikšmės reikšmę y adresu x=3 arba kada x=6 naudojant mažiausių kvadratų metodą). Tačiau daugiau apie tai pakalbėsime vėliau kitoje svetainės skiltyje.

Puslapio viršuje

Įrodymas.

Taip kad radus A Ir b funkcija įgauna mažiausią reikšmę, būtina, kad šioje vietoje funkcijos antros eilės diferencialo kvadratinės formos matrica buvo teigiamas. Parodykime.

Antrosios eilės skirtumas turi tokią formą:

Tai yra

Todėl kvadratinės formos matrica turi formą

o elementų reikšmės nepriklauso A Ir b.

Parodykime, kad matrica yra teigiama apibrėžtoji. Norėdami tai padaryti, kampiniai nepilnamečiai turi būti teigiami.

Pirmos eilės kampinis minoras . Nelygybė yra griežta, nes taškai nesutampa. Toliau mes tai pasakysime.

Antros eilės kampinis minoras

Įrodykime tai matematinės indukcijos metodu.

Išvada: rastos vertės A Ir b atitinka mažiausią funkcijos reikšmę , todėl mažiausių kvadratų metodui reikalingi parametrai.

Neturite laiko išsiaiškinti?
Užsisakykite sprendimą

Puslapio viršuje

Prognozės kūrimas naudojant mažiausių kvadratų metodą. Problemos sprendimo pavyzdys

Ekstrapoliacija yra mokslinio tyrimo metodas, pagrįstas praeities ir dabarties tendencijų, modelių ir sąsajų su prognozuojamo objekto ateities raida sklaida. Ekstrapoliacijos metodai apima slankiojo vidurkio metodas, eksponentinis išlyginimo metodas, mažiausių kvadratų metodas.

Esmė mažiausių kvadratų metodas susideda iš kvadratinių nuokrypių tarp stebimų ir apskaičiuotų verčių sumos sumažinimo. Apskaičiuotos reikšmės randamos naudojant pasirinktą lygtį – regresijos lygtį. Kuo mažesnis atstumas tarp faktinių ir apskaičiuotų verčių, tuo tikslesnė prognozė, pagrįsta regresijos lygtimi.

Kreivės pasirinkimo pagrindas yra teorinė tiriamo reiškinio, kurio kitimą atspindi laiko eilutė, esmės analizė. Kartais atsižvelgiama į svarstymus apie serijos lygių padidėjimo pobūdį. Taigi, jei tikimasi produkcijos augimo aritmetine progresija, tada išlyginimas atliekamas tiesia linija. Jei paaiškėja, kad augimas vyksta geometrine progresija, tada išlyginimas turi būti atliktas naudojant eksponentinę funkciją.

Mažiausių kvadratų metodo darbinė formulė : Y t+1 = a*X + b, kur t + 1 – prognozuojamas laikotarpis; Уt+1 – prognozuojamas rodiklis; a ir b yra koeficientai; X yra laiko simbolis.

Koeficientai a ir b apskaičiuojami naudojant šias formules:

kur Uf – faktinės dinamikos eilučių vertės; n – laiko eilučių lygių skaičius;

Išlyginant laiko eilutes, naudojant mažiausiųjų kvadratų metodą, galima atspindėti tiriamo reiškinio raidos modelį. Analitinėje tendencijos išraiškoje laikas laikomas nepriklausomu kintamuoju, o eilučių lygiai veikia kaip šio nepriklausomo kintamojo funkcija.

Reiškinio raida priklauso ne nuo to, kiek metų praėjo nuo pradžios taško, o nuo to, kokie veiksniai turėjo įtakos jo raidai, kokia kryptimi ir kokiu intensyvumu. Iš čia aišku, kad reiškinio vystymasis laikui bėgant yra šių veiksnių veikimo rezultatas.

Teisingai nustatyti kreivės tipą, analitinės priklausomybės nuo laiko tipą yra viena iš sunkiausių nuspėjamosios analizės užduočių. .

Trendą apibūdinančios funkcijos, kurios parametrai nustatomi mažiausių kvadratų metodu, tipo parinkimas dažniausiai atliekamas empiriškai, sukonstruojant daugybę funkcijų ir jas lyginant tarpusavyje pagal vidutinė kvadratinė paklaida, apskaičiuojama pagal formulę:

kur UV yra faktinės dinamikos serijos vertės; Ur – apskaičiuotos (išlygintos) dinamikos eilučių reikšmės; n – laiko eilučių lygių skaičius; p – tendenciją (plėtros tendenciją) apibūdinančiose formulėse apibrėžtų parametrų skaičius.

Mažiausių kvadratų metodo trūkumai :

bandant apibūdinti tiriamą ekonominį reiškinį naudojant matematinę lygtį, prognozė bus tiksli trumpą laiką ir regresijos lygtis turėtų būti perskaičiuojama, kai atsiranda naujos informacijos;
Regresijos lygties, kurią galima išspręsti naudojant standartines kompiuterines programas, atrankos sudėtingumas.

Mažiausių kvadratų metodo naudojimo prognozei sudaryti pavyzdys

Užduotis . Yra duomenų, apibūdinančių nedarbo lygį regione, proc.

Sudarykite nedarbo lygio regione prognozę lapkričio, gruodžio, sausio mėnesiams, naudodami šiuos metodus: slankusis vidurkis, eksponentinis išlyginimas, mažiausi kvadratai.
Apskaičiuokite gautų prognozių klaidas naudodami kiekvieną metodą.
Palyginkite rezultatus ir padarykite išvadas.

Mažiausių kvadratų sprendimas

Norėdami tai išspręsti, sudarysime lentelę, kurioje atliksime reikiamus skaičiavimus:

ε = 28,63/10 = 2,86 % prognozės tikslumas aukštas.

Išvada : Lyginant gautus iš skaičiavimų rezultatus slankiojo vidurkio metodas , eksponentinis išlyginimo metodas ir mažiausių kvadratų metodą, galime teigti, kad vidutinė santykinė paklaida skaičiuojant naudojant eksponentinį išlyginimo metodą patenka į 20-50% diapazoną. Tai reiškia, kad prognozės tikslumas šiuo atveju yra tik patenkinamas.

Pirmuoju ir trečiuoju atveju prognozės tikslumas yra didelis, nes vidutinė santykinė paklaida yra mažesnė nei 10%. Tačiau slankiojo vidurkio metodas leido gauti patikimesnius rezultatus (lapkričio prognozė - 1,52%, gruodžio mėnesio prognozė - 1,53%, sausio mėnesio prognozė - 1,49%), nes vidutinė santykinė paklaida naudojant šį metodą yra mažiausia - 1 ,13 proc.

Mažiausio kvadrato metodas

Kiti straipsniai šia tema:

Naudotų šaltinių sąrašas

Mokslinės ir metodinės rekomendacijos socialinių rizikų diagnozavimui ir iššūkių, grėsmių ir socialinių pasekmių prognozavimui. Rusijos valstybinis socialinis universitetas. Maskva. 2010 m.;
Vladimirova L.P. Prognozavimas ir planavimas rinkos sąlygomis: Vadovėlis. pašalpa. M.: Leidykla "Dashkov and Co", 2001;
Novikova N.V., Pozdeeva O.G. Šalies ūkio prognozavimas: Mokomasis ir metodinis vadovas. Jekaterinburgas: Uralo leidykla. valstybė ekonom. Univ., 2007;
Slutskin L.N. MBA kursas apie verslo prognozavimą. M.: Alpina Business Books, 2006.

MNC programa

Įveskite duomenis

Duomenys ir aproksimacija y = a + b x

i- eksperimentinio taško skaičius;
x i- fiksuoto parametro reikšmė taške i;
y i- išmatuoto parametro vertė taške i;
ωi- matavimo svoris taške i;
y i, skaičiuok.- skirtumas tarp išmatuotos ir regresijos apskaičiuotos vertės y taške i;
S x i (x i)- klaidų įvertinimas x i matuojant y taške i.

Duomenys ir aproksimacija y = k x

i	x i	y i	ωi	y i, skaičiuok.	y i	S x i (x i)

Spustelėkite diagramą

MNC internetinės programos vartotojo vadovas.

Duomenų lauke kiekvienoje atskiroje eilutėje įveskite „x“ ir „y“ reikšmes viename eksperimentiniame taške. Reikšmės turi būti atskirtos tarpo simboliu (tarpu arba tabuliavimu).

Trečioji reikšmė gali būti taško „w“ svoris. Jei taško svoris nenurodytas, jis lygus vienetui. Didžioji dauguma atvejų eksperimentinių taškų svoriai nežinomi arba neskaičiuojami, t.y. visi eksperimentiniai duomenys laikomi lygiaverčiais. Kartais tiriamo verčių diapazono svoriai visiškai nėra lygiaverčiai ir netgi gali būti apskaičiuoti teoriškai. Pavyzdžiui, spektrofotometrijoje svoriai gali būti apskaičiuojami naudojant paprastas formules, nors tai dažniausiai nepaisoma siekiant sumažinti darbo sąnaudas.

Duomenis galima įklijuoti per mainų sritį iš skaičiuoklės biuro programoje, pvz., „Excel“ iš „Microsoft Office“ arba „Calc“ iš „Open Office“. Norėdami tai padaryti, skaičiuoklėje pasirinkite duomenų diapazoną, kurį norite kopijuoti, nukopijuokite į mainų sritį ir įklijuokite duomenis į šio puslapio duomenų lauką.

Norint apskaičiuoti naudojant mažiausių kvadratų metodą, reikia bent dviejų taškų, kad būtų galima nustatyti du koeficientus „b“ – linijos pasvirimo kampo liestinę ir „a“ – vertę, kurią perima linija „y“ ašyje.

Norėdami įvertinti apskaičiuotų regresijos koeficientų paklaidą, turite nustatyti daugiau nei du eksperimentinių taškų skaičių.

Mažiausių kvadratų metodas (LSM).

Kuo didesnis eksperimentinių taškų skaičius, tuo tikslesnis statistinis koeficientų įvertinimas (dėl Stjudento koeficiento sumažėjimo) ir tuo įvertis artimesnis bendrosios imties įverčiui.

Vertybių gavimas kiekviename eksperimentiniame taške dažnai yra susijęs su didelėmis darbo sąnaudomis, todėl dažnai atliekamas kompromisinis eksperimentų skaičius, kuris suteikia valdomą įvertinimą ir nesukelia pernelyg didelių darbo sąnaudų. Paprastai eksperimentinių taškų skaičius tiesinei mažiausiųjų kvadratų priklausomybei su dviem koeficientais parenkamas 5-7 taškų srityje.

Trumpa tiesinių santykių mažiausių kvadratų teorija

Tarkime, kad turime eksperimentinių duomenų rinkinį reikšmių porų pavidalu [`y_i`, `x_i`], kur i yra vieno eksperimentinio matavimo skaičius nuo 1 iki n; „y_i“ – išmatuotos vertės taške „i“ reikšmė; „x_i“ – parametro, kurį nustatome taške „i“, reikšmė.

Kaip pavyzdį apsvarstykite Ohmo dėsnio veikimą. Keisdami įtampą (potencialų skirtumą) tarp elektros grandinės sekcijų, išmatuojame per šią sekciją einančios srovės kiekį. Fizika suteikia mums eksperimentiškai nustatytą priklausomybę:

"I = U/R",
kur „aš“ yra srovės stiprumas; `R` - pasipriešinimas; "U" - įtampa.

Šiuo atveju „y_i“ yra išmatuota srovės vertė, o „x_i“ yra įtampos vertė.

Kaip kitą pavyzdį apsvarstykite šviesos sugertį medžiagos tirpale. Chemija suteikia mums formulę:

"A = ε l C",
čia "A" yra tirpalo optinis tankis; `ε` – ištirpusios medžiagos pralaidumas; `l` - kelio ilgis, kai šviesa praeina pro kiuvetę su tirpalu; "C" yra ištirpusios medžiagos koncentracija.

Šiuo atveju „y_i“ yra išmatuota optinio tankio „A“ vertė, o „x_i“ yra mūsų nurodytos medžiagos koncentracijos vertė.

Nagrinėsime atvejį, kai santykinė paklaida specifikacijoje „x_i“ yra žymiai mažesnė už santykinę matavimo paklaidą „y_i“. Taip pat manysime, kad visos išmatuotos reikšmės `y_i` yra atsitiktinės ir normaliai paskirstytos, t.y. laikytis normalaus paskirstymo įstatymo.

Esant tiesinei „y“ priklausomybei nuo „x“, galime parašyti teorinę priklausomybę:
y = a + b x.

Geometriniu požiūriu koeficientas „b“ reiškia linijos polinkio kampo liestinę su „x“ ašimi, o koeficientas „a“ – „y“ reikšmę linijos susikirtimo taške. linija su „y“ ašimi (esant „x = 0“).

Regresijos tiesės parametrų radimas.

Eksperimento metu išmatuotos „y_i“ vertės negali tiksliai gulėti ant teorinės tiesės dėl matavimo klaidų, kurios visada būdingos realiame gyvenime. Todėl tiesinė lygtis turi būti pavaizduota lygčių sistema:
„y_i = a + b x_i + ε_i“ (1),
kur „ε_i“ yra nežinoma „y“ matavimo paklaida „i“ eksperimente.

Priklausomybė (1) taip pat vadinama regresija, t.y. dviejų dydžių priklausomybę vienas nuo kito, turinčią statistinę reikšmę.

Priklausomybės atkūrimo užduotis – iš eksperimentinių taškų [`y_i`, `x_i`] rasti koeficientus `a` ir `b`.

Koeficientams „a“ ir „b“ rasti paprastai naudojamas mažiausių kvadratų metodas(MNC). Tai ypatingas didžiausios tikimybės principo atvejis.

Perrašykime (1) į formą `ε_i = y_i - a - b x_i`.

Tada klaidų kvadratų suma bus
„Φ = suma_(i=1)^(n) ε_i^2 = suma_(i=1)^(n) (y_i – a – b x_i)^2“. (2)

Mažiausių kvadratų (mažiausių kvadratų) principas yra sumažinti sumą (2) atsižvelgiant į parametrus "a" ir "b"..

Mažiausias yra pasiekiamas, kai sumos (2) dalinės išvestinės koeficientų "a" ir "b" atžvilgiu yra lygios nuliui:
`frac(dalinė Φ)(dalinė a) = trupmena(dalinė suma_(i=1)^(n) (y_i - a - b x_i)^2)(dalinė a) = 0
„frac(dalinis Φ)(dalinis b) = trupmenas(dalinė suma_(i=1)^(n) (y_i - a - b x_i)^2)(dalinė b) = 0"

Išplėsdami išvestines, gauname dviejų lygčių sistemą su dviem nežinomaisiais:
„suma_(i=1)^(n) (2a + 2bx_i — 2y_i) = suma_(i=1)^(n) (a + bx_i — y_i) = 0“
„suma_(i=1)^(n) (2bx_i^2 + 2ax_i — 2x_iy_i) = suma_(i=1)^(n) (bx_i^2 + ax_i — x_iy_i) = 0“

Atverčiame skliaustus ir nuo reikiamų koeficientų nepriklausomas sumas perkeliame į kitą pusę, gauname tiesinių lygčių sistemą:
„suma_(i=1)^(n) y_i = a n + b suma_(i=1)^(n) bx_i“
„suma_(i=1)^(n) x_iy_i = a suma_(i=1)^(n) x_i + b suma_(i=1)^(n) x_i^2“

Išspręsdami gautą sistemą, randame koeficientų "a" ir "b" formules:

`a = frac(sum_(i=1)^(n) y_i suma_(i=1)^(n) x_i^2 — suma_(i=1)^(n) x_i suma_(i=1)^(n ) x_iy_i) (n suma_(i=1)^(n) x_i^2 — (suma_(i=1)^(n) x_i)^2)" (3.1)

`b = frac(n suma_(i=1)^(n) x_iy_i — suma_(i=1)^(n) x_i suma_(i=1)^(n) y_i) (n suma_(i=1)^ (n) x_i^2 — (suma_(i=1)^(n) x_i)^2)“ (3.2)

Šios formulės turi sprendinius, kai `n > 1` (tiesė gali būti sudaryta naudojant bent 2 taškus) ir kai determinantas `D = n sum_(i=1)^(n) x_i^2 - (sum_(i= 1) )^(n) x_i)^2 != 0`, t.y. kai eksperimento „x_i“ taškai yra skirtingi (t. y. kai linija nėra vertikali).

Regresijos tiesių koeficientų paklaidų įvertinimas

Norint tiksliau įvertinti koeficientų „a“ ir „b“ skaičiavimo paklaidą, pageidautina daug eksperimentinių taškų. Kai `n = 2`, neįmanoma įvertinti koeficientų paklaidos, nes apytikslė linija vienareikšmiškai eis per du taškus.

Nustatoma atsitiktinio dydžio `V` paklaida klaidų kaupimosi dėsnis
„S_V^2 = suma_(i=1)^p (frac(dalinis f)(dalinis z_i))^2 S_(z_i)^2“,
kur „p“ yra parametrų „z_i“ su klaida „S_(z_i)“, turinčių įtakos klaidai „S_V“, skaičius;
„f“ yra „V“ priklausomybės nuo „z_i“ funkcija.

Parašykime klaidų kaupimosi dėsnį koeficientų 'a' ir 'b' paklaidai
`S_a^2 = suma_(i=1)^(n)(trupinis(dalinis a)(dalinis y_i))^2 S_(y_i)^2 + suma_(i=1)^(n)(frac(dalinis a) )(dalinis x_i))^2 S_(x_i)^2 = S_y^2 suma_(i=1)^(n)(frac(dalinis a)(dalinis y_i))^2`,
`S_b^2 = suma_(i=1)^(n)(trupinis(dalinis b)(dalinis y_i))^2 S_(y_i)^2 + suma_(i=1)^(n)(trupinis(dalinis b) )(dalinis x_i))^2 S_(x_i)^2 = S_y^2 suma_(i=1)^(n)(frac(dalinis b)(dalinis y_i))^2`,
nes „S_(x_i)^2 = 0“ (anksčiau padarėme išlygą, kad klaida „x“ yra nereikšminga).

„S_y^2 = S_(y_i)^2“ – klaida (dispersija, standartinis nuokrypis kvadratu) matuojant „y“, darant prielaidą, kad paklaida yra vienoda visoms „y“ reikšmėms.

Pakeisdami formules „a“ ir „b“ apskaičiavimui gaunamose išraiškose

`S_a^2 = S_y^2 frac(sum_(i=1)^(n) (suma_(i=1)^(n) x_i^2 — x_i suma_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n suma_(i=1)^(n) x_i^2 — (suma_(i=1)^(n) x_i)^2) suma_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(sum_(i=1)^(n) x_i^2) (D)" (4.1)

`S_b^2 = S_y^2 kadras(suma_(i=1)^(n) (n x_i — suma_(i=1)^(n) x_i)^2) (D^2) = S_y^2 kadras( n (n suma_(i=1)^(n) x_i^2 — (suma_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) (4.2)

Daugumoje tikrų eksperimentų „Sy“ reikšmė nėra matuojama. Tam reikia atlikti kelis lygiagrečius matavimus (eksperimentus) viename ar keliuose plano taškuose, o tai padidina eksperimento laiką (o galbūt ir kainą). Todėl paprastai daroma prielaida, kad "y" nuokrypis nuo regresijos linijos gali būti laikomas atsitiktiniu. Dispersijos įvertis "y" šiuo atveju apskaičiuojamas naudojant formulę.

„S_y^2 = S_(y, poilsis)^2 = frac(suma_(i=1)^n (y_i - a - b x_i)^2) (n-2)".

„n-2“ daliklis atsiranda todėl, kad mūsų laisvės laipsnių skaičius sumažėjo dėl dviejų koeficientų apskaičiavimo naudojant tą pačią eksperimentinių duomenų pavyzdį.

Šis įvertinimas taip pat vadinamas likutine dispersija, palyginti su regresijos linija „S_(y, rest)^2“.

Koeficientų reikšmingumas vertinamas naudojant Stjudento t testą

"t_a = frac(|a|) (S_a)", "t_b = frac(|b|) (S_b)"

Jei apskaičiuoti kriterijai „t_a“, „t_b“ yra mažesni už lentelėje pateiktus kriterijus „t(P, n-2)“, laikoma, kad atitinkamas koeficientas reikšmingai nesiskiria nuo nulio esant nurodytai tikimybei „P“.

Norėdami įvertinti tiesinio ryšio aprašymo kokybę, galite palyginti `S_(y, rest)^2` ir `S_(bar y)`, palyginti su vidurkiu, naudodami Fišerio kriterijų.

`S_(y juosta) = frac(sum_(i=1)^n (y_i — bar y)^2) (n-1) = frac(sum_(i=1)^n (y_i — (sum_(i=) 1)^n y_i) /n)^2) (n-1)“ – dispersijos „y“ imties įvertinimas, palyginti su vidurkiu.

Norint įvertinti regresijos lygties efektyvumą priklausomybei apibūdinti, apskaičiuojamas Fišerio koeficientas
„F = S_(y juosta) / S_(y, poilsis)^2“,
kuris lyginamas su lentelės Fišerio koeficientu „F(p, n-1, n-2)“.

Jei „F > F(P, n-1, n-2)“, skirtumas tarp ryšio „y = f(x)“ aprašymo naudojant regresijos lygtį ir aprašymo naudojant vidurkį, laikomas statistiškai reikšmingu su tikimybe. "P". Tie. regresija geriau apibūdina priklausomybę nei „y“ sklaida aplink vidurkį.

Spustelėkite diagramą
pridėti vertes į lentelę

Mažiausio kvadrato metodas. Mažiausių kvadratų metodas reiškia nežinomų parametrų a, b, c, priimtos funkcinės priklausomybės nustatymą

Mažiausių kvadratų metodas reiškia nežinomų parametrų nustatymą a, b, c,… priimta funkcinė priklausomybė

y = f(x,a,b,c,…),

kuri duotų paklaidos vidutinio kvadrato (dispersijos) minimumą

, (24)

čia x i, y i yra skaičių porų, gautų iš eksperimento, rinkinys.

Kadangi kelių kintamųjų funkcijos ekstremumo sąlyga yra sąlyga, kad jos dalinės išvestinės yra lygios nuliui, tada parametrai a, b, c,… nustatomi iš lygčių sistemos:

; ; ; … (25)

Reikia atsiminti, kad parametrams parinkti po funkcijos tipo naudojamas mažiausių kvadratų metodas y = f(x) apibrėžta

Jei remiantis teoriniais svarstymais negalima padaryti išvadų apie tai, kokia turėtų būti empirinė formulė, tuomet reikia vadovautis vaizdiniais vaizdiniais, pirmiausia grafiniais stebimų duomenų atvaizdais.

Praktiškai jos dažniausiai apsiriboja šių tipų funkcijomis:

1) linijinis ;

2) kvadratinė a.

Paprastųjų mažiausių kvadratų (OLS) metodas- matematinis metodas, naudojamas įvairiems uždaviniams spręsti, pagrįstas tam tikrų funkcijų kvadratinių nuokrypių nuo norimų kintamųjų sumos sumažinimu. Jis gali būti naudojamas „išspręsti“ per daug apibrėžtas lygčių sistemas (kai lygčių skaičius viršija nežinomųjų skaičių), ieškant sprendinių įprastų (ne per daug apibrėžtų) netiesinių lygčių sistemų atveju, apytiksliai apytiksliai kai kurių lygčių reikšmes. funkcija. OLS yra vienas iš pagrindinių regresinės analizės metodų, leidžiančių įvertinti nežinomus regresijos modelių parametrus iš imties duomenų.

Enciklopedinis „YouTube“.

1 / 5

✪ Mažiausių kvadratų metodas. Tema

✪ Mažiausių kvadratų metodas, pamoka 1/2. Linijinė funkcija

✪ Ekonometrija. 5 paskaita. Mažiausių kvadratų metodas

✪ Mitin I.V. – fizinių rezultatų apdorojimas. eksperimentas – Mažiausių kvadratų metodas (4 paskaita)

✪ Ekonometrija: 2 mažiausių kvadratų metodo esmė

Subtitrai

Istorija

Iki XIX amžiaus pradžios. mokslininkai neturėjo tam tikrų taisyklių, kaip išspręsti lygčių sistemą, kurioje nežinomųjų skaičius yra mažesnis už lygčių skaičių; Iki tol buvo naudojamos privačios technikos, kurios priklausė nuo lygčių tipo ir skaičiuoklių sąmojingumo, todėl skirtingi skaičiuotuvai, remdamiesi tais pačiais stebėjimų duomenimis, priėjo prie skirtingų išvadų. Gaussas (1795) pirmasis panaudojo metodą, o Legendre (1805) savarankiškai atrado ir paskelbė jį šiuolaikiniu pavadinimu (prancūzų k.). Méthode des moindres quarrés). Laplasas šį metodą susiejo su tikimybių teorija, o amerikiečių matematikas Adrainas (1808) svarstė jo tikimybių teorinius pritaikymus. Metodas buvo plačiai paplitęs ir patobulintas tolesnių Encke, Besselio, Hanseno ir kitų tyrimų.

Mažiausių kvadratų metodo esmė

Leisti x (\displaystyle x)- rinkinys n (\displaystyle n) nežinomi kintamieji (parametrai), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- funkcijų rinkinys iš šio kintamųjų rinkinio. Užduotis yra pasirinkti tokias reikšmes x (\displaystyle x), kad šių funkcijų reikšmės būtų kuo artimesnės tam tikroms reikšmėms y i (\displaystyle y_(i)). Iš esmės mes kalbame apie per daug apibrėžtos lygčių sistemos „sprendimą“. f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots ,m) nurodyta didžiausio kairiosios ir dešiniosios sistemos dalių artumo prasme. Mažiausių kvadratų metodo esmė yra pasirinkti kaip „artumo matą“ kairiosios ir dešiniosios kraštinių nuokrypių kvadratų sumą. | f i (x) − y i | (\displaystyle |f_(i)(x)-y_(i)|). Taigi MNC esmė gali būti išreikšta taip:

∑ i e i 2 = ∑ i (y i − f i (x)) 2 → min x (\displaystyle \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\rodyklė dešinėn \min _(x)).

Jei lygčių sistema turi sprendinį, tai kvadratų sumos minimumas bus lygus nuliui ir tikslius lygčių sistemos sprendinius galima rasti analitiškai arba, pavyzdžiui, naudojant įvairius skaitinio optimizavimo metodus. Jei sistema yra per daug apibrėžta, tai yra, laisvai kalbant, nepriklausomų lygčių skaičius yra didesnis nei norimų kintamųjų skaičius, tada sistema neturi tikslaus sprendimo ir mažiausių kvadratų metodas leidžia rasti kokį nors „optimalų“ vektorių. x (\displaystyle x) maksimalaus vektorių artumo prasme y (\displaystyle y) Ir f (x) (\displaystyle f(x)) arba maksimalus nuokrypio vektoriaus artumas e (\displaystyle e) iki nulio (artumas suprantamas euklido nuotolio prasme).

Pavyzdys – tiesinių lygčių sistema

Visų pirma, mažiausių kvadratų metodas gali būti naudojamas tiesinių lygčių sistemai „išspręsti“.

A x = b (\displaystyle Ax=b),

Kur A (\displaystyle A) stačiakampio dydžio matrica m × n , m > n (\displaystyle m\times n,m>n)(t.y. matricos A eilučių skaičius yra didesnis nei ieškomų kintamųjų).

Bendruoju atveju tokia lygčių sistema neturi sprendimo. Todėl šią sistemą galima „išspręsti“ tik pasirinkus tokį vektorių x (\displaystyle x) sumažinti „atstumą“ tarp vektorių A x (\displaystyle Ax) Ir b (\displaystyle b). Norėdami tai padaryti, galite taikyti sistemos lygčių kairiosios ir dešiniosios pusės skirtumų kvadratų sumos sumažinimo kriterijų, ty (A x − b) T (A x − b) → min (\displaystyle (Ax-b)^(T)(Ax-b)\rodyklė dešinėn \min ). Nesunku parodyti, kad išsprendus šią minimalizavimo problemą galima išspręsti šią lygčių sistemą

A T A x = A T b ⇒ x = (AT A) − 1 A T b (\displaystyle A^(T)Ax=A^(T)b\Rodyklė dešinėn x=(A^(T)A)^(-1)A^ (T)b).

OLS regresinėje analizėje (apytikslis duomenų)

Tebūnie n (\displaystyle n) kai kurių kintamųjų reikšmės y (\displaystyle y)(tai gali būti stebėjimų, eksperimentų ir kt. rezultatai) ir susijusius kintamuosius x (\displaystyle x). Iššūkis yra užtikrinti, kad santykiai tarp y (\displaystyle y) Ir x (\displaystyle x) apytikslis pagal kokią nors žinomą funkciją kai kurių nežinomų parametrų ribose b (\displaystyle b) ty iš tikrųjų raskite geriausias parametrų vertes b (\displaystyle b), maksimaliai aproksimuojant reikšmes f (x, b) (\displaystyle f(x,b)) prie faktinių verčių y (\displaystyle y). Tiesą sakant, tai susiję su per daug apibrėžtos lygčių sistemos „išsprendimu“ b (\displaystyle b):

F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots ,n).

Regresinėje analizėje ir ypač ekonometrijoje naudojami tikimybiniai kintamųjų priklausomybės modeliai.

Y t = f (x t , b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),

Kur ε t (\displaystyle \varepsilon _(t))- taip vadinamas atsitiktinių klaidų modeliai.

Atitinkamai, stebimų verčių nuokrypiai y (\displaystyle y) iš modelio f (x, b) (\displaystyle f(x,b)) jau daroma prielaida pačiame modelyje. Mažiausių kvadratų metodo (paprastojo, klasikinio) esmė – rasti tokius parametrus b (\displaystyle b), kurioje nuokrypių kvadratų suma (klaidos, regresijos modeliams jos dažnai vadinamos regresijos likučiais) e t (\displaystyle e_(t)) bus minimalus:

b ^ O L S = arg ⁡ min b R S S (b) (\displaystyle (\hat (b))_(OLS)=\arg \min _(b)RSS(b)),

Kur R S S (\displaystyle RSS)- Anglų Likutinė kvadratų suma apibrėžiama taip:

R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t − f (x t , b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\suma _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).

Bendru atveju ši problema gali būti išspręsta skaitmeninio optimizavimo (miniminimo) metodais. Šiuo atveju jie kalba apie netiesiniai mažieji kvadratai(NLS arba NLLS – angl. Non-linear Least Squares). Daugeliu atvejų galima gauti analitinį sprendimą. Norint išspręsti minimizavimo problemą, reikia rasti stacionarius funkcijos taškus R S S (b) (\displaystyle RSS(b)), skiriant jį pagal nežinomus parametrus b (\displaystyle b), prilygindami išvestines nuliui ir išsprendę gautą lygčių sistemą:

∑ t = 1 n (y t − f (x t , b)) ∂ f (x t , b) ∂ b = 0 (\rodymo stilius \suma _(t=1)^(n)(y_(t)-f(x_) (t),b))(\frac (\partial f(x_(t),b))(\partial b))=0).

OLS tiesinės regresijos atveju

Tegul regresijos priklausomybė yra tiesinė:

y t = ∑ j = 1 k b j x t j + ε = x t T b + ε t (\displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\varepsilon _(t)).

Leisti y yra paaiškinamo kintamojo stebėjimų stulpelio vektorius ir X (\displaystyle X)- Tai (n × k) (\displaystyle ((n\times))))- faktorių stebėjimų matrica (matricos eilutės yra tam tikro stebėjimo faktorių reikšmių vektoriai, stulpeliai yra tam tikro faktoriaus reikšmių vektorius visuose stebėjimuose). Tiesinio modelio matricos vaizdavimas turi tokią formą:

y = X b + ε (\displaystyle y=Xb+\varepsilon ).

Tada paaiškinamo kintamojo įverčių vektorius ir regresijos likučių vektorius bus lygūs

y ^ = X b , e = y − y ^ = y − X b (\displaystyle (\hat (y))=Xb,\quad e=y-(\hat (y))=y-Xb).

Atitinkamai, regresijos likučių kvadratų suma bus lygi

R S S = e T e = (y − X b) T (y − X b) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).

Šios funkcijos diferencijavimas pagal parametrų vektorių b (\displaystyle b) o išvestines prilyginus nuliui, gauname lygčių sistemą (matricos pavidalu):

(X T X) b = X T y (\displaystyle (X^(T)X)b=X^(T)y).

Iššifruotoje matricos formoje ši lygčių sistema atrodo taip:

(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x x t 2 x t 3 k 3 x t 3 … ∑ ∑ x t 3 x t 2 ∑ x t 3 2 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2 ∑ x t k 2) ( ∑ x t k 2) ∑ x t 2 y t ∑ x t 3 y t ⋮ ∑ x t k y t) , (\displaystyle (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\suma x_(t1)x_(tk)\\\suma x_(t2)x_(t1)&\suma x_(t2)^(2)&\suma x_(t2)x_(t3)&\ltaškai &\ suma x_(t2)x_(tk)\\\suma x_(t3)x_(t1)&\suma x_(t3)x_(t2)&\suma x_(t3)^(2)&\ltaškai &\suma x_ (t3)x_(tk)\\\vtaškai &\vtaškai &\vtaškai &\dtaškai &\vtaškai \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ltaškai &\sum x_(tk)^(2)\\\end(pmatrica))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_(k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t)\\\vtaškai \\\sum x_(tk)y_(t)\\\end(pmatrica)),) kur visos sumos perimamos per visas galiojančias reikšmes t (\displaystyle t).

Jei į modelį įtraukta konstanta (kaip įprasta), tada x t 1 = 1 (\displaystyle x_(t1) = 1) visų akivaizdoje t (\displaystyle t), todėl lygčių sistemos matricos viršutiniame kairiajame kampe yra stebėjimų skaičius n (\displaystyle n), o likusiuose pirmosios eilutės ir pirmojo stulpelio elementuose - tiesiog kintamųjų reikšmių sumos: ∑ x t j (\displaystyle \sum x_(tj)) o pirmasis dešiniosios sistemos pusės elementas yra ∑ y t (\displaystyle \sum y_(t)).

Šios lygčių sistemos sprendimas pateikia bendrą tiesinio modelio mažiausių kvadratų įverčių formulę:

b ^ O L S = (X T X) − 1 X T y = (1 n X T X) − 1 1 n X T y = V x − 1 C x y (\displaystyle (\hat (b))_(OLS)=(X^(T) )X)^(-1)X^(T)y=\left((\frac (1)(n))X^(T)X\right)^(-1)(\frac (1)(n ))X^(T)y=V_(x)^(-1)C_(xy)).

Analitiniais tikslais naudingas paskutinis šios formulės atvaizdas (lygčių sistemoje dalinant iš n vietoj sumų atsiranda aritmetiniai vidurkiai). Jei regresijos modelyje duomenys centre, tada šiame vaizde pirmoji matrica turi imties faktorių kovariacijos matricos reikšmę, o antroji yra faktorių kovariacijų vektorius su priklausomu kintamuoju. Jei papildomai duomenys taip pat normalizuotasį MSE (tai yra galiausiai standartizuoti), tada pirmoji matrica turi veiksnių imties koreliacijos matricos reikšmę, antrasis vektorius - veiksnių imties koreliacijų vektorius su priklausomu kintamuoju.

Svarbi modelių OLS įverčių savybė su pastoviu- sudarytos regresijos linija eina per imties duomenų svorio centrą, tai yra, lygybė yra įvykdyta:

y ¯ = b 1 ^ + ∑ j = 2 k b ^ j x ¯ j (\displaystyle (\bar (y))=(\hat (b_(1)))+\sum _(j=2)^(k) (\hat (b))_(j)(\bar (x))_(j)).

Ypač kraštutiniu atveju, kai vienintelis regresorius yra konstanta, nustatome, kad vienintelio parametro (pačios konstantos) OLS įvertis yra lygus vidutinei paaiškinamo kintamojo vertei. Tai yra, aritmetinis vidurkis, žinomas dėl savo gerųjų savybių iš didelių skaičių dėsnių, taip pat yra mažiausių kvadratų įvertis – jis atitinka minimalios kvadratinių nukrypimų nuo jo sumos kriterijų.

Paprasčiausi ypatingi atvejai

Porinės tiesinės regresijos atveju y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), įvertinus tiesinę vieno kintamojo priklausomybę nuo kito, skaičiavimo formulės supaprastinamos (galima apsieiti ir be matricinės algebros). Lygčių sistema turi tokią formą:

(1 x ¯ x ¯ x 2 ¯) (a b) = (y ¯ x y ¯) (\displaystyle (\begin(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\end(pmatrix))(\begin(pmatrix)a\\b\\\end(pmatrix))=(\begin(pmatrix)(\bar (y))\\ (\overline (xy))\\\end(pmatrix))).

Iš čia lengva rasti koeficientų įverčius:

( b ^ = Cov ⁡ (x , y) Var ⁡ (x) = x y ¯ − x ¯ y ¯ x 2 ¯ − x ¯ 2, a ^ = y ¯ − b x . (\displaystyle (\begin(cases)) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\overline) (xy))-(\bar (x))(\bar (y)))((\overline (x^(2)))-(\overline (x))^(2))),\\( \hat (a))=(\bar (y))-b(\bar (x)).\end(atvejai)))

Nepaisant to, kad bendrais atvejais pirmenybė teikiama modeliams su konstanta, kai kuriais atvejais iš teorinių svarstymų žinoma, kad konstanta a (\displaystyle a) turi būti lygus nuliui. Pavyzdžiui, fizikoje įtampos ir srovės santykis yra U = I ⋅ R (\displaystyle U=I\cdot R); Matuojant įtampą ir srovę, būtina įvertinti varžą. Šiuo atveju kalbame apie modelį y = b x (\displaystyle y=bx). Šiuo atveju vietoj lygčių sistemos turime vieną lygtį

(∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).

Todėl vieno koeficiento įvertinimo formulė turi formą

B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).

Polinominio modelio atvejis

Jei duomenis atitinka vieno kintamojo daugianario regresijos funkcija f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), tada, suvokdamas laipsnius x i (\displaystyle x^(i)) kaip nepriklausomus veiksnius kiekvienam i (\displaystyle i) modelio parametrus galima įvertinti remiantis bendra tiesinio modelio parametrų įvertinimo formule. Norėdami tai padaryti, pakanka atsižvelgti į bendrąją formulę, kad su tokiu aiškinimu x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j)) Ir x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Todėl matricos lygtys šiuo atveju bus tokios formos:

(n ∑ n x t … ∑ n x t k ∑ n x t ∑ n x t 2 … ∑ n x t k + 1 ⋮ ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 k ) [ b t k + 1 k ] = [ ∑ n y t ∑ n t y t ⋮ ∑ n x t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(t)^(2)&\ldots &\sum \limits _(n)x_(t)^(k+1)\\\vtaškai & \vtaškai &\dtaškai &\vtaškai \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ltaškai &\ suma \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vtaškai \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrica)).

Statistinės OLS įverčių savybės

Visų pirma pažymime, kad tiesiniams modeliams OLS įverčiai yra tiesiniai įverčiai, kaip matyti iš aukščiau pateiktos formulės. Nešališkiems OLS įverčiams būtina ir pakanka įvykdyti svarbiausią regresinės analizės sąlygą: faktorinis-sąlyginis matematinis atsitiktinės paklaidos lūkestis turi būti lygus nuliui. Ši sąlyga visų pirma tenkinama, jei

atsitiktinių klaidų matematinis lūkestis lygus nuliui, ir
faktoriai ir atsitiktinės paklaidos yra nepriklausomi atsitiktiniai kintamieji.

Antroji sąlyga – veiksnių egzogeniškumo sąlyga – yra esminė. Jei ši savybė nesilaikoma, galime manyti, kad beveik bet kokie įverčiai bus itin nepatenkinami: jie net nebus nuoseklūs (tai yra, net ir labai didelis duomenų kiekis neleidžia gauti kokybiškų įverčių šiuo atveju ). Klasikiniu atveju daroma stipresnė prielaida apie veiksnių determinizmą, o ne atsitiktinę paklaidą, kuri automatiškai reiškia, kad egzogeniškumo sąlyga yra įvykdyta. Bendru atveju, kad įverčiai būtų nuoseklūs, pakanka tenkinti egzogeniškumo sąlygą kartu su matricos konvergencija V x (\displaystyle V_(x))į kokią nors nevienetinę matricą, kai imties dydis didėja iki begalybės.

Kad, be nuoseklumo ir nešališkumo, (paprastųjų) mažiausių kvadratų įverčiai taip pat būtų veiksmingi (geriausi tiesinių nešališkų įverčių klasėje), turi būti įvykdytos papildomos atsitiktinės paklaidos savybės:

Šios prielaidos gali būti suformuluotos atsitiktinės paklaidos vektoriaus kovariacijos matricai V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I).

Šias sąlygas tenkinantis tiesinis modelis vadinamas klasikinis. Klasikinės tiesinės regresijos OLS įverčiai yra nešališki, nuoseklūs ir veiksmingiausi visų tiesinių nešališkų įverčių klasėje (anglų literatūroje santrumpa kartais vartojama MĖLYNA (Geriausias tiesinis nešališkas įvertinimo įrankis) – geriausias tiesinis nešališkas įvertis; Rusų literatūroje dažniau cituojama Gauso-Markovo teorema). Kaip nesunku parodyti, koeficientų įverčių vektoriaus kovariacijos matrica bus lygi:

V (b ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).

Efektyvumas reiškia, kad ši kovariacijos matrica yra „minimali“ (bet koks tiesinis koeficientų derinys, o ypač patys koeficientai, turi minimalią dispersiją), tai yra, linijinių nešališkų įverčių klasėje geriausi yra OLS įverčiai. Šios matricos įstrižainės elementai – koeficientų įverčių dispersijos – yra svarbūs gautų įverčių kokybės parametrai. Tačiau kovariacijos matricos apskaičiuoti neįmanoma, nes atsitiktinės paklaidos dispersija nežinoma. Galima įrodyti, kad nešališkas ir nuoseklus (klasikiniam tiesiniam modeliui) atsitiktinių paklaidų dispersijos įvertis yra dydis:

S 2 = R S S / (n − k) (\displaystyle s^(2) = RSS/(n-k)).

Pakeitę šią reikšmę į kovariacijos matricos formulę, gauname kovariacijos matricos įvertį. Gauti įvertinimai taip pat yra nešališki ir nuoseklūs. Taip pat svarbu, kad paklaidos dispersijos įvertis (taigi ir koeficientų dispersija) ir modelio parametrų įverčiai būtų nepriklausomi atsitiktiniai dydžiai, todėl galima gauti testų statistiką hipotezėms apie modelio koeficientus tikrinti.

Reikėtų pažymėti, kad jei nesilaikoma klasikinių prielaidų, OLS parametrų įvertinimai nėra patys efektyviausi ir W (\displaystyle W) yra tam tikra simetriška teigiamo apibrėžtojo svorio matrica. Įprasti mažiausi kvadratai yra ypatingas šio metodo atvejis, kai svorio matrica yra proporcinga tapatybės matricai. Kaip žinoma, simetrinėms matricoms (arba operatoriams) yra išplėtimas W = P T P (\displaystyle W=P^(T)P). Todėl nurodytą funkciją galima pavaizduoti taip e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)) ty ši funkcija gali būti pavaizduota kaip kai kurių transformuotų „likučių“ kvadratų suma. Taigi galime išskirti mažiausių kvadratų metodų klasę – LS metodus (Least Squares).

Įrodyta (Aitkeno teorema), kad apibendrintam tiesinės regresijos modeliui (kuriame netaikomi jokie apribojimai atsitiktinių paklaidų kovariacijos matricai), veiksmingiausi (tiesinių nešališkų įverčių klasėje) yra vadinamieji įverčiai. apibendrinti mažiausių kvadratų (GLS – generalized Least Squares)- LS metodas su svorio matrica, lygia atsitiktinių klaidų atvirkštinei kovariacijos matricai: W = V ε − 1 (\displaystyle W=V_(\varepsilon )^(-1)).

Galima parodyti, kad tiesinio modelio parametrų GLS įverčių formulė turi formą

B ^ G L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).

Šių įverčių kovariacijos matrica atitinkamai bus lygi

V (b ^ G L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- 1)).

Tiesą sakant, OLS esmė slypi tam tikroje (tiesinėje) pirminių duomenų transformacijoje (P) ir įprasto OLS pritaikyme transformuotiems duomenims. Šios transformacijos tikslas yra tas, kad transformuotų duomenų atsitiktinės paklaidos jau tenkintų klasikines prielaidas.

Svertinis OLS

Įstrižainės svorio matricos (taigi ir atsitiktinių paklaidų kovariacijos matricos) atveju turime taip vadinamą svertinį mažiausią kvadratą (WLS). Šiuo atveju modelio likučių kvadratų svertinė suma yra sumažinta, tai yra, kiekvienas stebėjimas gauna „svorį“, kuris yra atvirkščiai proporcingas šio stebėjimo atsitiktinės paklaidos dispersijai: e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma_(t)^(2)))). Tiesą sakant, duomenys transformuojami pasveriant stebėjimus (padalijus iš sumos, proporcingos apskaičiuotam atsitiktinių klaidų standartiniam nuokrypiui), o svertiniams duomenims taikomas įprastas OLS.

ISBN 978-5-7749-0473-0 .

Ekonometrija. Vadovėlis / Red. Eliseeva I.I. – 2 leidimas. - M.: Finansai ir statistika, 2006. - 576 p. - ISBN 5-279-02786-3.

Aleksandrova N.V. Matematikos terminų, sąvokų, užrašų istorija: žodynas-žinynas. - 3 leidimas - M.: LKI, 2008. - 248 p. - ISBN 978-5-382-00839-4. I.V. Mitinas, Rusakovas V.S. Eksperimentinių duomenų analizė ir apdorojimas - 5 leidimas - 24 p.

Mažiausio kvadrato metodas

Mažiausio kvadrato metodas ( OLS, OLS, įprasti mažiausi kvadratai) - vienas iš pagrindinių regresinės analizės metodų nežinomiems regresijos modelių parametrams įvertinti naudojant imties duomenis. Metodas pagrįstas regresijos likučių kvadratų sumos sumažinimu.

Pažymėtina, kad patį mažiausių kvadratų metodą galima vadinti bet kurios srities uždavinio sprendimo metodu, jei sprendimas slypi arba tenkina kokį nors kriterijų, leidžiantį sumažinti kai kurių reikiamų kintamųjų funkcijų kvadratų sumą. Todėl mažiausių kvadratų metodas taip pat gali būti naudojamas apytiksliui tam tikros funkcijos atvaizdavimui (aproksimacijai) kitomis (paprastesnėmis) funkcijomis, ieškant dydžių aibės, atitinkančios lygtis ar apribojimus, kurių skaičius viršija šių dydžių skaičių. ir kt.

MNC esmė

Tegu pateikiamas koks nors (parametrinis) tikimybinio (regresijos) ryšio tarp (paaiškinamo) kintamojo modelis y ir daug veiksnių (aiškinamieji kintamieji) x

kur yra nežinomų modelio parametrų vektorius

- atsitiktinė modelio klaida.

Tegul taip pat yra pavyzdiniai šių kintamųjų verčių stebėjimai. Leisti yra stebėjimo numeris (). Tada yra kintamųjų reikšmės stebėjime. Tada, esant nurodytoms parametrų b reikšmėms, galima apskaičiuoti paaiškinamo kintamojo y teorines (modelio) reikšmes:

Likučių dydis priklauso nuo parametrų verčių b.

Mažiausių kvadratų metodo (paprastojo, klasikinio) esmė yra rasti parametrus b, kurių likučių kvadratų suma (angl. Likutinė kvadratų suma) bus minimalus:

Bendru atveju ši problema gali būti išspręsta skaitmeninio optimizavimo (miniminimo) metodais. Šiuo atveju jie kalba apie netiesiniai mažieji kvadratai(NLS arba NLLS – anglų kalba) Netiesiniai mažieji kvadratai). Daugeliu atvejų galima gauti analitinį sprendimą. Norint išspręsti minimizavimo uždavinį, reikia surasti stacionarius funkcijos taškus, diferencijuojant ją nežinomų parametrų b atžvilgiu, išvestines prilyginant nuliui ir išsprendžiant gautą lygčių sistemą:

Jei modelio atsitiktinės klaidos yra įprastai paskirstytos, turi tą pačią dispersiją ir nėra koreliuojamos, OLS parametrų įvertinimai yra tokie patys kaip didžiausios tikimybės įverčiai (MLM).

OLS tiesinio modelio atveju

Tegul regresijos priklausomybė yra tiesinė:

Leisti y yra paaiškinamo kintamojo stebėjimų stulpelio vektorius ir faktorių stebėjimų matrica (matricos eilutės yra tam tikro stebėjimo faktorių reikšmių vektoriai, stulpeliai yra tam tikro faktoriaus reikšmių vektorius visuose stebėjimuose). Tiesinio modelio matricos vaizdavimas turi tokią formą:

Tada paaiškinamo kintamojo įverčių vektorius ir regresijos likučių vektorius bus lygūs

Atitinkamai, regresijos likučių kvadratų suma bus lygi

Diferencijuodami šią funkciją parametrų vektoriaus atžvilgiu ir išvestines prilygindami nuliui, gauname lygčių sistemą (matricos pavidalu):

Šios lygčių sistemos sprendimas pateikia bendrą tiesinio modelio mažiausių kvadratų įverčių formulę:

Analitiniais tikslais naudingas pastarasis šios formulės atvaizdas. Jei regresijos modelyje duomenys centre, tada šiame vaizde pirmoji matrica turi imties faktorių kovariacijos matricos reikšmę, o antroji yra faktorių kovariacijų vektorius su priklausomu kintamuoju. Jei papildomai duomenys taip pat normalizuotasį MSE (tai yra galiausiai standartizuoti), tada pirmoji matrica turi veiksnių imties koreliacijos matricos reikšmę, antrasis vektorius - veiksnių imties koreliacijų vektorius su priklausomu kintamuoju.

Svarbi modelių OLS įverčių savybė su pastoviu- sudarytos regresijos linija eina per imties duomenų svorio centrą, tai yra, lygybė yra įvykdyta:

Pavyzdys: paprasčiausia (porinė) regresija

Suporuotos tiesinės regresijos atveju skaičiavimo formulės yra supaprastintos (galite apsieiti be matricinės algebros):

OLS įverčių savybės

Visų pirma pažymime, kad tiesiniams modeliams OLS įverčiai yra tiesiniai įverčiai, kaip matyti iš aukščiau pateiktos formulės. Nešališkiems OLS įverčiams būtina ir pakanka įvykdyti svarbiausią regresinės analizės sąlygą: atsitiktinės paklaidos matematinis lūkestis, priklausantis nuo faktorių, turi būti lygus nuliui. Ši sąlyga visų pirma tenkinama, jei

atsitiktinių klaidų matematinis lūkestis lygus nuliui, ir
veiksniai ir atsitiktinės paklaidos yra nepriklausomi atsitiktiniai dydžiai.

Antroji sąlyga – veiksnių egzogeniškumo sąlyga – yra esminė. Jei ši savybė nesilaikoma, galime manyti, kad beveik bet kokie įverčiai bus itin nepatenkinami: jie net nebus nuoseklūs (tai yra, net ir labai didelis duomenų kiekis neleidžia gauti kokybiškų įverčių šiuo atveju ). Klasikiniu atveju daroma stipresnė prielaida apie veiksnių determinizmą, o ne atsitiktinę paklaidą, kuri automatiškai reiškia, kad egzogeniškumo sąlyga yra įvykdyta. Bendruoju atveju, kad įverčiai būtų nuoseklūs, pakanka tenkinti egzogeniškumo sąlygą kartu su matricos konvergencija į kokią nors nevienetinę matricą, kai imties dydis didėja iki begalybės.

Šios prielaidos gali būti suformuluotos atsitiktinės paklaidos vektoriaus kovariacijos matricai

Šias sąlygas tenkinantis tiesinis modelis vadinamas klasikinis. Klasikinės tiesinės regresijos OLS įverčiai yra nešališki, nuoseklūs ir veiksmingiausi visų tiesinių nešališkų įverčių klasėje (anglų literatūroje santrumpa kartais vartojama MĖLYNA (Geriausias tiesinis nepagrįstas įvertinimo įrankis) – geriausias tiesinis nešališkas įvertis; Buitinėje literatūroje dažniau cituojama Gauso-Markovo teorema). Kaip nesunku parodyti, koeficientų įverčių vektoriaus kovariacijos matrica bus lygi:

Apibendrintas OLS

Mažiausių kvadratų metodas leidžia plačiai apibendrinti. Užuot sumažinus likučių kvadratų sumą, galima sumažinti kokią nors teigiamą apibrėžtą kvadratinę likučių vektoriaus formą, kur yra kokia nors simetriška teigiamo apibrėžtojo svorio matrica. Įprasti mažiausi kvadratai yra ypatingas šio metodo atvejis, kai svorio matrica yra proporcinga tapatybės matricai. Kaip žinoma iš simetrinių matricų (arba operatorių) teorijos, tokios matricos yra skaidomos. Vadinasi, nurodytą funkciją galima pavaizduoti taip, tai yra, ši funkcija gali būti pavaizduota kaip kai kurių transformuotų „likučių“ kvadratų suma. Taigi galime išskirti mažiausių kvadratų metodų klasę – LS metodus (Least Squares).

Galima parodyti, kad tiesinio modelio parametrų GLS įverčių formulė turi formą

Šių įverčių kovariacijos matrica atitinkamai bus lygi

Svertinis OLS

Įstrižainės svorio matricos (taigi ir atsitiktinių paklaidų kovariacijos matricos) atveju turime taip vadinamą svertinį mažiausią kvadratą (WLS). Šiuo atveju modelio likučių svertinė kvadratų suma yra sumažinta, tai yra, kiekvienas stebėjimas gauna „svorį“, kuris yra atvirkščiai proporcingas šio stebėjimo atsitiktinės paklaidos dispersijai: . Tiesą sakant, duomenys transformuojami pasveriant stebėjimus (padalijus iš sumos, proporcingos apskaičiuotam atsitiktinių klaidų standartiniam nuokrypiui), o svertiniams duomenims taikomas įprastas OLS.

Kai kurie ypatingi MNC naudojimo praktikoje atvejai

Tiesinės priklausomybės aproksimacija

Panagrinėkime atvejį, kai, tiriant tam tikro skaliarinio dydžio priklausomybę nuo tam tikro skaliarinio dydžio (tai gali būti, pavyzdžiui, įtampos priklausomybė nuo srovės stiprumo: , kur yra pastovi vertė, varža laidininkas), buvo atlikti šių dydžių matavimai, dėl kurių buvo nustatytos reikšmės ir jas atitinkančios vertės. Matavimo duomenys turi būti įrašyti į lentelę.

Lentelė. Matavimo rezultatai.

Matavimo Nr.
1
2
3
4
5
6

Kyla klausimas: kokią koeficiento reikšmę galima pasirinkti geriausiai priklausomybei apibūdinti? Pagal mažiausių kvadratų metodą ši vertė turėtų būti tokia, kad reikšmių nuokrypių nuo reikšmių kvadratų suma

buvo minimalus

Nukrypimų kvadratu suma turi vieną ekstremumą – minimumą, kuris leidžia naudoti šią formulę. Iš šios formulės raskime koeficiento reikšmę. Norėdami tai padaryti, pakeičiame jo kairę pusę taip:

Paskutinė formulė leidžia mums rasti koeficiento reikšmę, kurios buvo reikalaujama uždavinyje.

Istorija

Iki XIX amžiaus pradžios. mokslininkai neturėjo tam tikrų taisyklių, kaip išspręsti lygčių sistemą, kurioje nežinomųjų skaičius yra mažesnis už lygčių skaičių; Iki tol buvo naudojamos privačios technikos, kurios priklausė nuo lygčių tipo ir skaičiuoklių sąmojingumo, todėl skirtingi skaičiuotuvai, remdamiesi tais pačiais stebėjimų duomenimis, priėjo prie skirtingų išvadų. Gaussas (1795) pirmasis panaudojo metodą, o Legendre (1805) savarankiškai atrado ir paskelbė jį šiuolaikiniu pavadinimu (prancūzų k.). Méthode des moindres quarrés ). Laplasas metodą susiejo su tikimybių teorija, o amerikiečių matematikas Adrainas (1808) svarstė jo tikimybių teorijos taikymą. Metodas buvo plačiai paplitęs ir patobulintas tolesnių Encke, Besselio, Hanseno ir kitų tyrimų.

Alternatyvūs OLS naudojimo būdai

Mažiausių kvadratų metodo idėja gali būti naudojama ir kitais atvejais, tiesiogiai nesusijusiais su regresine analize. Faktas yra tas, kad kvadratų suma yra vienas iš labiausiai paplitusių vektorių artumo matų (Euklido metrika baigtinių matmenų erdvėse).

Viena iš taikymo sričių yra tiesinių lygčių sistemų „sprendimas“, kuriose lygčių skaičius yra didesnis už kintamųjų skaičių.

kur matrica yra ne kvadrato, o stačiakampio dydžio.

Tokia lygčių sistema bendru atveju neturi sprendinio (jei rangas iš tikrųjų yra didesnis už kintamųjų skaičių). Todėl šią sistemą galima „išspręsti“ tik pasirinkus tokį vektorių, kad būtų sumažintas „atstumas“ tarp vektorių ir . Norėdami tai padaryti, galite taikyti sistemos lygčių kairiosios ir dešiniosios pusės skirtumų kvadratų sumos sumažinimo kriterijų, ty. Nesunku parodyti, kad išsprendus šią minimalizavimo problemą galima išspręsti šią lygčių sistemą

Mažiausio kvadrato metodas

MNC esmė

Tegu pateikiamas koks nors (parametrinis) tikimybinio (regresijos) ryšio tarp (paaiškinamo) kintamojo modelis y ir daug veiksnių (aiškinamieji kintamieji) x

kur yra nežinomų modelio parametrų vektorius

- atsitiktinė modelio klaida.

Likučių dydis priklauso nuo parametrų verčių b.

Mažiausių kvadratų metodo (paprastojo, klasikinio) esmė yra rasti parametrus b, kurių likučių kvadratų suma (angl. Likutinė kvadratų suma) bus minimalus:

Bendru atveju ši problema gali būti išspręsta skaitmeninio optimizavimo (miniminimo) metodais. Šiuo atveju jie kalba apie netiesiniai mažieji kvadratai(NLS arba NLLS – anglų kalba) Netiesiniai mažieji kvadratai). Daugeliu atvejų galima gauti analitinį sprendimą. Norint išspręsti minimizavimo uždavinį, reikia surasti stacionarius funkcijos taškus, diferencijuojant ją nežinomų parametrų b atžvilgiu, išvestines prilyginant nuliui ir išsprendžiant gautą lygčių sistemą:

OLS tiesinio modelio atveju

Tegul regresijos priklausomybė yra tiesinė:

Tada paaiškinamo kintamojo įverčių vektorius ir regresijos likučių vektorius bus lygūs

Atitinkamai, regresijos likučių kvadratų suma bus lygi

Diferencijuodami šią funkciją parametrų vektoriaus atžvilgiu ir išvestines prilygindami nuliui, gauname lygčių sistemą (matricos pavidalu):

Šios lygčių sistemos sprendimas pateikia bendrą tiesinio modelio mažiausių kvadratų įverčių formulę:

Svarbi modelių OLS įverčių savybė su pastoviu- sudarytos regresijos linija eina per imties duomenų svorio centrą, tai yra, lygybė yra įvykdyta:

Pavyzdys: paprasčiausia (porinė) regresija

Suporuotos tiesinės regresijos atveju skaičiavimo formulės yra supaprastintos (galite apsieiti be matricinės algebros):

OLS įverčių savybės

Visų pirma pažymime, kad tiesiniams modeliams OLS įverčiai yra tiesiniai įverčiai, kaip matyti iš aukščiau pateiktos formulės. Nešališkiems OLS įverčiams būtina ir pakanka įvykdyti svarbiausią regresinės analizės sąlygą: atsitiktinės paklaidos matematinis lūkestis, priklausantis nuo faktorių, turi būti lygus nuliui. Ši sąlyga visų pirma tenkinama, jei

atsitiktinių klaidų matematinis lūkestis lygus nuliui, ir
veiksniai ir atsitiktinės paklaidos yra nepriklausomi atsitiktiniai dydžiai.

Antroji sąlyga – veiksnių egzogeniškumo sąlyga – yra esminė. Jei ši savybė nesilaikoma, galime manyti, kad beveik bet kokie įverčiai bus itin nepatenkinami: jie net nebus nuoseklūs (tai yra, net ir labai didelis duomenų kiekis neleidžia gauti kokybiškų įverčių šiuo atveju ). Klasikiniu atveju daroma stipresnė prielaida apie veiksnių determinizmą, o ne atsitiktinę paklaidą, kuri automatiškai reiškia, kad egzogeniškumo sąlyga yra įvykdyta. Bendruoju atveju, kad įverčiai būtų nuoseklūs, pakanka tenkinti egzogeniškumo sąlygą kartu su matricos konvergencija į kokią nors nevienetinę matricą, kai imties dydis didėja iki begalybės.

Šios prielaidos gali būti suformuluotos atsitiktinės paklaidos vektoriaus kovariacijos matricai

Šias sąlygas tenkinantis tiesinis modelis vadinamas klasikinis. Klasikinės tiesinės regresijos OLS įverčiai yra nešališki, nuoseklūs ir veiksmingiausi visų tiesinių nešališkų įverčių klasėje (anglų literatūroje santrumpa kartais vartojama MĖLYNA (Geriausias tiesinis nepagrįstas įvertinimo įrankis) – geriausias tiesinis nešališkas įvertis; Buitinėje literatūroje dažniau cituojama Gauso-Markovo teorema). Kaip nesunku parodyti, koeficientų įverčių vektoriaus kovariacijos matrica bus lygi:

Apibendrintas OLS

Galima parodyti, kad tiesinio modelio parametrų GLS įverčių formulė turi formą

Šių įverčių kovariacijos matrica atitinkamai bus lygi

Svertinis OLS

Įstrižainės svorio matricos (taigi ir atsitiktinių paklaidų kovariacijos matricos) atveju turime taip vadinamą svertinį mažiausią kvadratą (WLS). Šiuo atveju modelio likučių svertinė kvadratų suma yra sumažinta, tai yra, kiekvienas stebėjimas gauna „svorį“, kuris yra atvirkščiai proporcingas šio stebėjimo atsitiktinės paklaidos dispersijai: . Tiesą sakant, duomenys transformuojami pasveriant stebėjimus (padalijus iš sumos, proporcingos apskaičiuotam atsitiktinių klaidų standartiniam nuokrypiui), o svertiniams duomenims taikomas įprastas OLS.

Kai kurie ypatingi MNC naudojimo praktikoje atvejai

Tiesinės priklausomybės aproksimacija

Lentelė. Matavimo rezultatai.

Matavimo Nr.
1
2
3
4
5
6

buvo minimalus

Paskutinė formulė leidžia mums rasti koeficiento reikšmę, kurios buvo reikalaujama uždavinyje.

Istorija

Iki XIX amžiaus pradžios. mokslininkai neturėjo tam tikrų taisyklių, kaip išspręsti lygčių sistemą, kurioje nežinomųjų skaičius yra mažesnis už lygčių skaičių; Iki tol buvo naudojamos privačios technikos, kurios priklausė nuo lygčių tipo ir skaičiuoklių sąmojingumo, todėl skirtingi skaičiuotuvai, remdamiesi tais pačiais stebėjimų duomenimis, priėjo prie skirtingų išvadų. Gaussas (1795) pirmasis panaudojo metodą, o Legendre (1805) savarankiškai atrado ir paskelbė jį šiuolaikiniu pavadinimu (prancūzų k.). Méthode des moindres quarrés ). Laplasas metodą susiejo su tikimybių teorija, o amerikiečių matematikas Adrainas (1808) svarstė jo tikimybių teorijos taikymą. Metodas buvo plačiai paplitęs ir patobulintas tolesnių Encke, Besselio, Hanseno ir kitų tyrimų.

Alternatyvūs OLS naudojimo būdai

Viena iš taikymo sričių yra tiesinių lygčių sistemų „sprendimas“, kuriose lygčių skaičius yra didesnis už kintamųjų skaičių.

kur matrica yra ne kvadrato, o stačiakampio dydžio.

Jis plačiai naudojamas ekonometrijoje aiškios ekonominės jo parametrų interpretacijos forma.

Tiesinė regresija reiškia formos lygtį

arba

Formos lygtis leidžia pagal nurodytas parametrų reikšmes X turi teorines gaunamos charakteristikos reikšmes, pakeičiant jas faktines faktoriaus vertes X.

Tiesinės regresijos konstrukcija priklauso nuo jos parametrų įvertinimo - A Ir V. Tiesinės regresijos parametrų įverčius galima rasti naudojant skirtingus metodus.

Klasikinis tiesinės regresijos parametrų vertinimo metodas yra pagrįstas mažiausių kvadratų metodas(MNC).

Mažiausių kvadratų metodas leidžia gauti tokius parametrų įverčius A Ir V, kuriai esant gaunamos charakteristikos tikrųjų verčių kvadratinių nuokrypių suma (y) iš apskaičiuoto (teorinio) minimumas:

Norėdami rasti funkcijos minimumą, turite apskaičiuoti kiekvieno parametro dalines išvestis A Ir b ir nustatykite juos lygius nuliui.

Pažymėkime per S, tada:

Transformavus formulę, gauname tokią normaliųjų lygčių sistemą parametrams įvertinti A Ir V:

Spręsdami normaliųjų lygčių sistemą (3.5) kintamųjų nuoseklaus eliminavimo metodu arba determinantų metodu, randame reikiamus parametrų įverčius A Ir V.

Parametras V vadinamas regresijos koeficientu. Jo reikšmė rodo vidutinį rezultato pokytį koeficientui pasikeitus vienu vienetu.

Regresijos lygtis visada papildoma ryšio glaudumo rodikliu. Naudojant tiesinę regresiją, toks rodiklis yra tiesinės koreliacijos koeficientas. Yra įvairių linijinės koreliacijos koeficiento formulės modifikacijų. Kai kurie iš jų pateikiami žemiau:

Kaip žinoma, tiesinės koreliacijos koeficientas yra ribose: -1 ≤ ≤ 1.

Norint įvertinti tiesinės funkcijos pasirinkimo kokybę, apskaičiuojamas kvadratas

Tiesinės koreliacijos koeficientas vadinamas determinacijos koeficientas. Determinacijos koeficientas apibūdina gautos charakteristikos dispersijos proporciją y, paaiškinama regresija, atsižvelgiant į gauto požymio bendrą dispersiją:

Atitinkamai, reikšmė 1 apibūdina dispersijos dalį y, sukelta kitų veiksnių, į kuriuos neatsižvelgta modelyje, įtakos.

Klausimai savikontrolei

1. Mažiausių kvadratų metodo esmė?

2. Kiek kintamųjų suteikia porinė regresija?

3. Koks koeficientas lemia pokyčių ryšio glaudumą?

4. Kokiose ribose nustatomas determinacijos koeficientas?

5. Parametro b įvertinimas koreliacinėje regresinėje analizėje?

1. Christopheris Dougherty. Įvadas į ekonometriją. - M.: INFRA - M, 2001 - 402 p.

2. S.A. Borodičius. Ekonometrija. Minsko LLC „Naujos žinios“ 2001 m.

3. R.U. Rakhmetova Trumpas ekonometrijos kursas. Pamoka. Almata. 2004. -78psl.

4. I.I. Eliseeva. - M.: „Finansai ir statistika“, 2002 m

5. Mėnesinis informacinis ir analitinis žurnalas.

Netiesiniai ekonominiai modeliai. Netiesinės regresijos modeliai. Kintamųjų transformacija.

Netiesiniai ekonominiai modeliai..

Kintamųjų transformacija.

Elastingumo koeficientas.

Jei tarp ekonominių reiškinių yra netiesiniai ryšiai, jie išreiškiami naudojant atitinkamas netiesines funkcijas: pavyzdžiui, lygiakraštę hiperbolę. , antrojo laipsnio parabolės ir kt.

Yra dvi netiesinės regresijos klasės:

1. Regresijos, kurios yra netiesinės į analizę įtrauktų aiškinamųjų kintamųjų atžvilgiu, bet tiesinės įvertintų parametrų atžvilgiu, pavyzdžiui:

Įvairių laipsnių polinomai - , ;

Lygiakraščio hiperbolė - ;

Puslogaritminė funkcija - .

2. Regresijos, kurios yra netiesinės vertinamuose parametruose, pavyzdžiui:

Galia - ;

Demonstracinis - ;

Eksponentinis – .

Bendra gautos charakteristikos atskirų verčių kvadratinių nuokrypių suma adresu nuo vidutinės vertės sukelia daugelio priežasčių įtaka. Visą priežasčių rinkinį sąlyginai suskirstykime į dvi grupes: tiriamas veiksnys x Ir kiti veiksniai.

Jei veiksnys neturi įtakos rezultatui, regresijos linija grafike yra lygiagreti ašiai Oi Ir

Tada visa gautos charakteristikos dispersija atsiranda dėl kitų veiksnių įtakos ir bendra kvadratinių nuokrypių suma sutaps su likutine. Jei kiti veiksniai neturi įtakos rezultatui, tada y pririštas Su X funkciniu požiūriu, o likutinė kvadratų suma lygi nuliui. Šiuo atveju nuokrypių kvadratu suma, paaiškinama regresija, yra tokia pati kaip visa kvadratų suma.

Kadangi ne visi koreliacijos lauko taškai yra regresijos tiesėje, jų sklaida visada atsiranda dėl faktoriaus įtakos X, t.y. regresija adresu Autorius X, ir dėl kitų priežasčių (nepaaiškinama variacija). Regresijos tiesės tinkamumas prognozuoti priklauso nuo to, kokia visos požymio kitimo dalis adresu paaiškina paaiškintą variantą

Akivaizdu, kad jei nuokrypių kvadratu suma dėl regresijos yra didesnė už likutinę kvadratų sumą, tai regresijos lygtis yra statistiškai reikšminga ir veiksnys X turi didelę įtaką rezultatui u.

, y., su charakteristikos nepriklausomo kitimo laisvės skaičiumi. Laisvės laipsnių skaičius yra susijęs su populiacijos vienetų skaičiumi n ir iš jo nustatytų konstantų skaičiumi. Kalbant apie nagrinėjamą problemą, laisvės laipsnių skaičius turėtų parodyti, kiek nepriklausomų nukrypimų nuo P

Regresijos lygties, kaip visumos, reikšmingumo įvertinimas pateikiamas naudojant F-Fišerio kriterijus. Šiuo atveju iškeliama nulinė hipotezė, kad regresijos koeficientas lygus nuliui, t.y. b = 0, taigi ir koeficientas X rezultatui įtakos neturi u.

Prieš nedelsiant apskaičiuojant F testą, atliekama dispersinė analizė. Centrinę vietą jame užima bendros kintamojo kvadratinių nuokrypių sumos skaidymas adresu nuo vidutinės vertės adresuį dvi dalis – „paaiškinta“ ir „nepaaiškinama“:

- bendra kvadratinių nuokrypių suma;

- regresija paaiškinamų nuokrypių kvadratų suma;

- likutinė kvadratinių nuokrypių suma.

Bet kokia kvadratinių nuokrypių suma yra susijusi su laisvės laipsnių skaičiumi , y., su charakteristikos nepriklausomo kitimo laisvės skaičiumi. Laisvės laipsnių skaičius yra susijęs su gyventojų vienetų skaičiumi n ir su iš jo nustatytu konstantų skaičiumi. Kalbant apie nagrinėjamą problemą, laisvės laipsnių skaičius turėtų parodyti, kiek nepriklausomų nukrypimų nuo P galimas reikalingas duotai kvadratų sumai sudaryti.

Sklaida pagal laisvės laipsnįD.

F koeficientai (F testas):

Jei nulinė hipotezė yra teisinga, tada faktorius ir liekamosios dispersijos nesiskiria vienas nuo kito. Jei H 0, būtina paneigti, kad faktoriaus dispersija kelis kartus viršytų likutinę dispersiją. Anglų statistikas Snedekoras sukūrė kritinių verčių lenteles F-ryšiai skirtinguose nulinės hipotezės reikšmingumo lygiuose ir skirtingais laisvės laipsnių skaičiais. Lentelės vertė F-kriterijus yra didžiausia dispersijų santykio vertė, kuri gali atsirasti atsitiktinio nukrypimo atveju, esant tam tikram nulinės hipotezės tikimybės lygiui. Apskaičiuota vertė F-ryšiai laikomi patikimais, jei o yra didesnis už lentelę.

Šiuo atveju nulinė hipotezė apie ryšio tarp ženklų nebuvimą atmetama ir daroma išvada apie šio ryšio reikšmę: F faktas > F lentelė H 0 atmetamas.

Jei reikšmė mažesnė už lentelę F faktas ‹, F lentelė, tada nulinės hipotezės tikimybė yra didesnė už nurodytą lygį ir negali būti atmesta be rimtos rizikos padaryti klaidingą išvadą apie ryšio buvimą. Šiuo atveju regresijos lygtis laikoma statistiškai nereikšminga. Bet jis nenukrypsta.

Standartinė regresijos koeficiento paklaida

Regresijos koeficiento reikšmingumui įvertinti jo reikšmė lyginama su standartine paklaida, t.y. nustatoma tikroji vertė. t- Mokinio testas: kuri tada lyginama su lentelės reikšme tam tikru reikšmingumo lygiu ir laisvės laipsnių skaičiumi ( n- 2).

Standartinė parametro klaida A:

Tiesinės koreliacijos koeficiento reikšmingumas tikrinamas pagal paklaidos dydį koreliacijos koeficientas t r:

Bendra bruožų dispersija X:

Daugkartinė tiesinė regresija

Modelio kūrimas

Daugkartinė regresija reiškia efektyvios charakteristikos regresiją su dviem ar daugiau veiksnių, t. y. formos modelį

Regresija gali duoti gerų modeliavimo rezultatų, jei galima nepaisyti kitų tyrimo objektą veikiančių veiksnių įtakos. Neįmanoma kontroliuoti atskirų ekonominių kintamųjų elgesio, t.y. neįmanoma užtikrinti visų kitų vieno tiriamo veiksnio įtakos vertinimo sąlygų lygybės. Tokiu atveju turėtumėte pabandyti nustatyti kitų veiksnių įtaką, įtraukdami juos į modelį, t. y. sudaryti daugialypės regresijos lygtį: y = a+b 1 x 1 +b 2 +…+b p x p + .

Pagrindinis daugialypės regresijos tikslas – sukurti modelį su daugybe veiksnių, kartu nustatant kiekvieno iš jų įtaką atskirai, taip pat jų bendrą įtaką modeliuojamam rodikliui. Modelio specifikacija apima dvi problemas: veiksnių parinkimą ir regresijos lygties tipo pasirinkimą.