Metóda najmenších štvorcov vám umožňuje nájsť. Matematika na prstoch: metódy najmenších štvorcov

Aproximujeme funkciu polynómom 2. stupňa. Na tento účel vypočítame koeficienty normálneho systému rovníc:

, ,

Vytvorme normálny systém najmenších štvorcov, ktorý má tvar:

Riešenie systému je ľahké nájsť:, , .

Nájdeme teda polynóm 2. stupňa: .

Teoretické informácie

Návrat na stránku<Введение в вычислительную математику. Примеры>

Príklad 2. Nájdenie optimálneho stupňa polynómu.

Návrat na stránku<Введение в вычислительную математику. Примеры>

Príklad 3. Odvodenie normálnej sústavy rovníc na zistenie parametrov empirickej závislosti.

Odvoďme sústavu rovníc na určenie koeficientov a funkcií , ktorý vykonáva aproximáciu odmocniny danej funkcie bodmi. Zostavme si funkciu a zapíšte si pre to nevyhnutnú extrémnu podmienku:

Potom bude mať normálny systém podobu:

Získali sme lineárny systém rovníc pre neznáme parametre a, ktorý sa dá ľahko vyriešiť.

Teoretické informácie

Návrat na stránku<Введение в вычислительную математику. Примеры>

Príklad.

Experimentálne údaje o hodnotách premenných X A pri sú uvedené v tabuľke.

V dôsledku ich zarovnania sa získa funkcia

Použitím metóda najmenších štvorcov, aproximovať tieto údaje lineárnou závislosťou y=ax+b(nájdite parametre A A b). Zistite, ktorá z dvoch čiar lepšie (v zmysle metódy najmenších štvorcov) zarovnáva experimentálne údaje. Urobte si kresbu.

Podstata metódy najmenších štvorcov (LSM).

Úlohou je nájsť lineárne koeficienty závislosti, pri ktorých je funkcia dvoch premenných A A bmá najmenšiu hodnotu. Teda daný A A b súčet štvorcových odchýlok experimentálnych údajov od nájdenej priamky bude najmenší. Toto je celý zmysel metódy najmenších štvorcov.

Riešenie príkladu teda vedie k nájdeniu extrému funkcie dvoch premenných.

Odvodzovacie vzorce na hľadanie koeficientov.

Zostaví sa a vyrieši systém dvoch rovníc s dvoma neznámymi. Hľadanie parciálnych derivácií funkcie podľa premenných A A b, prirovnávame tieto deriváty k nule.

Výslednú sústavu rovníc riešime ľubovoľnou metódou (napr substitučnou metódou alebo Cramerova metóda) a získajte vzorce na nájdenie koeficientov pomocou metódy najmenších štvorcov (LSM).

Dané A A b funkciu má najmenšiu hodnotu. Dôkaz o tejto skutočnosti je uvedený nižšie v texte na konci strany.

To je celá metóda najmenších štvorcov. Vzorec na nájdenie parametra a obsahuje súčty , , , a parameter n— množstvo experimentálnych údajov. Hodnoty týchto súm odporúčame vypočítať samostatne.

Koeficient b zistené po výpočte a.

Je čas pripomenúť si pôvodný príklad.

Riešenie.

V našom príklade n=5. Tabuľku vypĺňame pre pohodlie výpočtu súm, ktoré sú zahrnuté vo vzorcoch požadovaných koeficientov.

Hodnoty vo štvrtom riadku tabuľky sa získajú vynásobením hodnôt v 2. riadku hodnotami v 3. riadku pre každé číslo i.

Hodnoty v piatom riadku tabuľky sa získajú umocnením hodnôt v 2. riadku pre každé číslo i.

Hodnoty v poslednom stĺpci tabuľky sú súčty hodnôt v riadkoch.

Na zistenie koeficientov používame vzorce metódy najmenších štvorcov A A b. Do nich nahradíme zodpovedajúce hodnoty z posledného stĺpca tabuľky:

teda y = 0,165 x + 2,184— požadovaná približná priamka.

Zostáva zistiť, ktorý z riadkov y = 0,165 x + 2,184 alebo lepšie aproximuje pôvodné údaje, to znamená robí odhad pomocou metódy najmenších štvorcov.

Odhad chyby metódy najmenších štvorcov.

Aby ste to dosiahli, musíte vypočítať súčet štvorcových odchýlok pôvodných údajov z týchto riadkov A , menšia hodnota zodpovedá riadku, ktorý sa lepšie približuje pôvodným údajom v zmysle metódy najmenších štvorcov.

Od , potom rovno y = 0,165 x + 2,184 lepšie sa približuje pôvodným údajom.

Grafické znázornenie metódy najmenších štvorcov (LS).

Všetko je jasne viditeľné na grafoch. Červená čiara je nájdená priamka y = 0,165 x + 2,184, modrá čiara je , ružové bodky sú pôvodné údaje.

Prečo je to potrebné, prečo všetky tieto aproximácie?

Osobne ho používam na riešenie problémov vyhladzovania údajov, interpolácie a extrapolácie (v pôvodnom príklade môžu byť požiadaní, aby našli hodnotu pozorovanej hodnoty r pri x=3 alebo kedy x=6 pomocou metódy najmenších štvorcov). Ale o tom si povieme viac neskôr v inej časti webu.

Začiatok stránky

Dôkaz.

Takže keď sa nájde A A b funkcia nadobúda najmenšiu hodnotu, je potrebné, aby v tomto bode bola matica kvadratického tvaru diferenciálu druhého rádu pre funkciu bol pozitívny jednoznačný. Ukážme to.

Rozdiel druhého rádu má tvar:

Teda

Preto má matica kvadratickej formy tvar

a hodnoty prvkov nezávisia od A A b.

Ukážme, že matica je pozitívne definitívna. Aby to bolo možné, uhlové maloletí musia byť pozitívne.

Uhlová moll prvého rádu . Nerovnosť je prísna, pretože body sa nezhodujú. V nasledujúcom texte to naznačíme.

Uhlová moll druhého rádu

Dokážme to metódou matematickej indukcie.

Záver: nájdené hodnoty A A b zodpovedajú najmenšej hodnote funkcie , preto sú požadované parametre pre metódu najmenších štvorcov.

Nemáte čas na to prísť?
Objednajte si riešenie

Začiatok stránky

Vypracovanie prognózy pomocou metódy najmenších štvorcov. Príklad riešenia problému

Extrapolácia je vedecko-výskumná metóda, ktorá je založená na šírení minulých a súčasných trendov, zákonitostí a súvislostí s budúcim vývojom prognostického objektu. Extrapolačné metódy zahŕňajú metóda kĺzavého priemeru, metóda exponenciálneho vyhladzovania, metóda najmenších štvorcov.

Esencia metóda najmenších štvorcov spočíva v minimalizácii súčtu kvadratických odchýlok medzi pozorovanými a vypočítanými hodnotami. Vypočítané hodnoty sa nachádzajú pomocou vybranej rovnice - regresnej rovnice. Čím menšia je vzdialenosť medzi skutočnými hodnotami a vypočítanými hodnotami, tým presnejšia je predpoveď na základe regresnej rovnice.

Ako základ pre výber krivky slúži teoretický rozbor podstaty skúmaného javu, ktorého zmena sa odráža v časovom rade. Niekedy sa berú do úvahy úvahy o povahe nárastu úrovní série. Ak sa teda očakáva rast produkcie v aritmetickej progresii, potom sa vyhladenie vykoná v priamke. Ak sa ukáže, že rast je v geometrickej progresii, potom je potrebné vykonať vyhladenie pomocou exponenciálnej funkcie.

Pracovný vzorec pre metódu najmenších štvorcov : Yt+1 = a*X + b, kde t + 1 – prognózované obdobie; Уt+1 – predpokladaný ukazovateľ; a a b sú koeficienty; X je symbolom času.

Výpočet koeficientov a a b sa vykonáva pomocou nasledujúcich vzorcov:

kde Uf - skutočné hodnoty série dynamiky; n – počet úrovní časových radov;

Vyhladzovanie časových radov pomocou metódy najmenších štvorcov slúži na vyjadrenie vzoru vývoja skúmaného javu. V analytickom vyjadrení trendu sa čas považuje za nezávislú premennú a úrovne série pôsobia ako funkcia tejto nezávislej premennej.

Vývoj javu nezávisí od toho, koľko rokov uplynulo od východiskového bodu, ale od toho, aké faktory ovplyvnili jeho vývoj, akým smerom a s akou intenzitou. Odtiaľ je zrejmé, že vývoj javu v čase je výsledkom pôsobenia týchto faktorov.

Správne stanovenie typu krivky, typu analytickej závislosti od času je jednou z najťažších úloh prediktívnej analýzy .

Výber typu funkcie, ktorá popisuje trend, ktorého parametre sú určené metódou najmenších štvorcov, sa vo väčšine prípadov vykonáva empiricky, zostrojením viacerých funkcií a ich vzájomným porovnaním podľa hodnoty stredná štvorcová chyba vypočítaná podľa vzorca:

kde UV sú skutočné hodnoty série dynamiky; Ur – vypočítané (vyhladené) hodnoty série dynamiky; n – počet úrovní časových radov; p – počet parametrov definovaných vo vzorcoch popisujúcich trend (vývojový trend).

Nevýhody metódy najmenších štvorcov :

pri pokuse o opísanie skúmaného ekonomického javu pomocou matematickej rovnice bude predpoveď presná na krátky čas a regresná rovnica by sa mala prepočítať, keď budú k dispozícii nové informácie;
zložitosť výberu regresnej rovnice, ktorá je riešiteľná pomocou štandardných počítačových programov.

Príklad použitia metódy najmenších štvorcov na vytvorenie prognózy

Úloha . Existujú údaje charakterizujúce mieru nezamestnanosti v kraji, %

Zostavte prognózu miery nezamestnanosti v regióne na november, december, január pomocou nasledujúcich metód: kĺzavý priemer, exponenciálne vyhladzovanie, najmenšie štvorce.
Vypočítajte chyby vo výsledných prognózach pomocou každej metódy.
Porovnajte výsledky a vyvodte závery.

Riešenie najmenších štvorcov

Aby sme to vyriešili, zostavíme tabuľku, v ktorej vykonáme potrebné výpočty:

ε = 28,63/10 = 2,86 % presnosť predpovede vysoká.

Záver : Porovnanie výsledkov získaných z výpočtov metóda kĺzavého priemeru , metóda exponenciálneho vyhladzovania a metódou najmenších štvorcov, môžeme povedať, že priemerná relatívna chyba pri výpočte pomocou metódy exponenciálneho vyhladzovania spadá do rozsahu 20-50%. To znamená, že presnosť predpovede je v tomto prípade iba uspokojivá.

V prvom a treťom prípade je presnosť predpovede vysoká, pretože priemerná relatívna chyba je menšia ako 10 %. Metóda kĺzavého priemeru však umožnila získať spoľahlivejšie výsledky (predpoveď na november - 1,52%, predpoveď na december - 1,53%, predpoveď na január - 1,49%), pretože priemerná relatívna chyba pri použití tejto metódy je najmenšia - 1 ,13 %.

Metóda najmenších štvorcov

Ďalšie články na túto tému:

Zoznam použitých zdrojov

Vedecké a metodologické odporúčania na diagnostikovanie sociálnych rizík a predpovedanie výziev, hrozieb a sociálnych dôsledkov. Ruská štátna sociálna univerzita. Moskva. 2010;
Vladimírová L.P. Prognózovanie a plánovanie v podmienkach trhu: Učebnica. príspevok. M.: Vydavateľstvo "Dashkov and Co", 2001;
Novikova N.V., Pozdeeva O.G. Prognózovanie národného hospodárstva: Vzdelávacia a metodická príručka. Jekaterinburg: Vydavateľstvo Ural. štát ekon. Univ., 2007;
Slutskin L.N. Kurz MBA o prognózovaní podnikania. M.: Alpina Business Books, 2006.

Program MNC

Zadajte údaje

Údaje a aproximácia y = a + b x

i- počet experimentálnych bodov;
x i- hodnota pevného parametra v bode i;
y i- hodnota meraného parametra v bode i;
ωi- meranie hmotnosti v bode i;
y i, calc.- rozdiel medzi nameranou a regresne vypočítanou hodnotou r v bode i;
S x i (x i)- odhad chyby x i pri meraní r v bode i.

Údaje a aproximácia y = k x

i	x i	y i	ωi	y i, calc.	Δy i	S x i (x i)

Kliknite na graf

Používateľská príručka pre online program MNC.

Do dátového poľa zadajte do každého samostatného riadku hodnoty x a y v jednom experimentálnom bode. Hodnoty musia byť oddelené medzerou (medzera alebo tabulátor).

Treťou hodnotou môže byť váha bodu „w“. Ak váha bodu nie je určená, rovná sa jednej. Váhy experimentálnych bodov sú v drvivej väčšine prípadov neznáme alebo nie sú vypočítané, t.j. všetky experimentálne údaje sa považujú za ekvivalentné. Niekedy váhy v študovanom rozsahu hodnôt nie sú absolútne ekvivalentné a dajú sa dokonca vypočítať teoreticky. Napríklad v spektrofotometrii možno hmotnosti vypočítať pomocou jednoduchých vzorcov, aj keď sa to väčšinou zanedbáva kvôli zníženiu nákladov na pracovnú silu.

Údaje je možné vložiť cez schránku z tabuľky v kancelárskom balíku, ako je Excel z Microsoft Office alebo Calc z Open Office. Ak to chcete urobiť, v tabuľke vyberte rozsah údajov, ktoré chcete skopírovať, skopírujte ho do schránky a vložte údaje do údajového poľa na tejto stránke.

Na výpočet pomocou metódy najmenších štvorcov sú potrebné aspoň dva body na určenie dvoch koeficientov `b` - tangens uhla sklonu priamky a ,a` - hodnoty, ktorú pretína čiara na osi y.

Ak chcete odhadnúť chybu vypočítaných regresných koeficientov, musíte nastaviť počet experimentálnych bodov na viac ako dva.

Metóda najmenších štvorcov (LSM).

Čím väčší je počet experimentálnych bodov, tým presnejšie je štatistické hodnotenie koeficientov (v dôsledku poklesu Studentovho koeficientu) a čím je odhad bližšie k odhadu všeobecnej vzorky.

Získavanie hodnôt v každom experimentálnom bode je často spojené so značnými mzdovými nákladmi, takže sa často vykonáva kompromisný počet experimentov, ktoré poskytujú zvládnuteľný odhad a nevedú k nadmerným mzdovým nákladom. Počet experimentálnych bodov pre lineárnu závislosť najmenších štvorcov s dvoma koeficientmi sa spravidla volí v rozsahu 5-7 bodov.

Stručná teória najmenších štvorcov pre lineárne vzťahy

Povedzme, že máme súbor experimentálnych údajov vo forme párov hodnôt [`y_i`, `x_i`], kde `i` je číslo jedného experimentálneho merania od 1 do `n`; `y_i` - hodnota meranej veličiny v bode `i`; `x_i` – hodnota parametra, ktorý sme nastavili v bode `i`.

Ako príklad zvážte fungovanie Ohmovho zákona. Zmenou napätia (potenciálneho rozdielu) medzi časťami elektrického obvodu meriame množstvo prúdu prechádzajúceho touto časťou. Fyzika nám dáva experimentálne zistenú závislosť:

"Ja = U/R",
kde „I“ je aktuálna sila; `R` - odpor; "U" - napätie.

V tomto prípade je y_i meraná aktuálna hodnota a x_i je hodnota napätia.

Ako ďalší príklad uvažujme absorpciu svetla roztokom látky v roztoku. Chémia nám dáva vzorec:

"A = ε l C",
kde "A" je optická hustota roztoku; "ε" - priepustnosť rozpustenej látky; `l` - dĺžka dráhy, keď svetlo prechádza kyvetou s roztokom; "C" je koncentrácia rozpustenej látky.

V tomto prípade je „y_i“ nameraná hodnota optickej hustoty „A“ a „x_i“ je hodnota koncentrácie látky, ktorú špecifikujeme.

Budeme uvažovať prípad, keď je relatívna chyba v priradení `x_i` výrazne menšia ako relatívna chyba v meraní `y_i`. Budeme tiež predpokladať, že všetky namerané hodnoty ‚y_i‘ sú náhodné a normálne rozdelené, t.j. dodržiavať zákon normálneho rozdelenia.

V prípade lineárnej závislosti `y` od `x` môžeme napísať teoretickú závislosť:
"y = a + b x".

Z geometrického hľadiska koeficient "b" označuje dotyčnicu uhla sklonu priamky k osi "x" a koeficient "a" - hodnotu "y" v priesečníku čiara s osou y (pri x = 0).

Nájdenie parametrov regresnej priamky.

V experimente nemôžu namerané hodnoty `y_i` presne ležať na teoretickej priamke kvôli chybám merania, ktoré sú v reálnom živote vždy vlastné. Preto musí byť lineárna rovnica reprezentovaná systémom rovníc:
`y_i = a + b x_i + ε_i` (1),
kde „ε_i“ je neznáma chyba merania „y“ v „i“-tom experimente.

Závislosť (1) sa tiež nazýva regresia, t.j. závislosť dvoch veličín na sebe so štatistickou významnosťou.

Úlohou obnovenia závislosti je nájsť koeficienty `a` a `b` z experimentálnych bodov [`y_i`, `x_i`].

Zvyčajne sa používa na nájdenie koeficientov "a" a "b". metóda najmenších štvorcov(MNC). Ide o špeciálny prípad princípu maximálnej pravdepodobnosti.

Prepíšme (1) v tvare `ε_i = y_i - a - b x_i`.

Potom bude súčet štvorcových chýb
`Φ = súčet_(i=1)^(n) ε_i^2 = súčet_(i=1)^(n) (y_i - a - b x_i)^2`. (2)

Princíp najmenších štvorcov (najmenších štvorcov) je minimalizovať súčet (2) vzhľadom na parametre "a" a "b"..

Minimum sa dosiahne, keď sa parciálne derivácie súčtu (2) vzhľadom na koeficienty „a“ a „b“ rovnajú nule:
`frac(čiastočné Φ)(čiastočné a) = frac(čiastočný súčet_(i=1)^(n) (y_i - a - b x_i)^2)(čiastočné a) = 0`
`frac(čiastočné Φ)(čiastočné b) = frac(čiastočný súčet_(i=1)^(n) (y_i - a - b x_i)^2)(čiastočné b) = 0`

Rozšírením derivácií dostaneme systém dvoch rovníc s dvoma neznámymi:
`sum_(i=1)^(n) (2a + 2bx_i — 2y_i) = sum_(i=1)^(n) (a + bx_i — y_i) = 0`
`sum_(i=1)^(n) (2bx_i^2 + 2ax_i — 2x_iy_i) = sum_(i=1)^(n) (bx_i^2 + ax_i — x_iy_i) = 0`

Otvoríme zátvorky a prenesieme súčty nezávislé od požadovaných koeficientov do druhej polovice, získame sústavu lineárnych rovníc:
`sum_(i=1)^(n) y_i = a n + b suma_(i=1)^(n) bx_i`
`sum_(i=1)^(n) x_iy_i = súčet_(i=1)^(n) x_i + b súčet_(i=1)^(n) x_i^2`

Pri riešení výsledného systému nájdeme vzorce pre koeficienty „a“ a „b“:

`a = frac(sum_(i=1)^(n) y_i suma_(i=1)^(n) x_i^2 — suma_(i=1)^(n) x_i suma_(i=1)^(n ) x_iy_i) (n súčet_(i=1)^(n) x_i^2 — (súčet_(i=1)^(n) x_i)^2)“ (3.1)

`b = frac(n súčet_(i=1)^(n) x_iy_i — súčet_(i=1)^(n) x_i súčet_(i=1)^(n) y_i) (n súčet_(i=1)^ (n) x_i^2 — (sum_(i=1)^(n) x_i)^2)“ (3,2)

Tieto vzorce majú riešenia, keď `n > 1` (čiaru možno zostrojiť pomocou aspoň 2 bodov) a keď determinant `D = n sum_(i=1)^(n) x_i^2 - (sum_(i= 1) )^(n) x_i)^2 != 0`, t.j. keď sú body x_i v experimente odlišné (t. j. keď čiara nie je vertikálna).

Odhad chýb koeficientov regresnej priamky

Pre presnejšie posúdenie chyby pri výpočte koeficientov "a" a "b" je žiaduci veľký počet experimentálnych bodov. Keď `n = 2`, nie je možné odhadnúť chybu koeficientov, pretože aproximačná čiara bude jednoznačne prechádzať cez dva body.

Určí sa chyba náhodnej premennej `V` zákon akumulácie chýb
`S_V^2 = súčet_(i=1)^p (frac(čiastočné f)(čiastočné z_i))^2 S_(z_i)^2`,
kde `p` je počet parametrov `z_i` s chybou `S_(z_i)`, ktoré ovplyvňujú chybu `S_V`;
`f` je funkciou závislosti `V` od `z_i`.

Zapíšme si zákon akumulácie chýb pre chybu koeficientov `a` a `b`
`S_a^2 = súčet_(i=1)^(n)(frac(čiastočné a)(čiastočné y_i))^2 S_(y_i)^2 + súčet_(i=1)^(n)(frac(čiastočné a) )(čiastočné x_i))^2 S_(x_i)^2 = S_y^2 súčet_(i=1)^(n)(frac(čiastočné a)(čiastočné y_i))^2 `,
`S_b^2 = súčet_(i=1)^(n)(frac(čiastočné b)(čiastočné y_i))^2 S_(y_i)^2 + súčet_(i=1)^(n)(frac(čiastočné b) )(čiastočné x_i))^2 S_(x_i)^2 = S_y^2 súčet_(i=1)^(n)(frac(čiastočné b)(čiastočné y_i))^2 `,
pretože `S_(x_i)^2 = 0` (predtým sme urobili výhradu, že chyba `x` je zanedbateľná).

`S_y^2 = S_(y_i)^2` – chyba (rozptyl, druhá mocnina štandardnej odchýlky) v meraní `y` za predpokladu, že chyba je jednotná pre všetky hodnoty `y`.

Dosadením vzorcov na výpočet `a` a `b` do výsledných výrazov dostaneme

`S_a^2 = S_y^2 frac(sum_(i=1)^(n) (sum_(i=1)^(n) x_i^2 — x_i sum_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n súčet_(i=1)^(n) x_i^2 — (súčet_(i=1)^(n) x_i)^2) súčet_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(sum_(i=1)^(n) x_i^2) (D)` (4,1)

`S_b^2 = S_y^2 frac(sum_(i=1)^(n) (n x_i — sum_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n súčet_(i=1)^(n) x_i^2 — (súčet_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) (4.2)

Vo väčšine skutočných experimentov sa hodnota „Sy“ nemeria. Na to je potrebné vykonať niekoľko paralelných meraní (experimentov) v jednom alebo viacerých bodoch plánu, čo zvyšuje čas (a možno aj náklady) experimentu. Preto sa zvyčajne predpokladá, že odchýlku `y` od regresnej priamky možno považovať za náhodnú. Odhad rozptylu „y“ sa v tomto prípade vypočíta pomocou vzorca.

`S_y^2 = S_(y, zvyšok)^2 = frac(sum_(i=1)^n (y_i - a - b x_i)^2) (n-2)`.

Deliteľ „n-2“ sa objavuje, pretože náš počet stupňov voľnosti sa znížil v dôsledku výpočtu dvoch koeficientov pomocou rovnakej vzorky experimentálnych údajov.

Tento odhad sa tiež nazýva reziduálny rozptyl vo vzťahu k regresnej priamke `S_(y, zvyšok)^2`.

Významnosť koeficientov sa hodnotí pomocou Studentovho t testu

`t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)`

Ak sú vypočítané kritériá `t_a`, `t_b` menšie ako tabuľkové kritériá `t(P, n-2)`, potom sa predpokladá, že zodpovedajúci koeficient sa významne nelíši od nuly s danou pravdepodobnosťou `P`.

Ak chcete posúdiť kvalitu popisu lineárneho vzťahu, môžete porovnať `S_(y, zvyšok)^2` a `S_(bar y)` relatívne k priemeru pomocou Fisherovho kritéria.

`S_(bar y) = frac(sum_(i=1)^n (y_i — takt y)^2) (n-1) = frac(sum_(i=1)^n (y_i — (sum_(i=) 1)^n y_i) /n)^2) (n-1)` - vzorový odhad rozptylu y vo vzťahu k priemeru.

Na posúdenie účinnosti regresnej rovnice na opis závislosti sa vypočíta Fisherov koeficient
`F = S_(pruh y) / S_(y, zvyšok)^2`,
ktorý sa porovnáva s tabuľkovým Fisherovým koeficientom "F(p, n-1, n-2)".

Ak "F > F(P, n-1, n-2)", rozdiel medzi popisom vzťahu "y = f(x)" pomocou regresnej rovnice a popisom pomocou priemeru sa považuje za štatisticky významný s pravdepodobnosťou "P". Tie. regresia popisuje závislosť lepšie ako rozšírenie `y` okolo priemeru.

Kliknite na graf
pridať hodnoty do tabuľky

Metóda najmenších štvorcov. Metóda najmenších štvorcov znamená určenie neznámych parametrov a, b, c, akceptovanej funkčnej závislosti

Metóda najmenších štvorcov sa týka určovania neznámych parametrov a, b, c,… akceptovaná funkčná závislosť

y = f(x,a,b,c,...),

ktorý by poskytol minimum strednej štvorce (rozptyl) chyby

, (24)

kde x i, y i je množina dvojíc čísel získaných z experimentu.

Keďže podmienkou pre extrém funkcie viacerých premenných je podmienka, že jej parciálne derivácie sú rovné nule, potom parametre a, b, c,… sú určené zo sústavy rovníc:

; ; ; … (25)

Je potrebné mať na pamäti, že metóda najmenších štvorcov sa používa na výber parametrov po type funkcie y = f(x) definované

Ak z teoretických úvah nemožno vyvodiť závery o tom, aký by mal byť empirický vzorec, potom sa treba riadiť vizuálnymi reprezentáciami, predovšetkým grafickými reprezentáciami pozorovaných údajov.

V praxi sú najčastejšie obmedzené na nasledujúce typy funkcií:

1) lineárne ;

2) kvadratická a.

Metóda obyčajných najmenších štvorcov (OLS).- matematická metóda používaná na riešenie rôznych úloh, založená na minimalizácii súčtu kvadrátov odchýlok určitých funkcií od požadovaných premenných. Dá sa použiť na „riešenie“ preurčených sústav rovníc (keď počet rovníc prevyšuje počet neznámych), na hľadanie riešení v prípade obyčajných (nie preurčených) nelineárnych sústav rovníc, na aproximáciu bodových hodnôt niektorých funkciu. OLS je jednou zo základných metód regresnej analýzy na odhad neznámych parametrov regresných modelov zo vzorových údajov.

Encyklopedický YouTube

1 / 5

✪ Metóda najmenších štvorcov. Predmet

✪ Metóda najmenších štvorcov, lekcia 1/2. Lineárna funkcia

✪ Ekonometria. Prednáška 5. Metóda najmenších štvorcov

✪ Mitin I.V. - Spracovanie fyzických výsledkov. experiment - Metóda najmenších štvorcov (4. prednáška)

✪ Ekonometria: Podstata metódy najmenších štvorcov #2

titulky

Príbeh

Do začiatku 19. stor. vedci nemali isté pravidlá na riešenie sústavy rovníc, v ktorej je počet neznámych menší ako počet rovníc; Dovtedy sa používali súkromné techniky, ktoré záviseli od typu rovníc a od dôvtipu kalkulačiek, a preto rôzne kalkulačky na základe rovnakých pozorovacích údajov dospeli k rôznym záverom. Gauss (1795) bol prvý, kto použil túto metódu, a Legendre (1805) ju nezávisle objavil a publikoval pod jej moderným názvom (franc. Methode des moindres quarrés). Laplace spojil metódu s teóriou pravdepodobnosti a americký matematik Adrain (1808) uvažoval o jej teoreticko-teoretickom použití. Metóda bola rozšírená a zdokonalená ďalším výskumom Enckeho, Bessela, Hansena a ďalších.

Podstata metódy najmenších štvorcov

Nechaj x (\displaystyle x)- súprava n (\displaystyle n) neznáme premenné (parametre), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- množina funkcií z tejto množiny premenných. Úlohou je vybrať takéto hodnoty x (\displaystyle x), aby sa hodnoty týchto funkcií čo najviac približovali určitým hodnotám y i (\displaystyle y_(i)). V podstate hovoríme o „riešení“ predefinovaného systému rovníc f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots ,m) v naznačenom zmysle maximálnej blízkosti ľavej a pravej časti systému. Podstatou metódy najmenších štvorcov je vybrať ako „mieru blízkosti“ súčet štvorcových odchýlok ľavej a pravej strany. | f i (x) − y i | (\displaystyle |f_(i)(x)-y_(i)|). Podstatu MNC možno teda vyjadriť takto:

∑ i e i 2 = ∑ i (y i − f i (x)) 2 → min x (\displaystyle \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\šípka doprava \min _(x)).

Ak má sústava rovníc riešenie, tak minimum súčtu štvorcov sa bude rovnať nule a presné riešenia sústavy rovníc možno nájsť analyticky alebo napríklad pomocou rôznych numerických optimalizačných metód. Ak je systém preurčený, teda voľne povedané, počet nezávislých rovníc je väčší ako počet požadovaných premenných, potom systém nemá presné riešenie a metóda najmenších štvorcov nám umožňuje nájsť nejaký „optimálny“ vektor. x (\displaystyle x) v zmysle maximálnej blízkosti vektorov y (\displaystyle y) A f (x) (\displaystyle f(x)) alebo maximálna blízkosť vektora odchýlky e (\displaystyle e) k nule (blízkosť sa chápe v zmysle euklidovskej vzdialenosti).

Príklad - sústava lineárnych rovníc

Najmä metóda najmenších štvorcov môže byť použitá na "riešenie" systému lineárnych rovníc

A x = b (\displaystyle Ax=b),

Kde A (\displaystyle A) matica obdĺžnikovej veľkosti m × n , m > n (\displaystyle m\times n,m>n)(t.j. počet riadkov matice A je väčší ako počet hľadaných premenných).

Vo všeobecnom prípade takýto systém rovníc nemá riešenie. Preto je možné tento systém „riešiť“ len v zmysle výberu takéhoto vektora x (\displaystyle x) minimalizovať "vzdialenosť" medzi vektormi A x (\displaystyle Axe) A b (\displaystyle b). Na tento účel môžete použiť kritérium minimalizácie súčtu štvorcov rozdielov medzi ľavou a pravou stranou systémových rovníc, tj. (A x − b) T (A x − b) → min (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min ). Je ľahké ukázať, že riešenie tohto problému minimalizácie vedie k riešeniu nasledujúceho systému rovníc

A T A x = A T b ⇒ x = (A T A) − 1 A T b (\displaystyle A^(T)Ax=A^(T)b\šípka doprava x=(A^(T)A)^(-1)A^ (T)b).

OLS v regresnej analýze (aproximácia údajov)

Nech je tam n (\displaystyle n) hodnoty nejakej premennej y (\displaystyle y)(mohli by to byť výsledky pozorovaní, experimentov atď.) a súvisiace premenné x (\displaystyle x). Výzvou je zabezpečiť, aby vzťah medzi y (\displaystyle y) A x (\displaystyle x) aproximovať nejakou funkciou známou až po niektoré neznáme parametre b (\displaystyle b), teda skutočne nájsť najlepšie hodnoty parametrov b (\displaystyle b), čo sa maximálne približuje k hodnotám f (x, b) (\displaystyle f(x,b)) na skutočné hodnoty y (\displaystyle y). V skutočnosti ide o prípad „riešenia“ príliš určeného systému rovníc vzhľadom na b (\displaystyle b):

F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots ,n).

V regresnej analýze a najmä v ekonometrii sa používajú pravdepodobnostné modely závislosti medzi premennými

Yt = f (x t, b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),

Kde ε t (\displaystyle \varepsilon _(t))- tzv náhodné chyby modelov.

V súlade s tým odchýlky pozorovaných hodnôt y (\displaystyle y) z modelu f (x, b) (\displaystyle f(x,b)) sa predpokladá už v samotnom modeli. Podstatou metódy najmenších štvorcov (obyčajnej, klasickej) je nájsť takéto parametre b (\displaystyle b), pri ktorej súčet štvorcových odchýlok (chyby, pre regresné modely sa často nazývajú regresné rezíduá) e t (\displaystyle e_(t)) bude minimálny:

b ^ O L S = arg ⁡ min b R S S (b) (\displaystyle (\klobúk (b))_(OLS)=\arg \min _(b)RSS(b)),

Kde R S S (\displaystyle RSS)- Angličtina Zvyšný súčet štvorcov je definovaný ako:

R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t − f (x t, b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\súčet _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).

Vo všeobecnom prípade možno tento problém vyriešiť metódami numerickej optimalizácie (minimalizácie). V tomto prípade hovoria o nelineárne najmenšie štvorce(NLS alebo NLLS - anglické nelineárne najmenšie štvorce). V mnohých prípadoch je možné získať analytické riešenie. Na vyriešenie problému minimalizácie je potrebné nájsť stacionárne body funkcie R S S (b) (\displaystyle RSS(b)), pričom sa rozlišuje podľa neznámych parametrov b (\displaystyle b), prirovnanie derivácií k nule a riešenie výslednej sústavy rovníc:

∑ t = 1 n (y t − f (x t, b)) ∂ f (x t, b) ∂ b = 0 (\displaystyle \sum _(t=1)^(n)(y_(t)-f(x_ (t),b))(\frac (\čiastočné f(x_(t),b))(\čiastočné b))=0).

OLS v prípade lineárnej regresie

Nech je regresná závislosť lineárna:

y t = ∑ j = 1 k b j x t j + ε = x t T b + ε t (\displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\varepsilon _(t)).

Nechaj r je stĺpcový vektor pozorovaní vysvetľovanej premennej a X (\displaystyle X)- Toto (n × k) (\displaystyle ((n\krát k)))-matica pozorovaní faktorov (riadky matice sú vektory hodnôt faktorov v danom pozorovaní, stĺpce sú vektory hodnôt daného faktora vo všetkých pozorovaniach). Maticová reprezentácia lineárneho modelu má tvar:

y = X b + ε (\displaystyle y=Xb+\varepsilon ).

Potom sa vektor odhadov vysvetľovanej premennej a vektor regresných zvyškov budú rovnať

y ^ = X b , e = y − y ^ = y − X b (\displaystyle (\klobúk (y))=Xb,\quad e=y-(\klobúk (y))=y-Xb).

Súčet druhých mocnín regresných zvyškov sa teda bude rovnať

R S S = e T e = (y − X b) T (y − X b) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).

Rozlíšenie tejto funkcie vzhľadom na vektor parametrov b (\displaystyle b) a prirovnaním derivátov k nule dostaneme systém rovníc (v maticovej forme):

(X T X) b = X T y (\displaystyle (X^(T)X)b=X^(T)y).

Vo forme dešifrovanej matice tento systém rovníc vyzerá takto:

(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t k 2 x t x 3 … 2 x t k 2 x t x 3 x 2 x 3 x 3 ∑ x t 3 x t 2 ∑ x t 3 2 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 k 2) (b 3 k 1 b) ∑ x t 2 y t ∑ x t 3 y t ⋮ ∑ x t k y t) , (\displaystyle (\začiatok(pmatrix)\súčet x_(t1)^(2)&\súčet x_(t1)x_(t2)&\súčet x_(t1)x_(t3)&\ldots &\súčet x_(t1)x_(tk)\\\súčet x_(t2)x_(t1)&\súčet x_(t2)^(2)&\súčet x_(t2)x_(t3)&\ldots &\ súčet x_(t2)x_(tk)\\\súčet x_(t3)x_(t1)&\súčet x_(t3)x_(t2)&\súčet x_(t3)^(2)&\ldots &\súčet x_ (t3)x_(tk)\\\vbodky &\vbodky &\vbodky &\dbodky &\vbodky \\\súčet x_(tk)x_(t1)&\súčet x_(tk)x_(t2)&\súčet x_ (tk)x_(t3)&\ldots &\sum x_(tk)^(2)\\\koniec (pmatrix))(\začiatok (pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vbodky \\b_(k)\\\koniec (pmatica))=(\začiatok (pmatica)\súčet x_(t1)y_(t)\\\súčet x_(t2)y_(t)\\ \sum x_(t3)y_(t)\\\vbodky \\\sučet x_(tk)y_(t)\\\end(pmatrix)),) kde všetky súčty preberajú všetky platné hodnoty t (\displaystyle t).

Ak je v modeli zahrnutá konštanta (ako obvykle), potom x t 1 = 1 (\displaystyle x_(t1)=1) pred všetkými t (\displaystyle t), preto je v ľavom hornom rohu matice sústavy rovníc uvedený počet pozorovaní n (\displaystyle n) a vo zvyšných prvkoch prvého riadku a prvého stĺpca – jednoducho súčty hodnôt premenných: ∑ x t j (\displaystyle \sum x_(tj)) a prvým prvkom pravej strany systému je ∑ y t (\displaystyle \sum y_(t)).

Riešenie tohto systému rovníc dáva všeobecný vzorec pre odhady najmenších štvorcov pre lineárny model:

b ^ O L S = (X T X) − 1 X T y = (1 n X T X) − 1 1 n X T y = V x − 1 C x y (\displaystyle (\klobúk (b))_(OLS)=(X^(T )X)^(-1)X^(T)y=\vľavo((\frac (1)(n))X^(T)X\vpravo)^(-1)(\frac (1)(n) ))X^(T)y=V_(x)^(-1)C_(xy)).

Pre analytické účely sa ukazuje ako užitočné posledné znázornenie tohto vzorca (v sústave rovníc pri delení n sa namiesto súčtov objavujú aritmetické priemery). Ak v regresnom modeli dáta vycentrované, potom v tomto znázornení má prvá matica význam vzorovej kovariančnej matice faktorov a druhá je vektorom kovariancií faktorov so závislou premennou. Ak sú navyše údaje aj normalizované na MSE (teda v konečnom dôsledku štandardizované), potom prvá matica má význam výberovej korelačnej matice faktorov, druhý vektor - vektor výberových korelácií faktorov so závislou premennou.

Dôležitá vlastnosť odhadov OLS pre modely s konštantným- priamka zostrojenej regresie prechádza ťažiskom vzorových údajov, to znamená, že rovnosť je splnená:

y ¯ = b 1 ^ + ∑ j = 2 k b ^ j x ¯ j (\displaystyle (\bar (y))=(\klobúk (b_(1)))+\sum _(j=2)^(k) (\klobúk (b))_(j)(\bar (x))_(j)).

Najmä v extrémnom prípade, keď jediným regresorom je konštanta, zistíme, že odhad OLS jediného parametra (samotnej konštanty) sa rovná priemernej hodnote vysvetľovanej premennej. To znamená, že aritmetický priemer, známy svojimi dobrými vlastnosťami zo zákonov veľkých čísel, je tiež odhadom najmenších štvorcov – spĺňa kritérium minimálneho súčtu odchýlok na druhú.

Najjednoduchšie špeciálne prípady

V prípade párovej lineárnej regresie y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), keď sa odhadne lineárna závislosť jednej premennej od druhej, výpočtové vzorce sa zjednodušia (vystačíte si s maticovou algebrou). Sústava rovníc má tvar:

(1 x ¯ x ¯ x 2 ¯) (a b) = (y ¯ x y ¯) (\displaystyle (\začiatok(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\koniec(pmatica))(\začiatok(pmatica)a\\b\\\koniec(pmatica))=(\začiatok(pmatica)(\bar (y))\\ (\overline (xy))\\\end(pmatrix))).

Odtiaľ je ľahké nájsť odhady koeficientov:

( b ^ = Cov ⁡ (x, y) Var ⁡ (x) = x y ¯ − x ¯ y ¯ x 2 ¯ − x ¯ 2 , a ^ = y ¯ − b x ¯ . (\displaystyle (\begin(cases)) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\overline (xy))-(\bar (x))(\bar (y)))((\overline (x^(2)))-(\overline (x))^(2))),\\( \hat (a))=(\bar (y))-b(\bar (x)).\end(cases)))

Napriek tomu, že vo všeobecnom prípade sú preferované modely s konštantou, v niektorých prípadoch je z teoretických úvah známe, že konštanta a (\displaystyle a) sa musí rovnať nule. Napríklad vo fyzike je vzťah medzi napätím a prúdom U = I ⋅ R (\displaystyle U=I\cdot R); Pri meraní napätia a prúdu je potrebné odhadnúť odpor. V tomto prípade hovoríme o modeli y = b x (\displaystyle y=bx). V tomto prípade namiesto sústavy rovníc máme jednu rovnicu

(∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).

Preto vzorec na odhad jediného koeficientu má tvar

B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\súčet _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).

Prípad polynomického modelu

Ak sú údaje fitované polynomickou regresnou funkciou jednej premennej f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), potom vnímanie stupňov x i (\displaystyle x^(i)) ako nezávislé faktory pre každého i (\displaystyle i) je možné odhadnúť parametre modelu na základe všeobecného vzorca pre odhad parametrov lineárneho modelu. Na to stačí vo všeobecnom vzorci vziať do úvahy, že pri takejto interpretácii x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j)) A x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). V dôsledku toho budú mať maticové rovnice v tomto prípade tvar:

(n ∑ n x t … ∑ n x t k ∑ n x t ∑ n x t 2 … ∑ n x t k + 1 ⋮ ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 2 b 1 k 1 … ] = [ ∑ n y t ∑ n t y t ⋮ ∑ n x t k y t ]. (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\súčet \limity _(n)x_(t)^(2)&\ldots &\sum \limits _(n)x_(t)^(k+1)\\\vbodky & \vbodky &\dbodky &\vbodky \\\súčet \limity _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ súčet \limits _(n)x_(t)^(2k)\end(pmatrix))(\začiatok(bmatrix)b_(0)\\b_(1)\\\vbodky \\b_(k)\end( bmatrix))=(\začiatok(bmatica)\súčet \limity _(n)y_(t)\\\súčet \limity _(n)x_(t)y_(t)\\\vbodky \\\súčet \limity _(n)x_(t)^(k)y_(t)\end(bmatica)).)

Štatistické vlastnosti odhadov OLS

V prvom rade si všimneme, že pre lineárne modely sú odhady OLS lineárnymi odhadmi, ako vyplýva z vyššie uvedeného vzorca. Pre nestranné odhady OLS je potrebné a postačujúce splniť najdôležitejšiu podmienku regresnej analýzy: matematické očakávanie náhodnej chyby podmienené faktormi sa musí rovnať nule. Táto podmienka je splnená najmä vtedy, ak

matematické očakávanie náhodných chýb je nulové a
faktory a náhodné chyby sú nezávislé náhodné premenné.

Druhá podmienka – podmienka exogenity faktorov – je zásadná. Ak táto vlastnosť nie je splnená, potom môžeme predpokladať, že takmer všetky odhady budú mimoriadne neuspokojivé: dokonca nebudú konzistentné (to znamená, že ani veľmi veľké množstvo údajov nám v tomto prípade neumožňuje získať vysoko kvalitné odhady ). V klasickom prípade sa silnejšie predpokladá determinizmus faktorov, na rozdiel od náhodnej chyby, ktorá automaticky znamená, že podmienka exogenity je splnená. Vo všeobecnom prípade pre konzistentnosť odhadov stačí splniť podmienku exogenity spolu s konvergenciou matice V x (\displaystyle V_(x)) do nejakej nesingulárnej matice, keď sa veľkosť vzorky zväčšuje do nekonečna.

Aby boli okrem konzistencie a nezaujatosti efektívne aj odhady (obyčajných) najmenších štvorcov (najlepšie v triede lineárnych neskreslených odhadov), musia byť splnené ďalšie vlastnosti náhodnej chyby:

Tieto predpoklady možno formulovať pre kovariančnú maticu vektora náhodnej chyby V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I).

Lineárny model, ktorý tieto podmienky spĺňa, sa nazýva tzv klasický. Odhady OLS pre klasickú lineárnu regresiu sú nezaujaté, konzistentné a najefektívnejšie odhady v triede všetkých lineárnych neskreslených odhadov (v anglickej literatúre sa niekedy používa skratka MODRÁ (Najlepší lineárny nezaujatý odhad) - najlepší lineárny nezaujatý odhad; V ruskej literatúre sa častejšie cituje Gauss-Markovova veta). Ako je ľahké ukázať, kovariančná matica vektora odhadov koeficientov sa bude rovnať:

V (b ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).

Účinnosť znamená, že táto kovariančná matica je „minimálna“ (akákoľvek lineárna kombinácia koeficientov a najmä koeficienty samotné majú minimálny rozptyl), to znamená, že v triede lineárnych nezaujatých odhadov sú najlepšie odhady OLS. Diagonálne prvky tejto matice - rozptyly odhadov koeficientov - sú dôležitými parametrami kvality získaných odhadov. Nie je však možné vypočítať kovariančnú maticu, pretože rozptyl náhodnej chyby nie je známy. Dá sa dokázať, že nezaujatým a konzistentným (pre klasický lineárny model) odhadom rozptylu náhodných chýb je množstvo:

S 2 = R S S / (n − k) (\displaystyle s^(2)=RSS/(n-k)).

Dosadením tejto hodnoty do vzorca pre kovariančnú maticu získame odhad kovariančnej matice. Výsledné odhady sú tiež nezaujaté a konzistentné. Je tiež dôležité, že odhad rozptylu chýb (a tým aj rozptylu koeficientov) a odhady parametrov modelu sú nezávislé náhodné premenné, čo umožňuje získať testovaciu štatistiku na testovanie hypotéz o modelových koeficientoch.

Treba poznamenať, že ak nie sú splnené klasické predpoklady, odhady parametrov OLS nie sú najefektívnejšie a tam, kde W (\displaystyle W) je nejaká symetrická pozitívne definitná matica váh. Konvenčné najmenšie štvorce sú špeciálnym prípadom tohto prístupu, kde je matica váh úmerná matici identity. Ako je známe, pre symetrické matice (alebo operátory) dochádza k expanzii W = P T P (\displaystyle W=P^(T)P). Preto môže byť špecifikovaná funkcia reprezentovaná nasledovne e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), to znamená, že tento funkcionál môže byť reprezentovaný ako súčet druhých mocnín niektorých transformovaných „zvyškov“. Môžeme teda rozlíšiť triedu metód najmenších štvorcov – metódy LS (Least Squares).

Bolo dokázané (Aitkenova veta), že pre zovšeobecnený lineárny regresný model (v ktorom nie sú kladené žiadne obmedzenia na kovariančnú maticu náhodných chýb) sú najúčinnejšie (v triede lineárnych nezaujatých odhadov) tzv. zovšeobecnené najmenšie štvorce (GLS – Generalized Least Squares)- LS metóda s váhovou maticou rovnajúcou sa inverznej kovariančnej matici náhodných chýb: W = V ε − 1 (\displaystyle W=V_(\varepsilon )^(-1)).

Dá sa ukázať, že vzorec pre GLS odhady parametrov lineárneho modelu má tvar

B ^ G L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\klobúk (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).

Kovariančná matica týchto odhadov sa teda bude rovnať

V (b ^ G L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- 1)).

V skutočnosti podstata OLS spočíva v určitej (lineárnej) transformácii (P) pôvodných dát a aplikácii obyčajnej OLS na transformované dáta. Účelom tejto transformácie je, že pre transformované dáta náhodné chyby už spĺňajú klasické predpoklady.

Vážené OLS

V prípade diagonálnej váhovej matice (a teda kovariančnej matice náhodných chýb) máme takzvané vážené najmenšie štvorce (WLS). V tomto prípade je vážený súčet štvorcov rezíduí modelu minimalizovaný, to znamená, že každé pozorovanie dostane „váhu“, ktorá je nepriamo úmerná rozptylu náhodnej chyby v tomto pozorovaní: e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma_(t)^(2)))). V skutočnosti sa údaje transformujú vážením pozorovaní (vydelením čiastkou úmernou odhadovanej štandardnej odchýlke náhodných chýb) a na vážené údaje sa aplikuje obyčajná OLS.

ISBN 978-5-7749-0473-0 .

Ekonometria. Učebnica / Ed. Eliseeva I.I. - M.: Financie a štatistika, 2006. - 576 s. - ISBN 5-279-02786-3.

Alexandrova N.V. História matematických termínov, pojmov, zápisov: slovník-príručka. - 3. vyd. - M.: LKI, 2008. - 248 s. - ISBN 978-5-382-00839-4. I.V Mitin, Rusakov V.S. Analýza a spracovanie experimentálnych údajov - 5. vydanie - 24 s.

Metóda najmenších štvorcov

Metóda najmenších štvorcov ( OLS, OLS, obyčajné najmenšie štvorce) - jedna zo základných metód regresnej analýzy na odhad neznámych parametrov regresných modelov pomocou vzorových údajov. Metóda je založená na minimalizácii súčtu štvorcov regresných zvyškov.

Treba poznamenať, že samotnú metódu najmenších štvorcov možno nazvať metódou riešenia problému v akejkoľvek oblasti, ak riešenie spočíva alebo spĺňa nejaké kritérium na minimalizáciu súčtu štvorcov niektorých funkcií požadovaných premenných. Preto možno metódu najmenších štvorcov použiť aj na približnú reprezentáciu (aproximáciu) danej funkcie inými (jednoduchšími) funkciami, pri hľadaní množiny veličín vyhovujúcich rovniciam alebo obmedzeniam, ktorých počet presahuje počet týchto veličín. , atď.

Podstata MNC

Nech je daný nejaký (parametrický) model pravdepodobnostného (regresného) vzťahu medzi (vysvetlenou) premennou r a mnoho faktorov (vysvetľujúce premenné) X

kde je vektor neznámych parametrov modelu

- náhodná chyba modelu.

Nech sú aj vzorové pozorovania hodnôt týchto premenných. Nech je číslo pozorovania (). Potom sú to hodnoty premenných v pozorovaní. Potom je možné pre dané hodnoty parametrov b vypočítať teoretické (modelové) hodnoty vysvetľovanej premennej y:

Veľkosť zvyškov závisí od hodnôt parametrov b.

Podstatou metódy najmenších štvorcov (obyčajnej, klasickej) je nájsť parametre b, pre ktoré je súčet štvorcov rezíduí (angl. Zvyšný súčet štvorcov) bude minimálny:

Vo všeobecnom prípade možno tento problém vyriešiť metódami numerickej optimalizácie (minimalizácie). V tomto prípade hovoria o nelineárne najmenšie štvorce(NLS alebo NLLS - angličtina) Nelineárne najmenšie štvorce). V mnohých prípadoch je možné získať analytické riešenie. Na vyriešenie úlohy minimalizácie je potrebné nájsť stacionárne body funkcie tak, že ju derivujeme vzhľadom na neznáme parametre b, derivácie prirovnáme k nule a vyriešime výslednú sústavu rovníc:

Ak sú náhodné chyby modelu normálne rozdelené, majú rovnaký rozptyl a nie sú korelované, odhady parametrov OLS sú rovnaké ako odhady maximálnej pravdepodobnosti (MLM).

OLS v prípade lineárneho modelu

Nech je regresná závislosť lineárna:

Nechaj r je stĺpcový vektor pozorovaní vysvetlenej premennej a je maticou faktorových pozorovaní (riadky matice sú vektory hodnôt faktorov v danom pozorovaní, stĺpce sú vektory hodnôt daného faktora vo všetkých pozorovaniach). Maticová reprezentácia lineárneho modelu má tvar:

Potom sa vektor odhadov vysvetľovanej premennej a vektor regresných zvyškov budú rovnať

Súčet druhých mocnín regresných zvyškov sa teda bude rovnať

Diferencovaním tejto funkcie vzhľadom na vektor parametrov a prirovnaním derivácií k nule dostaneme sústavu rovníc (v maticovom tvare):

Riešenie tohto systému rovníc dáva všeobecný vzorec pre odhady najmenších štvorcov pre lineárny model:

Na analytické účely je užitočná posledná uvedená reprezentácia tohto vzorca. Ak v regresnom modeli dáta vycentrované, potom v tomto znázornení má prvá matica význam vzorovej kovariančnej matice faktorov a druhá je vektorom kovariancií faktorov so závislou premennou. Ak sú navyše údaje aj normalizované na MSE (teda v konečnom dôsledku štandardizované), potom prvá matica má význam výberovej korelačnej matice faktorov, druhý vektor - vektor výberových korelácií faktorov so závislou premennou.

Dôležitá vlastnosť odhadov OLS pre modely s konštantným- priamka zostrojenej regresie prechádza ťažiskom vzorových údajov, to znamená, že rovnosť je splnená:

Príklad: najjednoduchšia (párová) regresia

V prípade párovej lineárnej regresie sú výpočtové vzorce zjednodušené (zaobídete sa aj bez maticovej algebry):

Vlastnosti OLS odhadov

matematické očakávanie náhodných chýb je nulové a
faktory a náhodné chyby sú nezávislé náhodné premenné.

Druhá podmienka – podmienka exogenity faktorov – je zásadná. Ak táto vlastnosť nie je splnená, potom môžeme predpokladať, že takmer všetky odhady budú mimoriadne neuspokojivé: dokonca nebudú konzistentné (to znamená, že ani veľmi veľké množstvo údajov nám v tomto prípade neumožňuje získať vysoko kvalitné odhady ). V klasickom prípade sa silnejšie predpokladá determinizmus faktorov, na rozdiel od náhodnej chyby, ktorá automaticky znamená, že podmienka exogenity je splnená. Vo všeobecnom prípade pre konzistentnosť odhadov stačí splniť podmienku exogenity spolu s konvergenciou matice k nejakej nesingulárnej matici, keď veľkosť vzorky rastie do nekonečna.

Tieto predpoklady možno formulovať pre kovariančnú maticu vektora náhodnej chyby

Lineárny model, ktorý tieto podmienky spĺňa, sa nazýva tzv klasický. Odhady OLS pre klasickú lineárnu regresiu sú nezaujaté, konzistentné a najefektívnejšie odhady v triede všetkých lineárnych neskreslených odhadov (v anglickej literatúre sa niekedy používa skratka MODRÁ (Najlepší lineárny nezaložený odhad) - najlepší lineárny nezaujatý odhad; v ruskej literatúre sa častejšie uvádza Gauss-Markovova veta). Ako je ľahké ukázať, kovariančná matica vektora odhadov koeficientov sa bude rovnať:

Generalizovaná OLS

Metóda najmenších štvorcov umožňuje široké zovšeobecnenie. Namiesto minimalizovania súčtu štvorcov rezíduí je možné minimalizovať nejakú kladne definitívnu kvadratickú formu vektora rezíduí, kde je nejaká symetrická kladne definitná váhová matica. Konvenčné najmenšie štvorce sú špeciálnym prípadom tohto prístupu, kde je matica váh úmerná matici identity. Ako je známe z teórie symetrických matíc (alebo operátorov), pre takéto matice dochádza k rozkladu. V dôsledku toho môže byť špecifikovaný funkcionál reprezentovaný nasledovne, to znamená, že tento funkcionál môže byť reprezentovaný ako súčet druhých mocnín niektorých transformovaných „zvyškov“. Môžeme teda rozlíšiť triedu metód najmenších štvorcov – metódy LS (Least Squares).

Dá sa ukázať, že vzorec pre GLS odhady parametrov lineárneho modelu má tvar

Kovariančná matica týchto odhadov sa teda bude rovnať

Vážené OLS

V prípade diagonálnej váhovej matice (a teda kovariančnej matice náhodných chýb) máme takzvané vážené najmenšie štvorce (WLS). V tomto prípade je vážený súčet štvorcov rezíduí modelu minimalizovaný, to znamená, že každé pozorovanie dostane „váhu“, ktorá je nepriamo úmerná rozptylu náhodnej chyby v tomto pozorovaní: . V skutočnosti sa údaje transformujú vážením pozorovaní (vydelením čiastkou úmernou odhadovanej štandardnej odchýlke náhodných chýb) a na vážené údaje sa aplikuje obyčajná OLS.

Niektoré špeciálne prípady využitia MNC v praxi

Aproximácia lineárnej závislosti

Uvažujme prípad, keď v dôsledku štúdia závislosti určitej skalárnej veličiny od určitej skalárnej veličiny (môže to byť napríklad závislosť napätia od sily prúdu: , kde je konštantná hodnota, odpor vodič), vykonali sa merania týchto veličín, v dôsledku ktorých boli hodnoty a im zodpovedajúce hodnoty. Namerané údaje sa musia zaznamenať do tabuľky.

Tabuľka. Výsledky merania.

Meranie č.
1
2
3
4
5
6

Otázka znie: akú hodnotu koeficientu je možné zvoliť, aby najlepšie vystihoval závislosť? Podľa metódy najmenších štvorcov by táto hodnota mala byť taká, že súčet štvorcových odchýlok hodnôt od hodnôt

bol minimálny

Súčet štvorcových odchýlok má jeden extrém – minimum, čo nám umožňuje použiť tento vzorec. Z tohto vzorca nájdime hodnotu koeficientu. Aby sme to dosiahli, transformujeme jeho ľavú stranu takto:

Posledný vzorec nám umožňuje nájsť hodnotu koeficientu, ktorá je požadovaná v úlohe.

Príbeh

Do začiatku 19. stor. vedci nemali isté pravidlá na riešenie sústavy rovníc, v ktorej je počet neznámych menší ako počet rovníc; Dovtedy sa používali súkromné techniky, ktoré záviseli od typu rovníc a od dôvtipu kalkulačiek, a preto rôzne kalkulačky na základe rovnakých pozorovacích údajov dospeli k rôznym záverom. Gauss (1795) bol prvý, kto použil túto metódu, a Legendre (1805) ju nezávisle objavil a publikoval pod jej moderným názvom (franc. Methode des moindres quarrés ). Laplace dal túto metódu do súvislosti s teóriou pravdepodobnosti a americký matematik Adrain (1808) uvažoval o jej teoretických aplikáciách. Metóda bola rozšírená a zdokonalená ďalším výskumom Enckeho, Bessela, Hansena a ďalších.

Alternatívne použitie OLS

Myšlienka metódy najmenších štvorcov môže byť použitá aj v iných prípadoch, ktoré priamo nesúvisia s regresnou analýzou. Faktom je, že súčet štvorcov je jednou z najbežnejších mier priblíženia pre vektory (euklidovská metrika v konečnej dimenzii).

Jednou z aplikácií je „riešenie“ systémov lineárnych rovníc, v ktorých je počet rovníc väčší ako počet premenných

kde matica nie je štvorcová, ale obdĺžniková.

Takýto systém rovníc vo všeobecnom prípade nemá riešenie (ak je poradie v skutočnosti väčšie ako počet premenných). Preto je možné tento systém „riešiť“ iba v zmysle výberu takého vektora, aby sa minimalizovala „vzdialenosť“ medzi vektormi a . Na tento účel môžete použiť kritérium minimalizácie súčtu štvorcov rozdielov medzi ľavou a pravou stranou systémových rovníc, tj. Je ľahké ukázať, že riešenie tohto problému minimalizácie vedie k riešeniu nasledujúceho systému rovníc

Metóda najmenších štvorcov

Podstata MNC

Nech je daný nejaký (parametrický) model pravdepodobnostného (regresného) vzťahu medzi (vysvetlenou) premennou r a mnoho faktorov (vysvetľujúce premenné) X

kde je vektor neznámych parametrov modelu

- náhodná chyba modelu.

Veľkosť zvyškov závisí od hodnôt parametrov b.

Podstatou metódy najmenších štvorcov (obyčajnej, klasickej) je nájsť parametre b, pre ktoré je súčet štvorcov rezíduí (angl. Zvyšný súčet štvorcov) bude minimálny:

Vo všeobecnom prípade možno tento problém vyriešiť metódami numerickej optimalizácie (minimalizácie). V tomto prípade hovoria o nelineárne najmenšie štvorce(NLS alebo NLLS - angličtina) Nelineárne najmenšie štvorce). V mnohých prípadoch je možné získať analytické riešenie. Na vyriešenie úlohy minimalizácie je potrebné nájsť stacionárne body funkcie tak, že ju derivujeme vzhľadom na neznáme parametre b, derivácie prirovnáme k nule a vyriešime výslednú sústavu rovníc:

Ak sú náhodné chyby modelu normálne rozdelené, majú rovnaký rozptyl a nie sú korelované, odhady parametrov OLS sú rovnaké ako odhady maximálnej pravdepodobnosti (MLM).

OLS v prípade lineárneho modelu

Nech je regresná závislosť lineárna:

Potom sa vektor odhadov vysvetľovanej premennej a vektor regresných zvyškov budú rovnať

Súčet druhých mocnín regresných zvyškov sa teda bude rovnať

Diferencovaním tejto funkcie vzhľadom na vektor parametrov a prirovnaním derivácií k nule dostaneme sústavu rovníc (v maticovom tvare):

Riešenie tohto systému rovníc dáva všeobecný vzorec pre odhady najmenších štvorcov pre lineárny model:

Dôležitá vlastnosť odhadov OLS pre modely s konštantným- priamka zostrojenej regresie prechádza ťažiskom vzorových údajov, to znamená, že rovnosť je splnená:

Príklad: najjednoduchšia (párová) regresia

V prípade párovej lineárnej regresie sú výpočtové vzorce zjednodušené (zaobídete sa aj bez maticovej algebry):

Vlastnosti OLS odhadov

matematické očakávanie náhodných chýb je nulové a
faktory a náhodné chyby sú nezávislé náhodné premenné.

Druhá podmienka – podmienka exogenity faktorov – je zásadná. Ak táto vlastnosť nie je splnená, potom môžeme predpokladať, že takmer všetky odhady budú mimoriadne neuspokojivé: dokonca nebudú konzistentné (to znamená, že ani veľmi veľké množstvo údajov nám v tomto prípade neumožňuje získať vysoko kvalitné odhady ). V klasickom prípade sa silnejšie predpokladá determinizmus faktorov, na rozdiel od náhodnej chyby, ktorá automaticky znamená, že podmienka exogenity je splnená. Vo všeobecnom prípade pre konzistentnosť odhadov stačí splniť podmienku exogenity spolu s konvergenciou matice k nejakej nesingulárnej matici, keď veľkosť vzorky rastie do nekonečna.

Tieto predpoklady možno formulovať pre kovariančnú maticu vektora náhodnej chyby

Lineárny model, ktorý tieto podmienky spĺňa, sa nazýva tzv klasický. Odhady OLS pre klasickú lineárnu regresiu sú nezaujaté, konzistentné a najefektívnejšie odhady v triede všetkých lineárnych neskreslených odhadov (v anglickej literatúre sa niekedy používa skratka MODRÁ (Najlepší lineárny nezaložený odhad) - najlepší lineárny nezaujatý odhad; v ruskej literatúre sa častejšie uvádza Gauss-Markovova veta). Ako je ľahké ukázať, kovariančná matica vektora odhadov koeficientov sa bude rovnať:

Generalizovaná OLS

Dá sa ukázať, že vzorec pre GLS odhady parametrov lineárneho modelu má tvar

Kovariančná matica týchto odhadov sa teda bude rovnať

Vážené OLS

V prípade diagonálnej váhovej matice (a teda kovariančnej matice náhodných chýb) máme takzvané vážené najmenšie štvorce (WLS). V tomto prípade je vážený súčet štvorcov rezíduí modelu minimalizovaný, to znamená, že každé pozorovanie dostane „váhu“, ktorá je nepriamo úmerná rozptylu náhodnej chyby v tomto pozorovaní: . V skutočnosti sa údaje transformujú vážením pozorovaní (vydelením čiastkou úmernou odhadovanej štandardnej odchýlke náhodných chýb) a na vážené údaje sa aplikuje obyčajná OLS.

Niektoré špeciálne prípady využitia MNC v praxi

Aproximácia lineárnej závislosti

Tabuľka. Výsledky merania.

Meranie č.
1
2
3
4
5
6

bol minimálny

Posledný vzorec nám umožňuje nájsť hodnotu koeficientu, ktorá je požadovaná v úlohe.

Príbeh

Do začiatku 19. stor. vedci nemali isté pravidlá na riešenie sústavy rovníc, v ktorej je počet neznámych menší ako počet rovníc; Dovtedy sa používali súkromné techniky, ktoré záviseli od typu rovníc a od dôvtipu kalkulačiek, a preto rôzne kalkulačky na základe rovnakých pozorovacích údajov dospeli k rôznym záverom. Gauss (1795) bol prvý, kto použil túto metódu, a Legendre (1805) ju nezávisle objavil a publikoval pod jej moderným názvom (franc. Methode des moindres quarrés ). Laplace dal túto metódu do súvislosti s teóriou pravdepodobnosti a americký matematik Adrain (1808) uvažoval o jej teoretických aplikáciách. Metóda bola rozšírená a zdokonalená ďalším výskumom Enckeho, Bessela, Hansena a ďalších.

Alternatívne použitie OLS

Jednou z aplikácií je „riešenie“ systémov lineárnych rovníc, v ktorých je počet rovníc väčší ako počet premenných

kde matica nie je štvorcová, ale obdĺžniková.

Má široké využitie v ekonometrii vo forme prehľadnej ekonomickej interpretácie jej parametrov.

Lineárna regresia vedie k nájdeniu rovnice tvaru

alebo

Rovnica formulára umožňuje na základe špecifikovaných hodnôt parametrov X mať teoretické hodnoty výslednej charakteristiky, pričom do nej nahrádzajú skutočné hodnoty faktora X.

Konštrukcia lineárnej regresie spočíva v odhade jej parametrov - A A V. Odhady parametrov lineárnej regresie možno nájsť pomocou rôznych metód.

Klasický prístup k odhadu parametrov lineárnej regresie je založený na metóda najmenších štvorcov(MNC).

Metóda najmenších štvorcov nám umožňuje získať takéto odhady parametrov A A V, pri ktorej súčet štvorcových odchýlok skutočných hodnôt výslednej charakteristiky (y) z vypočítaného (teoretického) minimum:

Ak chcete nájsť minimum funkcie, musíte vypočítať parciálne derivácie pre každý z parametrov A A b a nastavte ich na nulu.

Označme cez S, potom:

Transformáciou vzorca získame nasledujúci systém normálnych rovníc na odhad parametrov A A V:

Riešením sústavy normálnych rovníc (3.5) buď metódou sekvenčnej eliminácie premenných alebo metódou determinantov nájdeme požadované odhady parametrov. A A V.

Parameter V nazývaný regresný koeficient. Jeho hodnota zobrazuje priemernú zmenu výsledku so zmenou faktora o jednu jednotku.

Regresná rovnica je vždy doplnená o indikátor blízkosti súvislosti. Pri použití lineárnej regresie je takýmto ukazovateľom lineárny korelačný koeficient. Existujú rôzne modifikácie vzorca koeficientu lineárnej korelácie. Niektoré z nich sú uvedené nižšie:

Ako je známe, koeficient lineárnej korelácie je v medziach: -1 ≤ ≤ 1.

Na posúdenie kvality výberu lineárnej funkcie sa vypočíta štvorec

Lineárny korelačný koeficient tzv koeficient determinácie. Koeficient determinácie charakterizuje podiel rozptylu výslednej charakteristiky y, vysvetlené regresiou v celkovom rozptyle výsledného znaku:

Podľa toho hodnota 1 charakterizuje podiel rozptylu y, spôsobené vplyvom iných faktorov nezohľadnených v modeli.

Otázky na sebaovládanie

1. Podstata metódy najmenších štvorcov?

2. Koľko premenných poskytuje párová regresia?

3. Aký koeficient určuje tesnosť súvislosti medzi zmenami?

4. V akých medziach sa určuje koeficient determinácie?

5. Odhad parametra b v korelačno-regresnej analýze?

1. Christopher Dougherty. Úvod do ekonometrie. - M.: INFRA - M, 2001 - 402 s.

2. S.A. Borodich. Ekonometria. Minsk LLC „Nové poznatky“ 2001.

3. R.U. Rakhmetova Krátky kurz ekonometrie. Návod. Almaty. 2004. -78 s.

4. I.I. Eliseeva. - M.: „Financie a štatistika“, 2002

5. Mesačný informačný a analytický časopis.

Nelineárne ekonomické modely. Nelineárne regresné modely. Transformácia premenných.

Nelineárne ekonomické modely..

Transformácia premenných.

Koeficient elasticity.

Ak existujú nelineárne vzťahy medzi ekonomickými javmi, potom sú vyjadrené pomocou zodpovedajúcich nelineárnych funkcií: napríklad rovnostranná hyperbola , paraboly druhého stupňa atď.

Existujú dve triedy nelineárnych regresií:

1. Regresie, ktoré sú nelineárne vzhľadom na vysvetľujúce premenné zahrnuté v analýze, ale lineárne vzhľadom na odhadované parametre, napríklad:

Polynómy rôznych stupňov - , ;

Rovnostranná hyperbola - ;

Semilogaritmická funkcia - .

2. Regresie, ktoré sú nelineárne v odhadovaných parametroch, napríklad:

Moc - ;

Demonštratívne - ;

Exponenciálny - .

Celkový súčet štvorcových odchýlok jednotlivých hodnôt výslednej charakteristiky pri z priemernej hodnoty je spôsobené vplyvom mnohých príčin. Podmienečne rozdeľme celý súbor dôvodov do dvoch skupín: skúmaný faktor x A iné faktory.

Ak faktor neovplyvňuje výsledok, potom je regresná čiara na grafe rovnobežná s osou Oh A

Potom je celý rozptyl výslednej charakteristiky spôsobený vplyvom iných faktorov a celkový súčet štvorcových odchýlok sa bude zhodovať so zvyškom. Ak iné faktory neovplyvňujú výsledok, potom y viazaný s X funkčne a zvyškový súčet štvorcov je nula. V tomto prípade je súčet štvorcových odchýlok vysvetlených regresiou rovnaký ako celkový súčet druhých mocnín.

Keďže nie všetky body korelačného poľa ležia na regresnej priamke, k ich rozptylu vždy dochádza v dôsledku vplyvu faktora X, teda regresia pri Autor: X, a spôsobené inými príčinami (nevysvetliteľná variácia). Vhodnosť regresnej priamky na predikciu závisí od toho, aká časť celkovej variácie znaku je pri zodpovedá vysvetlenej variácii

Je zrejmé, že ak súčet štvorcových odchýlok v dôsledku regresie je väčší ako zvyškový súčet štvorcov, potom je regresná rovnica štatisticky významná a faktor X má významný vplyv na výsledok u.

, t.j. s počtom voľnosti nezávislej variácie charakteristiky. Počet stupňov voľnosti súvisí s počtom populačných jednotiek n a z neho určeným počtom konštánt. Vo vzťahu k skúmanému problému by počet stupňov voľnosti mal ukazovať od koľkých nezávislých odchýlok P

Posúdenie významnosti regresnej rovnice ako celku je uvedené pomocou F- Fisherovo kritérium. V tomto prípade je predložená nulová hypotéza, že regresný koeficient sa rovná nule, t.j. b = 0, a teda faktor X neovplyvňuje výsledok u.

Okamžitému výpočtu F-testu predchádza analýza rozptylu. Centrálne miesto v nej zaujíma rozklad celkového súčtu kvadrátov odchýlok premennej pri z priemernej hodnoty pri na dve časti – „vysvetlené“ a „nevysvetlené“:

- celkový súčet štvorcových odchýlok;

- súčet štvorcových odchýlok vysvetlených regresiou;

- zvyškový súčet štvorcových odchýlok.

Akýkoľvek súčet štvorcových odchýlok súvisí s počtom stupňov voľnosti , t.j. s počtom voľnosti nezávislej variácie charakteristiky. Počet stupňov voľnosti súvisí s počtom populačných jednotiek n a s počtom konštánt z nej určeným. Vo vzťahu k skúmanému problému by počet stupňov voľnosti mal ukazovať od koľkých nezávislých odchýlok P na vytvorenie daného súčtu štvorcov.

Rozptyl na stupeň voľnostiD.

F-pomery (F-test):

Ak je nulová hypotéza pravdivá, potom sa faktor a reziduálne rozptyly navzájom nelíšia. Pre H 0 je potrebné vyvrátenie, aby disperzia faktorov niekoľkonásobne prevyšovala zvyškovú disperziu. Anglický štatistik Snedekor vypracoval tabuľky kritických hodnôt F-vzťahy na rôznych úrovniach významnosti nulovej hypotézy a rôznych počtoch stupňov voľnosti. Tabuľková hodnota F-kritérium je maximálna hodnota pomeru rozptylov, ktoré môžu nastať v prípade náhodnej divergencie pre danú úroveň pravdepodobnosti prítomnosti nulovej hypotézy. Vypočítaná hodnota F-vzťahy sa považujú za spoľahlivé, ak o je väčšie ako tabuľka.

V tomto prípade sa zamietne nulová hypotéza o absencii vzťahu medzi znakmi a vyvodí sa záver o význame tohto vzťahu: F fakt > F tabuľka H0 sa zamietne.

Ak je hodnota menšia ako tabuľková hodnota F fakt ‹, F tabuľka, potom je pravdepodobnosť nulovej hypotézy vyššia ako stanovená úroveň a nemožno ju zamietnuť bez vážneho rizika vyvodenia nesprávneho záveru o prítomnosti vzťahu. V tomto prípade sa regresná rovnica považuje za štatisticky nevýznamnú. Ale nevybočuje.

Smerodajná chyba regresného koeficientu

Na posúdenie významnosti regresného koeficientu sa jeho hodnota porovnáva s jeho štandardnou chybou, t. j. určí sa skutočná hodnota t- študentský test: ktorá sa potom porovnáva s tabuľkovou hodnotou na určitej hladine významnosti a počte stupňov voľnosti ( n- 2).

Štandardná chyba parametra A:

Významnosť koeficientu lineárnej korelácie sa kontroluje na základe veľkosti chyby korelačný koeficient t r:

Celkový rozptyl vlastností X:

Viacnásobná lineárna regresia

Stavba modelu

Viacnásobná regresia predstavuje regresiu efektívnej charakteristiky s dvoma alebo viacerými faktormi, teda model formy

Regresia môže poskytnúť dobré výsledky v modelovaní, ak možno zanedbať vplyv iných faktorov ovplyvňujúcich predmet štúdia. Správanie jednotlivých ekonomických premenných nie je možné kontrolovať, t. j. nie je možné zabezpečiť rovnosť všetkých ostatných podmienok na posúdenie vplyvu jedného skúmaného faktora. V tomto prípade by ste sa mali pokúsiť identifikovať vplyv iných faktorov ich zavedením do modelu, t. j. zostaviť rovnicu viacnásobnej regresie: y = a+b 1 x 1 +b 2 +…+b p x p + .

Hlavným cieľom viacnásobnej regresie je zostaviť model s veľkým množstvom faktorov, pričom sa určí vplyv každého z nich samostatne, ako aj ich kombinovaný vplyv na modelovaný ukazovateľ. Špecifikácia modelu zahŕňa dva okruhy problémov: výber faktorov a výber typu regresnej rovnice