Domov Protetika a implantace Metoda bodových nejmenších čtverců. Kde se používá metoda nejmenších čtverců?

Protetika a implantace

Metoda bodových nejmenších čtverců. Kde se používá metoda nejmenších čtverců?

Příklad.

Experimentální data o hodnotách proměnných X A na jsou uvedeny v tabulce.

V důsledku jejich zarovnání se získá funkce

Použitím metoda nejmenší čtverce , aproximujte tato data lineární závislostí y=ax+b(zjistit parametry A A b). Zjistěte, která ze dvou čar lépe (ve smyslu metody nejmenších čtverců) zarovnává experimentální data. Udělejte nákres.

Podstata metody nejmenších čtverců (LSM).

Úkolem je najít lineární koeficienty závislosti, při kterých je funkce dvou proměnných A A b má nejmenší hodnotu. Tedy daný A A b součet čtverců odchylek experimentálních dat od nalezené přímky bude nejmenší. To je celý smysl metody nejmenších čtverců.

Řešení příkladu tedy vede k nalezení extrému funkce dvou proměnných.

Odvozovací vzorce pro hledání koeficientů.

Sestaví se a vyřeší soustava dvou rovnic o dvou neznámých. Hledání parciálních derivací funkce podle proměnných A A b, přirovnáme tyto derivace k nule.

Výslednou soustavu rovnic řešíme libovolnou metodou (např substituční metodou nebo Cramerova metoda) a získejte vzorce pro hledání koeficientů pomocí metody nejmenších čtverců (LSM).

Dáno A A b funkce má nejmenší hodnotu. Důkaz této skutečnosti je uveden níže v textu na konci stránky.

To je celá metoda nejmenších čtverců. Vzorec pro zjištění parametru A obsahuje součty ,,, a parametr n- množství experimentálních dat. Hodnoty těchto částek doporučujeme počítat samostatně. Součinitel b zjištěno po výpočtu A.

Je čas si připomenout původní příklad.

Řešení.

V našem příkladu n=5. Vyplňujeme tabulku pro usnadnění výpočtu částek, které jsou zahrnuty ve vzorcích požadovaných koeficientů.

Hodnoty ve čtvrtém řádku tabulky se získají vynásobením hodnot 2. řádku hodnotami 3. řádku pro každé číslo i.

Hodnoty v pátém řádku tabulky se získají umocněním hodnot ve 2. řádku pro každé číslo i.

Hodnoty v posledním sloupci tabulky jsou součty hodnot napříč řádky.

Ke zjištění koeficientů používáme vzorce metody nejmenších čtverců A A b. Dosadíme do nich odpovídající hodnoty z posledního sloupce tabulky:

Proto, y = 0,165x+2,184- požadovaná přibližná přímka.

Zbývá zjistit, která z linek y = 0,165x+2,184 nebo lépe aproximuje původní data, to znamená, že provede odhad pomocí metody nejmenších čtverců.

Odhad chyby metody nejmenších čtverců.

K tomu je potřeba vypočítat součet čtverců odchylek původních dat z těchto řádků A , menší hodnota odpovídá řádku, který se lépe přibližuje původním datům ve smyslu metody nejmenších čtverců.

Od , tedy rovně y = 0,165x+2,184 lépe se blíží původním údajům.

Grafické znázornění metody nejmenších čtverců (LS).

Vše je jasně vidět na grafech. Červená čára je nalezená přímka y = 0,165x+2,184, modrá čára je , růžové tečky jsou původní údaje.

V praxi se při modelování různých procesů - zejména ekonomických, fyzických, technických, sociálních - široce používá jeden nebo druhý způsob výpočtu přibližných hodnot funkcí z jejich známých hodnot v určitých pevných bodech.

Tento druh problému aproximace funkcí často nastává:

při konstrukci přibližných vzorců pro výpočet hodnot charakteristických veličin studovaného procesu pomocí tabulkových dat získaných jako výsledek experimentu;

v numerické integraci, derivaci, řešení diferenciální rovnice atd.;

v případě potřeby vypočítat hodnoty funkcí v mezilehlých bodech uvažovaného intervalu;

při určování hodnot charakteristických veličin procesu mimo uvažovaný interval, zejména při prognózování.

Pokud pro modelování určitého procesu specifikovaného tabulkou zkonstruujeme funkci, která tento proces přibližně popisuje na základě metody nejmenších čtverců, budeme ji nazývat aproximační funkce (regrese) a samotný problém konstrukce aproximačních funkcí bude nazýván aproximační problém.

Tento článek pojednává o možnostech balíku MS Excel pro řešení tohoto typu problémů, navíc poskytuje metody a techniky pro konstrukci (vytváření) regresí pro tabelované funkce (což je základem regresní analýzy).

Excel má dvě možnosti pro vytváření regresí.

Přidání vybraných regresí (trendových linií) do diagramu vytvořeného na základě datové tabulky pro studovanou charakteristiku procesu (dostupné pouze v případě, že byl diagram vytvořen);

Použití vestavěných statistických funkcí listu Excel, které vám umožní získat regrese (trendové linie) přímo z tabulky zdrojových dat.

Přidání trendových čar do grafu

Pro tabulku dat, která popisuje proces a je reprezentována diagramem, má Excel účinný nástroj pro regresní analýzu, který vám umožňuje:

stavět na základě metody nejmenších čtverců a přidat do diagramu pět typů regresí, které modelují zkoumaný proces s různou mírou přesnosti;

doplňte sestrojenou regresní rovnici do diagramu;

určit míru korespondence vybrané regrese s údaji zobrazenými v grafu.

Na základě dat z grafu vám Excel umožňuje získat lineární, polynomiální, logaritmické, mocninné a exponenciální typy regresí, které jsou specifikovány rovnicí:

y = y (x)

kde x je nezávislá proměnná, která často nabývá hodnot posloupnosti přirozených čísel (1; 2; 3; ...) a vytváří např. odpočet času zkoumaného procesu (charakteristiky) .

1 . Lineární regrese je vhodná pro modelování charakteristik, jejichž hodnoty rostou nebo klesají konstantní rychlostí. Toto je nejjednodušší model, který lze sestavit pro studovaný proces. Je konstruován podle rovnice:

y = mx + b

kde m je tangens úhlu sklonu lineární regrese k ose x; b - souřadnice průsečíku lineární regrese s osou pořadnice.

2 . Polynomiální trendová čára je užitečná pro popis charakteristik, které mají několik odlišných extrémů (maxima a minima). Volba stupně polynomu je určena počtem extrémů studované charakteristiky. Polynom druhého stupně tedy může dobře popsat proces, který má pouze jedno maximum nebo minimum; polynom třetího stupně - ne více než dva extrémy; polynom čtvrtého stupně - ne více než tři extrémy atd.

V tomto případě je trendová čára konstruována v souladu s rovnicí:

y = c0 + c1x + c2x2 + c3x3 + c4x4 + c5x5 + c6x6

kde koeficienty c0, c1, c2,... c6 jsou konstanty, jejichž hodnoty jsou určeny při konstrukci.

3 . Logaritmická trendová čára se úspěšně používá při modelování charakteristik, jejichž hodnoty se zpočátku rychle mění a poté se postupně stabilizují.

y = c ln(x) + b

4 . Trendová čára mocninného zákona dává dobré výsledky, pokud jsou hodnoty studovaného vztahu charakterizovány neustálou změnou tempa růstu. Příkladem takové závislosti je graf rovnoměrně zrychleného pohybu automobilu. Pokud jsou v datech nulové nebo záporné hodnoty, nemůžete použít čáru trendu napájení.

Sestaveno podle rovnice:

y = c xb

kde koeficienty b, c jsou konstanty.

5 . Exponenciální trendová čára by měla být použita, když se rychlost změny v datech neustále zvyšuje. Pro data obsahující nulové nebo záporné hodnoty není tento typ aproximace rovněž použitelný.

Sestaveno podle rovnice:

y = c ebx

kde koeficienty b, c jsou konstanty.

Při výběru linky Trend Excelu automaticky vypočítá hodnotu R2, která charakterizuje spolehlivost aproximace: než bližší hodnotu R2 k jednotě, tím spolehlivěji se trendová čára přibližuje studovanému procesu. V případě potřeby lze hodnotu R2 vždy zobrazit v grafu.

Určeno podle vzorce:

Postup přidání trendové čáry do datové řady:

aktivovat graf na základě řady dat, tj. klikněte do oblasti grafu. V hlavním menu se objeví položka Diagram;

po kliknutí na tuto položku se na obrazovce objeví nabídka, ve které byste měli vybrat příkaz Přidat čáru trendu.

Stejné akce lze snadno provést najetím ukazatele myši na graf odpovídající jedné z datových řad a kliknutím pravým tlačítkem myši; V zobrazené kontextové nabídce vyberte příkaz Přidat čáru trendu. Na obrazovce se objeví dialogové okno Trendová čára s otevřenou záložkou Typ (obr. 1).

Po tomto potřebujete:

Na záložce Typ vyberte požadovaný typ čáry trendu (standardně je vybrán typ Lineární). U typu Polynom zadejte v poli Stupeň stupeň vybraného polynomu.

1 . Pole Built on series uvádí všechny datové řady v příslušném grafu. Chcete-li přidat trendovou linii ke konkrétní datové řadě, vyberte její název v poli Built on series.

V případě potřeby můžete přechodem na záložku Parametry (obr. 2) nastavit pro linii trendu následující parametry:

změňte název spojnice trendu v poli Název aproximující (vyhlazené) křivky.

nastavte počet období (dopředu nebo dozadu) pro předpověď v poli Předpověď;

zobrazit rovnici spojnice trendu v oblasti diagramu, pro kterou byste měli zaškrtnout políčko Zobrazit rovnici v diagramu;

zobrazit hodnotu aproximační spolehlivosti R2 v oblasti diagramu, pro kterou byste měli zaškrtnout políčko Umístit hodnotu aproximační spolehlivosti do diagramu (R^2);

nastavte průsečík spojnice trendu s osou Y, pro kterou byste měli zaškrtnout políčko pro průsečík křivky s osou Y v bodě;

Klepnutím na tlačítko OK zavřete dialogové okno.

Chcete-li začít upravovat již nakreslenou trendovou čáru, existují tři způsoby:

použijte příkaz Vybraná spojnice trendu z nabídky Formát po předchozím výběru spojnice trendu;

z kontextové nabídky vyberte příkaz Formátovat spojnici trendu, který vyvoláte kliknutím pravým tlačítkem myši na spojnici trendu;

dvakrát klikněte na trendovou čáru.

Na obrazovce se objeví dialogové okno Formát čáry trendu (obr. 3), obsahující tři záložky: Zobrazit, Typ, Parametry a obsah posledních dvou se zcela shoduje s podobnými záložkami dialogového okna čára trendu (obr. 1 -2). Na kartě Zobrazit můžete nastavit typ čáry, její barvu a tloušťku.

Chcete-li odstranit trendovou linii, která již byla nakreslena, vyberte trendovou linii, kterou chcete odstranit, a stiskněte klávesu Delete.

Výhody uvažovaného nástroje regresní analýzy jsou:

relativní snadnost konstrukce trendové čáry na grafech bez vytvoření datové tabulky;

poměrně široký seznam typů navrhovaných trendových čar a tento seznam zahrnuje nejčastěji používané typy regrese;

schopnost předvídat chování zkoumaného procesu libovolným (v mezích zdravého rozumu) počtem kroků vpřed i vzad;

schopnost získat rovnici trendové čáry v analytické podobě;

možnost v případě potřeby získat posouzení spolehlivosti aproximace.

Mezi nevýhody patří následující:

konstrukce trendové čáry se provádí pouze v případě, že existuje diagram sestavený na sérii dat;

proces generování datových řad pro studovanou charakteristiku na základě rovnic trendových čar získaných pro ni je poněkud nepřehledný: požadované regresní rovnice se aktualizují s každou změnou hodnot původní datové řady, ale pouze v rámci oblasti diagramu , zatímco datové řady, generovaný na základě staré rovnice trendové čáry, zůstává nezměněn;

V sestavách kontingenčního grafu změna zobrazení grafu nebo související sestavy kontingenční tabulky nezachová stávající spojnice trendu, což znamená, že před kreslením spojnic trendu nebo jiným formátováním sestavy kontingenčního grafu byste se měli ujistit, že rozvržení sestavy splňuje požadované požadavky.

Trendové čáry lze použít k doplnění datových řad prezentovaných v grafech, jako je graf, histogram, ploché nestandardizované plošné grafy, sloupcové grafy, bodové grafy, bublinové grafy a akciové grafy.

Trendové čáry nelze přidávat do datových řad ve 3D, normalizovaných, radarových, koláčových a prstencových grafech.

Použití vestavěných funkcí Excelu

Excel má také nástroj pro regresní analýzu pro vykreslování trendových čar mimo oblast grafu. K tomuto účelu můžete použít řadu funkcí statistického listu, ale všechny vám umožňují vytvářet pouze lineární nebo exponenciální regrese.

Excel má několik funkcí pro konstrukci lineární regrese, zejména:

TREND;

SLOPE a ŘEZ.

Stejně jako několik funkcí pro konstrukci exponenciální trendové linie, zejména:

LGRFPRIBL.

Je třeba poznamenat, že techniky pro konstrukci regresí pomocí funkcí TREND a GROWTH jsou téměř stejné. Totéž lze říci o dvojici funkcí LINEST a LGRFPRIBL. Pro tyto čtyři funkce se při vytváření tabulky hodnot používají funkce Excelu, jako jsou maticové vzorce, což poněkud komplikuje proces vytváření regresí. Všimněte si také, že konstrukce lineární regrese se podle našeho názoru nejsnáze provádí pomocí funkcí SLOPE a INTERCEPT, kde první z nich určuje sklon lineární regrese a druhá určuje segment zachycený regresí na y. -osa.

Výhody vestavěného nástroje funkcí pro regresní analýzu jsou:

poměrně jednoduchý, jednotný proces generování datových řad studované charakteristiky pro všechny vestavěné statistické funkce, které definují trendové linie;

standardní metodika pro konstrukci trendových čar na základě generovaných datových řad;

schopnost předvídat chování zkoumaného procesu o požadovaný počet kroků vpřed nebo vzad.

Mezi nevýhody patří skutečnost, že Excel nemá vestavěné funkce pro vytváření jiných (kromě lineárních a exponenciálních) typů trendových čar. Tato okolnost často neumožňuje vybrat dostatečně přesný model zkoumaného procesu a také získat prognózy blízké realitě. Navíc při použití funkcí TREND a GROWTH nejsou známy rovnice trendových čar.

Je třeba poznamenat, že autoři si nekladli za cíl prezentovat průběh regresní analýzy s jakoukoli mírou úplnosti. Jeho hlavním úkolem je ukázat na konkrétních příkladech možnosti balíku Excel při řešení aproximačních úloh; demonstrovat, jaké účinné nástroje má Excel pro vytváření regresí a prognózování; ilustrují, jak lze takové problémy poměrně snadno vyřešit i uživatelem, který nemá rozsáhlé znalosti regresní analýzy.

Příklady řešení konkrétních problémů

Podívejme se na řešení konkrétních problémů pomocí uvedených nástrojů Excelu.

Problém 1

S tabulkou údajů o zisku podniku motorové dopravy za roky 1995-2002. musíte udělat následující:

Sestavte diagram.

Přidejte do grafu lineární a polynomiální (kvadratické a kubické) trendové čáry.

Pomocí rovnic trendových linií získejte tabulková data o ziscích podniku pro každou trendovou linii za období 1995-2004.

Vytvořte prognózu zisku podniku na roky 2003 a 2004.

Řešení problému

Do rozsahu buněk A4:C11 listu Excel zadejte list uvedený na Obr. 4.

Po výběru rozsahu buněk B4:C11 vytvoříme diagram.

Zkonstruovaný diagram aktivujeme a dle výše popsaného způsobu po výběru typu trendové čáry v dialogovém okně Trendová čára (viz obr. 1) střídavě přidáváme do diagramu lineární, kvadratické a kubické trendové čáry. Ve stejném dialogovém okně otevřete záložku Parametry (viz obr. 2), do pole Název aproximační (vyhlazené) křivky zadejte název přidávaného trendu a v poli Předpověď pro: období nastavte hodnotu 2, protože se plánuje provést prognózu zisku na dva roky dopředu. Chcete-li v oblasti diagramu zobrazit regresní rovnici a hodnotu spolehlivosti aproximace R2, zaškrtněte políčka Zobrazit rovnici na obrazovce a umístěte do diagramu hodnotu spolehlivosti aproximace (R^2). Pro lepší vizuální vnímání měníme typ, barvu a tloušťku konstruovaných trendových čar, k čemuž využíváme záložku Zobrazit dialogového okna Formát čáry trendu (viz obr. 3). Výsledný diagram s přidanými trendovými čarami je na Obr. 5.

Získat tabulková data o ziscích podniku pro každou trendovou linii za období 1995-2004. Použijme rovnice trendové čáry uvedené na Obr. 5. Chcete-li to provést, zadejte do buněk rozsahu D3:F3 textovou informaci o typu vybrané linie trendu: Lineární trend, Kvadratický trend, Kubický trend. Dále zadejte vzorec lineární regrese do buňky D4 a pomocí značky výplně zkopírujte tento vzorec s relativními odkazy na oblast buněk D5:D13. Je třeba poznamenat, že každá buňka se vzorcem lineární regrese z oblasti buněk D4:D13 má jako argument odpovídající buňku z oblasti A4:A13. Podobně pro kvadratickou regresi vyplňte oblast buněk E4:E13 a pro kubickou regresi vyplňte oblast buněk F4:F13. Byla tak sestavena prognóza hospodářského výsledku podniku pro roky 2003 a 2004. pomocí tří trendů. Výsledná tabulka hodnot je na obr. 6.

Problém 2

Sestavte diagram.

Přidejte do grafu logaritmické, mocninné a exponenciální trendové čáry.

Odvoďte rovnice získaných trendových čar a také hodnoty spolehlivosti aproximace R2 pro každou z nich.

Pomocí rovnic trendových linií získejte tabulková data o zisku podniku pro každou trendovou linii za roky 1995-2002.

Pomocí těchto trendových čar vytvořte prognózu zisku společnosti na roky 2003 a 2004.

Řešení problému

Podle metodiky uvedené v řešení problému 1 získáme diagram s logaritmickými, mocninnými a exponenciálními trendovými čarami, které jsou k němu přidány (obr. 7). Dále pomocí získaných rovnic trendových linií vyplníme tabulku hodnot pro zisk podniku, včetně predikovaných hodnot pro roky 2003 a 2004. (obr. 8).

Na Obr. 5 a Obr. je vidět, že model s logaritmickým trendem odpovídá nejnižší hodnotě aproximační spolehlivosti

R2 = 0,8659

Nejvyšší hodnoty R2 odpovídají modelům s polynomiálním trendem: kvadratický (R2 = 0,9263) a kubický (R2 = 0,933).

Problém 3

S tabulkou údajů o zisku podniku motorové dopravy za roky 1995-2002, uvedenou v úloze 1, musíte provést následující kroky.

Získejte datové řady pro lineární a exponenciální trendové linie pomocí funkcí TREND a GROW.

Pomocí funkcí TREND a GROWTH vytvořte prognózu zisku podniku na roky 2003 a 2004.

Sestavte diagram pro původní data a výsledné datové řady.

Řešení problému

Použijme pracovní list pro úlohu 1 (viz obr. 4). Začněme funkcí TREND:

vyberte rozsah buněk D4:D11, který by měl být vyplněn hodnotami funkce TREND odpovídající známým údajům o zisku podniku;

Vyvolejte příkaz Funkce z nabídky Vložit. V dialogovém okně Průvodce funkcí, které se zobrazí, vyberte funkci TREND z kategorie Statistické a klepněte na tlačítko OK. Stejnou operaci lze provést kliknutím na tlačítko (Vložit funkci) na standardním panelu nástrojů.

V zobrazeném dialogovém okně Argumenty funkce zadejte rozsah buněk C4:C11 do pole Známé_hodnoty_y; v poli Known_values_x - rozsah buněk B4:B11;

Chcete-li, aby se zadaný vzorec stal maticovým vzorcem, použijte kombinaci kláves + + .

Vzorec, který jsme zadali do řádku vzorců, bude vypadat takto: =(TREND(C4:C11,B4:B11)).

V důsledku toho je rozsah buněk D4:D11 vyplněn odpovídajícími hodnotami funkce TREND (obr. 9).

Provést prognózu zisku podniku na roky 2003 a 2004. nutné:

vyberte rozsah buněk D12:D13, kam budou zadány hodnoty předpovězené funkcí TREND.

zavolejte funkci TREND a v zobrazeném dialogovém okně Argumenty funkce zadejte do pole Known_values_y rozsah buněk C4:C11; v poli Known_values_x - rozsah buněk B4:B11; a v poli New_values_x - rozsah buněk B12:B13.

převeďte tento vzorec na maticový vzorec pomocí kombinace kláves Ctrl + Shift + Enter.

Zadaný vzorec bude vypadat takto: =(TREND(C4:C11;B4:B11;B12:B13)) a rozsah buněk D12:D13 bude vyplněn predikovanými hodnotami funkce TREND (viz obr. 9).

Datová řada se obdobně vyplňuje pomocí funkce GROWTH, která se používá při analýze nelineárních závislostí a funguje úplně stejně jako její lineární protějšek TREND.

Obrázek 10 ukazuje tabulku v režimu zobrazení vzorce.

Pro počáteční data a získanou datovou řadu je diagram znázorněný na Obr. jedenáct.

Problém 4

S tabulkou údajů o příjmu žádostí o služby dispečinkem podniku motorové dopravy za období od 1. do 11. dne aktuálního měsíce musíte provést následující úkony.

Získejte datové řady pro lineární regresi: pomocí funkcí SLOPE a INTERCEPT; pomocí funkce LINREGRESE.

Získejte řadu dat pro exponenciální regresi pomocí funkce LGRFPRIBL.

Pomocí výše uvedených funkcí vytvořte prognózu příjmu žádostí na dispečink na období od 12. do 14. dne aktuálního měsíce.

Vytvořte diagram pro původní a přijatou datovou řadu.

Řešení problému

Všimněte si, že na rozdíl od funkcí TREND a GROWTH žádná z výše uvedených funkcí (SLOPE, INTERCEPT, LINEST, LGRFPRIB) není regresní. Tyto funkce hrají pouze podpůrnou roli, určující potřebné regresní parametry.

U lineárních a exponenciálních regresí sestavených pomocí funkcí SLOPE, INTERCEPT, LINEST, LGRFPRIB je vzhled jejich rovnic vždy znám, na rozdíl od lineárních a exponenciálních regresí odpovídajících funkcím TREND a GROWTH.

1 . Sestavme lineární regresi pomocí rovnice:

y = mx+b

pomocí funkcí SLOPE a INTERCEPT, přičemž regresní sklon m je určen funkcí SLOPE a volný člen b funkcí INTERCEPT.

Za tímto účelem provádíme následující akce:

zadejte původní tabulku do oblasti buněk A4:B14;

hodnota parametru m bude určena v buňce C19. Vyberte funkci Sklon z kategorie Statistické; zadejte rozsah buněk B4:B14 do pole známé_hodnoty_y a rozsah buněk A4:A14 do pole známé_hodnoty_x. Do buňky C19 bude zadán vzorec: =SLOPE(B4:B14,A4:A14);

Pomocí podobné techniky se určí hodnota parametru b v buňce D19. A jeho obsah bude vypadat takto: =SEGMENT(B4:B14,A4:A14). Hodnoty parametrů mab potřebné pro konstrukci lineární regrese budou tedy uloženy v buňkách C19, resp. D19;

Dále zadejte vzorec lineární regrese do buňky C4 ve tvaru: =$C*A4+$D. V tomto vzorci se buňky C19 a D19 zapisují s absolutními odkazy (adresa buňky by se při případném kopírování neměla měnit). Absolutní referenční znak $ lze zadat buď z klávesnice nebo pomocí klávesy F4 po umístění kurzoru na adresu buňky. Pomocí úchytu výplně zkopírujte tento vzorec do oblasti buněk C4:C17. Získáme požadované datové řady (obr. 12). Vzhledem k tomu, že počet požadavků je celé číslo, měli byste na kartě Číslo v okně Formát buňky nastavit formát čísla s počtem desetinných míst na 0.

2 . Nyní sestavme lineární regresi danou rovnicí:

y = mx+b

pomocí funkce LINREGRESE.

Pro tohle:

Zadejte funkci LINREGRESE jako maticový vzorec v oblasti buněk C20:D20: =(LINEST(B4:B14,A4:A14)). V důsledku toho získáme hodnotu parametru m v buňce C20 a hodnotu parametru b v buňce D20;

zadejte vzorec do buňky D4: =$C*A4+$D;

zkopírujte tento vzorec pomocí značky výplně do oblasti buněk D4:D17 a získejte požadovanou datovou řadu.

3 . Sestavíme exponenciální regresi pomocí rovnice:

pomocí funkce LGRFPRIBL se provádí podobně:

V oblasti buněk C21:D21 zadáme funkci LGRFPRIBL jako maticový vzorec: =( LGRFPRIBL (B4:B14,A4:A14)). V tomto případě bude hodnota parametru m určena v buňce C21 a hodnota parametru b bude určena v buňce D21;

vzorec se zadá do buňky E4: =$D*$C^A4;

pomocí značky výplně se tento vzorec zkopíruje do rozsahu buněk E4:E17, kde bude umístěna datová řada pro exponenciální regresi (viz obr. 12).

Na Obr. Obrázek 13 ukazuje tabulku, kde můžete vidět funkce, které používáme s požadovanými rozsahy buněk, a také vzorce.

Velikost R 2 volal koeficient determinace.

Úkolem konstrukce regresní závislosti je najít vektor koeficientů m modelu (1), při kterém koeficient R nabývá maximální hodnoty.

K posouzení významnosti R se používá Fisherův F test vypočítaný pomocí vzorce

Kde n- velikost vzorku (počet experimentů);

k je počet modelových koeficientů.

Pokud F překročí nějakou kritickou hodnotu pro data n A k a přijatá pravděpodobnost spolehlivosti, pak se hodnota R považuje za významnou. Tabulky kritické hodnoty F jsou uvedeny v referenčních knihách o matematické statistice.

Význam R je tedy určen nejen jeho hodnotou, ale také poměrem mezi počtem experimentů a počtem koeficientů (parametrů) modelu. Ve skutečnosti je korelační poměr pro n=2 pro jednoduchý lineární model roven 1 (jedna přímka může být vždy nakreslena přes 2 body v rovině). Pokud jsou však experimentální data náhodné proměnné, je třeba takové hodnotě R věřit s velkou opatrností. Obvykle se pro získání významné R a spolehlivé regrese snaží zajistit, aby počet experimentů výrazně převyšoval počet modelových koeficientů (n>k).

K vytvoření lineárního regresního modelu potřebujete:

1) připravte seznam n řádků a m sloupců obsahující experimentální data (sloupec obsahující výstupní hodnotu Y musí být buď první nebo poslední v seznamu); Vezměme například data z předchozího úkolu, přidáme sloupec nazvaný „Číslo období“, očíslujeme čísla období od 1 do 12. (toto budou hodnoty X)

2) přejděte do nabídky Data/Analýza dat/Regrese

Pokud položka „Analýza dat“ v nabídce „Nástroje“ chybí, měli byste přejít na položku „Doplňky“ ve stejné nabídce a zaškrtnout políčko „Analytický balíček“.

3) v dialogovém okně "Regrese" nastavte:

· vstupní interval Y;

· vstupní interval X;

· výstupní interval - levá horní buňka intervalu, do kterého budou umístěny výsledky výpočtu (doporučuje se je umístit na nový list);

4) klikněte na „OK“ a analyzujte výsledky.

Které najde nejvíce široké uplatnění v různých oblastech vědy a praktické činnosti. Může to být fyzika, chemie, biologie, ekonomie, sociologie, psychologie a tak dále a tak dále. Vůlí osudu se musím často potýkat s ekonomikou, a proto vám dnes zařídím výlet do úžasné země tzv. Ekonometrie=) ...Jak to, že to nechceš?! Je to tam moc dobré – jen se musíte rozhodnout! ...Co ale asi určitě chcete, je naučit se řešit problémy metoda nejmenších čtverců. A hlavně pilní čtenáři se je naučí řešit nejen přesně, ale i VELMI RYCHLE ;-) Ale nejdříve obecné vyjádření problému+ doprovodný příklad:

Prostudujme ukazatele v určité tematické oblasti, které mají kvantitativní vyjádření. Zároveň existují všechny důvody se domnívat, že indikátor závisí na indikátoru. Tento předpoklad může být buď vědeckou hypotézou, nebo založen na základním zdravém rozumu. Nechme však vědu stranou a prozkoumejme chutnější oblasti – jmenovitě obchody s potravinami. Označme podle:

– prodejní plocha prodejny potravin, m2,
– roční obrat obchodu s potravinami, miliony rublů.

Je naprosto jasné, že čím větší plocha prodejny, tím větší bude ve většině případů její obrat.

Předpokládejme, že po provedení pozorování/experimentů/výpočtů/tance s tamburínou máme k dispozici číselná data:

U obchodů s potravinami je myslím vše jasné: - jedná se o oblast 1. prodejny, - její roční obrat, - oblast 2. prodejny, - její roční obrat atd. Mimochodem, není vůbec nutné mít přístup k utajovaným materiálům - poměrně přesné posouzení obratu obchodu lze získat pomocí matematické statistiky. Nenechme se však rozptylovat, kurz komerční špionáže je již placený =)

Tabulkové údaje mohou být také zapsány ve formě bodů a zobrazeny ve známé formě Kartézský systém .

Odpovíme důležitá otázka: Kolik bodů je potřeba pro kvalitativní studii?

Čím větší, tím lepší. Minimální přijatelná sada se skládá z 5-6 bodů. Navíc, když je množství dat malé, nelze do vzorku zahrnout „anomální“ výsledky. Takže například malý elitní obchod může vydělat řádově více než „jeho kolegové“, čímž zkresluje obecný vzor, což je to, co potřebujete najít!

Jednoduše řečeno, musíme vybrat funkci, plán která prochází co nejblíže k bodům . Tato funkce se nazývá přibližující se (přiblížení - přiblížení) nebo teoretická funkce . Obecně řečeno, okamžitě se zde objeví zřejmý „konkurent“ - polynom vysokého stupně, jehož graf prochází VŠEMI body. Tato možnost je však komplikovaná a často jednoduše nesprávná. (protože graf se bude neustále „smyčkovat“ a špatně odráží hlavní trend).

Hledaná funkce tedy musí být zcela jednoduchá a zároveň adekvátně odrážet závislost. Jak asi tušíte, jedna z metod hledání takových funkcí se nazývá metoda nejmenších čtverců. Nejprve se podívejme na jeho podstatu obecný pohled. Nechť nějakou funkci aproximuje experimentální data:

Jak vyhodnotit přesnost této aproximace? Vypočítejme také rozdíly (odchylky) mezi experimentálními a funkční významy (studujeme kresbu). První myšlenka, která vás napadne, je odhadnout, jak velký je součet, ale problém je, že rozdíly mohou být záporné (Například, ) a odchylky v důsledku takového sčítání se vzájemně vyruší. Proto, jako odhad přesnosti aproximace, je třeba vzít součet moduly odchylky:

nebo zhroucený: (pro případ, že by někdo nevěděl: – toto je ikona součtu a – pomocná proměnná – „počítadlo“, které nabývá hodnot od 1 do ).

Přiblížení experimentálních bodů různé funkce, obdržíme různé významy a samozřejmě, kde je toto množství menší, je tato funkce přesnější.

Taková metoda existuje a je tzv metoda nejmenšího modulu. V praxi se však značně rozšířil metoda nejmenších čtverců, ve kterém případné záporné hodnoty nejsou eliminovány modulem, ale umocněním odchylek:

, načež je úsilí zaměřeno na výběr takové funkce, aby součet čtverců odchylek byl co nejmenší. Ve skutečnosti odtud pochází název metody.

A teď se vrátíme k něčemu jinému důležitý bod: jak je uvedeno výše, vybraná funkce by měla být poměrně jednoduchá - ale existuje také mnoho takových funkcí: lineární , hyperbolický, exponenciální, logaritmický, kvadratický atd. A samozřejmě bych zde okamžitě rád „zmenšil pole působnosti“. Jakou třídu funkcí bych si měl vybrat pro výzkum? Primitivní, ale účinná technika:

– Nejjednodušší způsob je znázornit body na výkresu a analyzovat jejich umístění. Pokud mají tendenci běžet v přímé linii, měli byste hledat rovnice přímky S optimální hodnoty A . Jinými slovy, úkolem je najít TAKOVÉ koeficienty, aby součet kvadrátů odchylek byl nejmenší.

Pokud se body nacházejí např. podél nadsázka, pak je samozřejmě jasné, že lineární funkce poskytne špatnou aproximaci. V tomto případě hledáme „nejpříznivější“ koeficienty pro rovnici hyperboly – ty, které dávají minimální součet čtverců .

Nyní si všimněte, že v obou případech mluvíme o funkce dvou proměnných, jehož argumenty jsou hledané parametry závislosti:

A v podstatě potřebujeme vyřešit standardní problém – najít minimální funkce dvou proměnných.

Vzpomeňme si na náš příklad: předpokládejme, že „ukládací“ body mají tendenci být umístěny v přímce a existuje každý důvod se domnívat, že lineární závislost obrat z maloobchodních prostor. Najděte TAKOVÉ koeficienty „a“ a „be“ takové, aby byl součet čtverců odchylek byl nejmenší. Všechno je jako obvykle - první Parciální derivace 1. řádu. Podle pravidlo linearity Přímo pod ikonou součtu můžete rozlišovat:

Pokud chcete použít tato informace za esej nebo kurz - budu moc vděčný za odkaz v seznamu zdrojů, tak podrobné výpočty najdete málokde:

Vytvořme standardní systém:

Každou rovnici zmenšíme o „dvě“ a navíc „rozdělíme“ součty:

Poznámka : nezávisle analyzovat, proč lze „a“ a „být“ vyjmout za ikonou součtu. Mimochodem, formálně to lze provést součtem

Přepišme systém do „aplikované“ formy:

poté se začne objevovat algoritmus pro řešení našeho problému:

Známe souřadnice bodů? Víme. Množství můžeme to najít? Snadno. Udělejme to nejjednodušší soustava dvou lineárních rovnic o dvou neznámých(„a“ a „být“). Systém řešíme např. Cramerova metoda, v důsledku čehož získáme stacionární bod. Kontrola postačující podmínkou pro extrém, můžeme ověřit, že v tomto bodě funkce přesně dosáhne minimální. Kontrola zahrnuje dodatečné výpočty, a proto ji necháme v zákulisí (v případě potřeby lze chybějící rámeček zobrazit). Vyvodíme konečný závěr:

Funkce nejlepší způsob (alespoň ve srovnání s jakoukoli jinou lineární funkcí) přibližuje experimentální body . Zhruba řečeno, její graf prochází co nejblíže těmto bodům. V tradici ekonometrie výsledná aproximační funkce se také nazývá párová lineární regresní rovnice .

Zvažovaný problém má velký praktický význam. V naší příkladové situaci, Eq. umožňuje předvídat, jaký obchodní obrat ("Igrek") obchod bude mít tu či onu hodnotu prodejní plochy (jeden nebo jiný význam „x“). Ano, výsledná předpověď bude pouze prognózou, ale v mnoha případech se ukáže jako docela přesná.

Budu analyzovat pouze jeden problém se „skutečnými“ čísly, protože v něm nejsou žádné potíže - všechny výpočty jsou na úrovni školní osnovy 7-8 tříd. V 95 procentech případů budete požádáni o nalezení právě lineární funkce, ale na samém konci článku ukážu, že není o nic složitější najít rovnice optimální hyperboly, exponenciální a některých dalších funkcí.

Vlastně už zbývá jen rozdávat slíbené dobroty – abyste se takové příklady naučili řešit nejen přesně, ale i rychle. Pečlivě studujeme standard:

Úkol

Jako výsledek studia vztahu mezi dvěma ukazateli byly získány následující dvojice čísel:

Pomocí metody nejmenších čtverců najděte lineární funkci, která nejlépe aproximuje empirickou funkci (zkušený) data. Vytvořte výkres, na kterém sestrojí experimentální body a graf aproximační funkce v kartézském pravoúhlém souřadnicovém systému . Najděte součet čtverců odchylek mezi empirickými a teoretickými hodnotami. Zjistěte, zda by funkce byla lepší (z pohledu metody nejmenších čtverců) přiblížit experimentální body.

Vezměte prosím na vědomí, že významy „x“ jsou přirozené a mají charakteristický smysluplný význam, o kterém budu mluvit o něco později; ale samozřejmě mohou být i zlomkové. Navíc v závislosti na obsahu konkrétního úkolu mohou být hodnoty „X“ i „hra“ zcela nebo částečně záporné. Dostali jsme úkol „bez tváře“ a začínáme s ním řešení:

Kurzy optimální funkci jako řešení systému najdeme:

Pro účely kompaktnějšího záznamu lze proměnnou „counter“ vynechat, protože je již jasné, že sčítání se provádí od 1 do .

Je vhodnější vypočítat požadované částky v tabulkové formě:

Výpočty lze provádět na mikrokalkulátoru, ale mnohem lepší je používat Excel - rychlejší a bez chyb; podívejte se na krátké video:

Dostáváme tedy následující Systém:

Zde můžete vynásobit druhou rovnici 3 a odečíst 2. od 1. rovnice člen po členu. To je ale štěstí – v praxi systémy často nejsou darem a v takových případech šetří Cramerova metoda:
, což znamená, že systém má jedinečné řešení.

Pojďme zkontrolovat. Chápu, že nechcete, ale proč přeskakovat chyby tam, kde je absolutně nelze přehlédnout? Dosadíme nalezené řešení do levá strana každá rovnice systému:

Získají se pravé strany odpovídajících rovnic, což znamená, že systém je vyřešen správně.

Požadovaná aproximační funkce: – od všechny lineární funkce Je to ona, kdo nejlépe aproximuje experimentální data.

Na rozdíl od rovný závislost obratu prodejny na její ploše, zjištěná závislost je zvrátit (zásada „čím více, tím méně“), a tuto skutečnost ihned odhalí záporák sklon. Funkce nám říká, že s nárůstem určitého ukazatele o 1 jednotku se hodnota závislého ukazatele snižuje průměrný o 0,65 jednotky. Jak se říká, čím vyšší je cena pohanky, tím méně se prodává.

Pro vykreslení grafu aproximační funkce najdeme její dvě hodnoty:

a proveďte výkres:

Sestrojená přímka se nazývá trendová linie (konkrétně lineární trendová linie, tj obecný případ trend nemusí být nutně přímka). Každý zná výraz „být v trendu“ a myslím, že tento termín nepotřebuje další komentáře.

Vypočítejme součet čtverců odchylek mezi empirickými a teoretickými hodnotami. Geometricky se jedná o součet druhých mocnin délek „malinových“ segmentů (dva z nich jsou tak malé, že nejsou ani vidět).

Shrňme si výpočty do tabulky:

Opět je lze provést ručně; pro případ uvedu příklad pro 1. bod:

ale mnohem efektivnější je to udělat již známým způsobem:

Opakujeme ještě jednou: Co znamená získaný výsledek? Z všechny lineární funkce funkce y indikátor je nejmenší, to znamená, že ve své rodině je nejlepší aproximací. A tady, mimochodem, poslední otázka problému není náhodná: co když navrhovaná exponenciální funkce bylo by lepší přiblížit experimentální body?

Pojďme najít odpovídající součet čtverců odchylek - pro rozlišení je označím písmenem „epsilon“. Technika je úplně stejná:

A znovu, pro každý případ, výpočty pro 1. bod:

V Excelu používáme standardní funkci EXP (syntaxi najdete v nápovědě Excelu).

Závěr: , což znamená, že exponenciální funkce aproximuje experimentální body hůře než přímka .

Zde je však třeba poznamenat, že „horší“ je ještě neznamená, co je špatně. Nyní jsem vytvořil graf tohoto exponenciální funkce– a také prochází těsně k bodům - natolik, že bez analytického výzkumu je obtížné říci, která funkce je přesnější.

Tím je řešení uzavřeno a vracím se k otázce přirozených hodnot argumentu. V různé studie Ekonomická nebo sociologická, přirozená „X“ se zpravidla používají k číslování měsíců, let nebo jiných stejných časových intervalů. Zvažte například následující problém.

Metoda nejmenších čtverců

Metoda nejmenších čtverců ( OLS, OLS, Obyčejné nejmenší čtverce) - jedna ze základních metod regresní analýzy pro odhad neznámých parametrů regresních modelů pomocí výběrových dat. Metoda je založena na minimalizaci součtu čtverců regresních reziduí.

Je třeba poznamenat, že samotnou metodu nejmenších čtverců lze nazvat metodou řešení problému v jakékoli oblasti, pokud řešení spočívá nebo splňuje nějaké kritérium pro minimalizaci součtu čtverců některých funkcí požadovaných proměnných. Metodu nejmenších čtverců lze tedy použít i pro přibližnou reprezentaci (aproximaci) dané funkce jinými (jednoduššími) funkcemi, při hledání množiny veličin vyhovujících rovnicím nebo omezením, jejichž počet převyšuje počet těchto veličin. , atd.

Podstata MNC

Nechť je uveden nějaký (parametrický) model pravděpodobnostního (regresního) vztahu mezi (vysvětlenou) proměnnou y a mnoho faktorů (vysvětlující proměnné) X

kde je vektor neznámých parametrů modelu

- náhodná chyba modelu.

Nechť jsou také ukázková pozorování hodnot těchto proměnných. Nechť je číslo pozorování (). Pak jsou hodnoty proměnných v tomto pozorování. Poté je možné pro dané hodnoty parametrů b vypočítat teoretické (modelové) hodnoty vysvětlované proměnné y:

Velikost zbytků závisí na hodnotách parametrů b.

Podstatou metody nejmenších čtverců (obyčejné, klasické) je najít parametry b, pro které je součet čtverců reziduí (angl. Zbytkový součet čtverců) bude minimální:

V obecném případě lze tento problém řešit numerickými optimalizačními (minimalizačními) metodami. V tomto případě se mluví o nelineární nejmenší čtverce(NLS nebo NLLS - angličtina) Nelineární metoda nejmenších čtverců). V mnoha případech je možné získat analytické řešení. K vyřešení minimalizační úlohy je nutné najít stacionární body funkce tak, že ji derivujeme vzhledem k neznámým parametrům b, derivujeme rovnítko k nule a vyřešíme výslednou soustavu rovnic:

Pokud jsou náhodné chyby modelu normálně rozděleny, mají stejný rozptyl a nekorelují, odhady parametrů OLS jsou stejné jako odhady maximální věrohodnosti (MLM).

OLS v případě lineárního modelu

Nechť je regresní závislost lineární:

Nechat y je sloupcový vektor pozorování vysvětlené proměnné a je maticí faktorových pozorování (řádky matice jsou vektory hodnot faktorů v toto pozorování, ve sloupcích - vektor hodnot daného faktoru ve všech pozorováních). Maticová reprezentace lineárního modelu je:

Potom se vektor odhadů vysvětlované proměnné a vektor regresních reziduí budou rovnat

Podle toho bude součet čtverců regresních reziduí roven

Derivováním této funkce s ohledem na vektor parametrů a přirovnáním derivací k nule získáme soustavu rovnic (v maticovém tvaru):

Řešení této soustavy rovnic dává obecný vzorec Odhady OLS pro lineární model:

Pro analytické účely je užitečná druhá reprezentace tohoto vzorce. Pokud v regresním modelu data vycentrovaný, pak v tomto znázornění má první matice význam výběrové kovarianční matice faktorů a druhá je vektorem kovariancí faktorů se závisle proměnnou. Pokud jsou navíc údaje také normalizované na MSE (to je nakonec standardizované), pak má první matice význam výběrová korelační matice faktorů, druhý vektor - vektor výběrových korelací faktorů se závisle proměnnou.

Důležitá vlastnost odhadů OLS pro modely s konstantní- přímka sestrojené regrese prochází těžištěm vzorových dat, to znamená, že je splněna rovnost:

Zejména v extrémním případě, kdy jediným regresorem je konstanta, zjistíme, že odhad OLS jediného parametru (samotné konstanty) se rovná průměrné hodnotě vysvětlované proměnné. Tedy aritmetický průměr, známý svým dobré vlastnosti ze zákonů velkých čísel je také odhad nejmenších čtverců - splňuje kritérium minimálního součtu čtverců odchylek od něj.

Příklad: nejjednodušší (párová) regrese

V případě párové lineární regrese jsou výpočetní vzorce zjednodušené (obejdete se bez maticové algebry):

Vlastnosti OLS odhadů

Nejprve si všimneme, že pro lineární modely jsou odhady OLS lineární odhady, jak vyplývá z výše uvedeného vzorce. Pro nezkreslené odhady OLS je nutné a dostatečné provést nejdůležitější podmínkou regresní analýza: podmíněná faktory, matematické očekávání náhodné chyby se musí rovnat nule. Tato podmínka, zejména je splněno, jestliže

očekávaná hodnota náhodné chyby jsou nulové a
faktory a náhodné chyby jsou nezávislé náhodné proměnné.

Druhá podmínka - podmínka exogenity faktorů - je zásadní. Pokud tato vlastnost není splněna, pak můžeme předpokládat, že téměř jakékoli odhady budou extrémně neuspokojivé: nebudou ani konzistentní (tedy ani velmi velké množství dat nám v tomto případě neumožňuje získat kvalitní odhady ). V klasickém případě je silnější předpoklad o determinismu faktorů, na rozdíl od náhodné chyby, která automaticky znamená, že podmínka exogenity je splněna. V obecném případě pro konzistenci odhadů stačí splnit podmínku exogenity spolu s konvergencí matice k nějaké nesingulární matici, jak se velikost vzorku zvětšuje do nekonečna.

Aby byly kromě konzistence a nestrannosti efektivní i odhady (obyčejných) nejmenších čtverců (nejlepší ve třídě lineárních nezkreslených odhadů), musí být splněny další vlastnosti náhodné chyby:

Tyto předpoklady mohou být formulovány pro kovarianční matici vektoru náhodné chyby

Lineární model, který tyto podmínky splňuje, se nazývá klasický. OLS odhady pro klasickou lineární regresi jsou nezkreslené, konzistentní a nejúčinnější odhady ve třídě všech lineárních nestranných odhadů (v anglické literatuře se někdy používá zkratka MODRÝ (Nejlepší lineární unbaised odhad) - nejlepší lineární nezkreslený odhad; v ruské literatuře je častěji citován Gauss-Markovův teorém). Jak je snadné ukázat, kovarianční matice vektoru odhadů koeficientů se bude rovnat:

Generalizovaná OLS

Metoda nejmenších čtverců umožňuje široké zobecnění. Namísto minimalizace součtu čtverců reziduí lze minimalizovat nějakou kladně definitní kvadratickou formu vektoru reziduí, kde je nějaká symetrická kladně definitní váhová matice. Konvenční nejmenší čtverce jsou speciálním případem tohoto přístupu, kde je matice váhy úměrná matici identity. Jak je známo z teorie symetrických matic (nebo operátorů), u takových matic dochází k rozkladu. V důsledku toho může být specifikovaný funkcionál reprezentován následovně, to znamená, že tento funkcionál může být reprezentován jako součet druhých mocnin některých transformovaných „zbytků“. Můžeme tedy rozlišit třídu metod nejmenších čtverců - metody LS (Least Squares).

Bylo prokázáno (Aitkenův teorém), že pro zobecněný lineární regresní model (ve kterém nejsou kladena žádná omezení na kovarianční matici náhodných chyb) jsou nejúčinnější (ve třídě lineárních nestranných odhadů) tzv. odhady. zobecněné nejmenší čtverce (GLS – Generalized Least Squares)- LS metoda s váhovou maticí rovnou inverzní kovarianční matici náhodných chyb: .

Lze ukázat, že vzorec pro GLS odhady parametrů lineárního modelu má tvar

Kovarianční matice těchto odhadů se tedy bude rovnat

Ve skutečnosti podstata OLS spočívá v určité (lineární) transformaci (P) původních dat a aplikaci běžného OLS na transformovaná data. Účelem této transformace je, že u transformovaných dat náhodné chyby již splňují klasické předpoklady.

Vážený OLS

V případě diagonální váhové matice (a tedy kovarianční matice náhodných chyb) máme tzv. vážené nejmenší čtverce (WLS). V v tomto případě vážený součet čtverců reziduí modelu je minimalizován, to znamená, že každé pozorování obdrží „váhu“ nepřímo úměrnou rozptylu náhodné chyby v tomto pozorování: . Ve skutečnosti jsou data transformována vážením pozorování (dělením částkou úměrnou očekávanému standardní odchylka náhodné chyby) a na vážená data se použije obvyklý OLS.

Některé speciální případy využití MNC v praxi

Aproximace lineární závislosti

Uvažujme případ, kdy v důsledku studia závislosti určité skalární veličiny na určité skalární veličině (Může to být např. závislost napětí na síle proudu: , kde je konstantní hodnota, odpor vodič), byla provedena měření těchto veličin, v důsledku čehož byly hodnoty a jim odpovídající hodnoty. Naměřená data musí být zaznamenána do tabulky.

Stůl. Výsledky měření.

Měření č.
1
2
3
4
5
6

Otázka zní: jakou hodnotu koeficientu lze zvolit, aby nejlépe popisoval závislost? Podle metody nejmenších čtverců by tato hodnota měla být taková, že součet čtverců odchylek hodnot od hodnot

byl minimální

Součet čtverců odchylek má jeden extrém – minimum, což nám umožňuje použít tento vzorec. Zjistime z tohoto vzorce hodnotu koeficientu. Za tímto účelem transformujeme jeho levou stranu následovně:

Poslední vzorec nám umožňuje najít hodnotu koeficientu, což je to, co bylo v úloze požadováno.

Příběh

Před začátek XIX PROTI. vědci neměli určitá pravidla pro řešení soustavy rovnic, ve které je počet neznámých menší než počet rovnic; Do té doby se používaly soukromé techniky, které závisely na typu rovnic a na důvtipu kalkulátorů, a proto přišly na řadu různé kalkulátory založené na stejných pozorovacích datech. různé závěry. Gauss (1795) byl zodpovědný za první aplikaci metody a Legendre (1805) ji nezávisle objevil a publikoval pod moderní jméno(fr. Méthode des moindres quarrés ). Laplace dal metodu do souvislosti s teorií pravděpodobnosti a americký matematik Adrain (1808) zvažoval její aplikace teorie pravděpodobnosti. Metoda byla rozšířena a zdokonalena dalším výzkumem Enckeho, Bessela, Hansena a dalších.

Alternativní použití OLS

Myšlenku metody nejmenších čtverců lze použít i v jiných případech, které přímo nesouvisejí s regresní analýzou. Faktem je, že součet čtverců je jedním z nejběžnějších měřítek blízkosti pro vektory (euklidovská metrika v konečných rozměrech).

Jednou z aplikací je „řešení“ systémů lineární rovnice, ve kterém počet rovnic další číslo proměnné

kde matice není čtvercová, ale obdélníková.

Takový systém rovnic v obecném případě nemá řešení (pokud je pořadí ve skutečnosti větší než počet proměnných). Tento systém lze tedy „řešit“ pouze ve smyslu výběru takového vektoru, aby se minimalizovala „vzdálenost“ mezi vektory a . K tomu můžete použít kritérium minimalizace součtu čtverců rozdílů levého a pravé části rovnice soustavy, tzn. Je snadné ukázat, že vyřešení tohoto problému minimalizace vede k řešení další systém rovnic

Metoda nejmenších čtverců

Podstata MNC

Nechť je uveden nějaký (parametrický) model pravděpodobnostního (regresního) vztahu mezi (vysvětlenou) proměnnou y a mnoho faktorů (vysvětlující proměnné) X

kde je vektor neznámých parametrů modelu

- náhodná chyba modelu.

Velikost zbytků závisí na hodnotách parametrů b.

Podstatou metody nejmenších čtverců (obyčejné, klasické) je najít parametry b, pro které je součet čtverců reziduí (angl. Zbytkový součet čtverců) bude minimální:

Pokud jsou náhodné chyby modelu normálně rozděleny, mají stejný rozptyl a nekorelují, odhady parametrů OLS jsou stejné jako odhady maximální věrohodnosti (MLM).

OLS v případě lineárního modelu

Nechť je regresní závislost lineární:

Nechat y je sloupcový vektor pozorování vysvětlované proměnné a je maticí faktorových pozorování (řádky matice jsou vektory hodnot faktoru v daném pozorování, sloupce jsou vektory hodnot daného faktoru ve všech pozorováních). Maticová reprezentace lineárního modelu je:

Potom se vektor odhadů vysvětlované proměnné a vektor regresních reziduí budou rovnat

Podle toho bude součet čtverců regresních reziduí roven

Derivováním této funkce s ohledem na vektor parametrů a přirovnáním derivací k nule získáme soustavu rovnic (v maticovém tvaru):

Řešení tohoto systému rovnic dává obecný vzorec pro odhady nejmenších čtverců pro lineární model:

Důležitá vlastnost odhadů OLS pro modely s konstantní- přímka sestrojené regrese prochází těžištěm vzorových dat, to znamená, že je splněna rovnost:

Zejména v extrémním případě, kdy jediným regresorem je konstanta, zjistíme, že odhad OLS jediného parametru (samotné konstanty) se rovná průměrné hodnotě vysvětlované proměnné. To znamená, že aritmetický průměr, známý pro své dobré vlastnosti ze zákonů velkých čísel, je také odhadem nejmenších čtverců - splňuje kritérium minimálního součtu čtverců odchylek od něj.

Příklad: nejjednodušší (párová) regrese

V případě párové lineární regrese jsou výpočetní vzorce zjednodušené (obejdete se bez maticové algebry):

Vlastnosti OLS odhadů

Nejprve si všimneme, že pro lineární modely jsou odhady OLS lineárními odhady, jak vyplývá z výše uvedeného vzorce. Pro nezkreslené odhady OLS je nutné a postačující splnit nejdůležitější podmínku regresní analýzy: matematické očekávání náhodné chyby podmíněné faktory se musí rovnat nule. Tato podmínka je splněna zejména tehdy, jestliže

matematické očekávání náhodných chyb je nulové a
faktory a náhodné chyby jsou nezávislé náhodné proměnné.

Tyto předpoklady mohou být formulovány pro kovarianční matici vektoru náhodné chyby

Generalizovaná OLS

Lze ukázat, že vzorec pro GLS odhady parametrů lineárního modelu má tvar

Kovarianční matice těchto odhadů se tedy bude rovnat

Vážený OLS

V případě diagonální váhové matice (a tedy kovarianční matice náhodných chyb) máme tzv. vážené nejmenší čtverce (WLS). V tomto případě je vážený součet čtverců reziduí modelu minimalizován, to znamená, že každé pozorování obdrží „váhu“, která je nepřímo úměrná rozptylu náhodné chyby v tomto pozorování: . Ve skutečnosti jsou data transformována vážením pozorování (dělením částkou úměrnou odhadované směrodatné odchylce náhodných chyb) a na vážená data je aplikována běžná OLS.

Některé speciální případy využití MNC v praxi

Aproximace lineární závislosti

Stůl. Výsledky měření.

Měření č.
1
2
3
4
5
6

byl minimální

Poslední vzorec nám umožňuje najít hodnotu koeficientu, což je to, co bylo v úloze požadováno.

Příběh

Do počátku 19. stol. vědci neměli určitá pravidla pro řešení soustavy rovnic, ve které je počet neznámých menší než počet rovnic; Do té doby se používaly soukromé techniky, které závisely na typu rovnic a na důvtipu kalkulátorů, a proto různé kalkulátory, založené na stejných pozorovacích datech, docházely k různým závěrům. Gauss (1795) byl první, kdo tuto metodu použil, a Legendre (1805) ji nezávisle objevil a zveřejnil pod jejím moderním názvem (franc. Méthode des moindres quarrés ). Laplace dal metodu do souvislosti s teorií pravděpodobnosti a americký matematik Adrain (1808) zvažoval její aplikace teorie pravděpodobnosti. Metoda byla rozšířena a zdokonalena dalším výzkumem Enckeho, Bessela, Hansena a dalších.

Alternativní použití OLS

Jednou z aplikací je „řešení“ soustav lineárních rovnic, ve kterých je počet rovnic větší než počet proměnných.

kde matice není čtvercová, ale obdélníková.

Takový systém rovnic v obecném případě nemá řešení (pokud je pořadí ve skutečnosti větší než počet proměnných). Tento systém lze tedy „řešit“ pouze ve smyslu výběru takového vektoru, aby se minimalizovala „vzdálenost“ mezi vektory a . K tomu můžete použít kritérium minimalizace součtu čtverců rozdílů mezi levou a pravou stranou systémových rovnic, tzn. Je snadné ukázat, že řešení tohoto minimalizačního problému vede k řešení následující soustavy rovnic

Pokud nějaké Fyzické množství závisí na jiné veličině, pak lze tuto závislost studovat měřením y při různých hodnotách x. V důsledku měření se získá řada hodnot:

x 1, x 2, ..., x i, ..., x n;

y 1 , y 2 , ..., y i , ... , y n .

Na základě dat takového experimentu je možné sestrojit graf závislosti y = ƒ(x). Výsledná křivka umožňuje posoudit tvar funkce ƒ(x). Konstantní koeficienty, které do této funkce vstupují, však zůstávají neznámé. Lze je určit pomocí metody nejmenších čtverců. Experimentální body zpravidla neleží přesně na křivce. Metoda nejmenších čtverců vyžaduje, aby součet čtverců odchylek experimentálních bodů od křivky, tzn. 2 byla nejmenší.

V praxi se tato metoda nejčastěji (a nejjednodušeji) používá v případě lineárního vztahu, tzn. Když

y = kx nebo y = a + bx.

Lineární závislost velmi rozšířený ve fyzice. A i když je vztah nelineární, obvykle se snaží sestrojit graf tak, aby dostal přímku. Předpokládáme-li například, že index lomu skla n souvisí s vlnovou délkou světla λ vztahem n = a + b/λ 2, pak se do grafu vynese závislost n na λ -2.

Zvažte závislost y = kx(přímka procházející počátkem). Složme hodnotu φ součet druhých mocnin odchylek našich bodů od přímky

Hodnota φ je vždy kladná a čím blíže jsou naše body k přímce, tím menší je. Metoda nejmenších čtverců říká, že hodnota pro k by měla být zvolena tak, aby φ mělo minimum

nebo
(19)

Výpočet ukazuje, že střední kvadratická chyba při určování hodnoty k je rovna

, (20)
kde n je počet měření.

Uvažujme nyní trochu více tvrdý případ, kdy body musí splňovat vzorec y = a + bx(přímka, která neprochází počátkem).

Úkolem je najít množinu hodnot x i, y i nejlepší hodnoty a a b.

Složme opět kvadratickou formu φ, rovnající se částce kvadratické odchylky bodů x i, y i od přímky

a najděte hodnoty aab, pro které má φ minimum

;

Společné řešení těchto rovnic dává

(21)

Střední kvadratické chyby určení aab jsou stejné

(23)

. (24)

Při zpracování výsledků měření touto metodou je vhodné všechny údaje shrnout do tabulky, ve které jsou předběžně vypočtena všechna množství obsažená ve vzorcích (19)(24). Formy těchto tabulek jsou uvedeny v příkladech níže.

Příklad 1 Byla studována základní rovnice dynamiky rotační pohybε = M/J (přímka procházející počátkem). Při různých hodnotách momentu M bylo naměřeno úhlové zrychlení ε určitého tělesa. Je třeba určit moment setrvačnosti tohoto tělesa. Výsledky měření momentu síly a úhlového zrychlení jsou uvedeny ve druhém a třetím sloupci tabulka 5.

Tabulka 5

n	M, Nm	ε, s-1	M 2	M ε	ε - km	(ε - kM) 2
1	1.44	0.52	2.0736	0.7488	0.039432	0.001555
2	3.12	1.06	9.7344	3.3072	0.018768	0.000352
3	4.59	1.45	21.0681	6.6555	-0.08181	0.006693
4	5.90	1.92	34.81	11.328	-0.049	0.002401
5	7.45	2.56	55.5025	19.072	0.073725	0.005435
∑			123.1886	41.1115		0.016436

Pomocí vzorce (19) určíme:

K určení střední kvadratické chyby použijeme vzorec (20)

0.005775kg-1 · m -2 .

Podle vzorce (18) máme

; .

SJ = (2,996 0,005775)/0,3337 = 0,05185 kg m2.

Po nastavení spolehlivosti P = 0,95 pomocí tabulky Studentových koeficientů pro n = 5 zjistíme t = 2,78 a určíme absolutní chybaΔJ = 2,78 0,05185 = 0,1441 ≈ 0,2 kg m2.

Výsledky zapišme do tvaru:

J = (3,0 ± 0,2) kg m2;

Příklad 2 Vypočítejme teplotní koeficient odporu kovu metodou nejmenších čtverců. Odpor závisí lineárně na teplotě

Rt = R° (1 + at°) = R° + R°at°.

Volný člen určuje odpor R 0 při teplotě 0 °C a součinitel strmosti je součinem teplotního koeficientu α a odporu R 0 .

Výsledky měření a výpočtů jsou uvedeny v tabulce ( viz tabulka 6).

Tabulka 6

n	t°, s	r, Ohm	t-¯t	(t-¯t) 2	(t-¯t)r	r - bt - a	(r - bt - a) 2,10 -6
1	23	1.242	-62.8333	3948.028	-78.039	0.007673	58.8722
2	59	1.326	-26.8333	720.0278	-35.581	-0.00353	12.4959
3	84	1.386	-1.83333	3.361111	-2.541	-0.00965	93.1506
4	96	1.417	10.16667	103.3611	14.40617	-0.01039	107.898
5	120	1.512	34.16667	1167.361	51.66	0.021141	446.932
6	133	1.520	47.16667	2224.694	71.69333	-0.00524	27.4556
∑	515	8.403		8166.833	21.5985		746.804
∑/n	85.83333	1.4005

Pomocí vzorců (21), (22) určíme

R0 = – R-αR0 – t = 1,4005 – 0,002645 85,83333 = 1,1735 Ohm.

Pojďme najít chybu v definici α. Od , pak podle vzorce (18) máme:

Pomocí vzorců (23), (24) máme

;

0.014126 Ohm.

Po nastavení spolehlivosti na P = 0,95 pomocí tabulky Studentových koeficientů pro n = 6 zjistíme t = 2,57 a určíme absolutní chybu Δα = 2,57 0,000132 = 0,000338 stupeň -1.

a = (23 ± 4) 10-4 kroupy-1 při P = 0,95.

Příklad 3 Je nutné určit poloměr zakřivení čočky pomocí Newtonových prstenců. Byly změřeny poloměry Newtonových prstenců r m a byly stanoveny počty těchto prstenců m. Poloměry Newtonových prstenců souvisí s poloměrem zakřivení čočky R a číslem prstence rovnicí

r 2 m = mλR - 2d 0 R,

kde d 0 tloušťka mezery mezi čočkou a planparalelní deskou (nebo deformace čočky),

λ vlnová délka dopadajícího světla.

A = (600 ± 6) nm;
r2m = y;
m = x;
XR = b;
-2d 0 R = a,

pak rovnice bude mít tvar y = a + bx.

Výsledky měření a výpočtů se zapisují tabulka 7.

Tabulka 7

n	x = m	y = r2, 10-2 mm2	m -¯m	(m -¯m) 2	(m -¯ m)y	y - bx - a, 10 -4	(y - bx - a) 2, 10-6
1	1	6.101	-2.5	6.25	-0.152525	12.01	1.44229
2	2	11.834	-1.5	2.25	-0.17751	-9.6	0.930766
3	3	17.808	-0.5	0.25	-0.08904	-7.2	0.519086
4	4	23.814	0.5	0.25	0.11907	-1.6	0.0243955
5	5	29.812	1.5	2.25	0.44718	3.28	0.107646
6	6	35.760	2.5	6.25	0.894	3.12	0.0975819
∑	21	125.129		17.5	1.041175		3.12176
∑/n	3.5	20.8548333