Dom Protetika i implantacija Metoda najmanjih kvadrata tačke. Gdje se koristi metoda najmanjih kvadrata?

Protetika i implantacija

Metoda najmanjih kvadrata tačke. Gdje se koristi metoda najmanjih kvadrata?

Primjer.

Eksperimentalni podaci o vrijednostima varijabli X I at date su u tabeli.

Kao rezultat njihovog poravnanja, dobija se funkcija

Koristeći metoda najmanjih kvadrata , aproksimira ove podatke linearnom zavisnošću y=ax+b(pronaći parametre A I b). Saznajte koja od dvije linije bolje (u smislu metode najmanjih kvadrata) poravnava eksperimentalne podatke. Napravite crtež.

Suština metode najmanjih kvadrata (LSM).

Zadatak je pronaći koeficijente linearne zavisnosti na kojima je funkcija dvije varijable A I b uzima najmanju vrijednost. Odnosno, dato A I b zbir kvadrata odstupanja eksperimentalnih podataka od pronađene prave će biti najmanji. Ovo je cijela poenta metode najmanjih kvadrata.

Dakle, rješavanje primjera se svodi na pronalaženje ekstrema funkcije dvije varijable.

Izvođenje formula za pronalaženje koeficijenata.

Sastavlja se i rješava sistem dvije jednačine sa dvije nepoznate. Pronalaženje parcijalnih izvoda funkcije po varijablama A I b, izjednačavamo ove izvode sa nulom.

Rezultirajući sistem jednačina rješavamo bilo kojom metodom (npr metodom supstitucije ili Cramerova metoda) i dobiti formule za pronalaženje koeficijenata metodom najmanjih kvadrata (LSM).

Dato A I b funkcija uzima najmanju vrijednost. Dokaz ove činjenice je dat ispod u tekstu na kraju stranice.

To je cijela metoda najmanjih kvadrata. Formula za pronalaženje parametra a sadrži sume ,,, i parametar n- količina eksperimentalnih podataka. Preporučujemo da se vrijednosti ovih iznosa izračunaju zasebno. Koeficijent b pronađeno nakon izračuna a.

Vrijeme je da se prisjetimo originalnog primjera.

Rješenje.

U našem primjeru n=5. Ispunjavamo tablicu radi praktičnosti izračunavanja iznosa koji su uključeni u formule potrebnih koeficijenata.

Vrijednosti u četvrtom redu tabele dobijaju se množenjem vrijednosti 2. retka sa vrijednostima 3. reda za svaki broj i.

Vrijednosti u petom redu tabele dobijaju se kvadriranjem vrijednosti u 2. redu za svaki broj i.

Vrijednosti u posljednjoj koloni tabele su zbroji vrijednosti u redovima.

Za pronalaženje koeficijenata koristimo formule metode najmanjih kvadrata A I b. U njih zamjenjujemo odgovarajuće vrijednosti iz posljednje kolone tabele:

dakle, y = 0,165x+2,184- željena aproksimirajuća prava linija.

Ostaje da saznamo koja od linija y = 0,165x+2,184 ili bolje aproksimira originalne podatke, odnosno pravi procjenu metodom najmanjih kvadrata.

Procjena greške metode najmanjih kvadrata.

Da biste to učinili, morate izračunati zbir kvadrata odstupanja originalnih podataka od ovih linija I , manja vrijednost odgovara liniji koja bolje aproksimira originalne podatke u smislu metode najmanjih kvadrata.

Od , onda ravno y = 0,165x+2,184 bolje aproksimira originalne podatke.

Grafička ilustracija metode najmanjih kvadrata (LS).

Sve je jasno vidljivo na grafikonima. Crvena linija je pronađena ravna linija y = 0,165x+2,184, plava linija je , ružičaste tačke su originalni podaci.

U praksi, prilikom modeliranja različitih procesa - posebno ekonomskih, fizičkih, tehničkih, društvenih - široko se koristi jedna ili ona metoda izračunavanja približnih vrijednosti funkcija iz njihovih poznatih vrijednosti u određenim fiksnim točkama.

Ova vrsta problema aproksimacije funkcije često se javlja:

prilikom konstruiranja približnih formula za izračunavanje vrijednosti karakterističnih veličina procesa koji se proučava pomoću tabličnih podataka dobivenih kao rezultat eksperimenta;

u numeričkoj integraciji, diferencijaciji, rješenju diferencijalne jednadžbe itd.;

ako je potrebno, izračunajte vrijednosti funkcija u srednjim točkama razmatranog intervala;

pri određivanju vrijednosti karakterističnih veličina procesa izvan razmatranog intervala, posebno kod prognoziranja.

Ako za modeliranje određenog procesa određenog tablicom konstruiramo funkciju koja približno opisuje ovaj proces na temelju metode najmanjih kvadrata, ona će se zvati aproksimirajuća funkcija (regresija), a sam problem konstruiranja aproksimirajućih funkcija će se zvati problem aproksimacije.

Ovaj članak govori o mogućnostima MS Excel paketa za rješavanje ove vrste problema, osim toga daje metode i tehnike za konstruiranje (kreiranje) regresija za tabelarne funkcije (što je osnova regresione analize).

Excel ima dvije opcije za pravljenje regresije.

Dodavanje odabranih regresija (linija trenda) dijagramu izgrađenom na osnovu tabele podataka za karakteristike procesa koji se proučavaju (dostupno samo ako je dijagram konstruisan);

Koristeći ugrađene statističke funkcije Excel radnog lista, što vam omogućava da dobijete regresije (linije trenda) direktno iz izvorne tabele podataka.

Dodavanje linija trenda grafikonu

Za tabelu podataka koja opisuje proces i predstavljena je dijagramom, Excel ima efikasan alat za analizu regresije koji vam omogućava:

izgraditi na osnovu metode najmanjih kvadrata i dodati pet tipova regresija dijagramu, koji modeliraju proces koji se proučava sa različitim stepenom tačnosti;

dodati konstruisanu jednadžbu regresije dijagramu;

odrediti stepen korespondencije odabrane regresije sa podacima prikazanim na grafikonu.

Na osnovu podataka grafikona, Excel vam omogućava da dobijete linearne, polinomske, logaritamske, stepenaste, eksponencijalne tipove regresije, koje su određene jednadžbom:

y = y(x)

gdje je x nezavisna varijabla, koja često uzima vrijednosti niza prirodnih brojeva (1; 2; 3; ...) i proizvodi, na primjer, odbrojavanje vremena procesa koji se proučava (karakteristike) .

1 . Linearna regresija je dobra za modeliranje karakteristika čije se vrijednosti povećavaju ili smanjuju konstantnom brzinom. Ovo je najjednostavniji model za konstruisanje za proces koji se proučava. Konstruiše se u skladu sa jednačinom:

y = mx + b

gdje je m tangenta ugla nagiba linearna regresija do ose apscise; b - koordinata tačke preseka linearne regresije sa ordinatnom osom.

2 . Polinomska linija trenda korisna je za opisivanje karakteristika koje imaju nekoliko različitih ekstrema (maksimuma i minimuma). Izbor stepena polinoma određen je brojem ekstrema karakteristike koja se proučava. Dakle, polinom drugog stepena može dobro opisati proces koji ima samo jedan maksimum ili minimum; polinom trećeg stepena - ne više od dva ekstrema; polinom četvrtog stepena - ne više od tri ekstrema, itd.

U ovom slučaju, linija trenda se konstruiše u skladu sa jednadžbom:

y = c0 + c1x + c2x2 + c3x3 + c4x4 + c5x5 + c6x6

gdje su koeficijenti c0, c1, c2,...c6 konstante čije se vrijednosti određuju tokom izgradnje.

3 . Logaritamska linija trenda se uspješno koristi pri modeliranju karakteristika čije se vrijednosti u početku brzo mijenjaju, a zatim se postupno stabiliziraju.

y = c ln(x) + b

4 . Linija trenda po stepenu daje dobre rezultate ako vrijednosti odnosa koji se proučavaju karakterizira stalna promjena stope rasta. Primjer takve zavisnosti je graf jednoliko ubrzanog kretanja automobila. Ako u podacima postoje nula ili negativne vrijednosti, ne možete koristiti liniju trenda snage.

Konstruisano u skladu sa jednačinom:

y = c xb

gdje su koeficijenti b, c konstante.

5 . Eksponencijalnu liniju trenda treba koristiti kada se stopa promjene podataka kontinuirano povećava. Za podatke koji sadrže nulte ili negativne vrijednosti, ova vrsta aproksimacije također nije primjenjiva.

Konstruisano u skladu sa jednačinom:

y = c ebx

gdje su koeficijenti b, c konstante.

Prilikom odabira linije Excel trend automatski izračunava vrijednost R2, koja karakterizira pouzdanost aproksimacije: nego bliža vrijednost R2 na jedinicu, što pouzdanije linija trenda aproksimira proces koji se proučava. Ako je potrebno, vrijednost R2 se uvijek može prikazati na grafikonu.

Određeno formulom:

Da dodate liniju trenda seriji podataka:

aktivirajte grafikon na osnovu niza podataka, tj. kliknite unutar područja grafikona. Stavka Dijagram će se pojaviti u glavnom meniju;

nakon klika na ovu stavku, na ekranu će se pojaviti meni u kojem treba izabrati komandu Dodaj liniju trenda.

Iste radnje se lako mogu implementirati pomicanjem pokazivača miša preko grafa koji odgovara jednoj od serija podataka i desnim klikom; U kontekstualnom meniju koji se pojavi izaberite naredbu Dodaj liniju trenda. Dijalog Trendline će se pojaviti na ekranu sa otvorenom karticom Type (Slika 1).

Nakon ovoga trebate:

Odaberite željeni tip linije trenda na kartici Tip (Linearni tip je odabran prema zadanim postavkama). Za tip polinoma, u polju Stepen navedite stepen izabranog polinoma.

1 . Polje Izgrađene serije navodi sve serije podataka u dotičnom grafikonu. Da biste dodali liniju trenda određenoj seriji podataka, odaberite njeno ime u polju Izgrađena serija.

Ako je potrebno, odlaskom na karticu Parameters (Slika 2), možete podesiti sljedeće parametre za liniju trenda:

promijenite naziv linije trenda u polju Naziv aproksimativne (izglađene) krive.

podesite broj perioda (unaprijed ili unazad) za prognozu u polju Prognoza;

prikazati jednadžbu linije trenda u oblasti dijagrama, za koju treba da omogućite potvrdni okvir za prikaz jednačine na dijagramu;

prikažite vrijednost pouzdanosti aproksimacije R2 u području dijagrama, za šta biste trebali omogućiti potvrdni okvir Postavi vrijednost pouzdanosti aproksimacije na dijagram (R^2);

postavite tačku preseka linije trenda sa Y osom, za koju treba da omogućite checkbox za presek krive sa Y osom u tački;

Kliknite na dugme OK da zatvorite dijaloški okvir.

Da biste počeli uređivati već nacrtanu liniju trenda, postoje tri načina:

koristite naredbu Odabrana linija trenda iz izbornika Format, nakon što ste prethodno odabrali liniju trenda;

izaberite komandu Format linije trenda iz kontekstnog menija, koja se poziva desnim klikom na liniju trenda;

dvaput kliknite na liniju trenda.

Na ekranu će se pojaviti dijaloški okvir Trend Line Format (slika 3), koji sadrži tri kartice: Pogled, Tip, Parametri, a sadržaj posljednje dvije potpuno se poklapa sa sličnim karticama dijaloga Trend Line (Sl. 1). -2). Na kartici Prikaz možete postaviti vrstu linije, njenu boju i debljinu.

Za brisanje linije trenda koja je već nacrtana, odaberite liniju trenda koju želite izbrisati i pritisnite tipku Delete.

Prednosti razmatranog alata regresione analize su:

relativna lakoća konstruisanja linije trenda na grafikonima bez kreiranja tabele podataka za to;

prilično široka lista tipova predloženih linija trenda, a ova lista uključuje najčešće korištene vrste regresije;

sposobnost predviđanja ponašanja procesa koji se proučava proizvoljnim (u granicama zdravog razuma) brojem koraka naprijed i nazad;

sposobnost dobijanja jednadžbe linije trenda u analitičkom obliku;

mogućnost, ako je potrebno, dobijanja procjene pouzdanosti aproksimacije.

Nedostaci uključuju sljedeće:

izgradnja linije trenda se izvodi samo ako postoji dijagram izgrađen na nizu podataka;

proces generiranja nizova podataka za karakteristiku koja se proučava na temelju jednadžbi linije trenda dobivenih za nju je donekle pretrpan: potrebne regresijske jednadžbe se ažuriraju sa svakom promjenom vrijednosti izvorne serije podataka, ali samo unutar područja dijagrama , dok serije podataka, generisan na osnovu stare jednadžbe linije trenda, ostaje nepromijenjen;

U izveštajima zaokretnog grafikona, promena prikaza grafikona ili povezanog izveštaja izvedene tabele ne čuva postojeće linije trenda, što znači da pre nego što nacrtate linije trenda ili na drugi način formatirate izveštaj zaokretnog grafikona, trebalo bi da se uverite da izgled izveštaja ispunjava zahtevane zahteve.

Linije trenda se mogu koristiti za dopunu nizova podataka predstavljenih na grafikonima kao što su grafikoni, histogrami, ravni nestandardizirani dijagrami područja, trakasti grafikoni, dijagrami raspršivanja, mjehurasti grafikoni i berzanski grafikoni.

Ne možete dodati linije trenda serijama podataka u 3D, normaliziranim, radarskim, tortnim i krofnim grafikonima.

Korištenje ugrađenih funkcija programa Excel

Excel takođe ima alat za regresijsku analizu za crtanje linija trenda izvan područja grafikona. Postoji veliki broj statističkih funkcija radnog lista koje možete koristiti u tu svrhu, ali sve vam dozvoljavaju samo da izgradite linearne ili eksponencijalne regresije.

Excel ima nekoliko funkcija za konstruiranje linearne regresije, posebno:

TREND;

KOSINA i REZ.

Kao i nekoliko funkcija za konstruiranje eksponencijalne linije trenda, posebno:

LGRFPRIBL.

Treba napomenuti da su tehnike za konstruisanje regresija korišćenjem funkcija TREND i RAST skoro iste. Isto se može reći i za par funkcija LINEST i LGRFPRIBL. Za ove četiri funkcije, kreiranje tablice vrijednosti koristi Excel funkcije kao što su formule niza, što donekle otežava proces izgradnje regresija. Napominjemo da se konstrukcija linearne regresije, po našem mišljenju, najlakše postiže korištenjem funkcija SLOPE i INTERCEPT, gdje prva određuje nagib linearne regresije, a druga segment koji presječe regresija na y -osa.

Prednosti ugrađenog funkcijskog alata za regresionu analizu su:

prilično jednostavan, ujednačen proces generisanja serije podataka karakteristike koja se proučava za sve ugrađene statističke funkcije koje definiraju linije trenda;

standardna metodologija za konstruisanje linija trenda na osnovu generisanih serija podataka;

sposobnost predviđanja ponašanja procesa koji se proučava potrebnim brojem koraka naprijed ili nazad.

Nedostaci uključuju činjenicu da Excel nema ugrađene funkcije za kreiranje drugih (osim linearnih i eksponencijalnih) tipova linija trenda. Ova okolnost često ne dopušta odabir dovoljno preciznog modela procesa koji se proučava, kao i dobijanje prognoza koje su bliske stvarnosti. Osim toga, kada se koriste funkcije TREND i GROWTH, jednadžbe linija trenda nisu poznate.

Treba napomenuti da autori nisu imali za cilj da predstave tok regresione analize sa bilo kojim stepenom potpunosti. Njegov glavni zadatak je da na konkretnim primjerima pokaže mogućnosti Excel paketa pri rješavanju aproksimacijskih problema; demonstrirati koje efikasne alate Excel ima za pravljenje regresija i predviđanja; ilustruju kako takve probleme može relativno lako riješiti čak i korisnik koji nema opsežno znanje o regresijskoj analizi.

Primjeri rješavanja konkretnih problema

Pogledajmo rješavanje konkretnih problema pomoću navedenih Excel alata.

Problem 1

Sa tabelom podataka o dobiti autotransportnog preduzeća za 1995-2002. potrebno je da uradite sledeće:

Napravite dijagram.

Dodajte linearne i polinomske (kvadratne i kubične) linije trenda na grafikon.

Koristeći jednačine linije trenda, pribavite tabelarne podatke o dobiti preduzeća za svaku liniju trenda za 1995-2004.

Napravite prognozu dobiti preduzeća za 2003. i 2004. godinu.

Rješenje problema

U opseg ćelija A4:C11 Excel radnog lista unesite radni list prikazan na sl. 4.

Nakon odabira raspona ćelija B4:C11, gradimo dijagram.

Aktiviramo konstruisani dijagram i, prema gore opisanoj metodi, nakon odabira tipa linije trenda u dijaloškom okviru Trend Linija (vidi sliku 1), naizmenično dodajemo linearne, kvadratne i kubične linije trenda dijagramu. U istom dijaloškom okviru otvorite karticu Parametri (pogledajte sliku 2), u polje Naziv aproksimirajuće (izglađene) krive unesite naziv trenda koji se dodaje, a u polje Forecast forward for: periods postavite vrijednost 2, budući da je planirana prognoza dobiti za dvije godine unaprijed. Za prikaz jednačine regresije i vrijednosti pouzdanosti aproksimacije R2 u području dijagrama, omogućite potvrdne okvire za prikaz jednačine na ekranu i postavite vrijednost pouzdanosti aproksimacije (R^2) na dijagram. Za bolju vizuelnu percepciju, menjamo vrstu, boju i debljinu konstruisanih linija trenda, za šta koristimo karticu View dijaloškog okvira Trend Line Format (vidi sliku 3). Rezultirajući dijagram sa dodanim linijama trenda prikazan je na Sl. 5.

Dobiti tabelarne podatke o dobiti preduzeća za svaku liniju trenda za 1995-2004. Koristimo jednadžbe linije trenda predstavljene na Sl. 5. Da biste to učinili, u ćelije raspona D3:F3 unesite tekstualne informacije o tipu odabrane linije trenda: Linearni trend, Kvadratični trend, Kubni trend. Zatim unesite formulu linearne regresije u ćeliju D4 i, koristeći marker za popunjavanje, kopirajte ovu formulu s relativnim referencama na raspon ćelija D5:D13. Treba napomenuti da svaka ćelija sa formulom linearne regresije iz opsega ćelija D4:D13 ima kao argument odgovarajuću ćeliju iz opsega A4:A13. Slično, za kvadratnu regresiju popunite raspon ćelija E4:E13, a za kubičnu regresiju popunite raspon ćelija F4:F13. Tako je napravljena prognoza dobiti preduzeća za 2003. i 2004. godinu. koristeći tri trenda. Dobivena tablica vrijednosti prikazana je na Sl. 6.

Problem 2

Napravite dijagram.

Dodajte logaritamske, stručne i eksponencijalne linije trenda na grafikon.

Izvesti jednadžbe dobijenih linija trenda, kao i vrijednosti pouzdanosti aproksimacije R2 za svaku od njih.

Koristeći jednačine linije trenda, dobiti tabelarne podatke o dobiti preduzeća za svaku liniju trenda za 1995-2002.

Napravite prognozu dobiti kompanije za 2003. i 2004. koristeći ove trendove.

Rješenje problema

Prateći metodologiju datu u rješavanju problema 1, dobijamo dijagram sa dodanim logaritamskim, potencijskim i eksponencijalnim linijama trenda (slika 7). Zatim, koristeći dobijene jednadžbe linije trenda, popunjavamo tabelu vrijednosti za profit preduzeća, uključujući i predviđene vrijednosti za 2003. i 2004. godinu. (Sl. 8).

Na sl. 5 i sl. može se vidjeti da model sa logaritamskim trendom odgovara najnižoj vrijednosti pouzdanosti aproksimacije

R2 = 0,8659

Najveće vrijednosti R2 odgovaraju modelima sa polinomskim trendom: kvadratni (R2 = 0,9263) i kubični (R2 = 0,933).

Problem 3

Uz tabelu podataka o dobiti autotransportnog preduzeća za 1995-2002, datu u zadatku 1, morate izvršiti sljedeće korake.

Dobijte serije podataka za linearne i eksponencijalne linije trenda koristeći funkcije TREND i GROW.

Koristeći funkcije TREND i RAST, napravite prognozu dobiti preduzeća za 2003. i 2004. godinu.

Konstruirajte dijagram za originalne podatke i rezultirajući niz podataka.

Rješenje problema

Koristimo radni list za zadatak 1 (vidi sliku 4). Počnimo s funkcijom TREND:

odaberite raspon ćelija D4:D11, koje treba popuniti vrijednostima funkcije TREND koje odgovaraju poznatim podacima o dobiti poduzeća;

Pozovite komandu Funkcija iz menija Umetanje. U dijalogu Čarobnjak za funkcije koji se pojavi, izaberite funkciju TREND iz kategorije Statistike, a zatim kliknite na dugme U redu. Ista operacija se može izvršiti klikom na dugme (Insert Function) na standardnoj traci sa alatkama.

U dijaloškom okviru Argumenti funkcije koji se pojavi unesite opseg ćelija C4:C11 u polje Poznate_vrijednosti_y; u polju Poznate_vrijednosti_x - opseg ćelija B4:B11;

Da unesena formula postane formula niza, koristite kombinaciju tipki + +.

Formula koju smo uneli u traku sa formulama će izgledati ovako: =(TREND(C4:C11,B4:B11)).

Kao rezultat toga, raspon ćelija D4:D11 je ispunjen odgovarajućim vrijednostima funkcije TREND (slika 9).

Da se napravi prognoza dobiti preduzeća za 2003. i 2004. godinu. potrebno:

odaberite raspon ćelija D12:D13 u koje će biti unesene vrijednosti predviđene funkcijom TREND.

pozovite funkciju TREND i u dijaloškom okviru Argumenti funkcije koji se pojavi unesite u polje Poznate_vrijednosti_y - opseg ćelija C4:C11; u polju Poznate_vrijednosti_x - opseg ćelija B4:B11; a u polju Nove_vrijednosti_x - opseg ćelija B12:B13.

pretvorite ovu formulu u formulu niza koristeći kombinaciju tipki Ctrl + Shift + Enter.

Unesena formula će izgledati ovako: =(TREND(C4:C11;B4:B11;B12:B13)), a opseg ćelija D12:D13 će biti popunjen predviđenim vrijednostima funkcije TREND (vidi Sl. 9).

Niz podataka se na sličan način popunjava pomoću funkcije GROWTH, koja se koristi u analizi nelinearnih zavisnosti i radi na potpuno isti način kao i njen linearni pandan TREND.

Slika 10 prikazuje tabelu u načinu prikaza formule.

Za početne podatke i dobijene serije podataka, dijagram prikazan na Sl. jedanaest.

Problem 4

Sa tabelom podataka o prijemu zahtjeva za usluge od strane dispečerske službe autotransportnog preduzeća za period od 1. do 11. u tekućem mjesecu, morate izvršiti sljedeće radnje.

Dobijte niz podataka za linearnu regresiju: korištenjem funkcija SLOPE i INTERCEPT; koristeći funkciju LINEST.

Dobijte seriju podataka za eksponencijalnu regresiju koristeći LGRFPRIBL funkciju.

Koristeći navedene funkcije, napravite prognozu o prijemu prijava u dispečersku službu za period od 12. do 14. u tekućem mjesecu.

Napravite dijagram za originalnu i primljenu seriju podataka.

Rješenje problema

Imajte na umu da, za razliku od funkcija TREND i GROWTH, nijedna od gore navedenih funkcija (SLOPE, INTERCEPT, LINEST, LGRFPRIB) nije regresija. Ove funkcije igraju samo pomoćnu ulogu, određujući potrebne parametre regresije.

Za linearne i eksponencijalne regresije izgrađene pomoću funkcija SLOPE, INTERCEPT, LINEST, LGRFPRIB, izgled njihovih jednačina je uvijek poznat, za razliku od linearnih i eksponencijalnih regresija koje odgovaraju funkcijama TREND i GROWTH.

1 . Izgradimo linearnu regresiju sa jednadžbom:

y = mx+b

koristeći funkcije SLOPE i INTERCEPT, pri čemu je nagib regresije m određen funkcijom SLOPE, a slobodni termin b funkcijom INTERCEPT.

Da bismo to učinili, provodimo sljedeće radnje:

unesite originalnu tablicu u raspon ćelija A4:B14;

vrijednost parametra m će biti određena u ćeliji C19. Odaberite funkciju nagiba iz kategorije Statistike; unesite opseg ćelija B4:B14 u polje poznate_vrijednosti_y i raspon ćelija A4:A14 u polje poznate_vrijednosti_x. Formula će biti unesena u ćeliju C19: =SLOPE(B4:B14,A4:A14);

Sličnom tehnikom određuje se vrijednost parametra b u ćeliji D19. Njegov sadržaj će izgledati ovako: =SEGMENT(B4:B14,A4:A14). Dakle, vrijednosti parametara m i b potrebnih za konstruiranje linearne regresije bit će pohranjene u ćelijama C19, D19;

Zatim unesite formulu linearne regresije u ćeliju C4 u obliku: =$C*A4+$D. U ovoj formuli ćelije C19 i D19 su napisane sa apsolutnim referencama (adresa ćelije ne bi trebalo da se menja tokom mogućeg kopiranja). Apsolutni referentni znak $ može se otkucati ili sa tastature ili pomoću tastera F4, nakon postavljanja kursora na adresu ćelije. Koristeći ručicu za popunjavanje, kopirajte ovu formulu u raspon ćelija C4:C17. Dobijamo traženu seriju podataka (slika 12). Zbog činjenice da je broj zahtjeva cijeli broj, trebali biste postaviti format broja sa brojem decimalnih mjesta na 0 na kartici Broj prozora Format ćelije.

2 . Sada napravimo linearnu regresiju datu jednadžbom:

y = mx+b

koristeći funkciju LINEST.

Za ovo:

Unesite funkciju LINEST kao formulu niza u rasponu ćelija C20:D20: =(LINEST(B4:B14,A4:A14)). Kao rezultat, dobijamo vrijednost parametra m u ćeliji C20, a vrijednost parametra b u ćeliji D20;

unesite formulu u ćeliju D4: =$C*A4+$D;

kopirajte ovu formulu koristeći marker za popunjavanje u raspon ćelija D4:D17 i dobijte željenu seriju podataka.

3 . Gradimo eksponencijalnu regresiju sa jednadžbom:

pomoću funkcije LGRFPRIBL se izvodi slično:

U opseg ćelija C21:D21 unosimo funkciju LGRFPRIBL kao formulu niza: =( LGRFPRIBL (B4:B14,A4:A14)). U ovom slučaju, vrijednost parametra m će biti određena u ćeliji C21, a vrijednost parametra b će biti određena u ćeliji D21;

formula se unosi u ćeliju E4: =$D*$C^A4;

korišćenjem markera za popunjavanje, ova formula se kopira u opseg ćelija E4:E17, gde će se nalaziti serija podataka za eksponencijalnu regresiju (vidi sliku 12).

Na sl. Slika 13 prikazuje tabelu u kojoj možete vidjeti funkcije koje koristimo sa potrebnim rasponima ćelija, kao i formule.

Magnituda R 2 pozvao koeficijent odlučnosti.

Zadatak konstruisanja regresijske zavisnosti je da se pronađe vektor koeficijenata m modela (1) na kome koeficijent R poprima maksimalnu vrednost.

Za procjenu značaja R koristi se Fišerov F test, izračunat pomoću formule

Gdje n- veličina uzorka (broj eksperimenata);

k je broj koeficijenata modela.

Ako F premašuje neku kritičnu vrijednost za podatke n I k i prihvaćenu pouzdanu vjerovatnoću, tada se vrijednost R smatra značajnom. Stolovi kritične vrijednosti F su dati u priručniku o matematičkoj statistici.

Dakle, značaj R ne određuje samo njegova vrijednost, već i odnos između broja eksperimenata i broja koeficijenata (parametara) modela. Zaista, korelacijski odnos za n=2 za jednostavan linearni model je jednak 1 (jedna prava linija se uvijek može povući kroz 2 tačke na ravni). Međutim, ako su eksperimentalni podaci slučajne varijable, takvoj vrijednosti R treba vjerovati s velikim oprezom. Obično, da bi dobili značajan R i pouzdanu regresiju, oni nastoje osigurati da broj eksperimenata značajno premašuje broj koeficijenata modela (n>k).

Za izradu modela linearne regresije potrebno vam je:

1) pripremiti listu od n redaka i m stupaca koji sadrže eksperimentalne podatke (kolona koja sadrži izlaznu vrijednost Y mora biti prvi ili zadnji na listi); Na primjer, uzmimo podatke iz prethodnog zadatka, dodajući kolonu pod nazivom "Period No.", numerirajte brojeve perioda od 1 do 12. (ovo će biti vrijednosti X)

2) idite na meni Podaci/Analiza podataka/Regresija

Ako nedostaje stavka "Analiza podataka" u meniju "Alati", onda treba da odete na stavku "Dodaci" u istom meniju i označite polje za potvrdu "Paket analize".

3) u dijaloškom okviru "Regresija" postavite:

· interval unosa Y;

· ulazni interval X;

· izlazni interval - gornja lijeva ćelija intervala u koji će biti smješteni rezultati proračuna (preporučljivo je postaviti ih na novi radni list);

4) kliknite na "OK" i analizirajte rezultate.

Koji pronalazi najviše široka primena u raznim oblastima nauke i praktične delatnosti. To može biti fizika, hemija, biologija, ekonomija, sociologija, psihologija i tako dalje i tako dalje. Voljom sudbine, često moram da se bavim ekonomijom, i zato ću danas za vas organizovati putovanje u neverovatnu zemlju tzv. Ekonometrija=) ...Kako to ne želiš?! Tamo je jako dobro - samo treba da se odlučite! ...Ali ono što sigurno želite je naučiti kako rješavati probleme metoda najmanjih kvadrata. A posebno marljivi čitaoci naučiće da ih rešavaju ne samo precizno, već i VEOMA BRZO ;-) Ali prvo opšta izjava o problemu+ prateći primjer:

Proučavajmo indikatore u određenoj predmetnoj oblasti koji imaju kvantitativni izraz. Istovremeno, postoje svi razlozi za vjerovanje da indikator ovisi o indikatoru. Ova pretpostavka može biti ili naučna hipoteza ili zasnovana na osnovnom zdravom razumu. Ostavimo, međutim, nauku po strani i istražimo privlačnija područja – naime, trgovine prehrambenim proizvodima. Označimo sa:

– maloprodajni prostor trgovine, m2,
– godišnji promet prehrambene prodavnice, milion rubalja.

Apsolutno je jasno da što je veća površina prodavnice, to će u većini slučajeva biti veći njen promet.

Pretpostavimo da nakon izvođenja zapažanja/eksperimenata/proračunavanja/plesa uz tamburu imamo na raspolaganju numeričke podatke:

Sa prehrambenim prodavnicama mislim da je sve jasno: - ovo je površina 1. prodavnice, - njen godišnji promet, - površina 2. prodavnice, - njen godišnji promet itd. Uzgred, uopšte nije potrebno imati pristup klasifikovanim materijalima - prilično tačna procena trgovinskog prometa može se dobiti pomoću matematičke statistike. Ipak, nemojmo se ometati, kurs komercijalne špijunaže je već plaćen =)

Tabelarni podaci se također mogu napisati u obliku tačaka i prikazati u poznatom obliku Kartezijanski sistem .

Mi ćemo odgovoriti važno pitanje: Koliko bodova je potrebno za kvalitativnu studiju?

Što veće, to bolje. Minimalni prihvatljivi set se sastoji od 5-6 bodova. Osim toga, kada je količina podataka mala, “anomalni” rezultati se ne mogu uključiti u uzorak. Tako, na primjer, mala elitna radnja može zaraditi redove veličine više od "njegovih kolega", čime se iskrivljuje opšti obrazac, to je ono što trebate pronaći!

Vrlo jednostavno rečeno, moramo odabrati funkciju, raspored koji prolazi što bliže tačkama . Ova funkcija se zove aproksimativno (aproksimacija - aproksimacija) ili teorijska funkcija . Uopšteno govoreći, ovdje se odmah pojavljuje očigledan "konkurent" - polinom visokog stupnja, čiji graf prolazi kroz SVE tačke. Ali ova opcija je komplikovana i često jednostavno netočna. (pošto će se grafikon stalno "petljati" i loše odražavati glavni trend).

Dakle, tražena funkcija mora biti prilično jednostavna i istovremeno adekvatno odražavati ovisnost. Kao što možete pretpostaviti, jedna od metoda za pronalaženje takvih funkcija se zove metoda najmanjih kvadrata. Prvo, pogledajmo njegovu suštinu u opšti pogled. Neka neka funkcija aproksimira eksperimentalne podatke:

Kako ocijeniti tačnost ove aproksimacije? Izračunajmo i razlike (odstupanja) između eksperimentalnih i funkcionalna značenja (učimo crtež). Prva misao koja vam pada na pamet je procijeniti koliki je zbroj, ali problem je što razlike mogu biti negativne (Na primjer, ) a odstupanja kao rezultat takvog zbrajanja će se poništiti. Stoga, kao procjenu tačnosti aproksimacije, treba uzeti zbir moduli odstupanja:

ili srušeno: (u slučaju da neko ne zna: – ovo je ikona sume, i – pomoćna varijabla – „brojač“, koji uzima vrijednosti od 1 do ).

Približavanje eksperimentalnih tačaka razne funkcije, primićemo različita značenja, i očito, gdje je ovaj iznos manji, ta funkcija je tačnija.

Takav metod postoji i zove se metoda najmanjeg modula. Međutim, u praksi je postao mnogo rašireniji metoda najmanjeg kvadrata, u kojem se moguće negativne vrijednosti eliminiraju ne modulom, već kvadriranjem odstupanja:

, nakon čega se radi na odabiru funkcije takve da je zbir kvadrata odstupanja bio što manji. Zapravo, odatle potiče naziv metode.

A sada se vraćamo na nešto drugo važna tačka: kao što je gore navedeno, odabrana funkcija bi trebala biti prilično jednostavna - ali postoji i mnogo takvih funkcija: linearno , hiperbolično, eksponencijalna, logaritamski, kvadratni itd. I, naravno, ovdje bih odmah želio „smanjiti polje aktivnosti“. Koju klasu funkcija trebam odabrati za istraživanje? Primitivno, ali efektivna tehnika:

– Najlakši način je da prikažete tačke na crtežu i analizirati njihovu lokaciju. Ako imaju tendenciju da trče u pravoj liniji, onda biste trebali potražiti jednačina prave With optimalne vrednosti i . Drugim riječima, zadatak je pronaći TAKVE koeficijente tako da zbir kvadrata odstupanja bude najmanji.

Ako se tačke nalaze, na primjer, uzduž hiperbola, onda je očito jasno da će linearna funkcija dati lošu aproksimaciju. U ovom slučaju tražimo najpovoljnije koeficijente za jednadžbu hiperbole – oni koji daju minimalni zbir kvadrata .

Sada imajte na umu da u oba slučaja govorimo funkcije dvije varijable, čiji su argumenti pretraživali parametre zavisnosti:

A u suštini moramo riješiti standardni problem - pronaći minimalna funkcija dvije varijable.

Prisjetimo se našeg primjera: pretpostavimo da se tačke "prodavnice" obično nalaze u pravoj liniji i postoji svaki razlog vjerovati da linearna zavisnost promet od maloprodajnog prostora. Nađimo TAKVE koeficijente “a” i “be” takve da je zbir kvadrata odstupanja bio najmanji. Sve je kao i obično - prvo Parcijalni derivati 1. reda. Prema pravilo linearnosti Možete razlikovati odmah ispod ikone sume:

Ako želite da koristite ove informacije za esej ili nastavni rad - bit ću vrlo zahvalan na linku na listi izvora; ovako detaljne proračune ćete naći na nekoliko mjesta:

Kreirajmo standardni sistem:

Svaku jednačinu smanjujemo za "dva" i, pored toga, "razbijamo" zbrojeve:

Bilješka : nezavisno analizirati zašto se “a” i “be” mogu izdvojiti izvan ikone zbira. Inače, formalno se to može učiniti sa sumom

Prepišimo sistem u "primijenjenom" obliku:

nakon čega počinje da se pojavljuje algoritam za rješavanje našeg problema:

Znamo li koordinate tačaka? Mi znamo. Iznosi možemo li ga naći? Lako. Hajde da napravimo najjednostavnije sistem dvije linearne jednadžbe u dvije nepoznate(“a” i “biti”). Mi rješavamo sistem, npr. Cramerova metoda, kao rezultat toga dobijamo stacionarnu tačku. Provjeravam dovoljan uslov za ekstrem, možemo provjeriti da je u ovom trenutku funkcija dostiže tačno minimum. Provjera uključuje dodatne proračune i stoga ćemo je ostaviti iza scene (ako je potrebno, okvir koji nedostaje može se vidjeti). Izvlačimo konačan zaključak:

Funkcija najbolji način (barem u usporedbi s bilo kojom drugom linearnom funkcijom) približava eksperimentalne tačke . Grubo govoreći, njegov graf prolazi što je moguće bliže ovim tačkama. U tradiciji ekonometrija rezultirajuća aproksimirajuća funkcija se također poziva uparena jednačina linearne regresije .

Problem koji se razmatra je od velike praktične važnosti. U našem primjeru, jednadžba. omogućava vam da predvidite koji trgovinski promet ("Igrek") trgovina će imati jednu ili drugu vrijednost prodajnog prostora (jedno ili drugo značenje "x"). Da, rezultirajuća prognoza će biti samo prognoza, ali će se u mnogim slučajevima pokazati prilično tačnom.

Analizirat ću samo jedan problem sa "pravim" brojevima, jer u tome nema poteškoća - svi proračuni su na nivou školski program 7-8 razreda. U 95 posto slučajeva od vas će se tražiti da pronađete samo linearnu funkciju, ali na samom kraju članka pokazaću da nije teže pronaći jednadžbe optimalne hiperbole, eksponencijalne i nekih drugih funkcija.

U stvari, ostaje samo distribuirati obećane dobrote - tako da možete naučiti rješavati takve primjere ne samo precizno, već i brzo. Pažljivo proučavamo standard:

Zadatak

Kao rezultat proučavanja odnosa između dva indikatora, dobijeni su sljedeći parovi brojeva:

Koristeći metodu najmanjih kvadrata, pronađite linearnu funkciju koja najbolje aproksimira empirijsku (iskusan) podaci. Napravite crtež na kojem ćete konstruirati eksperimentalne točke i graf aproksimirajuće funkcije u kartezijanskom pravokutnom koordinatnom sistemu . Pronađite zbroj kvadrata odstupanja između empirijske i teorijske vrijednosti. Saznajte da li bi ova funkcija bila bolja (sa stanovišta metode najmanjih kvadrata) približiti eksperimentalne tačke.

Imajte na umu da su značenja “x” prirodna, a ovo ima karakteristično smisleno značenje, o kojem ću govoriti malo kasnije; ali one, naravno, mogu biti i razlomke. Osim toga, ovisno o sadržaju određenog zadatka, vrijednosti "X" i "igra" mogu biti potpuno ili djelomično negativne. Pa, dobili smo zadatak „bez lica“ i počinjemo ga rješenje:

Odds optimalna funkcija nalazimo kao rješenje za sistem:

U svrhu kompaktnijeg snimanja, varijabla “counter” može se izostaviti, jer je već jasno da se zbrajanje vrši od 1 do .

Pogodnije je izračunati potrebne količine u obliku tabele:

Izračuni se mogu izvršiti na mikrokalkulatoru, ali je mnogo bolje koristiti Excel - i brže i bez grešaka; pogledajte kratak video:

Tako dobijamo sledeće sistem:

Ovdje možete pomnožiti drugu jednačinu sa 3 i oduzmi 2. od 1. jednačine član po član. Ali to je sreća - u praksi sistemi često nisu dar, au takvim slučajevima štedi Cramerova metoda:
, što znači da sistem ima jedinstveno rješenje.

Hajde da proverimo. Razumijem da ne želite, ali zašto preskakati greške tamo gdje se apsolutno ne mogu propustiti? Zamijenimo pronađeno rješenje u lijeva strana svaka jednadžba sistema:

Dobijene su desne strane odgovarajućih jednačina, što znači da je sistem ispravno riješen.

Dakle, željena aproksimirajuća funkcija: – od sve linearne funkcije Ona je ta koja najbolje aproksimira eksperimentalne podatke.

Za razliku od ravno zavisnost prometa prodavnice od njene površine, pronađena zavisnost je obrnuto (princip "što više, to manje"), a tu činjenicu odmah otkriva negativac nagib. Funkcija nam govori da povećanjem određenog indikatora za 1 jedinicu, vrijednost zavisnog indikatora opada prosjek za 0,65 jedinica. Kako kažu, što je veća cijena heljde, to se manje prodaje.

Da bismo nacrtali graf aproksimirajuće funkcije, nalazimo njene dvije vrijednosti:

i izvedite crtež:

Konstruisana prava linija se zove linija trenda (naime, linearna linija trenda, tj opšti slučaj trend nije nužno ravna linija). Svima je poznat izraz “biti u trendu” i mislim da ovaj termin ne treba dodatno komentarisati.

Izračunajmo zbir kvadrata odstupanja između empirijskih i teorijskih vrijednosti. Geometrijski, ovo je zbir kvadrata dužina segmenata "maline" (od kojih su dva toliko mala da se ni ne vide).

Sumiramo proračune u tabeli:

Opet, mogu se raditi ručno; za svaki slučaj, dat ću primjer za 1. točku:

ali mnogo je efikasnije to učiniti na već poznati način:

Ponavljamo još jednom: Šta znači dobijeni rezultat? Od sve linearne funkcije y funkcija indikator je najmanji, odnosno u svojoj porodici je najbolja aproksimacija. I ovdje, usput, konačno pitanje problema nije slučajno: šta ako je predložena eksponencijalna funkcija da li bi bilo bolje približiti eksperimentalne tačke?

Nađimo odgovarajući zbir kvadrata odstupanja - da bismo ih razlikovali, označit ću ih slovom "epsilon". Tehnika je potpuno ista:

I opet, za svaki slučaj, kalkulacije za 1. tačku:

U Excelu koristimo standardnu funkciju EXP (sintaksu možete pronaći u Excel pomoći).

Zaključak: , što znači da eksponencijalna funkcija aproksimira eksperimentalne tačke lošije od prave linije .

Ali ovdje treba napomenuti da je „gore“. ne znači još, šta nije uredu. Sada sam napravio graf ovoga eksponencijalna funkcija– a takođe prolazi blizu bodova - toliko da je bez analitičkog istraživanja teško reći koja je funkcija preciznija.

Ovim je rješenje završeno i vraćam se na pitanje prirodnih vrijednosti argumenta. IN razne studije, po pravilu, ekonomski ili sociološki, prirodni X-ovi se koriste za brojanje mjeseci, godina ili drugih jednakih vremenskih intervala. Razmotrite, na primjer, sljedeći problem.

Metoda najmanjeg kvadrata

Metoda najmanjeg kvadrata ( OLS, OLS, Obični najmanji kvadrati) - jedna od osnovnih metoda regresione analize za procjenu nepoznatih parametara regresionih modela korištenjem uzoraka podataka. Metoda se zasniva na minimiziranju sume kvadrata reziduala regresije.

Treba napomenuti da se sama metoda najmanjih kvadrata može nazvati metodom za rješavanje problema u bilo kojoj oblasti ako rješenje leži u ili zadovoljava neki kriterij za minimiziranje sume kvadrata nekih funkcija traženih varijabli. Stoga se metoda najmanjih kvadrata može koristiti i za približnu reprezentaciju (aproksimaciju) date funkcije drugim (jednostavnijim) funkcijama, pri pronalaženju skupa veličina koje zadovoljavaju jednačine ili ograničenja, čiji je broj veći od broja ovih veličina. , itd.

Suština MNC-a

Neka se da neki (parametarski) model vjerovatnoće (regresijske) veze između (objašnjene) varijable y i mnogi faktori (objašnjavajuće varijable) x

gdje je vektor nepoznatih parametara modela

- slučajna greška modela.

Neka postoje i uzorci zapažanja vrijednosti ovih varijabli. Neka je broj zapažanja (). Zatim su vrijednosti varijabli u opservaciji. Zatim, za date vrijednosti parametara b, moguće je izračunati teorijske (modelske) vrijednosti objašnjene varijable y:

Veličina reziduala zavisi od vrednosti parametara b.

Suština metode najmanjih kvadrata (obična, klasična) je pronaći parametre b za koje je zbir kvadrata reziduala (eng. Preostali zbir kvadrata) bit će minimalan:

U opštem slučaju, ovaj problem se može rešiti metodama numeričke optimizacije (minimizacije). U ovom slučaju govore o nelinearni najmanji kvadrati(NLS ili NLLS - engleski) Nelinearni najmanji kvadrati). U mnogim slučajevima moguće je dobiti analitičko rješenje. Da bi se riješio problem minimizacije, potrebno je pronaći stacionarne tačke funkcije diferenciranjem u odnosu na nepoznate parametre b, izjednačavanjem derivata sa nulom i rješavanjem rezultirajućeg sistema jednačina:

Ako su slučajne greške modela normalno raspoređene, imaju istu varijansu i nisu u korelaciji, procjene parametara OLS-a su iste kao procjene maksimalne vjerovatnoće (MLM).

OLS u slučaju linearnog modela

Neka je zavisnost regresije linearna:

Neka y je vektor stupca zapažanja objašnjene varijable i matrica zapažanja faktora (redovi matrice su vektori faktorskih vrijednosti u ovo zapažanje, u kolonama - vektor vrijednosti datog faktora u svim zapažanjima). Matrični prikaz linearnog modela je:

Tada će vektor procjena objašnjene varijable i vektor reziduala regresije biti jednaki

Prema tome, zbir kvadrata reziduala regresije će biti jednak

Diferencirajući ovu funkciju u odnosu na vektor parametara i izjednačavajući derivate sa nulom, dobijamo sistem jednačina (u obliku matrice):

Rješenje ovog sistema jednačina daje opšta formula OLS procjene za linearni model:

Za analitičke svrhe, potonji prikaz ove formule je koristan. Ako u regresijskom modelu podaci centriran, onda u ovom prikazu prva matrica ima značenje uzorka kovarijanci matrice faktora, a druga je vektor kovarijansi faktora sa zavisnom varijablom. Ako su pored toga i podaci normalizovano na MSE (to jest, na kraju standardizovan), tada prva matrica ima značenje uzorka korelacione matrice faktora, drugi vektor - vektor uzorka korelacije faktora sa zavisnom varijablom.

Važno svojstvo OLS procjena za modele sa konstantom- linija konstruirane regresije prolazi kroz težište podataka uzorka, odnosno zadovoljena je jednakost:

Konkretno, u ekstremnom slučaju, kada je jedini regresor konstanta, nalazimo da je OLS procjena jedinog parametra (same konstante) jednaka srednjoj vrijednosti objašnjene varijable. To jest, aritmetička sredina, poznata po svojoj dobra svojstva iz zakona velikih brojeva, je i procjena najmanjih kvadrata - ona zadovoljava kriterij minimalnog zbira kvadrata odstupanja od nje.

Primjer: najjednostavnija (parna) regresija

U slučaju uparene linearne regresije, formule za izračunavanje su pojednostavljene (možete bez matrične algebre):

Svojstva OLS estimatora

Prije svega, napominjemo da su za linearne modele procjene OLS-a linearne procjene, kako slijedi iz gornje formule. Za nepristrasne procjene OLS-a, potrebno je i dovoljno izvršiti najvažniji uslov regresiona analiza: uslovljeno faktorima, matematičko očekivanje slučajne greške mora biti jednako nuli. Ovo stanje, posebno je zadovoljan ako

očekivanu vrijednost slučajne greške su nula, i
faktori i slučajne greške su nezavisne slučajne varijable.

Drugi uslov - uslov egzogenosti faktora - je fundamentalan. Ako ovo svojstvo nije ispunjeno, onda možemo pretpostaviti da će gotovo sve procjene biti krajnje nezadovoljavajuće: neće biti čak ni konzistentne (odnosno, čak i vrlo velika količina podataka ne dozvoljava nam da dobijemo visokokvalitetne procjene u ovom slučaju ). U klasičnom slučaju, jača se pretpostavka o determinizmu faktora, za razliku od slučajne greške, što automatski znači da je uslov egzogenosti ispunjen. U opštem slučaju, za konzistentnost procjena, dovoljno je zadovoljiti uslov egzogenosti zajedno sa konvergencijom matrice nekoj nesingularnoj matrici kako se veličina uzorka povećava do beskonačnosti.

Da bi, osim konzistentnosti i nepristrasnosti, procjene (običnih) najmanjih kvadrata bile i efikasne (najbolje u klasi linearnih nepristrasnih procjena), moraju biti zadovoljena dodatna svojstva slučajne greške:

Ove pretpostavke se mogu formulisati za matricu kovarijanse vektora slučajne greške

Linearni model koji zadovoljava ove uslove naziva se klasična. OLS procjene za klasičnu linearnu regresiju su nepristrasne, dosljedne i najefikasnije procjene u klasi svih linearnih nepristrasnih procjena (u engleskoj literaturi ponekad se koristi skraćenica PLAVA (Najbolji linearni nebazirani procjenitelj) - najbolja linearna nepristrasna procjena; u ruskoj književnosti češće se citira Gauss-Markovljeva teorema). Kao što je lako pokazati, matrica kovarijanse vektora procjena koeficijenata bit će jednaka:

Generalizovani OLS

Metoda najmanjih kvadrata omogućava široku generalizaciju. Umjesto minimiziranja sume kvadrata reziduala, može se minimizirati neki pozitivno definitivni kvadratni oblik vektora reziduala, gdje je neka simetrična matrica pozitive određene težine. Konvencionalni najmanji kvadrati je poseban slučaj ovog pristupa, gdje je matrica težine proporcionalna matrici identiteta. Kao što je poznato iz teorije simetričnih matrica (ili operatora), za takve matrice postoji dekompozicija. Shodno tome, navedeni funkcional se može predstaviti na sljedeći način, odnosno ovaj funkcional može se predstaviti kao zbir kvadrata nekih transformiranih „ostataka“. Dakle, možemo razlikovati klasu metoda najmanjih kvadrata - LS metode (Least Squares).

Dokazano je (Aitkenova teorema) da su za generalizovani model linearne regresije (u kojem se ne nameću ograničenja na matricu kovarijanse slučajnih grešaka) najefikasnije (u klasi linearnih nepristrasnih procjena) tzv. generalizirani najmanji kvadrati (GLS - generalizirani najmanji kvadrati)- LS metoda sa težinskom matricom jednakom inverznoj kovarijansnoj matrici slučajnih grešaka: .

Može se pokazati da formula za GLS procjene parametara linearnog modela ima oblik

Matrica kovarijanse ovih procjena će prema tome biti jednaka

Zapravo, suština OLS-a leži u određenoj (linearnoj) transformaciji (P) izvornih podataka i primjeni običnog OLS-a na transformirane podatke. Svrha ove transformacije je da za transformirane podatke slučajne greške već zadovoljavaju klasične pretpostavke.

Weighted OLS

U slučaju dijagonalne matrice težine (a samim tim i matrice kovarijanse slučajnih grešaka), imamo takozvane ponderisane najmanje kvadrate (WLS). IN u ovom slučaju ponderisani zbir kvadrata reziduala modela je minimiziran, to jest, svako zapažanje dobija „težinu“ obrnuto proporcionalnu varijansi slučajne greške u ovom zapažanju: . U stvari, podaci se transformišu ponderisanjem zapažanja (dijeleći se količinom proporcionalnom očekivanom standardna devijacija slučajne greške), a uobičajeni OLS se primjenjuje na ponderisane podatke.

Neki posebni slučajevi korištenja MNC-a u praksi

Aproksimacija linearne zavisnosti

Razmotrimo slučaj kada, kao rezultat proučavanja zavisnosti određene skalarne veličine od određene skalarne veličine (To može biti, na primjer, ovisnost napona o jačini struje: , gdje je konstantna vrijednost, otpor vodič), izvršena su mjerenja ovih veličina, uslijed čega su vrijednosti i njihove odgovarajuće vrijednosti. Podaci mjerenja moraju biti zabilježeni u tabeli.

Table. Rezultati mjerenja.

Mjerenje br.
1
2
3
4
5
6

Pitanje je: koja se vrijednost koeficijenta može odabrati da najbolje opiše zavisnost? Prema metodi najmanjih kvadrata, ova vrijednost treba biti takva da zbir kvadrata odstupanja vrijednosti od vrijednosti

bio minimalan

Zbir kvadrata odstupanja ima jedan ekstrem - minimum, što nam omogućava da koristimo ovu formulu. Nađimo iz ove formule vrijednost koeficijenta. Da bismo to učinili, transformiramo njegovu lijevu stranu na sljedeći način:

Posljednja formula nam omogućava da pronađemo vrijednost koeficijenta, što je i traženo u zadatku.

Priča

Prije početkom XIX V. naučnici nisu imali određena pravila za rješavanje sistema jednačina u kojem je broj nepoznatih manji od broja jednačina; Do tada su se koristile privatne tehnike koje su zavisile od vrste jednadžbi i od pameti kalkulatora, pa su tako različiti kalkulatori, na osnovu istih podataka posmatranja, dolazili do razni zaključci. Gauss (1795) bio je odgovoran za prvu primjenu metode, a Legendre (1805) ga je samostalno otkrio i objavio pod moderno ime(fr. Méthode des moindres quarrés ) . Laplas je ovu metodu povezao sa teorijom verovatnoće, a američki matematičar Adrain (1808) je razmatrao njene primene u teoriji verovatnoće. Metoda je široko rasprostranjena i poboljšana daljim istraživanjima Enckea, Bessela, Hansena i drugih.

Alternativne upotrebe OLS-a

Ideja metode najmanjih kvadrata može se koristiti i u drugim slučajevima koji nisu direktno povezani s regresijskom analizom. Činjenica je da je zbir kvadrata jedna od najčešćih mjera blizine vektora (euklidska metrika u konačnodimenzionalnim prostorima).

Jedna od aplikacija je da se "riješe" sistemi linearne jednačine, u kojem je broj jednačina više broja varijable

gdje matrica nije kvadratne, već pravokutne veličine.

Takav sistem jednačina, u opštem slučaju, nema rješenja (ako je rang zapravo veći od broja varijabli). Stoga se ovaj sistem može “riješiti” samo u smislu odabira takvog vektora da se minimizira “udaljenost” između vektora i . Da biste to učinili, možete primijeniti kriterij minimiziranja sume kvadrata razlika lijevog i desni delovi jednačine sistema, tj. Lako je pokazati da rješavanje ovog problema minimizacije vodi do rješenja sledeći sistem jednačine

Metoda najmanjeg kvadrata

Suština MNC-a

Neka se da neki (parametarski) model vjerovatnoće (regresijske) veze između (objašnjene) varijable y i mnogi faktori (objašnjavajuće varijable) x

gdje je vektor nepoznatih parametara modela

- slučajna greška modela.

Veličina reziduala zavisi od vrednosti parametara b.

Suština metode najmanjih kvadrata (obična, klasična) je pronaći parametre b za koje je zbir kvadrata reziduala (eng. Preostali zbir kvadrata) bit će minimalan:

Ako su slučajne greške modela normalno raspoređene, imaju istu varijansu i nisu u korelaciji, procjene parametara OLS-a su iste kao procjene maksimalne vjerovatnoće (MLM).

OLS u slučaju linearnog modela

Neka je zavisnost regresije linearna:

Neka y je vektor stupca zapažanja objašnjene varijable, i matrica zapažanja faktora (redovi matrice su vektori faktorskih vrijednosti u datom zapažanju, kolone su vektor vrijednosti datog faktora u svim zapažanjima). Matrični prikaz linearnog modela je:

Tada će vektor procjena objašnjene varijable i vektor reziduala regresije biti jednaki

Prema tome, zbir kvadrata reziduala regresije će biti jednak

Diferencirajući ovu funkciju u odnosu na vektor parametara i izjednačavajući derivate sa nulom, dobijamo sistem jednačina (u obliku matrice):

Rješenje ovog sistema jednadžbi daje opću formulu za procjene najmanjih kvadrata za linearni model:

Važno svojstvo OLS procjena za modele sa konstantom- linija konstruirane regresije prolazi kroz težište podataka uzorka, odnosno zadovoljena je jednakost:

Konkretno, u ekstremnom slučaju, kada je jedini regresor konstanta, nalazimo da je OLS procjena jedinog parametra (same konstante) jednaka srednjoj vrijednosti objašnjene varijable. Odnosno, aritmetička sredina, poznata po dobrim svojstvima iz zakona velikih brojeva, takođe je procjena najmanjih kvadrata - zadovoljava kriterij minimalnog zbira kvadrata odstupanja od nje.

Primjer: najjednostavnija (parna) regresija

U slučaju uparene linearne regresije, formule za izračunavanje su pojednostavljene (možete bez matrične algebre):

Svojstva OLS estimatora

Prije svega, napominjemo da su za linearne modele procjene OLS linearne procjene, kao što slijedi iz gornje formule. Za nepristrasne OLS procjene, potrebno je i dovoljno da se ispuni najvažniji uslov regresione analize: matematičko očekivanje slučajne greške, uslovljeno faktorima, mora biti jednako nuli. Ovaj uslov je posebno zadovoljen ako

matematičko očekivanje slučajnih grešaka je nula, i
faktori i slučajne greške su nezavisne slučajne varijable.

Ove pretpostavke se mogu formulisati za matricu kovarijanse vektora slučajne greške

Generalizovani OLS

Može se pokazati da formula za GLS procjene parametara linearnog modela ima oblik

Matrica kovarijanse ovih procjena će prema tome biti jednaka

Weighted OLS

U slučaju dijagonalne matrice težine (a samim tim i matrice kovarijanse slučajnih grešaka), imamo takozvane ponderisane najmanje kvadrate (WLS). U ovom slučaju, ponderisani zbir kvadrata reziduala modela je minimiziran, odnosno svako zapažanje dobija „težinu“ koja je obrnuto proporcionalna varijansi slučajne greške u ovom zapažanju: . U stvari, podaci se transformišu ponderisanjem zapažanja (deljenjem sa količinom proporcionalnom procenjenoj standardnoj devijaciji slučajnih grešaka), a obični OLS se primenjuje na ponderisane podatke.

Neki posebni slučajevi korištenja MNC-a u praksi

Aproksimacija linearne zavisnosti

Table. Rezultati mjerenja.

Mjerenje br.
1
2
3
4
5
6

bio minimalan

Posljednja formula nam omogućava da pronađemo vrijednost koeficijenta, što je i traženo u zadatku.

Priča

Sve do početka 19. vijeka. naučnici nisu imali određena pravila za rješavanje sistema jednačina u kojem je broj nepoznatih manji od broja jednačina; Do tada su se koristile privatne tehnike koje su zavisile od vrste jednačina i od pameti kalkulatora, pa su različiti kalkulatori, na osnovu istih podataka posmatranja, dolazili do različitih zaključaka. Gauss (1795) je prvi upotrijebio metodu, a Legendre (1805) ga je samostalno otkrio i objavio pod modernim imenom (franc. Méthode des moindres quarrés ) . Laplas je ovu metodu povezao sa teorijom verovatnoće, a američki matematičar Adrain (1808) je razmatrao njene primene u teoriji verovatnoće. Metoda je široko rasprostranjena i poboljšana daljim istraživanjima Enckea, Bessela, Hansena i drugih.

Alternativne upotrebe OLS-a

Jedna aplikacija je "rješenje" sistema linearnih jednadžbi u kojima je broj jednačina veći od broja varijabli

gdje matrica nije kvadratne, već pravokutne veličine.

Takav sistem jednačina, u opštem slučaju, nema rješenja (ako je rang zapravo veći od broja varijabli). Stoga se ovaj sistem može “riješiti” samo u smislu odabira takvog vektora da se minimizira “udaljenost” između vektora i . Da biste to učinili, možete primijeniti kriterij minimiziranja zbira kvadrata razlika između lijeve i desne strane jednadžbe sistema, tj. Lako je pokazati da rješavanje ovog problema minimizacije vodi do rješavanja sljedećeg sistema jednačina

Ako neki fizička količina zavisi od druge veličine, onda se ova zavisnost može proučavati mjerenjem y na različitim vrijednostima x. Kao rezultat mjerenja dobija se niz vrijednosti:

x 1, x 2, ..., x i, ..., x n;

y 1 , y 2 , ..., y i , ... , y n .

Na osnovu podataka ovakvog eksperimenta moguće je konstruisati graf zavisnosti y = ƒ(x). Rezultirajuća kriva omogućava procjenu oblika funkcije ƒ(x). Međutim, konstantni koeficijenti koji ulaze u ovu funkciju ostaju nepoznati. Mogu se odrediti metodom najmanjih kvadrata. Eksperimentalne tačke, po pravilu, ne leže tačno na krivulji. Metoda najmanjih kvadrata zahtijeva da zbir kvadrata odstupanja eksperimentalnih tačaka od krive, tj. 2 je bio najmanji.

U praksi se ova metoda najčešće (i najjednostavnije) koristi u slučaju linearnog odnosa, tj. Kada

y = kx ili y = a + bx.

Linearna zavisnost veoma rasprostranjena u fizici. Čak i kada je odnos nelinearan, oni obično pokušavaju da konstruišu graf tako da dobiju pravu liniju. Na primjer, ako se pretpostavi da je indeks prelamanja stakla n povezan sa svjetlosnom valnom dužinom λ relacijom n = a + b/λ 2, tada se na grafikonu prikazuje ovisnost n od λ -2.

Uzmite u obzir zavisnost y = kx(prava koja prolazi kroz ishodište). Sastavimo vrijednost φ kao zbir kvadrata odstupanja naših tačaka od prave linije

Vrijednost φ je uvijek pozitivna i ispada da je manja što su naše tačke bliže pravoj liniji. Metoda najmanjih kvadrata kaže da vrijednost za k treba izabrati tako da φ ima minimum

ili
(19)

Proračun pokazuje da je srednja kvadratna greška u određivanju vrijednosti k jednaka

, (20)
gdje je n broj mjerenja.

Razmotrimo sada malo više hard case, kada tačke moraju zadovoljiti formulu y = a + bx(prava linija koja ne prolazi kroz ishodište).

Zadatak je pronaći skup vrijednosti x i , y i najbolje vrednosti a i b.

Hajdemo ponovo sastaviti kvadratni oblik φ, jednak iznosu kvadrata odstupanja tačaka x i, y i od prave linije

i pronađite vrijednosti a i b za koje φ ima minimum

;

Zajedničko rješenje ovih jednačina daje

(21)

Srednje kvadratne greške određivanja a i b su jednake

(23)

. (24)

Prilikom obrade rezultata mjerenja ovom metodom, zgodno je sve podatke sumirati u tabelu u kojoj su preliminarno izračunati svi iznosi uključeni u formule (19)(24). Obrasci ovih tabela dati su u primjerima ispod.

Primjer 1. Proučavana je osnovna jednačina dinamike rotaciono kretanjeε = M/J (prava koja prolazi kroz početak). Pri različitim vrijednostima momenta M mjereno je ugaono ubrzanje ε određenog tijela. Potrebno je odrediti moment inercije ovog tijela. Rezultati mjerenja momenta sile i kutnog ubrzanja navedeni su u drugom i trećem stupcu tabela 5.

Tabela 5

n	M, N m	ε, s -1	M 2	M ε	ε - km	(ε - km) 2
1	1.44	0.52	2.0736	0.7488	0.039432	0.001555
2	3.12	1.06	9.7344	3.3072	0.018768	0.000352
3	4.59	1.45	21.0681	6.6555	-0.08181	0.006693
4	5.90	1.92	34.81	11.328	-0.049	0.002401
5	7.45	2.56	55.5025	19.072	0.073725	0.005435
∑			123.1886	41.1115		0.016436

Koristeći formulu (19) određujemo:

Za određivanje srednje kvadratne greške koristimo formulu (20)

0.005775kg-1 · m -2 .

Prema formuli (18) imamo

; .

S J = (2,996 0,005775)/0,3337 = 0,05185 kg m2.

Postavivši pouzdanost P = 0,95, koristeći tabelu Studentovih koeficijenata za n = 5, nalazimo t = 2,78 i odredimo apsolutna greškaΔJ = 2,78 0,05185 = 0,1441 ≈ 0,2 kg m2.

Zapišimo rezultate u formu:

J = (3,0 ± 0,2) kg m2;

Primjer 2. Izračunajmo temperaturni koeficijent otpornosti metala metodom najmanjih kvadrata. Otpor linearno zavisi od temperature

R t = R 0 (1 + α t°) = R 0 + R 0 α t°.

Slobodni član određuje otpor R 0 na temperaturi od 0 °C, a koeficijent nagiba je proizvod temperaturnog koeficijenta α i otpora R 0 .

Rezultati mjerenja i proračuna dati su u tabeli ( vidi tabelu 6).

Tabela 6

n	t°, s	r, Ohm	t-¯t	(t-¯t) 2	(t-¯t)r	r - bt - a	(r - bt - a) 2 ,10 -6
1	23	1.242	-62.8333	3948.028	-78.039	0.007673	58.8722
2	59	1.326	-26.8333	720.0278	-35.581	-0.00353	12.4959
3	84	1.386	-1.83333	3.361111	-2.541	-0.00965	93.1506
4	96	1.417	10.16667	103.3611	14.40617	-0.01039	107.898
5	120	1.512	34.16667	1167.361	51.66	0.021141	446.932
6	133	1.520	47.16667	2224.694	71.69333	-0.00524	27.4556
∑	515	8.403		8166.833	21.5985		746.804
∑/n	85.83333	1.4005

Pomoću formula (21), (22) određujemo

R 0 = ¯ R- α R 0 ¯ t = 1,4005 - 0,002645 85,83333 = 1,1735 Ohm.

Nađimo grešku u definiciji α. Budući da , tada prema formuli (18) imamo:

Koristeći formule (23), (24) imamo

;

0.014126 Ohm.

Postavivši pouzdanost na P = 0,95, koristeći tabelu Studentovih koeficijenata za n = 6, nalazimo t = 2,57 i odredimo apsolutnu grešku Δα = 2,57 0,000132 = 0,000338 stepen -1.

α = (23 ± 4) 10 -4 hail-1 na P = 0,95.

Primjer 3. Potrebno je odrediti radijus zakrivljenosti sočiva pomoću Newtonovih prstenova. Izmjereni su poluprečniki Njutnovih prstenova r m i određeni brojevi ovih prstenova m. Poluprečnici Njutnovih prstenova povezani su sa radijusom zakrivljenosti sočiva R i brojem prstena po jednačini

r 2 m = mλR - 2d 0 R,

gdje je d 0 debljina jaza između sočiva i ravnoparalelne ploče (ili deformacija sočiva),

λ talasna dužina upadne svetlosti.

λ = (600 ± 6) nm;
r 2 m = y;
m = x;
λR = b;
-2d 0 R = a,

tada će jednačina poprimiti oblik y = a + bx.

Upisuju se rezultati mjerenja i proračuna tabela 7.

Tabela 7

n	x = m	y = r 2, 10 -2 mm 2	m -¯m	(m -¯m) 2	(m -¯ m)y	y - bx - a, 10 -4	(y - bx - a) 2 , 10 -6
1	1	6.101	-2.5	6.25	-0.152525	12.01	1.44229
2	2	11.834	-1.5	2.25	-0.17751	-9.6	0.930766
3	3	17.808	-0.5	0.25	-0.08904	-7.2	0.519086
4	4	23.814	0.5	0.25	0.11907	-1.6	0.0243955
5	5	29.812	1.5	2.25	0.44718	3.28	0.107646
6	6	35.760	2.5	6.25	0.894	3.12	0.0975819
∑	21	125.129		17.5	1.041175		3.12176
∑/n	3.5	20.8548333