Qradient eniş. Şərtsiz optimallaşdırma

Siz həmçinin gradient istiqamətində ən yaxşı nöqtəni deyil, cari nöqtədən daha yaxşı olanı axtara bilərsiniz.

Bütün yerli optimallaşdırma metodlarının tətbiqi ən asanı. Olduqca var zəif şərtlər konvergensiya, lakin yaxınlaşma dərəcəsi kifayət qədər aşağıdır (xətti). Qradiyent metodunun addımı tez-tez Fletcher-Reeves metodu kimi digər optimallaşdırma metodlarının bir hissəsi kimi istifadə olunur.

Təsvir [ | ]

Təkmilləşdirmələr[ | ]

Qradiyent enmə üsulu dərə boyu hərəkət edərkən çox yavaş olur və dəyişənlərin sayı artdıqca məqsəd funksiyası Metodun bu davranışı tipik olur. Bu fenomenlə mübarizə aparmaq üçün, mahiyyəti çox sadə olan istifadə olunur. Qradiyentin iki addımını ataraq üç nöqtə əldə etdikdən sonra üçüncü addım birinci və üçüncü nöqtələri birləşdirən vektor istiqamətində, dərənin dibi boyunca atılmalıdır.

Kvadratlara yaxın funksiyalar üçün konjugat gradient üsulu effektivdir.

Süni neyron şəbəkələrində tətbiqi[ | ]

Qradiyent eniş metodu bəzi modifikasiyalarla perseptron təlimi üçün geniş istifadə olunur və süni neyron şəbəkələri nəzəriyyəsində geri yayılma metodu kimi tanınır. Perseptron tipli neyron şəbəkəsini öyrədərkən şəbəkənin çəki əmsallarını minimuma endirmək üçün dəyişdirmək lazımdır. orta səhv neyron şəbəkəsinin çıxışında təlim giriş məlumatlarının ardıcıllığı girişə verildikdə. Formal olaraq, gradient eniş metodundan istifadə edərək yalnız bir addım atmaq üçün (şəbəkə parametrlərində yalnız bir dəyişiklik etmək) ardıcıl olaraq bütün təlim məlumatlarını şəbəkə girişinə təqdim etmək, hər bir obyekt üçün xətanı hesablamaq lazımdır. təlim məlumatlarını öyrənin və şəbəkə əmsallarının lazımi düzəlişini hesablayın (lakin bu düzəlişi etməyin) və bütün məlumatları təqdim etdikdən sonra hər bir şəbəkə əmsalının (qradiyentin cəmi) düzəldilməsindəki məbləği hesablayın və "bir addım" əmsallarını düzəldin. . Aydındır ki, təlim məlumatlarının böyük bir dəsti ilə alqoritm olduqca yavaş işləyəcək, buna görə də praktikada şəbəkə əmsalları tez-tez hər bir təlim elementindən sonra tənzimlənir, burada gradient dəyəri yalnız bir məşqdə hesablanan xərc funksiyasının gradienti ilə yaxınlaşır. element. Bu üsul deyilir stokastik gradient eniş və ya əməliyyat gradient enişi . Stokastik gradient eniş stokastik yaxınlaşmanın bir formasıdır. Stokastik yaxınlaşmalar nəzəriyyəsi stoxastik qradiyentin enmə metodunun yaxınlaşması üçün şərait yaradır.

Bağlantılar [ | ]

• J. Mathews.Ən dik eniş və ya qradient metodu üçün modul. (əlçatmaz link)

Ədəbiyyat [ | ]

• Akuliç I. L. Nümunələr və məsələlərdə riyazi proqramlaşdırma. - M.: Ali məktəb, 1986. - S. 298-310.
• Gill F., Murray W., Wright M. Praktiki optimallaşdırma = Praktiki optimallaşdırma. - M.: Mir, 1985.
• Korşunov M., Korşunov M. Kibernetikanın riyazi əsasları. - M.: Energoatomizdat, 1972.
• Maksimov A., Fillipovskaya E. A. Qeyri-xətti proqramlaşdırma məsələlərinin həlli üçün alqoritmlər. - M.: MEPhI, 1982.
• Maksimov A. Xətti və diskret proqramlaşdırma üçün alqoritmlər. - M.: MEPhI, 1980.
• Korn G., Korn T. Alimlər və mühəndislər üçün riyaziyyat kitabçası. - M.: Nauka, 1970. - S. 575-576.
• S. Yu. Gorodetsky, V. A. Grishagin. Qeyri-xətti proqramlaşdırma və multiekstremal optimallaşdırma. - Nijni Novqorod: Nijni Novqorod Universitetinin nəşriyyatı, 2007. - s.357-363.

Ən dik enmə üsulu dəyişən addımlı qradiyent metoddur. Hər bir təkrarlamada f(x) funksiyasının enmə istiqamətində minimumunun şərtindən addım ölçüsü k seçilir, yəni.

Bu şərt o deməkdir ki, f (x) funksiyasının qiyməti azaldıqca antiqradiyent boyunca hərəkət baş verir. Riyazi nöqteyi-nəzərdən hər iterasiyada funksiya ilə birölçülü minimuma endirmə problemini həll etmək lazımdır.

()=f (x (k) -f (x (k))))

Bunun üçün qızıl nisbət metodundan istifadə edək.

Ən dik eniş metodunun alqoritmi aşağıdakı kimidir.

X (0) başlanğıc nöqtəsinin koordinatları müəyyən edilir.

x (k) , k = 0, 1, 2, ... nöqtəsində f (x (k)) qradiyenti hesablanır.

Addım ölçüsü k funksiyadan istifadə edərək birölçülü minimuma endirməklə müəyyən edilir

()=f (x (k) -f (x (k)))).

x (k) nöqtəsinin koordinatları müəyyən edilir:

x i (k+1) = x i (k) - k f i (x (k)), i=1, …, n.

İterativ prosesin dayandırılması şərti yoxlanılır:

||f (x (k +1))|| .

Əgər yerinə yetirilərsə, o zaman hesablamalar dayanır. Əks halda, biz 1-ci addıma keçirik. Ən dik eniş metodunun həndəsi şərhi Şek. 1.

düyü. 2.1. Ən dik eniş metodunun blok diaqramı.

Proqramda metodun tətbiqi:

Ən dik eniş üsulu.

düyü. 2.2. Ən dik eniş metodunun həyata keçirilməsi.

Nəticə: Bizim vəziyyətimizdə metod 7 iterasiyada birləşdi. A7 nöqtəsi (0,6641; -1,3313) ekstremal nöqtədir. Konjugat istiqamətlər üsulu. Kvadrat funksiyalar üçün, yaxınlaşma vaxtının sonlu və n dəyişənlərinin sayına bərabər olacağı qradiyent metodu yarada bilərsiniz.

Müəyyən bir istiqaməti çağıraq və bəzi müsbət müəyyən Hess matrisi H ilə bağlı konyuqasiya edək, əgər:

Beləliklə, H vahidi üçün konyuqasiya istiqaməti onların perpendikulyar olduğunu bildirir. Ümumi halda, H qeyri-trivialdır. IN ümumi hal konyuqalıq Hess matrisinin vektora tətbiqidir - bu vektorun müəyyən bucaqla fırlanması, onun uzanması və ya sıxılması deməkdir.

İndi vektor ortoqonaldır, yəni konyuqalıq vektorun ortoqonallığı deyil, fırlanan vektorun ortoqonallığıdır.e.i.

düyü. 2.3. Konjugat istiqamətləri metodunun blok diaqramı.

Metodun proqramda həyata keçirilməsi: Konjugat istiqamətlər metodu.

düyü. 2.4. Konjugat istiqamətlər metodunun həyata keçirilməsi.

düyü. 2.5. Birləşmə istiqamətləri metodunun qrafiki.

Nəticə: A3 nöqtəsi (0,6666; -1,3333) 3 təkrarda tapılıb və ekstremum nöqtəsidir.

3. Məhdudiyyətlər olduqda funksiyanın minimum və maksimum qiymətinin təyini üsullarının təhlili

Bunu xatırladaq ümumi vəzifəşərti optimallaşdırma belə görünür

f(x) ® min, x О W,

burada W R m-nin müvafiq alt çoxluğudur. Bərabərlik tipli məhdudiyyətləri olan problemlərin alt sinfi  çoxluğunun formanın məhdudiyyətləri ilə müəyyən edilməsi ilə fərqlənir.

f i (x) = 0, burada f i: R m ®R (i = 1, …, k).

Beləliklə,W = (x О R m: f i (x) = 0, i = 1, …, k).

f funksiyası üçün “0” indeksini yazmaq bizə rahat olacaq. Beləliklə, bərabərlik tipli məhdudiyyətlərlə optimallaşdırma problemi kimi yazılır

f 0 (x) ® dəq, (3.1)

f i (x) = 0, i = 1, …, k. (3.2)

Əgər indi koordinat qeydi f(x) = (f 1 (x), ..., f k (x)) formasına malik olan R k-də qiymətlərlə R m-də f funksiyası ilə işarə etsək, onda ( 3.1)–(3.2) şəklində də yaza bilərik

f 0 (x) ® min, f(x) = Q.

Həndəsi cəhətdən bərabərlik tipli məhdudiyyətlər problemi  manifoldu üzərində f 0 funksiyasının qrafikinin ən aşağı nöqtəsinin tapılması məsələsidir (bax. Şəkil 3.1).

Bütün məhdudiyyətləri ödəyən nöqtələr (yəni,  dəstindəki nöqtələr) adətən məqbul adlanır. İcazə verilən x* nöqtəsi f i (x) = 0, i = 1, ..., k (və ya (3.1)–(3.2) məsələsinin həlli) məhdudiyyətləri altında f 0 funksiyasının şərti minimumu adlanır, əgər bütün yol verilən ballar üçün x f 0 (x *)  f 0 (x). (3.3)

Əgər (3.3) yalnız x* nöqtəsinin bəzi V x * məhəlləsində yatan icazə verilən x üçün təmin edilirsə, onda biz yerli şərti minimumdan danışırıq. Şərti ciddi yerli və qlobal minimumlar anlayışları təbii şəkildə müəyyən edilir.

Qradiyent metodunun bu variantında minimuma endirmə ardıcıllığı (X k) də (2.22) qaydaya uyğun qurulur. Bununla belə, yardımçı birölçülü minimumlaşdırma məsələsinin həlli nəticəsində a k addım ölçüsü tapılır.

min(j k (a) | a>0 ), (2.27)

burada j k (a)=f(X k - a· (X k)). Beləliklə, hər bir iterasiyada antigradient istiqamətində tam eniş həyata keçirilir. Problemi (2.27) həll etmək üçün siz Bölmə 1-də təsvir olunan birölçülü axtarış metodlarından birini, məsələn, bit üzrə axtarış metodundan və ya qızıl bölmə metodundan istifadə edə bilərsiniz.

Ən dik eniş metodunun alqoritmini təsvir edək.

Addım 0. Dəqiqlik parametrini e>0 təyin edin, X 0 ОE n seçin, k=0 təyin edin.

Addım 1.(X k) tapın və göstərilən dəqiqliyə nail olmaq şərtini yoxlayın || (x k) ||£ e. Əgər qane olarsa, 3-cü addıma, əks halda 2-ci addıma keçin.

Addım 2. Problemi həll edin (2.27), yəni. k tapın. Növbəti nöqtəni tapın, k=k+1 qoyun və 1-ci addıma keçin.

Addım 3 X * = X k, f * = f(X k) qoyaraq hesablamaları tamamlayın.

Tipik nümunə

Funksiyanı minimuma endir

f(x)=x 1 2 +4x 2 2 -6x 1 -8x 2 +13; (2,28)

Əvvəlcə problemi həll edək klassiküsul. təmsil edən tənliklər sistemini yazaq zəruri şərtlərşərtsiz ekstremum

Onu həll edərək stasionar X*=(3;1) nöqtəsini alırıq. Sonra, icranı yoxlayaq kifayət qədər şərait, bunun üçün ikinci törəmələrin matrisini tapırıq

Silvestr meyarına görə bu matris "" üçün müsbət müəyyən olduğundan, tapılan X* nöqtəsi f(X) funksiyasının minimum nöqtəsidir. Minimum qiymət f *=f(X*)=0. Problemin (11) dəqiq həlli budur.

Metodun bir iterasiyasını yerinə yetirək gradient enişüçün (2.28). X 0 =(1;0) başlanğıc nöqtəsini seçək, ilkin addımı a=1 və l=0,5 parametrini təyin edək. f(X 0)=8 hesablayaq.

f(X) funksiyasının X 0 nöqtəsində qradiyenti tapılsın

(X 0)= = (2.29)

Onun koordinatlarını hesablayaraq yeni X=X 0 -a· (X 0) nöqtəsini təyin edək.

x 1 =

x 2 = (2.30)

f(X)= f(X 0 -a· (X 0))=200 hesablayaq. f(X)>f(X 0) olduğundan, a=a·l=1·0,5=0,5 qəbul edərək addımı bölürük. (2.30) x 1 =1+4a=3 düsturlarından istifadə edərək yenidən hesablayırıq; x 2 =8a=4 və f(X)=39 qiymətini tapın. Yenidən f(X)>f(X 0) olduğundan, a=a·l=0,5·0,5=0,25 təyin edərək, addım ölçüsünü daha da azaldırıq. Koordinatları x 1 =1+4·0,25=2 olan yeni nöqtəni hesablayırıq; x 2 =8·0,25=2 və bu nöqtədə funksiyanın qiyməti f(X)=5. f(X) azalma şərtindən

Metoddan istifadə edərək bir iterasiya həyata keçirək ən dik eniş eyni başlanğıc nöqtəsi olan (2.28) üçün X 0 =(1;0). Artıq tapılmış gradientdən (2.29) istifadə edərək tapırıq

X= X 0 -a· (X 0)

və j 0 (a)=f(X 0 -a· (X 0))=(4a-2) 2 +4(8a-1) 2 funksiyasını qurun. Lazımi şəraitdən istifadə edərək onu minimuma endirməklə

j 0 ¢(a)=8·(4a - 2)+64·(8a - 1)=0

addım ölçüsünün optimal qiymətini tapırıq a 0 =5/34.

Minimallaşdırma ardıcıllığının nöqtəsinin müəyyən edilməsi

X 1 = X 0 -a 0 · (X 0) .

Diferensiallanan f(x) funksiyasının nöqtədə qradiyenti Xçağırdı n-ölçülü vektor f(x) , onun komponentləri funksiyanın qismən törəmələridir f(x), nöqtəsində hesablanır X, yəni.

f"(x ) = (df(x)/dh 1 , …, df(x)/dx n) T.

Bu vektor nöqtədən keçən müstəviyə perpendikulyardır X, və funksiyanın səviyyəli səthinə toxunan f(x), bir nöqtədən keçir X.Belə səthin hər bir nöqtəsində funksiya f(x) eyni dəyəri alır. Funksiyanı müxtəlif sabit qiymətlərə bərabərləşdirərək C 0 , C 1 , ..., onun topologiyasını xarakterizə edən bir sıra səthlər əldə edirik (Şəkil 2.8).

düyü. 2.8. Qradient

Qradiyent vektoru verilmiş nöqtədə funksiyanın ən sürətli artımına yönəldilmişdir. Qradientin əksinə vektor (-f'(x)) , çağırdı anti-gradient və funksiyanın ən sürətli azalmasına yönəldilir. Minimum nöqtədə funksiyanın qradiyenti sıfırdır. Qradiyent və minimuma endirmə metodları da adlandırılan birinci dərəcəli metodlar qradiyentlərin xüsusiyyətlərinə əsaslanır. Bu üsullardan ümumi halda istifadə etmək funksiyanın lokal minimum nöqtəsini təyin etməyə imkan verir.

Aydındır ki, əlavə məlumat yoxdursa, başlanğıc nöqtəsindən X mətləbə keçmək ağıllıdır X, antigradient istiqamətində yalançı - funksiyanın ən sürətli azalması. Eniş istiqaməti kimi seçmək[r k ] anti-gradient - f'(x ) [k] X[r nöqtədə

], formanın iterativ prosesini əldə edirik X[ 1] = k+[r]-a k f"(x f'(x ) , və k > 0; r=0, 1, 2, ...

Koordinat şəklində bu proses aşağıdakı kimi yazılır:

x i [ r+1]=x i[r] - a kf(x f'(x ) /x i

i = 1, ..., n; r= 0, 1, 2,...

İterativ prosesin dayandırılması meyarı kimi ya arqumentin kiçik artımı şərtinin yerinə yetirilməsi || k+[r+l] -x[r] || <= e , либо выполнение условия малости градиента

|| f'(x[r+l] ) || <= g ,

Burada e və g kiçik miqdarlar verilir.

Göstərilən şərtlərin eyni vaxtda yerinə yetirilməsindən ibarət birləşmiş meyar da mümkündür. Gradient üsulları addım ölçüsünü seçmə üsulu ilə bir-birindən fərqlənir və k.

Sabit addımlı üsulda bütün təkrarlamalar üçün müəyyən sabit addım dəyəri seçilir. Kifayət qədər kiçik bir addım və k funksiyanın, yəni bərabərsizliyin azalmasını təmin edəcək

f(x[ r+1]) = f(x[k] - a k f'(x f'(x )) < f(x f'(x ) .

Bununla belə, bu, minimum nöqtəyə çatmaq üçün qəbuledilməz dərəcədə çox sayda təkrarlamaların aparılması ehtiyacına səbəb ola bilər. Digər tərəfdən, çox böyük bir addım funksiyada gözlənilməz artıma səbəb ola bilər və ya minimum nöqtə ətrafında salınımlara səbəb ola bilər (velosiped). Addım ölçüsünü seçmək üçün lazımi məlumatların əldə edilməsinin çətinliyi səbəbindən praktikada sabit addımları olan üsullar nadir hallarda istifadə olunur.

Qradient olanlar iterasiyaların sayı və etibarlılığı baxımından daha qənaətlidir dəyişən addım üsulları, hesablamaların nəticələrindən asılı olaraq addım ölçüsü müəyyən şəkildə dəyişdikdə. Praktikada istifadə olunan bu cür metodların variantlarını nəzərdən keçirək.

Hər iterasiyada ən dik eniş metodundan istifadə edərkən addım ölçüsü və k funksiyanın minimum şərtindən seçilir f(x) enmə istiqamətində, yəni.
f(x[r]–a k f’(x[r])) = f(x f'(x – af"(x[r])) .

Bu şərt o deməkdir ki, antiqradiyent boyunca hərəkət funksiyanın dəyəri olduğu müddətcə baş verir f(x) azalır. Riyazi nöqteyi-nəzərdən, hər iterasiyada birölçülü minimumlaşdırma problemini həll etmək lazımdır. A funksiyaları
j (a) = f(x[r]-af"(x[r])) .

Ən dik eniş metodunun alqoritmi aşağıdakı kimidir.

1. Başlanğıc nöqtəsinin koordinatlarını təyin edin X.

2. Nöqtədə X[r], k = 0, 1, 2, ... gradient dəyərini hesablayır f'(x[r]) .

3. Addım ölçüsü müəyyən edilir a k, birölçülü minimuma endirməklə A funksiyaları j (a) = f(x[r]-af"(x[r])).

4. Nöqtənin koordinatları müəyyən edilir X[X[ 1]:

x i [ X[ 1]= xi[r]– a k f’ i (x[r]), i = 1,..., s.

5. Sterasiya prosesinin dayandırılması şərtləri yoxlanılır. Onlar yerinə yetirilərsə, hesablamalar dayanır. Əks halda, 1-ci addıma keçin.

Baxılan üsulda nöqtədən hərəkət istiqaməti X[r] nöqtədə səviyyə xəttinə toxunur k+[X[ 1] (Şəkil 2.9). Eniş trayektoriyası ziqzaqdır, bitişik ziqzaqlar bir-birinə ortoqonaldır. Doğrudan da, bir addım a k ilə minimuma endirməklə seçilir A funksiyaları? (a) = f(x f'(x -af"(x[r])) . Funksiyanın minimumu üçün zəruri şərt j (a)/da = 0. Mürəkkəb bir funksiyanın törəməsini hesablayaraq, qonşu nöqtələrdə enmə istiqamətlərinin vektorlarının ortoqonallığı şərtini alırıq:

dj (a)/da = -f’(x[X[ 1]f'(x[r]) = 0.

düyü. 2.9.

Ən dik eniş metodunun həndəsi şərhi Qradient üsulları hamar qabarıq funksiyalar üçün yüksək sürətlə (həndəsi irəliləmə sürəti) minimuma yaxınlaşır. Bu cür funksiyalar ən böyük funksiyaya malikdir M və ən azı m

ikinci törəmələrin matrisinin xüsusi dəyərləri (Hessian matrisi) bir-birindən az fərqlənir, yəni matris N(x) yaxşı kondisioner. Xatırladaq ki, xüsusi dəyərlər l i, =1, …, n i

, matrislər xarakterik tənliyin kökləridir Bununla belə, praktikada, bir qayda olaraq, minimuma endirilən funksiyalar ikinci törəmələrin pis şərtlənmiş matrislərinə malikdir.<< (t/m 1). Bəzi istiqamətlər üzrə bu cür funksiyaların dəyərləri digər istiqamətlərə nisbətən daha sürətli (bəzən bir neçə miqyasda) dəyişir. Onların səviyyəli səthləri ən sadə halda güclü şəkildə uzanır (şək. 2.10), daha mürəkkəb hallarda isə əyilib yarğanlara bənzəyir. Belə xassələrə malik funksiyalar adlanır dərə.

Bu funksiyaların antigradientinin istiqaməti (bax. Şəkil 2.10) istiqamətdən minimum nöqtəyə qədər əhəmiyyətli dərəcədə kənara çıxır, bu da yaxınlaşma sürətinin yavaşlamasına səbəb olur.

düyü. 2.10. Göl funksiyası X Qradiyent üsullarının yaxınlaşma dərəcəsi də qradiyentin hesablamalarının düzgünlüyündən əhəmiyyətli dərəcədə asılıdır. Adətən minimum nöqtələrin yaxınlığında və ya yarğan vəziyyətində baş verən dəqiqlik itkisi, ümumiyyətlə, qradiyent enmə prosesinin yaxınlaşmasını poza bilər.

Yuxarıda göstərilən səbəblərə görə, problemin həllinin ilkin mərhələsində gradient üsulları tez-tez digər, daha təsirli üsullarla birlikdə istifadə olunur. Bu vəziyyətdə nöqtə

minimum nöqtədən uzaqdır və antigradient istiqamətində addımlar funksiyanın əhəmiyyətli dərəcədə azalmasına nail olmağa imkan verir.

Yuxarıda müzakirə edilən qradiyent üsulları funksiyanın minimum nöqtəsini ümumi halda yalnız sonsuz sayda təkrarlarda tapır. Konjugat gradient metodu minimuma endirilən funksiyanın həndəsəsinə daha uyğun olan axtarış istiqamətləri yaradır. Bu, onların yaxınlaşma sürətini əhəmiyyətli dərəcədə artırır və məsələn, kvadrat funksiyanı minimuma endirməyə imkan verir. f(x) = (x, Hx) + (b, x) + a simmetrik müsbət müəyyən matris ilə N funksiya dəyişənlərinin sayına bərabərdir.

Minimum nöqtənin yaxınlığında olan hər hansı bir hamar funksiya kvadrat funksiya ilə yaxşı yaxınlaşdırıla bilər, buna görə də qeyri-kvadrat funksiyaları minimuma endirmək üçün konjugat qradiyent üsulları uğurla istifadə olunur. Bu halda onlar sonlu olmağı dayandırır və iterativ olurlar. n Tərifinə görə, iki X-ölçülü vektor Və saat çağırdı birləşmiş matrisə nisbətən H matrisə nisbətən(və ya -konjugat), əgər skalyar hasil olarsa, (x Yaxşı) = 0. Budur N - ölçünün simmetrik müsbət müəyyən matrisi n X

səh. Konjugat gradient metodlarında ən əhəmiyyətli problemlərdən biri istiqamətlərin səmərəli qurulması problemidir. Fletcher-Reeves metodu bu problemi hər addımda antiqradienti dəyişdirərək həll edir[r]) -f(x istiqamətində[r], matrisə nisbətən səh Eniş istiqaməti kimi seçmək, Eniş istiqaməti kimi seçmək, ..., Eniş istiqaməti kimi seçmək[r-əvvəllər tapılmış istiqamətlərlə birləşdirilir -1]..

Əvvəlcə bu metodu minimuma endirmə problemi ilə bağlı nəzərdən keçirək Eniş istiqaməti kimi seçmək[r kvadrat funksiya

İstiqamətlər r] = -f'(x[r]) ] düsturlarla hesablanır: istiqamətində[r p[ r>= 1;

+b k-1 -l],’-konjugat), əgər skalyar hasil olarsa) .

p = - r f istiqamətində[r], Eniş istiqaməti kimi seçmək[r b dəyərlər matrisə nisbətən-1 istiqamətləri elə seçilmişdir :

(istiqamətində[r], -1] idi[- birləşmə 1])= 0.

HP

,

k-

Nəticədə, kvadrat funksiya üçün r+l] təkrarlanan minimuma endirmə prosesi formaya malikdir[r]x[[r],

=x Eniş istiqaməti kimi seçmək[r] - +a k p - birləşmə Harada enmə istiqaməti m addım; və k - addım ölçüsü. A Sonuncu funksiyanın minimum şərtindən seçilir

f(x[ r] + f(x)[r]) = f(x[r] + By [r]) .

hərəkət istiqamətində, yəni bir ölçülü minimumlaşdırma probleminin həlli nəticəsində:

a k r

ar X Kvadrat funksiya üçün istiqamətində = -f'(x) .

Fletcher-Reeves konjugat gradient metodunun alqoritmi aşağıdakı kimidir. - birləşmə 1. Nöqtədə A hesablanmışdır . 2. Açıq X[X[ 1].

m addım, yuxarıdakı düsturlardan istifadə edərək, addım müəyyən edilir f(x[r+1]) k f'(x[r+1]) .

və dövr f'(x) 3. Dəyərlər hesablanır X[r Və 4. Əgər= 0, sonra nöqtə istiqamətində[r+1] funksiyanın minimum nöqtəsidir

f(x). ölçünün simmetrik müsbət müəyyən matrisiƏks halda yeni istiqamət müəyyənləşir +l] münasibətdən və növbəti iterasiyaya keçid həyata keçirilir. Bu prosedur kvadrat funksiyanın minimumunu daha çox olmayanda tapacaqdır X addımlar. X[ölçünün simmetrik müsbət müəyyən matrisi Qeyri-kvadrat funksiyaları minimuma endirərkən Fletçer-Reeves metodu sonludan iterativ olur. Bu vəziyyətdə, sonra

Nəticədə, kvadrat funksiya üçün r+l] (s+[r]x[[r],

İstiqamətlər r] 1) 1-4-cü prosedurun təkrarlanması dəyişdirmə ilə dövri olaraq təkrarlanır[r])+ haqqında - birləşmə 1 istiqamətində[r p[ r>= 1;

+1] və hesablamalar ilə bitir, burada verilmiş ədəddir. Bu halda metodun aşağıdakı modifikasiyası istifadə olunur: k+);

f(x[ r] + = x[r]) = f(x[r] = -f'(x[r];

.

b p = -f'( a k p p = -f'(+ap Budur I ölçünün simmetrik müsbət müəyyən matrisi- çoxlu indekslər:

= (0, n, 2 p, maaş, ...) X, yəni metod hər dəfə yenilənir Eniş istiqaməti kimi seçmək = addımlar. Həndəsi məna X Konjugat gradient üsulu aşağıdakı kimidir (şəkil 2.11). Müəyyən bir başlanğıc nöqtəsindən istiqamətində enmə həyata keçirilir-f"(x X istiqamətdə funksiyanın minimum nöqtəsidir Eniş istiqaməti kimi seçmək, Bu ] anti-gradient -) vektora ortoqonal Eniş istiqaməti kimi seçmək. Sonra vektor tapılır Eniş istiqaməti kimi seçmək , matrisə nisbətən- ilə birləşmək Eniş istiqaməti kimi seçmək. Sonra, istiqamət boyunca funksiyanın minimumunu tapırıq Eniş istiqaməti kimi seçmək və s.

düyü. 2.11 . Konjugat gradient metodunda enmə trayektoriyası

Konjugat istiqamət metodları minimuma endirmə problemlərini həll etmək üçün ən təsirli üsullardan biridir. Bununla belə, qeyd etmək lazımdır ki, onlar sayma prosesində baş verən səhvlərə həssasdırlar. Çox sayda dəyişən ilə səhv o qədər arta bilər ki, proses hətta kvadratik funksiya üçün də təkrarlanmalı olacaq, yəni onun üçün proses həmişə uyğun gəlmir. ölçünün simmetrik müsbət müəyyən matrisi- çoxlu indekslər:

Ən dik eniş üsulu (ingilis ədəbiyyatında “ən dik eniş metodu”) məqsəd funksiyasının ekstremumunu (minimum və ya maksimum) müəyyən etməyə imkan verən optimallaşdırma məsələlərinin həlli üçün təkrarlanan ədədi üsuldur (birinci sıra):

real domendəki funksiya arqumentinin (nəzarət olunan parametrlər) qiymətləridir.

Baxılan metoda uyğun olaraq, məqsəd funksiyasının ekstremumu (maksimum və ya minimum) funksiyanın ən sürətli artması (azalması) istiqamətində müəyyən edilir, yəni. funksiyanın qradiyenti (anti-qradiyenti) istiqamətində. Bir nöqtədə gradient funksiyası koordinat oxlarına proyeksiyaları funksiyanın koordinatlara nisbətən qismən törəmələri olan vektordur:

burada i, j,…, n koordinat oxlarına paralel olan vahid vektorlardır.

Baza nöqtəsində gradient səthə ciddi şəkildə ortoqonaldır və onun istiqaməti funksiyanın ən sürətli artım istiqamətini, əks istiqamət (antiqradient) isə müvafiq olaraq funksiyanın ən sürətli azalması istiqamətini göstərir.

Ən dik eniş üsuludur gələcək inkişaf gradient eniş üsulu. Ümumiyyətlə, funksiyanın ekstremumunun tapılması prosesi iterativ prosedurdur və aşağıdakı kimi yazılır:

burada “+” işarəsi funksiyanın maksimumunu, “-” işarəsi isə funksiyanın minimumunu tapmaq üçün istifadə olunur;

Düsturla təyin olunan vahid istiqamət vektoru:

- gradient modulu gradient və ya antiqradient istiqamətində funksiyanın artım və ya azalma sürətini müəyyən edir:

Addım ölçüsünü təyin edən və bütün i-ci istiqamətlər üçün eyni olan sabit.

Addım ölçüsü hərəkət istiqamətində f(x) məqsəd funksiyasının minimumunun şərtindən, yəni birölçülü optimallaşdırma məsələsinin qradiyent və ya antiqradient istiqamətində həlli nəticəsində seçilir:

Başqa sözlə, addım ölçüsü bu tənliyi həll etməklə müəyyən edilir:

Beləliklə, hesablama addımı seçilir ki, hərəkət funksiya yaxşılaşana qədər həyata keçirilir və beləliklə, müəyyən bir nöqtədə ekstremuma çatır. Bu zaman axtarış istiqaməti yenidən müəyyən edilir (qradientdən istifadə etməklə) və məqsəd funksiyasının yeni optimal nöqtəsi axtarılır və s. Beləliklə, bu üsulda axtarış daha böyük addımlarla baş verir və funksiyanın qradiyenti daha az sayda nöqtədə hesablanır.

İki dəyişənli funksiya halında bu üsul aşağıdakı həndəsi şərhə malikdir: bir nöqtədən hərəkət istiqaməti nöqtədəki səviyyə xəttinə toxunur. Eniş trayektoriyası ziqzaqdır, bitişik ziqzaqlar bir-birinə ortoqonaldır. Qonşu nöqtələrdə enmə istiqamətlərinin vektorlarının ortoqonallığının şərti aşağıdakı ifadə ilə yazılır:

f(x) funksiyasının bərabər səviyyəli xəttinin qrafikində göstərilən ən dik eniş metodundan istifadə edərək ekstremum nöqtəsinə hərəkət trayektoriyası

Optimal həllin axtarışı iterativ hesablama mərhələsində (bir neçə meyar) başa çatır:

Axtarış trayektoriyası cari axtarış nöqtəsinin kiçik qonşuluğunda qalır:

Məqsəd funksiyasının artımı dəyişmir:

Məqsəd funksiyasının yerli minimum nöqtədə qradiyenti sıfır olur:

Qeyd etmək lazımdır ki, yarğan boyu hərəkət edərkən gradient eniş üsulu çox yavaş olur və məqsəd funksiyasında dəyişənlərin sayı artdıqca metodun bu davranışı xarakterik olur. Dərə çökəklikdir, onun səviyyə xətləri təxminən dəfələrlə fərqlənən yarımoxlu ellips formasına malikdir. Bir dərənin mövcudluğunda enmə trayektoriyası kiçik bir addımla ziqzaq xətti şəklini alır, bunun nəticəsində minimuma enmə sürəti xeyli yavaşlayır. Bu, bu funksiyaların antiqradientinin istiqamətinin istiqamətdən minimum nöqtəyə əhəmiyyətli dərəcədə yayınması ilə izah olunur ki, bu da hesablamada əlavə gecikməyə səbəb olur. Nəticədə alqoritm hesablama effektivliyini itirir.

Göl funksiyası

Qradiyent metodu bir çox modifikasiyaları ilə birlikdə geniş yayılmışdır və təsirli üsul tədqiq olunan obyektlərin optimal axtarışı. Qradiyent axtarışının dezavantajı (eləcə də yuxarıda müzakirə olunan üsullar) ondan istifadə edərkən funksiyanın yalnız lokal ekstremumunu aşkar etməkdir. Başqalarını tapmaq üçün yerli ekstremallar başqa başlanğıc nöqtələrindən axtarmaq lazımdır. Həm də yaxınlaşma sürəti gradient üsulları həm də qradiyent hesablamalarının düzgünlüyündən əhəmiyyətli dərəcədə asılıdır. Adətən minimum nöqtələrin yaxınlığında və ya yarğan vəziyyətində baş verən dəqiqlik itkisi, ümumiyyətlə, qradiyent enmə prosesinin yaxınlaşmasını poza bilər.

Hesablama üsulu

Addım 1: Funksiya qradiyentin hesablanması üçün analitik ifadələrin tərifi (simvolik formada)

Addım 2: İlkin yaxınlaşmanı təyin edin

Addım 3: Son axtarış istiqamətini yenidən qurmaq üçün alqoritmik prosedurun yenidən başlama zərurəti müəyyən edilir. Yenidən işə salınma nəticəsində axtarış yenidən ən sürətli enmə istiqamətində aparılır.