ढतला हुआ वंश। बिना शर्त अनुकूलन

आप ग्रेडिएंट की दिशा में सबसे अच्छे बिंदु के लिए नहीं, बल्कि वर्तमान से बेहतर किसी बिंदु के लिए भी खोज कर सकते हैं।

सभी स्थानीय अनुकूलन विधियों को लागू करना सबसे आसान है। काफ़ी है कमजोर स्थितियाँअभिसरण, लेकिन अभिसरण की दर काफी कम (रैखिक) है। ग्रेडिएंट विधि चरण का उपयोग अक्सर अन्य अनुकूलन विधियों के भाग के रूप में किया जाता है, जैसे कि फ्लेचर-रीव्स विधि।

विवरण [ | ]

सुधार[ | ]

खड्ड के साथ चलते समय और चरों की संख्या में वृद्धि के साथ ग्रेडिएंट डिसेंट विधि बहुत धीमी हो जाती है उद्देश्य समारोहविधि का यह व्यवहार विशिष्ट हो जाता है। इस घटना से निपटने के लिए इसका उपयोग किया जाता है, जिसका सार बहुत सरल है। ग्रेडिएंट डिसेंट के दो चरण बनाने और तीन बिंदु प्राप्त करने के बाद, तीसरा चरण खड्ड के तल के साथ पहले और तीसरे बिंदु को जोड़ने वाले वेक्टर की दिशा में उठाया जाना चाहिए।

द्विघात के करीब के कार्यों के लिए, संयुग्म ग्रेडिएंट विधि प्रभावी है।

कृत्रिम तंत्रिका नेटवर्क में अनुप्रयोग[ | ]

ग्रेडिएंट डिसेंट विधि, कुछ संशोधनों के साथ, परसेप्ट्रॉन प्रशिक्षण के लिए व्यापक रूप से उपयोग की जाती है और कृत्रिम तंत्रिका नेटवर्क के सिद्धांत में इसे बैकप्रॉपैगेशन विधि के रूप में जाना जाता है। परसेप्ट्रॉन-प्रकार के तंत्रिका नेटवर्क को प्रशिक्षित करते समय, नेटवर्क के भार गुणांक को बदलना आवश्यक है ताकि न्यूनतम किया जा सके औसत त्रुटितंत्रिका नेटवर्क के आउटपुट पर जब प्रशिक्षण इनपुट डेटा का एक क्रम इनपुट को आपूर्ति किया जाता है। औपचारिक रूप से, ग्रेडिएंट डिसेंट विधि (नेटवर्क मापदंडों में सिर्फ एक बदलाव करें) का उपयोग करके केवल एक कदम उठाने के लिए, नेटवर्क इनपुट में प्रशिक्षण डेटा के पूरे सेट को क्रमिक रूप से सबमिट करना, प्रत्येक ऑब्जेक्ट के लिए त्रुटि की गणना करना आवश्यक है। प्रशिक्षण डेटा और नेटवर्क गुणांक के आवश्यक सुधार की गणना करें (लेकिन यह सुधार न करें), और सभी डेटा जमा करने के बाद, प्रत्येक नेटवर्क गुणांक (ग्रेडिएंट्स का योग) के सुधार में राशि की गणना करें और गुणांक को "एक चरण" में सही करें . जाहिर है, प्रशिक्षण डेटा के एक बड़े सेट के साथ, एल्गोरिदम बेहद धीमी गति से काम करेगा, इसलिए व्यवहार में, नेटवर्क गुणांक को अक्सर प्रत्येक प्रशिक्षण तत्व के बाद समायोजित किया जाता है, जहां ग्रेडिएंट मान को लागत फ़ंक्शन के ग्रेडिएंट द्वारा अनुमानित किया जाता है, केवल एक प्रशिक्षण पर गणना की जाती है तत्व। इस विधि को कहा जाता है स्टोकेस्टिक ग्रेडिएंट डिसेंट या परिचालन ढाल वंश . स्टोकेस्टिक ग्रेडिएंट डिसेंट स्टोकेस्टिक सन्निकटन का एक रूप है। स्टोकेस्टिक सन्निकटन का सिद्धांत स्टोकेस्टिक ग्रेडिएंट डिसेंट विधि के अभिसरण के लिए स्थितियाँ प्रदान करता है।

लिंक [ | ]

• जे. मैथ्यूज.तीव्रतम अवतरण या ग्रेडिएंट विधि के लिए मॉड्यूल। (अनुपलब्ध लिंक)

साहित्य [ | ]

• अकुलिच आई. एल.उदाहरणों और समस्याओं में गणितीय प्रोग्रामिंग। - एम.: हायर स्कूल, 1986. - पी. 298-310।
• गिल एफ., मरे डब्ल्यू., राइट एम.व्यावहारिक अनुकूलन = व्यावहारिक अनुकूलन. - एम.: मीर, 1985।
• कोर्शुनोव एम., कोर्शुनोव एम.साइबरनेटिक्स की गणितीय नींव। - एम.: एनर्जोएटोमिज़डैट, 1972।
• मक्सिमोव यू., फ़िलिपोव्स्काया ई. ए.नॉनलाइनियर प्रोग्रामिंग समस्याओं को हल करने के लिए एल्गोरिदम। - एम.: एमईपीएचआई, 1982।
• मक्सिमोव यू.रैखिक और असतत प्रोग्रामिंग के लिए एल्गोरिदम। - एम.: एमईपीएचआई, 1980।
• कोर्न जी., कोर्न टी.वैज्ञानिकों और इंजीनियरों के लिए गणित की पुस्तिका। - एम.: नौका, 1970. - पी. 575-576।
• एस. यू. गोरोडेत्स्की, वी. ए. ग्रिशागिन।नॉनलाइनियर प्रोग्रामिंग और मल्टीएक्सट्रीमल ऑप्टिमाइज़ेशन। - निज़नी नावोगरट: निज़नी नोवगोरोड यूनिवर्सिटी पब्लिशिंग हाउस, 2007. - पीपी. 357-363।

सबसे तीव्र अवतरण विधि एक परिवर्तनशील चरण वाली ग्रेडिएंट विधि है। प्रत्येक पुनरावृत्ति पर, चरण आकार k को वंश की दिशा में फ़ंक्शन f(x) के न्यूनतम की स्थिति से चुना जाता है, अर्थात।

इस स्थिति का मतलब है कि एंटीग्रेडिएंट के साथ गति तब तक होती है जब तक फ़ंक्शन f (x) का मान कम हो जाता है। गणितीय दृष्टिकोण से, प्रत्येक पुनरावृत्ति पर फ़ंक्शन द्वारा एक-आयामी न्यूनतमकरण की समस्या को हल करना आवश्यक है

()=f (x (k) -f (x (k)))

आइए इसके लिए स्वर्णिम अनुपात विधि का उपयोग करें।

सबसे तीव्र अवतरण विधि का एल्गोरिदम इस प्रकार है।

प्रारंभिक बिंदु x (0) के निर्देशांक निर्दिष्ट हैं।

बिंदु x (k) , k = 0, 1, 2, ... पर, ग्रेडिएंट मान f (x (k)) की गणना की जाती है।

चरण आकार k फ़ंक्शन का उपयोग करके एक-आयामी न्यूनतमकरण द्वारा निर्धारित किया जाता है

()=f (x (k) -f (x (k))).

बिंदु x (k) के निर्देशांक निर्धारित हैं:

x i (k+1) = x i (k) - k f i (x (k)), i=1, …, n.

पुनरावृत्तीय प्रक्रिया को रोकने की स्थिति की जाँच की जाती है:

||एफ (एक्स (के +1))|| .

यदि वह पूरी हो गई तो हिसाब-किताब बंद हो जाएगा। अन्यथा, हम चरण 1 पर आगे बढ़ते हैं। सबसे तीव्र वंश विधि की ज्यामितीय व्याख्या चित्र में प्रस्तुत की गई है। 1.

चावल। 2.1. सबसे तीव्र अवतरण विधि का ब्लॉक आरेख।

कार्यक्रम में विधि का कार्यान्वयन:

तीव्रतम अवतरण की विधि.

चावल। 2.2. सबसे तीव्र अवतरण विधि का कार्यान्वयन।

निष्कर्ष: हमारे मामले में, विधि 7 पुनरावृत्तियों में परिवर्तित हुई। बिंदु A7 (0.6641; -1.3313) एक चरम बिंदु है। संयुग्मित दिशाओं की विधि. द्विघात कार्यों के लिए, आप एक ग्रेडिएंट विधि बना सकते हैं जिसमें अभिसरण समय सीमित होगा और चर n की संख्या के बराबर होगा।

आइए हम एक निश्चित दिशा को कॉल करें और कुछ सकारात्मक निश्चित हेस मैट्रिक्स एच के संबंध में संयुग्मित करें यदि:

फिर यानी इकाई एच के लिए, संयुग्म दिशा का अर्थ है उनका लंबवत। सामान्य स्थिति में, H गैर-तुच्छ है। में सामान्य मामलासंयुग्मता एक वेक्टर के लिए हेस मैट्रिक्स का अनुप्रयोग है - इसका अर्थ है इस वेक्टर को किसी कोण से घुमाना, खींचना या संपीड़ित करना।

और अब वेक्टर ऑर्थोगोनल है, यानी संयुग्मता वेक्टर की ऑर्थोगोनलिटी नहीं है, बल्कि घुमाए गए वेक्टर की ऑर्थोगोनलिटी है।

चावल। 2.3. संयुग्म दिशा विधि का ब्लॉक आरेख।

कार्यक्रम में विधि का कार्यान्वयन: संयुग्मित दिशाओं की विधि।

चावल। 2.4. संयुग्म दिशा विधि का कार्यान्वयन.

चावल। 2.5. संयुग्म दिशा विधि का ग्राफ़.

निष्कर्ष: बिंदु A3 (0.6666; -1.3333) 3 पुनरावृत्तियों में पाया गया और यह एक चरम बिंदु है।

3. प्रतिबंधों की उपस्थिति में किसी फ़ंक्शन का न्यूनतम और अधिकतम मूल्य निर्धारित करने के तरीकों का विश्लेषण

आइए हम उसे याद करें सामान्य कार्यसशर्त अनुकूलन इस तरह दिखता है

f(x) ® मिनट, x О W,

जहाँ W, R m का उचित उपसमुच्चय है। समानता-प्रकार की बाधाओं वाली समस्याओं का उपवर्ग इस तथ्य से अलग है कि सेट  को फॉर्म की बाधाओं द्वारा परिभाषित किया गया है

f i (x) = 0, जहां f i: R m ®R (i = 1, …, k)।

इस प्रकार,W = (x О R m: f i (x) = 0, i = 1, …, k)।

फ़ंक्शन f के लिए इंडेक्स "0" लिखना हमारे लिए सुविधाजनक होगा। इस प्रकार, समानता प्रकार की बाधाओं के साथ अनुकूलन समस्या को इस प्रकार लिखा गया है

एफ 0 (एक्स) ® मिनट, (3.1)

f i (x) = 0, i = 1, …, k. (3.2)

यदि हम अब R m पर एक फ़ंक्शन को R k में मानों के साथ f द्वारा निरूपित करते हैं, जिसके निर्देशांक अंकन का रूप f(x) = (f 1 (x), ..., f k (x)) है, तो ( 3.1)–(3.2) इसे हम फॉर्म में भी लिख सकते हैं

एफ 0 (एक्स) ® मिनट, एफ(एक्स) = क्यू।

ज्यामितीय रूप से, समानता प्रकार की बाधाओं वाली समस्या मैनिफोल्ड  पर फ़ंक्शन f 0 के ग्राफ़ के निम्नतम बिंदु को खोजने की समस्या है (चित्र 3.1 देखें)।

वे अंक जो सभी प्रतिबंधों को पूरा करते हैं (अर्थात, सेट में अंक ) आमतौर पर स्वीकार्य कहलाते हैं। एक स्वीकार्य बिंदु x* को बाधाओं f i (x) = 0, i = 1, ..., k (या समस्या का समाधान (3.1)–(3.2)) के तहत फ़ंक्शन f 0 का एक सशर्त न्यूनतम कहा जाता है, यदि सभी स्वीकार्य बिंदुओं के लिए x f 0 (x *)  f 0 (x)। (3.3)

यदि (3.3) केवल बिंदु x* के कुछ पड़ोस V x * में स्थित स्वीकार्य x के लिए संतुष्ट है, तो हम स्थानीय सशर्त न्यूनतम की बात करते हैं। सशर्त सख्त स्थानीय और वैश्विक न्यूनतम की अवधारणाओं को प्राकृतिक तरीके से परिभाषित किया गया है।

ग्रेडिएंट विधि के इस संस्करण में, न्यूनतम अनुक्रम (X k) का निर्माण भी नियम (2.22) के अनुसार किया जाता है। हालाँकि, चरण आकार ak सहायक एक-आयामी न्यूनीकरण समस्या को हल करने के परिणामस्वरूप पाया जाता है

मिनट(जे के (ए) | ए>0 ), (2.27)

जहाँ j k (a)=f(X k - a· (X k)). इस प्रकार, प्रत्येक पुनरावृत्ति पर प्रतिगामी की दिशा में एक विस्तृत अवतरण किया जाता है। समस्या (2.27) को हल करने के लिए, आप अनुभाग 1 में वर्णित एक-आयामी खोज विधियों में से एक का उपयोग कर सकते हैं, उदाहरण के लिए, बिटवाइज़ खोज विधि या गोल्डन सेक्शन विधि।

आइए हम सबसे तेज अवतरण विधि के एल्गोरिदम का वर्णन करें।

चरण 0.सटीकता पैरामीटर e>0 सेट करें, X 0 ОE n चुनें, k=0 सेट करें।

स्टेप 1।(X k) ढूंढें और निर्दिष्ट सटीकता प्राप्त करने के लिए स्थिति की जांच करें || (एक्स के) ||£ ई। यदि यह संतुष्ट है, तो चरण 3 पर जाएँ, अन्यथा - चरण 2 पर।

चरण दो।समस्या हल करें (2.27), अर्थात एक k खोजें अगला बिंदु ढूंढें, k=k+1 लगाएं और चरण 1 पर जाएं।

चरण 3 X * = X k, f * = f(X k) डालकर गणना पूरी करें।

विशिष्ट उदाहरण

फ़ंक्शन को न्यूनतम करें

f(x)=x 1 2 +4x 2 2 -6x 1 -8x 2 +13; (2.28)

आइए पहले समस्या का समाधान करें क्लासिकतरीका। आइए हम प्रतिनिधित्व करने वाले समीकरणों की एक प्रणाली लिखें आवश्यक शर्तेंबिना शर्त चरम

इसे हल करने पर, हमें एक स्थिर बिंदु X*=(3;1) प्राप्त होता है। अगला, आइए निष्पादन की जाँच करें पर्याप्त स्थिति, जिसके लिए हम दूसरे डेरिवेटिव का मैट्रिक्स पाते हैं

चूंकि, सिल्वेस्टर मानदंड के अनुसार, यह मैट्रिक्स "के लिए सकारात्मक निश्चित है, तो पाया गया बिंदु X* फ़ंक्शन f(X) का न्यूनतम बिंदु है। न्यूनतम मान f *=f(X*)=0. यह समस्या (11) का सटीक समाधान है।

आइए विधि का एक पुनरावृत्ति करें ढतला हुआ वंश(2.28) के लिए. आइए प्रारंभिक बिंदु X 0 =(1;0) चुनें, प्रारंभिक चरण a=1 और पैरामीटर l=0.5 सेट करें। आइए f(X 0)=8 की गणना करें।

आइए बिंदु X 0 पर फ़ंक्शन f(X) का ग्रेडिएंट ज्ञात करें

(एक्स 0)= = (2.29)

आइए इसके निर्देशांक की गणना करके एक नए बिंदु X=X 0 -a· (X 0) को परिभाषित करें

एक्स 1 =

एक्स 2 = (2.30)

आइए f(X)= f(X 0 -a· (X 0))=200 की गणना करें। चूँकि f(X)>f(X 0), हम a=a·l=1·0.5=0.5 मानकर चरण को विभाजित करते हैं। हम सूत्र (2.30) x 1 =1+4a=3 का उपयोग करके फिर से गणना करते हैं; x 2 =8a=4 और मान ज्ञात करें f(X)=39. चूँकि f(X)>f(X 0) फिर से, हम चरण आकार को और कम करते हैं, a=al·l=0.5·0.5=0.25 सेट करते हैं। हम निर्देशांक x 1 =1+4·0.25=2 के साथ एक नए बिंदु की गणना करते हैं; x 2 =8·0.25=2 और इस बिंदु पर फ़ंक्शन का मान f(X)=5. चूँकि f(X) घटने की शर्त

आइए विधि का उपयोग करके एक पुनरावृत्ति निष्पादित करें तेज वंश(2.28) के लिए समान प्रारंभिक बिंदु X 0 =(1;0) के साथ। पहले से पाए गए ग्रेडिएंट (2.29) का उपयोग करते हुए, हम पाते हैं

एक्स= एक्स 0 -ए· (एक्स 0)

और फ़ंक्शन j 0 (a)=f(X 0 -a· (X 0))=(4a-2) 2 +4(8a-1) 2 का निर्माण करें। आवश्यक शर्तों का उपयोग करके इसे कम करें

जे 0 ¢(ए)=8·(4ए - 2)+64·(8ए - 1)=0

हम चरण आकार का इष्टतम मान 0 =5/34 पाते हैं।

न्यूनतम अनुक्रम का बिंदु निर्धारित करना

एक्स 1 = एक्स 0 -ए 0 · (एक्स 0) .

बिंदु पर अवकलनीय फ़ंक्शन f(x) का ग्रेडिएंट एक्सबुलाया एन-आयामी वेक्टर एफ(एक्स) , जिसके घटक फ़ंक्शन के आंशिक व्युत्पन्न हैं एफ(एक्स),बिंदु पर गणना की गई एक्स, अर्थात।

एफ"(एक्स ) = (df(x)/घ 1 , …, डीएफ(x)/डीएक्स एन) टी .

यह वेक्टर बिंदु से गुजरने वाले तल पर लंबवत है एक्स, और फ़ंक्शन की समतल सतह पर स्पर्शरेखा एफ(एक्स),एक बिंदु से गुजरना एक्सऐसी सतह के प्रत्येक बिंदु पर कार्य एफ(एक्स)समान मान लेता है. फ़ंक्शन को विभिन्न स्थिर मानों C 0 , C 1 , ... के बराबर करने पर, हम इसकी टोपोलॉजी को चिह्नित करने वाली सतहों की एक श्रृंखला प्राप्त करते हैं (चित्र 2.8)।

चावल। 2.8. ढाल

ग्रेडिएंट वेक्टर को किसी दिए गए बिंदु पर फ़ंक्शन में सबसे तेज़ वृद्धि की दिशा में निर्देशित किया जाता है। ग्रेडिएंट के विपरीत वेक्टर (-f'(x)) , बुलाया विरोधी ढालऔर फ़ंक्शन की सबसे तेज़ कमी की ओर निर्देशित है। न्यूनतम बिंदु पर, फ़ंक्शन का ग्रेडिएंट शून्य है। प्रथम-क्रम विधियाँ, जिन्हें ग्रेडिएंट और मिनिमाइज़ेशन विधियाँ भी कहा जाता है, ग्रेडिएंट्स के गुणों पर आधारित हैं। सामान्य स्थिति में इन विधियों का उपयोग करने से आप किसी फ़ंक्शन का स्थानीय न्यूनतम बिंदु निर्धारित कर सकते हैं।

जाहिर है, अगर कोई अतिरिक्त जानकारी नहीं है, तो शुरुआती बिंदु से एक्समुद्दे पर जाना बुद्धिमानी है एक्स, एंटीग्रेडिएंट की दिशा में झूठ बोलना - फ़ंक्शन की सबसे तेज़ कमी। अवतरण की दिशा के रूप में चयन करना आर[क] विरोधी ढाल - एफ'(एक्स[क] ) बिंदु पर एक्स[क], हम प्रपत्र की एक पुनरावृत्तीय प्रक्रिया प्राप्त करते हैं

एक्स[ क+ 1] = एक्स[क]-ए के एफ"(x[क] ) , और के > 0; क=0, 1, 2, ...

समन्वय रूप में, यह प्रक्रिया इस प्रकार लिखी गई है:

एक्स मैं [ क+1]=एक्स मैं[क] - एक कएफ(एक्स[क] ) /x मैं

मैं = 1, ..., एन; क= 0, 1, 2,...

पुनरावृत्ति प्रक्रिया को रोकने के लिए एक मानदंड के रूप में, या तो तर्क की छोटी वृद्धि की शर्त को पूरा करना || एक्स[क+एल] - एक्स[क] || <= e , либо выполнение условия малости градиента

|| एफ'(एक्स[क+एल] ) || <= g ,

यहां e और g को छोटी मात्रा दी गई है।

एक संयुक्त मानदंड भी संभव है, जिसमें निर्दिष्ट शर्तों की एक साथ पूर्ति शामिल है। चरण आकार चुनने के तरीके में ग्रेडिएंट विधियाँ एक दूसरे से भिन्न होती हैं और के.

स्थिर चरण वाली विधि में, सभी पुनरावृत्तियों के लिए एक निश्चित स्थिर चरण मान चुना जाता है। बहुत छोटा कदम है और केयह सुनिश्चित करेगा कि फ़ंक्शन कम हो जाए, यानी असमानता

एफ(एक्स[ क+1]) = एफ(एक्स[क] - ए के एफ'(x[क] )) < एफ(एक्स[क] ) .

हालाँकि, इससे न्यूनतम बिंदु तक पहुँचने के लिए अस्वीकार्य रूप से बड़ी संख्या में पुनरावृत्तियों को करने की आवश्यकता हो सकती है। दूसरी ओर, बहुत बड़ा कदम फ़ंक्शन में अप्रत्याशित वृद्धि का कारण बन सकता है या न्यूनतम बिंदु (चक्रण) के आसपास दोलन का कारण बन सकता है। चरण आकार का चयन करने के लिए आवश्यक जानकारी प्राप्त करने की कठिनाई के कारण, अभ्यास में निरंतर चरणों वाली विधियों का उपयोग शायद ही कभी किया जाता है।

पुनरावृत्तियों की संख्या और विश्वसनीयता के मामले में ग्रेडिएंट वाले अधिक किफायती होते हैं परिवर्तनीय चरण विधियाँ,जब, गणना के परिणामों के आधार पर, चरण का आकार किसी तरह से बदल जाता है। आइए व्यवहार में उपयोग की जाने वाली ऐसी विधियों के प्रकारों पर विचार करें।

प्रत्येक पुनरावृत्ति पर सबसे तेज वंश विधि का उपयोग करते समय, चरण का आकार और केफ़ंक्शन की न्यूनतम स्थिति से चुना गया है एफ(एक्स)वंश की दिशा में, यानी
एफ(एक्स[क]-a k f'(x[क])) = एफ(एक्स[क] – एफ़"(x[क])) .

इस स्थिति का मतलब है कि एंटीग्रेडिएंट के साथ गति तब तक होती है जब तक फ़ंक्शन का मान होता है एफ(एक्स)घट जाती है. गणितीय दृष्टिकोण से, प्रत्येक पुनरावृत्ति के अनुसार एक-आयामी न्यूनीकरण की समस्या को हल करना आवश्यक है एकार्य
जे (ए) = एफ(एक्स[क]-एएफ"(x[क])) .

सबसे तीव्र अवतरण विधि का एल्गोरिदम इस प्रकार है।

1. प्रारंभिक बिंदु के निर्देशांक निर्धारित करें एक्स.

2. बिंदु पर एक्स[क], क = 0, 1, 2, ... ग्रेडिएंट मान की गणना करता है एफ'(एक्स[क]) .

3. चरण का आकार निर्धारित किया जाता है ए k, एक-आयामी न्यूनीकरण द्वारा एकार्य जे (ए) = एफ(एक्स[क]-एएफ"(x[क])).

4. बिंदु के निर्देशांक निर्धारित किये जाते हैं एक्स[क+ 1]:

एक्स मैं [ क+ 1]= एक्स मैं[क]- ए के एफ' आई (एक्स[क]), मैं = 1,..., पी.

5. स्टेरेशन प्रक्रिया को रोकने की शर्तों की जाँच की जाती है। यदि वे पूरे हो जाएं तो हिसाब-किताब बंद हो जाता है। अन्यथा, चरण 1 पर जाएँ.

विचाराधीन विधि में, बिंदु से गति की दिशा एक्स[क] बिंदु पर स्तर रेखा को छूता है एक्स[क+ 1] (चित्र 2.9)। वंश प्रक्षेपवक्र ज़िगज़ैग है, जिसमें आसन्न ज़िगज़ैग लिंक एक दूसरे से ऑर्थोगोनल हैं। सचमुच, एक कदम ए k को न्यूनतम करके चुना जाता है एकार्य? (ए) = एफ(एक्स[क] -एएफ"(x[क])) . किसी फ़ंक्शन के न्यूनतम होने के लिए आवश्यक शर्त डीजे (ए)/डीए = 0.एक जटिल फ़ंक्शन के व्युत्पन्न की गणना करने के बाद, हम पड़ोसी बिंदुओं पर वंश दिशाओं के वैक्टर की ऑर्थोगोनलिटी के लिए शर्त प्राप्त करते हैं:

डीजे (ए)/डीए = -एफ'(एक्स[क+ 1]एफ'(एक्स[क]) = 0.

चावल। 2.9. सबसे तीव्र अवतरण विधि की ज्यामितीय व्याख्या

सुचारू उत्तल कार्यों के लिए ग्रेडिएंट विधियाँ उच्च दर (ज्यामितीय प्रगति दर) पर न्यूनतम में परिवर्तित होती हैं। ऐसे कार्य सबसे महान होते हैं एमऔर कम से कम एमदूसरे डेरिवेटिव के मैट्रिक्स के eigenvalues ​​(हेस्सियन मैट्रिक्स)

एक दूसरे से थोड़ा भिन्न, यानी मैट्रिक्स एन(एक्स)अच्छी तरह से वातानुकूलित. याद रखें कि eigenvalues ​​​​l i, मैं =1, …, एन, मैट्रिक्स विशेषता समीकरण की जड़ें हैं

हालाँकि, व्यवहार में, एक नियम के रूप में, जिन कार्यों को कम किया जा रहा है उनमें दूसरे डेरिवेटिव के खराब स्थिति वाले मैट्रिक्स हैं (टी/एम<< 1). कुछ दिशाओं में ऐसे कार्यों के मान अन्य दिशाओं की तुलना में बहुत तेजी से (कभी-कभी परिमाण के कई आदेशों द्वारा) बदलते हैं। सरलतम मामले में उनकी समतल सतहें अत्यधिक लम्बी होती हैं (चित्र 2.10), और अधिक जटिल मामलों में वे झुकती हैं और खड्डों की तरह दिखती हैं। ऐसे गुणों वाले फ़ंक्शन को कॉल किया जाता है नाली.इन कार्यों के प्रतिगामी की दिशा (चित्र 2.10 देखें) दिशा से न्यूनतम बिंदु तक महत्वपूर्ण रूप से विचलित हो जाती है, जिससे अभिसरण की गति धीमी हो जाती है।

चावल। 2.10. गली समारोह

ग्रेडिएंट विधियों की अभिसरण दर भी ग्रेडिएंट गणना की सटीकता पर महत्वपूर्ण रूप से निर्भर करती है। सटीकता का नुकसान, जो आमतौर पर न्यूनतम बिंदुओं के आसपास या नाली की स्थिति में होता है, आमतौर पर ग्रेडिएंट डिसेंट प्रक्रिया के अभिसरण को बाधित कर सकता है। उपरोक्त कारणों से, किसी समस्या को हल करने के प्रारंभिक चरण में ग्रेडिएंट विधियों का उपयोग अक्सर अन्य, अधिक प्रभावी तरीकों के साथ संयोजन में किया जाता है। इस मामले में, बात एक्सन्यूनतम बिंदु से बहुत दूर है, और एंटीग्रेडिएंट की दिशा में कदम फ़ंक्शन में महत्वपूर्ण कमी हासिल करना संभव बनाते हैं।

ऊपर चर्चा की गई ग्रेडिएंट विधियां सामान्य स्थिति में केवल अनंत संख्या में पुनरावृत्तियों में किसी फ़ंक्शन का न्यूनतम बिंदु ढूंढती हैं। संयुग्मित ग्रेडिएंट विधि खोज दिशा-निर्देश उत्पन्न करती है जो न्यूनतम किए जा रहे फ़ंक्शन की ज्यामिति के साथ अधिक सुसंगत होती है। यह उनके अभिसरण की गति को महत्वपूर्ण रूप से बढ़ाता है और, उदाहरण के लिए, द्विघात फ़ंक्शन को कम करने की अनुमति देता है

एफ(एक्स) = (एक्स, एचएक्स) + (बी, एक्स) + ए

एक सममित सकारात्मक निश्चित मैट्रिक्स के साथ एनचरणों की एक सीमित संख्या में पी,फ़ंक्शन चर की संख्या के बराबर। न्यूनतम बिंदु के आसपास के किसी भी सुचारू कार्य को द्विघात फ़ंक्शन द्वारा अच्छी तरह से अनुमानित किया जा सकता है, इसलिए गैर-द्विघात कार्यों को कम करने के लिए संयुग्म ग्रेडिएंट विधियों का सफलतापूर्वक उपयोग किया जाता है। इस मामले में, वे परिमित होना बंद कर देते हैं और पुनरावृत्त हो जाते हैं।

परिभाषा के अनुसार, दो एन-आयामी वेक्टर एक्सऔर परबुलाया संयुग्मितमैट्रिक्स के सापेक्ष एच(या एच-संयुग्म), यदि अदिश गुणनफल (एक्स, खैर) = 0.यहाँ एन -आकार का सममित सकारात्मक निश्चित मैट्रिक्स पीएक्स पी।

संयुग्मित ढाल विधियों में सबसे महत्वपूर्ण समस्याओं में से एक दिशाओं के कुशलतापूर्वक निर्माण की समस्या है। फ्लेचर-रीव्स विधि प्रत्येक चरण पर एंटीग्रेडिएंट को परिवर्तित करके इस समस्या को हल करती है -एफ(एक्स[क]) दिशा में पी[क], एच-पहले से मिले निर्देशों के साथ संयुग्मित करें आर, आर, ..., आर[क-1]. आइए पहले न्यूनतमकरण समस्या के संबंध में इस विधि पर विचार करें.

द्विघात फंक्शन आर[कदिशा-निर्देश

] की गणना सूत्रों का उपयोग करके की जाती है: क] = -एफ'(एक्स[क]) पी[ पी[क+बी के-1 क>= 1;

-एल], पी = -’(एक्स) .

एफ कबी मान पी[क], आर[क-1 को इसलिए चुना जाता है ताकि दिशा-निर्देश एच-1] थे :

(पी[क], -संयुग्म[हिमाचल प्रदेश 1])= 0.

क-

,

परिणामस्वरूप, द्विघात फलन के लिए

पुनरावृत्त न्यूनतमकरण प्रक्रिया का रूप है क+एल] एक्स[[क]=x[क],

+एके पी आर[क] - कहाँ हिमाचल प्रदेशउतरने की दिशा एम कदम;और के - चरण आकार।बाद वाले को फ़ंक्शन की न्यूनतम स्थिति से चुना जाता है एएफ(एक्स)

एफ(एक्स[ क] + द्वारा[क]) = एफ(एक्स[क] + गति की दिशा में, अर्थात् एक-आयामी न्यूनीकरण समस्या को हल करने के परिणामस्वरूप: [क]) .

एके आर

एआर

द्विघात फलन के लिए एक्सफ्लेचर-रीव्स संयुग्म ग्रेडिएंट विधि का एल्गोरिदम इस प्रकार है। पी = -एफ'(एक्स) .

1. बिंदु पर हिमाचल प्रदेशगणना ए 2. पर . एम चरण, उपरोक्त सूत्रों का उपयोग करके, चरण निर्धारित किया जाता है एक्स[क+ 1].

क एफ(एक्स[क+1]) और अवधि एफ'(एक्स[क+1]) .

3. मानों की गणना की जाती है एफ'(एक्स) और एक्स[क 4. यदि = 0, तो बिंदु+1] फ़ंक्शन का न्यूनतम बिंदु है पी[कएफ(एक्स).

अन्यथा, एक नई दिशा निर्धारित होती है पी+l] संबंध से और अगले पुनरावृत्ति में संक्रमण किया जाता है। इस प्रक्रिया से किसी द्विघात फलन का न्यूनतम मान इससे अधिक नहीं मिलेगाकदम। एक्सगैर-द्विघात कार्यों को न्यूनतम करते समय, फ्लेचर-रीव्स विधि परिमित से पुनरावृत्त हो जाती है। इस मामले में, बाद में एक्स[पी(पी+

पुनरावृत्त न्यूनतमकरण प्रक्रिया का रूप है क+एल] 1) प्रक्रिया 1-4 की पुनरावृत्ति को प्रतिस्थापन के साथ चक्रीय रूप से दोहराया जाता है[क]=x[क],

] की गणना सूत्रों का उपयोग करके की जाती है: क] पर[क])+ +1], और गणना पर समाप्त होती है, जहां दी गई संख्या है। इस मामले में, विधि के निम्नलिखित संशोधन का उपयोग किया जाता है: हिमाचल प्रदेश 1 पी[क+बी के-1 क>= 1;

= एक्स एक्स);

एफ(एक्स[ क] + = -f'(x[क]) = एफ(एक्स[क] बी[क];

.

पी = -एफ'( एके पी+एपी एके पीयहाँ मैं- कई सूचकांक: पी= (0, एन, 2

पी, वेतन, ...), यानी विधि हर बार अद्यतन की जाती है एक्सकदम। आर = ज्यामितीय अर्थसंयुग्मी ढाल विधि इस प्रकार है (चित्र 2.11)। किसी दिए गए शुरुआती बिंदु से एक्सवंश दिशा में किया जाता है -एफ"(एक्स). बिंदु पर एक्सदिशा में फ़ंक्शन का न्यूनतम बिंदु है आर, वह एफ'(एक्स) ऑर्थोगोनल से वेक्टर आर. तब वेक्टर पाया जाता है आर , एच-संयुग्मित करें आर. इसके बाद, हम दिशा के अनुदिश फ़ंक्शन का न्यूनतम पता लगाते हैं आरवगैरह।

चावल। 2.11 . संयुग्मी ढाल विधि में अवतरण प्रक्षेपवक्र

न्यूनतमकरण समस्याओं को हल करने के लिए संयुग्म दिशा विधियाँ सबसे प्रभावी हैं। हालाँकि, यह ध्यान दिया जाना चाहिए कि वे गिनती प्रक्रिया के दौरान होने वाली त्रुटियों के प्रति संवेदनशील हैं। बड़ी संख्या में चरों के साथ, त्रुटि इतनी बढ़ सकती है कि प्रक्रिया को द्विघात फलन के लिए भी दोहराना होगा, अर्थात इसके लिए प्रक्रिया हमेशा फिट नहीं होती है पी= (0, एन, 2

सबसे तेज वंश विधि (अंग्रेजी साहित्य में "सबसे तेज वंश की विधि") अनुकूलन समस्याओं को हल करने के लिए एक पुनरावृत्त संख्यात्मक विधि (पहला क्रम) है, जो आपको उद्देश्य फ़ंक्शन के चरम (न्यूनतम या अधिकतम) को निर्धारित करने की अनुमति देती है:

वास्तविक डोमेन पर फ़ंक्शन तर्क (नियंत्रित पैरामीटर) के मान हैं।

विचाराधीन विधि के अनुसार, उद्देश्य फ़ंक्शन का चरम (अधिकतम या न्यूनतम) फ़ंक्शन की सबसे तेज़ वृद्धि (कमी) की दिशा में निर्धारित किया जाता है, अर्थात। फ़ंक्शन के ग्रेडिएंट (एंटी-ग्रेडिएंट) की दिशा में। एक बिंदु पर ग्रेडिएंट फ़ंक्शन एक वेक्टर है जिसके निर्देशांक अक्षों पर प्रक्षेपण निर्देशांक के संबंध में फ़ंक्शन के आंशिक व्युत्पन्न हैं:

जहां i, j,…, n निर्देशांक अक्षों के समानांतर इकाई सदिश हैं।

आधार बिंदु पर ढाल सतह पर सख्ती से ऑर्थोगोनल है, और इसकी दिशा फ़ंक्शन में सबसे तेज़ वृद्धि की दिशा दिखाती है, और विपरीत दिशा (एंटीग्रेडिएंट), क्रमशः, फ़ंक्शन की सबसे तेज़ कमी की दिशा दिखाती है।

सबसे तीव्र अवतरण विधि है इससे आगे का विकासग्रेडिएंट डिसेंट विधि. सामान्य तौर पर, किसी फ़ंक्शन के चरम को खोजने की प्रक्रिया एक पुनरावृत्तीय प्रक्रिया है, जिसे इस प्रकार लिखा गया है:

जहां "+" चिह्न का उपयोग किसी फ़ंक्शन का अधिकतम पता लगाने के लिए किया जाता है, और "-" चिह्न का उपयोग किसी फ़ंक्शन का न्यूनतम खोजने के लिए किया जाता है;

इकाई दिशा वेक्टर, जो सूत्र द्वारा निर्धारित किया जाता है:

- ग्रेडिएंट मॉड्यूल ग्रेडिएंट या एंटी-ग्रेडिएंट की दिशा में फ़ंक्शन की वृद्धि या कमी की दर निर्धारित करता है:

एक स्थिरांक जो चरण आकार निर्धारित करता है और सभी i-वें दिशाओं के लिए समान है।

चरण आकार का चयन गति की दिशा में उद्देश्य फ़ंक्शन f(x) के न्यूनतम की स्थिति से किया जाता है, अर्थात, ग्रेडिएंट या एंटीग्रेडिएंट की दिशा में एक-आयामी अनुकूलन समस्या को हल करने के परिणामस्वरूप:

दूसरे शब्दों में, चरण का आकार इस समीकरण को हल करके निर्धारित किया जाता है:

इस प्रकार, गणना चरण को इस प्रकार चुना जाता है कि कार्य में सुधार होने तक गति जारी रहती है, इस प्रकार किसी बिंदु पर चरम सीमा तक पहुंच जाता है। इस बिंदु पर, खोज दिशा फिर से निर्धारित की जाती है (ग्रेडिएंट का उपयोग करके) और उद्देश्य फ़ंक्शन का एक नया इष्टतम बिंदु मांगा जाता है, आदि। इस प्रकार, इस पद्धति में, खोज बड़े चरणों में होती है, और फ़ंक्शन के ग्रेडिएंट की गणना कम संख्या में बिंदुओं पर की जाती है।

दो चर वाले फ़ंक्शन के मामले में यह विधिइसकी निम्नलिखित ज्यामितीय व्याख्या है: एक बिंदु से गति की दिशा बिंदु पर स्तर रेखा को छूती है। वंश प्रक्षेपवक्र ज़िगज़ैग है, जिसमें आसन्न ज़िगज़ैग लिंक एक दूसरे से ऑर्थोगोनल हैं। पड़ोसी बिंदुओं पर वंश दिशाओं के वैक्टर की ऑर्थोगोनलिटी की स्थिति निम्नलिखित अभिव्यक्ति द्वारा लिखी गई है:

सबसे तेज अवतरण विधि का उपयोग करके चरम बिंदु तक गति का प्रक्षेपवक्र, फ़ंक्शन f(x) के समान स्तर की रेखा के ग्राफ़ पर दिखाया गया है

इष्टतम समाधान की खोज तब समाप्त होती है जब पुनरावृत्तीय गणना चरण (कई मानदंड) पर:

खोज प्रक्षेपवक्र वर्तमान खोज बिंदु के एक छोटे से पड़ोस में रहता है:

उद्देश्य फ़ंक्शन की वृद्धि नहीं बदलती:

स्थानीय न्यूनतम बिंदु पर उद्देश्य फ़ंक्शन का ग्रेडिएंट शून्य हो जाता है:

यह ध्यान दिया जाना चाहिए कि खड्ड के साथ चलते समय ग्रेडिएंट डिसेंट विधि बहुत धीमी हो जाती है, और जैसे-जैसे उद्देश्य फ़ंक्शन में चर की संख्या बढ़ती है, विधि का यह व्यवहार विशिष्ट हो जाता है। खड्ड एक गड्ढा है, जिसकी स्तर रेखाएं लगभग अर्ध-अक्षों के साथ दीर्घवृत्त के आकार की होती हैं, जो कई गुना भिन्न होती हैं। एक खड्ड की उपस्थिति में, वंश प्रक्षेपवक्र एक छोटे कदम के साथ एक ज़िगज़ैग रेखा का रूप ले लेता है, जिसके परिणामस्वरूप वंश की परिणामी गति बहुत धीमी हो जाती है। यह इस तथ्य से समझाया गया है कि इन कार्यों के एंटीग्रेडिएंट की दिशा दिशा से न्यूनतम बिंदु तक महत्वपूर्ण रूप से विचलित हो जाती है, जिससे गणना में अतिरिक्त देरी होती है। परिणामस्वरूप, एल्गोरिथम कम्प्यूटेशनल दक्षता खो देता है।

गली समारोह

ग्रेडिएंट विधि, इसके कई संशोधनों के साथ, व्यापक है और प्रभावी तरीकाअध्ययन के तहत वस्तुओं के इष्टतम की खोज करना। ग्रेडिएंट सर्च (साथ ही ऊपर चर्चा की गई विधियों) का नुकसान यह है कि इसका उपयोग करते समय, केवल फ़ंक्शन के स्थानीय चरम का पता लगाया जा सकता है। दूसरों को खोजने के लिए स्थानीय चरमअन्य आरंभिक बिंदुओं से खोज करना आवश्यक है. अभिसरण की गति भी ग्रेडिएंट तरीकेग्रेडिएंट गणना की सटीकता पर भी काफी हद तक निर्भर करता है। सटीकता का नुकसान, जो आमतौर पर न्यूनतम बिंदुओं के आसपास या नाली की स्थिति में होता है, आमतौर पर ग्रेडिएंट डिसेंट प्रक्रिया के अभिसरण को बाधित कर सकता है।

गणना विधि

स्टेप 1:किसी फ़ंक्शन के ग्रेडिएंट की गणना के लिए विश्लेषणात्मक अभिव्यक्तियों की परिभाषा (प्रतीकात्मक रूप में)।

चरण दो: प्रारंभिक सन्निकटन सेट करें

चरण 3:अंतिम खोज दिशा को रीसेट करने के लिए एल्गोरिथम प्रक्रिया को पुनरारंभ करने की आवश्यकता निर्धारित की गई है। पुनरारंभ के परिणामस्वरूप, सबसे तीव्र ढलान की दिशा में फिर से खोज की जाती है।