Аўтар: admin | Дата: 2014/04/11 | Праглядаў: 3,276 | каментароў няма
З курсу матэматыкі вядома, што кірунак найбольшага росту любой функцыі, у нашым выпадку 
характарызуецца яе градыентам:
дзе 
- адзінкавыя вектары ў напрамку каардынатных восяў. Такім чынам, кірунак, супрацьлеглае градыентнай, пакажа кірунак найбольшага змяншэння функцыі а метады, заснаваныя на выбары шляху аптымізацыі з дапамогай градыенту, называюцца Градыентнае.
Працэс адшукання пункту мінімуму функцыі 
па метадзе градыентнага спуску складаецца ў наступным: у пачатку выбіраем некаторую пачатковую кропку 
і вылічаем ў ёй градыент функцыі . Далей, робім крок у антиградиентному кірунку 
(дзе 
). У выніку атрымліваем новую кропку 
, Значэнне функцыі ў якой звычайна менш значэнне функцыі ў кропцы 
. Калі гэта ўмова не выконваецца, то ёсць значэнне функцыі не змянілася ці нават узрасла, то трэба паменшыць крок 
( 
), Пасля чаго, у новай кропцы вылічаем градыент і зноў робім крок у зваротным яго напрамку 
.
Працэс працягваецца да атрымання найменшага значэння мэтавай функцыі. Строга кажучы, момант заканчэння пошуку наступіць тады, калі рух з атрыманай пункту, пры выбары любога кроку, прыводзіць да росту значэння мэтавай функцыі. Калі мінімум функцыі дасягаецца ўнутры разгляданай вобласці, то ў гэтай кропцы градыент роўны нулю, што таксама можа служыць сігналам аб заканчэнні працэсу аптымізацыі.
Формулы для прыватных вытворных можна атрымаць у відавочным выглядзе толькі ў тым выпадку, калі мэтавая функцыя зададзена аналітычна. У адваротным выпадку гэтыя вытворныя вылічаюцца з дапамогай колькаснага аналізу мадэлі:
Заўважым, што знайсці кропку мінімуму функцыі можна шляхам звесткі шматмернай задачы аптымізацыі паслядоўнасці аднамерных задач на кожным кроку аптымізацыі. Такі спосаб завецца метадам покоординатного спуску . Розніца заключаецца ў тым, што ў метадзе градыентнага спуску кірунак аптымізацыі вызначаецца градыентам мэтавай функцыі, тады як у метадзе покоординатного спуску праводзіцца спуск на кожным кроку ўздоўж аднаго з каардынатных кірункаў.
