Autor: admin | Data: 11.04.2014 | Wyświetleń: 3,276 | Brak komentarzy
Z przebiegu matematyki wiadomo, że kierunek największego wzrostu jakiejkolwiek funkcji w naszym przypadku 
charakteryzuje się gradientem:
gdzie 
- wektory jednostkowe w kierunku osi współrzędnych. W konsekwencji kierunek przeciwny do gradientu będzie wskazywał kierunek największego spadku funkcji, a metody oparte na wyborze ścieżki optymalizacji przy użyciu gradientu nazywane są gradientem.
Proces znajdowania minimalnego punktu funkcji 
metodą gradientu zniżania jest następująca: na początku wybieramy jakiś punkt początkowy 
i obliczamy w nim gradient funkcji . Następnie wykonujemy krok w kierunku anty-gradientowym 
(gdzie 
) W rezultacie otrzymujemy nowy punkt 
, wartość funkcji, która jest zwykle mniejsza niż wartość funkcji w punkcie 
. Jeśli ten warunek nie zostanie spełniony, to znaczy wartość funkcji nie zmieniła się, a nawet nie zwiększyła, należy zmniejszyć stopień 
( 
), po czym w nowym punkcie obliczamy gradient i ponownie robimy krok w kierunku przeciwnym do niego 
.
Proces trwa aż do uzyskania najniższej wartości funkcji celu. Ściśle mówiąc, czas zakończenia wyszukiwania nastąpi, gdy przejście z danego punktu, przy wyborze dowolnego kroku, prowadzi do zwiększenia wartości funkcji celu. Jeśli minimalna funkcja zostanie osiągnięta w rozważanym obszarze, wówczas w tym punkcie gradient jest zerowy, co może również służyć jako sygnał zakończenia procesu optymalizacji.
Formuły dla pochodnych cząstkowych można uzyskać jawnie tylko wtedy, gdy funkcja docelowa jest podana analitycznie. W przeciwnym razie te pochodne są obliczane przez różnicowanie numeryczne:
Zauważ, że znajdź minimalny punkt funkcji można również osiągnąć poprzez skonstruowanie wielowymiarowego zadania optymalizacji dla sekwencji zadań jednowymiarowych w każdym kroku optymalizacji. Ta metoda jest nazywana metoda skoordynowanego zejścia . Różnica polega na tym, że w metodzie zejścia gradientu kierunek optymalizacji jest określony przez gradient funkcji celu, podczas gdy w metodzie zejścia ze współrzędnych zejście jest wykonywane w każdym kroku wzdłuż jednego ze współrzędnych.
