Podle staršího datového vědce je jednou z výrazných výhod použití Stochastic Gradient Descent to, že provádí výpočty rychleji než gradientní sestup a dávkový gradientní sestup … Také na masivní datové sady, stochastický gradient sestup může konvergovat rychleji, protože provádí aktualizace častěji.
K čemu se používá Stochastic Gradient Descent?
Stochastický sestup gradientu je optimalizační algoritmus často používaný v aplikacích strojového učení k nalezení parametrů modelu, které nejlépe odpovídají předpokládaným a skutečným výstupům Je to nepřesná, ale výkonná technika. Stochastický gradient sestup je široce používán v aplikacích strojového učení.
Proč potřebujeme k trénování konvoluční neuronové sítě použít Stochastický gradientní sestup spíše než standardní gradientní sestup?
Stochastický gradient sestup aktualizuje parametry pro každé pozorování, což vede k většímu počtu aktualizací. Jde tedy o rychlejší přístup, který pomáhá v rychlejším rozhodování. V této animaci si můžete všimnout rychlejších aktualizací v různých směrech.
Proč dáváme přednost klesání?
Hlavním důvodem, proč se gradientní sestup používá pro lineární regresi, je výpočetní složitost: v některých případech je výpočetně levnější (rychlejší) najít řešení pomocí gradientu. Zde musíte vypočítat matici X′X a poté ji převrátit (viz poznámka níže). Je to drahý výpočet.
Proč se používá SGD?
Stochastický gradient sestup (často zkráceně SGD) je iterativní metoda pro optimalizaci objektivní funkce s vhodnými vlastnostmi hladkosti (např. diferencovatelná nebo subdiferencovatelná).
