[Deep Learning] Weight update method 정리.

스탠포드 강의 내용 참고하여 정리.

( http://cs231n.stanford.edu/syllabus.html )

===================================================================================

• SGD

• Momentum

overshooting 경향이 있지만 SGD에 비해 빠름.

• NAG (Nesterov Accelerated Gradient)

momentum에 비해 overshooting이 덜함

• Adagrad

초반에는 빠르게 학습이 이루어 지지만

learning이 계속되면 cache가 누적되어 x값이 점차 작아짐. 과도하게..

• RMSProp

Adagrad의 문제점을 해결하기 위해 cache에 decay_rate를 추가.

Adagrad 보다는 느리지만 x의 값을 적당히 조절하여 지속적으로 학습이 가능하게 함.

• Adam

momentum + RMSProp 의 형태

일반적인 경우 이녀석이 가장 좋은 듯 하다.