• Tistory
    • 태그
    • 위치로그
    • 방명록
    • 관리자
    • 글쓰기
Carousel 01
Carousel 02
Previous Next

'DeepLearning'에 해당되는 글 1건

  • 2016.02.24 [Deep Learning] Weight update method 정리.

[Deep Learning] Weight update method 정리.

전공관련/Deep Learning 2016. 2. 24. 11:03




스탠포드 강의 내용 참고하여 정리.

( http://cs231n.stanford.edu/syllabus.html )


===================================================================================

  • SGD


  • Momentum

overshooting 경향이 있지만 SGD에 비해 빠름.


  • NAG (Nesterov Accelerated Gradient)

momentum에 비해 overshooting이 덜함


  • Adagrad

초반에는 빠르게 학습이 이루어 지지만

learning이 계속되면 cache가 누적되어 x값이 점차 작아짐. 과도하게..

  • RMSProp

Adagrad의 문제점을 해결하기 위해 cache에 decay_rate를 추가.

Adagrad 보다는 느리지만 x의 값을 적당히 조절하여 지속적으로 학습이 가능하게 함.


  • Adam

momentum + RMSProp 의 형태

일반적인 경우 이녀석이 가장 좋은 듯 하다.


저작자표시비영리

'전공관련 > Deep Learning' 카테고리의 다른 글

[Caffe] DIGITS에서 사용하는 caffe의 버전을 올려보자.  (0) 2016.03.18
[Caffe] NVIDIA DIGITS 버전 업데이트 하기.  (0) 2016.03.18
[Deep Learning] Weight update method 정리.  (0) 2016.02.24
[Deep Learning] Xavier Initialization에 관하여..  (0) 2016.02.22
[Caffe] Caffe를 이용하여 학습할때 snapshot을 이용하여 이어서 학습하기  (0) 2015.12.16
[Deep Learning] 컴퓨터 비전을 위한 심층학습 기법 강의정리  (0) 2015.12.15
블로그 이미지

매직블럭

작은 지식들 그리고 기억 한조각

Tag DeepLearning
트랙백 0개, 댓글 0개가 달렸습니다

댓글을 달아 주세요

  • «
  • 1
  • »

카테고리

  • 살다보니.. (414)
    • 주절거림 (3)
    • 취미생활 (36)
      • 지식과 지혜 (3)
      • 풍경이 되어 (4)
      • Memories (17)
      • 엥겔지수를 높여라 (2)
    • mathematics (6)
      • Matrix Computation (2)
      • RandomProcesses (3)
    • English.. (8)
    • Programming (134)
      • C, C++, MFC (51)
      • C# (1)
      • OpenCV (17)
      • Python (47)
      • Git, Docker (3)
      • Matlab (4)
      • Windows (3)
      • Kinect V2 (2)
      • 기타 etc. (6)
    • 전공관련 (73)
      • Algorithm (6)
      • Deep Learning (49)
      • 실습 프로그램 (4)
      • 주워들은 용어정리 (8)
      • 기타 etc. (6)
    • Computer (104)
      • Utility (21)
      • Windows (24)
      • Ubuntu, Linux (55)
      • NAS (2)
      • Embedded, Mobile (2)
    • IT, Device (41)
      • 제품 사용기, 개봉기 (14)
      • 스마트 체험단 신청 (27)
    • Wish List (3)
    • TISTORY TIP (5)
    • 미분류. 수정중 (1)

태그목록

  • 스마트체험단
  • 매트랩
  • 일본
  • portugal
  • matlab
  • function
  • CStdioFile
  • review
  • 갤럭시노트3
  • DSLR
  • 큐슈
  • 칼로리 대폭발
  • ColorMeRad
  • Computer Tip
  • utility
  • 에누리닷컴
  • random variable
  • DeepLearning
  • 딥러닝
  • 후쿠오카
  • Deep Learning
  • 오봉자싸롱
  • 포르투갈
  • Convolutional Neural Networks
  • 매트랩 함수
  • LIBSVM
  • matlab function
  • ReadString
  • SVM
  • 크롬

달력

«   2022/05   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31        
05-21 19:01

LATEST FROM OUR BLOG

  • 골뱅이 연산자의 의미 (행렬곱)..
  • 프린터 용지 부족 문제를 해⋯.
  • [MXNet] 데이터 리스트를 만⋯.
  • 예쁘게 출력하자 pprint - pr⋯.
  • 작업표시줄 미리보기를 리스⋯.
  • 이미지 실제 파일 포맷 확인하기.
  • 알리 등 해외배송 배송상태를⋯.
  • 티스토리 코드블럭 내용을 복⋯.
  • warning 을 on/off 하자.
  • windows 10 파일 선택, 파일⋯.
RSS 구독하기

BLOG VISITORS

  • Total : 1,115,118
  • Today : 150
  • Yesterday : 530

Copyright © 2015 Socialdev. All Rights Reserved.

티스토리툴바