Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Peephole Connection
- vim-plug
- RNN
- iTerm2
- virtualenv
- classification
- DL
- DCGAN
- Optimizer
- Bottleneck Layer
- GoogLeNet
- version
- Residual Connection
- Skip Connection
- Inception Module
- Skip Connectioin
- Manager
- Regression
- python
- Linear
- Vanilla RNN
- cnn
- Generative
- GCN
- sigmoid
- jupyter
- ResNet
- Inception V1
- AI
- Gated Skip Connection
Archives
- Today
- Total
목록Parameter Initialization (1)
IT Repository
(9) Other Techniques of Optimize
Other Techniques to Optimize¶ 지금까지 모델의 Capacity가 큰 경우에 생길 수 있는 문제로써 Overfitting과 Gradient Vanishing에 대해서 알아보았고, 이 문제들을 어느정도 해결하기 위한 방법에 대해서 알아보았습니다. 이번에는 그 외에 모델을 최적화하기 위한 방법에 대해서 소개합니다. Parameter Initialization¶ 우리가 학습을 하기 위해서는 학습하기 위한 파라미터인 Weight와 bias를 계속해서 연산하고 업데이트하는 과정을 반복합니다. 그런데 훈련을 맨 처음 시작할 때에는 이러한 파라미터의 값이 없어서 연산을 할 수가 없습니다. 따라서 이 때에는 파라미터를 임의의 값으로 초기화하고 훈련을 시작합니다. (1) 그런데 훈련을 시작할 때 모..
Basic fundamentals
2020. 1. 13. 17:56