Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Bottleneck Layer
- Peephole Connection
- Generative
- iTerm2
- sigmoid
- DL
- AI
- version
- RNN
- GoogLeNet
- Skip Connection
- Optimizer
- ResNet
- Skip Connectioin
- cnn
- python
- jupyter
- Linear
- GCN
- DCGAN
- classification
- Vanilla RNN
- Manager
- Regression
- Residual Connection
- Inception Module
- virtualenv
- vim-plug
- Gated Skip Connection
- Inception V1
Archives
- Today
- Total
목록Capacity (1)
IT Repository
(5) Model Capacity
Model Capacity¶ 어떠한 Regression Problem이 있다고 가정합니다. 그리고 여기서 Real value의 분포가 3차 함수와 유사하다고 가정하고, 아래의 두 모델을 최적화한다고 생각해봅시다. $H(x) = wx+b$ 와 같이 단순한 선형 함수 모델은 적합한 예측이 불가능할 것입니다. $H(x) = w_1x^3 + w_2x^2 + w_3x + b$ 와 같이 더 복잡한 3차 함수의 모델이 단순한 모델보다 Real value의 분포와 근사하게 예측할 것입니다. 이를 Hypothesis가 아니라 파라미터의 관점에서 생각해봅시다. 첫번째 모델과 두번째 모델 중 어느 모델이 더 많은 파라미터를 갖고 있을까요? 두번째의 더 복잡한 모델이 더 많은 파라미터를 가지고 있을 것입니다. 그냥 보아도 $..
Basic fundamentals
2020. 1. 13. 17:46