Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
Tags
- Inception V1
- cnn
- sigmoid
- GoogLeNet
- Generative
- version
- Regression
- classification
- Inception Module
- vim-plug
- virtualenv
- Skip Connection
- DCGAN
- Bottleneck Layer
- Peephole Connection
- GCN
- iTerm2
- RNN
- DL
- Skip Connectioin
- jupyter
- AI
- Optimizer
- Gated Skip Connection
- python
- Manager
- Vanilla RNN
- Residual Connection
- ResNet
- Linear
Archives
- Today
- Total
목록GRU (1)
IT Repository
(4) GRU
GRU (Gated Recurrent Unit)¶ GRU는 LSTM보다 더 간단한 구조로 Gradient Vanishing 문제를 해결하고 제안되었습니다. LSTM과 비교했을 때 Cell state를 제거하고 Gate의 수를 1개 줄임으로써 파라미터의 수를 감소시켰습니다. Work Flow of GRU¶ Gate coefficient를 계산한다. $\begin{eqnarray} r_t &=& \sigma~(W_r \cdot [x_t,~h_{t-1}]) & ~~~~~\text{Reset gate: } \text{이전 상태의 불필요한 정보를 제거} \\ z_t &=& \sigma~(W_z \cdot [x_t,~h_{t-1}]) & ~~~~~\text{Update gate: }h_{t-1} \text{ 와 }..
RNN/Study
2020. 1. 17. 13:29