IT Repository

Vanishing Gradient of Vanilla RNN¶ 앞서 Vanilla RNN에서 이야기했던 Gradient Vanishing 문제를 좀더 수식적으로 이해가능하게 살펴보겠습니다. 설명에 앞서 식을 좀더 간단하게 Visualize하기 위해서 $h_t = tanh(U \cdot x_t + W \cdot h_{t-1})$ 식을 1. 위 식에서 $x_t$와 $h_{t-1}$을 concatenation 하고 ($[x_t, h_{t-1}]$) 2. 두개의 파라미터 U와 W를 아우르는 하나의 파라미터인 새로운 W와 점곱 해서 아래와 같이 바꿔서 쓰겠습니다. (행렬 연산을 따라가다보면 동일한 과정이라는 것을 이해할 수 있을 것입니다.) $h_t = tanh(W \cdot [x_t, h_{t-1}])$ 자, ..