IT Repository

GRU (Gated Recurrent Unit)¶ GRU는 LSTM보다 더 간단한 구조로 Gradient Vanishing 문제를 해결하고 제안되었습니다. LSTM과 비교했을 때 Cell state를 제거하고 Gate의 수를 1개 줄임으로써 파라미터의 수를 감소시켰습니다. Work Flow of GRU¶ Gate coefficient를 계산한다. $\begin{eqnarray} r_t &=& \sigma~(W_r \cdot [x_t,~h_{t-1}]) & ~~~~~\text{Reset gate: } \text{이전 상태의 불필요한 정보를 제거} \\ z_t &=& \sigma~(W_z \cdot [x_t,~h_{t-1}]) & ~~~~~\text{Update gate: }h_{t-1} \text{ 와 }..

Vanishing Gradient of Vanilla RNN¶ 앞서 Vanilla RNN에서 이야기했던 Gradient Vanishing 문제를 좀더 수식적으로 이해가능하게 살펴보겠습니다. 설명에 앞서 식을 좀더 간단하게 Visualize하기 위해서 $h_t = tanh(U \cdot x_t + W \cdot h_{t-1})$ 식을 1. 위 식에서 $x_t$와 $h_{t-1}$을 concatenation 하고 ($[x_t, h_{t-1}]$) 2. 두개의 파라미터 U와 W를 아우르는 하나의 파라미터인 새로운 W와 점곱 해서 아래와 같이 바꿔서 쓰겠습니다. (행렬 연산을 따라가다보면 동일한 과정이라는 것을 이해할 수 있을 것입니다.) $h_t = tanh(W \cdot [x_t, h_{t-1}])$ 자, ..

RNN (Recurrent Neaural Network)¶ RNN은 시퀀스 데이터를 다루기 위해 고안된 구조입니다. 따라서, 데이터의 순서를 고려할 수 있도록 디자인되었습니다. 제가 예전에 했었던 프로젝트를 예시로 들면서 이를 설명하겠습니다. 프로젝트의 목표는 카카오톡 메시지를 통해 사람의 호감도 추이를 파악해서 현재의 감정 정도를 Regression하는 것이었습니다. 우리가 어떤 사람과 주고 받은 메시지는 매일매일 혹은 매 시간마다의 타임 스텝을 갖고 있는 시퀀스 데이터입니다. 따라서 메시지로 파악하는 호감도 역시 제로 베이스가 아니라, 이전 스텝의 호감도 정보가 반영된다고 생각했습니다. RNN은 시퀀스의 특징을 고려할 수 있는 네트워크 구조를 갖기 위해서 현재 타임스텝의 인풋을 처리할 때에 이전 타임..

What is Sequence Data?¶ 이번에는 순서가 있는 데이터에 대해서 생각해보겠습니다. (1) 예를 들어, 일년의 온도 변화와 같은 데이터는 시간의 순서가 있는 데이터입니다. 오늘의 온도는 어제의 상태에서 변화한 값이고, 이를 더 큰 범위에서 생각해보면 오늘의 온도는 그 전의 모든 결과를 반영하는 값입니다. (2) 이번에는 이전의 온도와 유사한 관점에서 글자 혹은 문장을 생각해보겠습니다. "나는 지금 공부를" 이라는 단어를 순서대로 들었다고 가정했을때에 우리는 "한다" 혹은 "합니다" 등을 예측할 수 있습니다. 오늘의 온도가 그 전의 모든 온도 결과값을 반영하면서 나온 결과인 것과 같이 "한다" 혹은 "합니다" 역시 "나는 지금 공부를" 을 반영한 결과라고 생각할 수 있습니다. 이를 글자 단위..

이 카테고리에서는 RNN, Recurrent Neural Network에 대한 내용을 다룹니다. - Basic of RNN (2020/1/16) - LSTM (2020/1/17) - GRU (2020/1/17) - Attention - Convolutional RNN 위와 같은 목차를 계획하고 있으며 이후 추가될 예정입니다.