IT Repository

Gradient Vanishing¶ 모델의 크기가 커질 때, 특히 모델의 층이 깊어질 때에 발생하는 문제는 Overfitting외에도 한가지가 더 있습니다. 바로 Backpropagation을 할 때에 Gradient가 점차 소실되어 깊은 층에 있는 파라미터가 거의 업데이트되지 않는 문제입니다. $g = xy$ 이고, $\dfrac{dL}{dx} = \cdots \cdot \dfrac{dg}{dx}$ 가 Gradient를 구하기 위한 Chain Rule 이 경우에 $\dfrac{dg}{dx} = y$ 입니다. 이 때에 y가 Sigmoid의 결과값이고 Sigmoid에 매우 작은 값이 인풋으로 들어온다고 가정해봅시다. Sigmoid 함수는 아주 작은 값이 인풋으로 들어올 때에 거의 0에 수렴하게 됩니다. 이..

Classification¶ Regression과 마찬가지로 데이터 x를 넣었을 때, y가 출력으로 나오는 문제입니다. 다만 출력으로 나오게 되는 y가 Discrete한 space를 가지고 있다는게 차이점입니다. 개와 고양이의 분류, 점수에 따른 학점의 분류, 소비 패턴에 따른 성별예측과 같은 것이 Classification의 예 입니다. Linear Regression의 Hypothesis를 사용한다면?¶ In [199]: import numpy as np import matplotlib.pyplot as plt hour = np.arange(1, 11).astype(int) hour = np.concatenate([hour, np.array([20])]) label = np.zeros(11).asty..