IT Repository

Regularization¶ Regularization이란 Overfitting을 막기 위해, 모델 내에서 트레이닝 셋의 Global Minimum에 최적화되지 않도록 훈련에 제약을 걸어두는 방법입니다. 즉, 훈련을 조금 방해해서 트레이닝 셋을 외워버리는 것을 막기 위한 방법입니다. L2 Regularization¶ $\text{Loss} = \text{MSE} + R(\lambda) \\ R(\lambda) = \lambda \cdot ||w||^2$ ($\lambda$: Regularization의 강도를 결정하는 상수, $||w||^2$: L2-Norm) L2 Regularization의 기본 개념은 간단합니다. 모델이 인식하는 Loss를 더 크게 만들어서 훈련이 수렴해버리는 것을 막고자 함입니다...