IT Repository

Model Capacity¶ 어떠한 Regression Problem이 있다고 가정합니다. 그리고 여기서 Real value의 분포가 3차 함수와 유사하다고 가정하고, 아래의 두 모델을 최적화한다고 생각해봅시다. $H(x) = wx+b$ 와 같이 단순한 선형 함수 모델은 적합한 예측이 불가능할 것입니다. $H(x) = w_1x^3 + w_2x^2 + w_3x + b$ 와 같이 더 복잡한 3차 함수의 모델이 단순한 모델보다 Real value의 분포와 근사하게 예측할 것입니다. 이를 Hypothesis가 아니라 파라미터의 관점에서 생각해봅시다. 첫번째 모델과 두번째 모델 중 어느 모델이 더 많은 파라미터를 갖고 있을까요? 두번째의 더 복잡한 모델이 더 많은 파라미터를 가지고 있을 것입니다. 그냥 보아도 $..