(1) What is Loss Function?

 

 

 

 

Loss Function¶

손실함수는 최적의 $H(x)$를 찾기 위해서, w와 b에 따른 $H(x)$값과 실제 y값과의 차이를 계산합니다.
x와 y는 이미 정해져있고 w와 b의 값에 따라서 손실이 변화하므로 아래와 같이 수식으로 표현할 수 있습니다.

$L(w, b) = H(x) - y$

$H(x)$를 통해 나오는 값은 설정된 w와 b에 따라 모델이 예측하는 예측값입니다.
만약 예측값과 실제값이 비슷하다면 손실함수의 값은 작아지고 차이가 크다면 손실함수의 값이 (절대값이) 커질 것입니다.
실제로는 제곱(MSE)이나 절대값(MAE)을 사용하여 계산합니다.

$L(w, b) = \big( H(x) - y \big)^2$

이와 같이 손실함수를 정의하고, 손실함수에 모든 데이터를 대입하여 모델의 전체 손실을 계산합니다.
모델의 전체 손실은 아래와 같이 표현됩니다. (MSE 기준)

$L(w, b) = \dfrac{1}{m} \displaystyle \sum_{i=1}^{m} \big( H \left( x^i \right) - y^i \big)^2$

참고.
제곱이나 절대값을 사용하지 않음으로써 생기는 문제점은 $\text{loss1} = -5,~\text{loss2}= 5$ 인 경우도 있습니다.
$\text{loss1} + \text{loss2} = 0$ 이므로 좋은 모델로써 잘못 판단할 수 있습니다.

(MSE는 Mean Squared Error, MAE는 Mean Absolute Error입니다.
추후 손실함수에 대한 포스팅에서 다루겠습니다.)