(3) Regression - Multi variable Linear Regression

 

 

 

 

Multi-variable Linear Regression¶

지금까지는 파라미터가 1개인 Linear regression을 했습니다.
하지만 앞서 말한바와 같이 딥러닝 모델의 파라미터는 적어도 수천개 이상을 갖습니다.
이렇게 여러 개의 파라미터를 가진 Linear regression에 대해서 알아봅니다.

아래는 bias를 포함한 4개의 파라미터를 가진 Linear regression의 식입니다.
$H(x_1, x_2, x_3) = w_1x_1 + w_2x_2 + w_3x_3 + b$

벡터의 내적을 사용하여 계산하면 아래와 같이 표현할 수 있습니다.
$\begin{eqnarray} H(x_1, x_2, x_3) &=& XW + b \\ &=& \begin{pmatrix}x_1 & x_2 & x_3\end{pmatrix} \begin{pmatrix}w_1 \\ w_2 \\ w_3 \end{pmatrix} + b \\ &=& (w_1x_1 + w_2x_2 + w_3x_3) +b \\ \end{eqnarray}$

이와 같이 행렬을 사용하면 수식이 훨씬 간단해지는 효과가 있을 뿐만 아니라
실제로 컴퓨터에서 Linear algebra operation 아키텍쳐로 인해, 행렬 연산이 훨씬 더 빠르고 효율적인 리소스를 통해 연산됩니다.

 

손실함수는 아래와 같습니다.
손실함수가 있으니 위와 동일한 방법으로 편미분을 사용하여 Gradient Descent 알고리즘을 통해 파라미터를 업데이트하면 되겠네요.

$L(W, b) = \dfrac{1}{m} \displaystyle \sum_{i=1}^{m} \big( H(x_1^{(i)}, x_2^{(i)}, x_3^{(i)}) - y^{(i)} \big)^2$

 

WX vs XW¶

• 수식에서는
  $H(X) = WX \rightarrow$ 이와 같이 가중치 w가 앞으로 가도록 써준다
• 코드상으로 구현할 때는
  $H(X) = XW \rightarrow$ 실제 연산 순서대로 써준다

대부분의 수식이나 논문에서 WX의 표현으로 Conventional 하게 표현합니다.
그러나 실제로는 XW의 순서로 행렬곱을 하는 것이니 유의해야 합니다.