IT Repository

What is Backpropagation?¶ Backpropagation은 MLP의 훈련을 가능하게 할 수 있는 파라미터 업데이트 방식입니다. 아래의 Backpropagation이 진행되는 순서를 통해 전체적인 과정을 살펴봅시다. 가장 마지막 뉴런의 Gradient를 계산 그 Gradient를 바탕으로 바로 이전 뉴런의 Gradient를 계산 다시 그 Gradient를 바탕으로 바로 이전 뉴런의 Gradient를 계산 이를 반복하면 가장 마지막 뉴런에서부터 가장 처음의 뉴런까지 모든 뉴런의 파라미터를 업데이트하게 됩니다. (뉴런을 Deep Learning 분야의 컴퓨터 공학적 표현으로는 "노드" 라고 합니다.) Gradient Calculation for MLP¶ MLP는 수많은 노드들이 연결되어 복잡..