역전파(Back Propagation)란?

• DNN에서 예측값과 실제값의 차이를 최소화로 하도록, 가중치를 업데이트 하는 과정이 필요함
• $w_{ij}^{l}$를 l번째 레이어의 i번째 노드에서 다음번째 레이어의 j번째 노드로 갈 때 연결되는 가중치(weight)라고 하면,
  $w_{ij}^{l}$가 변동되면 다음 레이어(l+1번째)의 j번째 노드에서 연결되는 가중치에 영향을 끼침
• 즉, $w_{ij}^{l}$의 편미분을 구하기 위해서는 다음번째 레이어의 가중치에 대한 편미분 값이 필요함
• 따라서, 역전파는 순전파(Foward Propagation)를 통해서 모든 가중치를 얻은 다음, 반대방향(Backword)으로 편미분값을 구한 다음에 이를 반영하여 가중치를 업데이트 해주는 과정
• 참조 : Youtube