수학과의 좌충우돌 프로그래밍

텐서연산 그레디언트 기반 최적화 output = relu(dot(W,input)+b) W와 b는 각 층의 속성처럼 생각할 수 있다. W는 가중치, b는 편향이라고 부르며 초기에는 무작위 난수로 채워져 있다. 당연히 난수이기 때문에 위 식의 계산은 의미가 없다. 여기서 각 층의 속성들을 조정하게 되는데 그 과정은 다음과 같다. 훈련 샘플 x 와 이에 대응되는 타깃 y의 배치를 추출한다. x 에 대한 예측값 y_pred를 구한다. y_pred와 y의 차이를 이용해 손실을 계산한다. 배치에 대한 손실이 감소되는 방향으로 각 층의 속성들을 조정한다. 4번에서 각 층의 속성들을 어떠한 방법으로 조정할지가 중요한 포인트가 된다. 확률적 경사 하강법 앞에서 봤던 4번을 어떻게 구현할지에 대한 이야기이다...