iMTE

BatchNormalization Neural network의 weight이 학습이 되다보면, each layer의 input의 분포가 앞의 layer의 update된 weight에 의해서 변하게 된다. 이런 distribution은 training의 속도를 늦출 뿐만 아니라 very deep neural network를 학습시키가 매우 어렵다. 예를 들어, 맨 처음 layer의 parameter가 살짝 수정되었다고 했을 때, network는 이를 amplification 하기 때문에, 마지막 layer에 들어오는 입력의 분포가 상당히 달라져있을 수가 있다. Sigmoid 함수를 바탕으로 보면, Sigmoid 함수는 입력되는 값이 매우 낮거나 매우 높으면 saturation되어 gradient가 0이 된..