iMTE

BatchNormalization Neural network의 weight이 학습이 되다보면, each layer의 input의 분포가 앞의 layer의 update된 weight에 의해서 변하게 된다. 이런 distribution은 training의 속도를 늦출 뿐만 아니라 very deep neural network를 학습시키가 매우 어렵다. 예를 들어, 맨 처음 layer의 parameter가 살짝 수정되었다고 했을 때, network는 이를 amplification 하기 때문에, 마지막 layer에 들어오는 입력의 분포가 상당히 달라져있을 수가 있다. Sigmoid 함수를 바탕으로 보면, Sigmoid 함수는 입력되는 값이 매우 낮거나 매우 높으면 saturation되어 gradient가 0이 된..

Regularization 머신러닝 모델이 학습 데이터를 잘 설명하고, 테스트 데이터를 잘 설명하지 못한다면 이는 모델이 overfitting (과적합)이 되어 있을 가능성이 매우 크다. 과적합된 모델은 많은 rules을 가지고 있어, noise 성분도 학습을 했을 가능성이 있다. 노이즈가 무시할 정도의 수준이 아니라면 이 모델은 noise에 의해서 high variance를 갖게되며 이는 모델의 일반화 성능을 나쁘게 만들어낸다. 모델은 bias와 variance의 개념을 이해하는 것이 좋다. 가장 좋은 모델은 낮은 bias와 variance를 갖지만, 사실 이런 모델을 만들기는 매우 어렵고, bias를 낮추다 보면 variance가 증가하고, variance를 낮추다 보면 bias가 증가하는, trad..