iMTE

Reference :http://cs231n.github.io/ Transfer Learning실제로, 충분한 크기의 data set을 갖는 것은 상대적으로 드물기 때문에 전체 ConvNet을 처음부터 학습시키는 경우는 거의 없다. (그 많은 parameter를 tuning 해야한다.) 대신, 매우 큰 data set을 가진 data set로부터 ConvNet을 pre-training한 다음에, 새로운 작업에 적용시키는 방법이 Transfer Learning 이다.1. ConvNet as fixed feature extractor : ImageNet에서 미리 구성된 ConvNet을 사용하고 마지막으로 fully connected layer를 제거한 다음에 나머지 부분을 새 data set의 fixed f..

Reference :http://cs231n.github.io/understanding-cnn/http://aikorea.org/cs231n/understanding-cnn/ Visualizing what ConvNets learnConvolutional networks를 이해하고 시각화하기 위한 여러 가지 접근법이 개발되었는데, 부분적으로는 neural networks에서 학습 된 기능을 해석할 수 없다는 일반적인 비판에 대응한다. (이런점에서 학습된 feature들을 보여주는 것은 explainable AI 분야에서 매우 중요하다. 워낙 Black box라고 해서 신뢰를 못한다는 등의 비판이 많다. (그렇게 신뢰되는 Kernel SVM도 마찬가지 아닌가?)) Visualizing the activat..

Reference:http://cs231n.github.io/convolutional-networks/http://aikorea.org/cs231n/convolutional-networks/ ConvNetConvNet은 앞에서 다룬 일반 neural networks (feed forward라는 점에서 비슷하다.)과 유사하다. Weight과 bias로 구성되며, 각 neuron은 input을 받아 dot product를 한 뒤에 non-linear 연산을 진행한다. ConvNet은 마지막 레이어에 loss function을 갖고 있으며, 일반 neural networks 학습시킬 때 사용하던 각 종 기법을 동일하게 적용할 수 있다. Architecture overviewNeural networks는 vec..

Reference:http://cs231n.github.io/neural-networks-3/http://aikorea.org/cs231n/neural-networks-2-kr/(이번 section 내용은 100 % 번역이 위의 주소에 잘 되어 있다.) Learning이전 sections에서는 layer를 쌓고, layer의 units을 준비할지 (network connectivity), 데이터를 어떻게 준비하고, 어떤 손실 함수 (loss function)을 선택할지에 대해서 다루었다. 본 section에서는 parameter를 학습하고 좋은 hyper-parameter를 찾는 과정에서 다룰 예정이다. Gradient checksNumerical 방법으로 계산한 gradient과 Analytic 방법으..

Reference:http://cs231n.github.io/neural-networks-2/http://aikorea.org/cs231n/neural-networks-2-kr/ Setting up the data and the modelNeural network는 dot product와 non-linearity 연산을 sequentially 수행한다. Neural networks의 모델은 linear mapping을 non-linear transformation에 적용하는 과정이 연속적으로 진행한다. 이번 장에서는 data preprocessing, weight initialization, loss function을 다룬다. Data preprocessing데이터 행렬 X에 대해서 3가지 전처리 방버이..

Reference:http://cs231n.github.io/neural-networks-1/http://aikorea.org/cs231n/neural-networks-1/ Introduction- Neural networks는 단순히 행렬 (matrix)와 벡터 (column vector)간의 연산으로 나타낼 수 있다. 예를 들어, W가 [10 x 3072], x가 [3072 x 1]의 크기를 갖고 있다면, (CIFAR-10 경우) 최종 출력 score (class와 연관된 점수)는 다음과 같이 표현될 수 있다.- - Neural network는 행렬 연산에 특정 non linear function을 적용하는 형태로 구성된다. 예를 들어, 다음과 같이 max 함수를 사용하는 단계를 추가하면, 2층 la..