iMTE

Deep neural network는 대표적인 black box로 내부에 어떤 경과를 통해서 decision이 되었는지를 알지 못하는 문제가 있다. Support Vector Machine도 그런점을 갖고 있다. 반대로 Decision tree는 decision 과정을 확인할 수 있기 때문에 대표적인 white box 형태의 machine learning model이다. Deep neural network는 output layer의 activation 결과를 바탕으로 learned filter가 어떤 feature map을 만들었는지를 확인할 수 있다. 다음은 pytorch로 pre-trained vgg16의 feature map을 확인한 결과이다. 그리고 learned된 filter의 형태를 나타냈다.

Restricted Boltzmann Machine back propagation을 사용해, deep한 neural network를 학습시킬 수 있다. 하지만, deep networks의 cost function은 non-convex function이므로, 어디서 최적화를 시작하는지는 모델의 성능을 크게 좌우한다. (Weights initialization) 다양한 initializer들이 제시되었다. Xavier initializer, He initializer 등이 그렇다. 이 initializer는 들어오는 neurons의 수와 (fan-in) 출력되는 neurons의 수 (fan-out)을 사용해서 normal distribution의 variance를 결정한다. 이 방법은 대부분의 neuron들..

Sparse regularization Autoencoder는 입력된 데이터를 저차원으로 encoding하고 다시 고차원으로 decoding하는 unsupervised learning이다. 만약 hidden layer가 input layer의 dimension보다 작고, activation function으로 linear function을 사용하면, 이 autoencoder는 PCA와 동일한 역할을 한다. 즉, 분산이 큰 factor를 찾아내고 그 factor로 데이터를 transformation하는 것이다. 만약, hidden layer와 input layer의 차원이 같고 activation function이 linear function이라면, hidden layer는 identity matrix와 ..

BatchNormalization Neural network의 weight이 학습이 되다보면, each layer의 input의 분포가 앞의 layer의 update된 weight에 의해서 변하게 된다. 이런 distribution은 training의 속도를 늦출 뿐만 아니라 very deep neural network를 학습시키가 매우 어렵다. 예를 들어, 맨 처음 layer의 parameter가 살짝 수정되었다고 했을 때, network는 이를 amplification 하기 때문에, 마지막 layer에 들어오는 입력의 분포가 상당히 달라져있을 수가 있다. Sigmoid 함수를 바탕으로 보면, Sigmoid 함수는 입력되는 값이 매우 낮거나 매우 높으면 saturation되어 gradient가 0이 된..

Conditional GAN source: https://github.com/eriklindernoren/Keras-GAN/blob/master/cgan/cgan.py Conditional GAN (CGAN)은 specific condition이 주어진 상태에서 fake image를 만들어내는 것이다. 이 condition은 discriminator와 generator의 loss function에 포함된다. GAN의 loss function은 다음과 같고, CGAN의 loss function은 다음과 같다. condition y가 추가된것 외에는 다른 점이 없다. MNIST 데이터를 사용해서 각 class에 해당하는 숫자를 generation하는 code를 keras로 작성해보자. 위와같은 코드를 작성하..

Generative Adversarial Networks (GAN) 두 신경망이 '경쟁'하면서 서로 학습하는 재미있는 아이디어를 가진 network를 Generative adversarial networks 라고 부른다. 두개의 신경망 중 하나는 1. Generative model, 2. Discriminator모델이다. 흔히 이 모델을 설명할 때 위조지폐를 만드는 범인과 이를 감독하는 경찰의 예를 든다. 경찰은 범인이 만든 위조 지폐를 구분을 하고, 거짓인지 진짜인지를 밝힌다. 범인은 이런 과정을 보고 경찰을 속이기 위해서 더 나은 위조 지폐를 만들어 낸다. 그러면 경찰은 다시 더 정밀하게 구분하도록 학습을 하게되고.. 최종적으로는 경찰은 위조 지폐를 분류할 거짓이라고 확률이 50 %가 될 정도로 정밀..

Han, Kun, Dong Yu, and Ivan Tashev. "Speech emotion recognition using deep neural network and extreme learning machine." Fifteenth Annual Conference of the International Speech Communication Association. 2014. Abstract 1. Speech emotion recognition은 어떤 feature들이 의미가 있는지 파악하기 어려움.2. Deep Neural Networks (DNN)은 raw data에서 high-level feature를 추출하여서 speech emotion recognition에 효과적인 결과를 보여줌.3. Extrem..

Ng, Hong-Wei, et al. "Deep learning for emotion recognition on small datasets using transfer learning." Proceedings of the 2015 ACM on international conference on multimodal interaction. ACM, 2015. Introduction 얼굴 표정 분석(감정 추정 또는 얼굴의 감정 분석)은 지난 10년 동안 Computer Vision에서 주목을 받았음. 기존 기술의 대부분은 7가지의 기본 표현을 분류하는데 중점을 두었음. (행복, 놀람, 두려움, 분노, 슬픔, 혐오감) Emotion Recognition in the Wild (EmotiW) contest과 Stat..

김성훈 교수님의 모두의 딥러닝 https://hunkim.github.io/ml/ 우재준님의 blog http://jaejunyoo.blogspot.com/2017/04/began-boundary-equilibrium-gan-1.html 이기창님의 blog https://ratsgo.github.io/machine%20learning/2017/05/23/SVM/ 최성준님의 edwith 강의 http://www.edwith.org/deeplearningchoi Standford 수업 CS231n http://cs231n.stanford.edu/ Udacity deep learning 무료 강의 https://www.udacity.com/course/deep-learning--ud730 김태영님의 keras..