iMTE

Super-resolution GAN (SRGAN)Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial NetworkLedig, Christian, et al. "Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network." CVPR. Vol. 2. No. 3. 2017. 간략하게 설명하자면, 기존의 super-resolution 문제에 대해서 단순히 MSE(Mean squared error)를 loss function(objective function)으로 정해놓고 optimization을 해본 결과, high peak sign..

참고 자료:https://www.slideshare.net/ssuser06e0c5/variational-autoencoder-76552518http://jaejunyoo.blogspot.com/2017/04/auto-encoding-variational-bayes-vae-1.htmlhttps://ratsgo.github.io/generative%20model/2018/01/27/VAE/ Variational Auto-Encoder (VAE) Auto-encoder는 high-dimensional data에 대해서 low-dimensional feature를 추출하고 (Encoder) 이 추출된 feature를 기반으로 original data를 복구하는 구조 (Decoder)를 갖고 있다. 개인적으로 참..

Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery Abstract1. Models are typically based on large amount of data with annotated examples of known markers aiming at automating detection.2. Unsupervised learning to identify anomalies in imaging data as candidates for markers.3. AnoGan, a deep convolutional generative adversarial network to learn a manifol..

Deep neural network는 대표적인 black box로 내부에 어떤 경과를 통해서 decision이 되었는지를 알지 못하는 문제가 있다. Support Vector Machine도 그런점을 갖고 있다. 반대로 Decision tree는 decision 과정을 확인할 수 있기 때문에 대표적인 white box 형태의 machine learning model이다. Deep neural network는 output layer의 activation 결과를 바탕으로 learned filter가 어떤 feature map을 만들었는지를 확인할 수 있다. 다음은 pytorch로 pre-trained vgg16의 feature map을 확인한 결과이다. 그리고 learned된 filter의 형태를 나타냈다.

인천공항GoogleGoogle 건물 내부Standford University, 스탠포드 대학교Standford University, 스탠포드 대학교 중식 (맛있더라)Standford University, 스탠포드 대학교 서점Apple visitor center, 바로 옆에 신사옥이 있다.Samsung, Samsung@First샌프란시스코블루보틀 커피샌프란시스코 거리들

Image segmentation using k-means clustering image를 segmentation하기 위해서 K-means clustering을 사용할 수 있다. K는 구별되는 cluster의 개수이고, unsupervised learning으로 K개의 cluster를 구하는 방법이다. 이미지에서 pixel intensity가 feature가 되며 하나의 pixel은 다음과 같이 표현한다. Pixel과 pixel사이의 distance를 계산하는 것은 L2 norm을 사용한다. K means clustering의 순서 1. K개의 randomly selected cluster centroids를 찾는다. 2. 각 pixel의 feature vector를 사용해서 1번에서 결정된 centro..

Restricted Boltzmann Machine back propagation을 사용해, deep한 neural network를 학습시킬 수 있다. 하지만, deep networks의 cost function은 non-convex function이므로, 어디서 최적화를 시작하는지는 모델의 성능을 크게 좌우한다. (Weights initialization) 다양한 initializer들이 제시되었다. Xavier initializer, He initializer 등이 그렇다. 이 initializer는 들어오는 neurons의 수와 (fan-in) 출력되는 neurons의 수 (fan-out)을 사용해서 normal distribution의 variance를 결정한다. 이 방법은 대부분의 neuron들..

Sparse regularization Autoencoder는 입력된 데이터를 저차원으로 encoding하고 다시 고차원으로 decoding하는 unsupervised learning이다. 만약 hidden layer가 input layer의 dimension보다 작고, activation function으로 linear function을 사용하면, 이 autoencoder는 PCA와 동일한 역할을 한다. 즉, 분산이 큰 factor를 찾아내고 그 factor로 데이터를 transformation하는 것이다. 만약, hidden layer와 input layer의 차원이 같고 activation function이 linear function이라면, hidden layer는 identity matrix와 ..

BatchNormalization Neural network의 weight이 학습이 되다보면, each layer의 input의 분포가 앞의 layer의 update된 weight에 의해서 변하게 된다. 이런 distribution은 training의 속도를 늦출 뿐만 아니라 very deep neural network를 학습시키가 매우 어렵다. 예를 들어, 맨 처음 layer의 parameter가 살짝 수정되었다고 했을 때, network는 이를 amplification 하기 때문에, 마지막 layer에 들어오는 입력의 분포가 상당히 달라져있을 수가 있다. Sigmoid 함수를 바탕으로 보면, Sigmoid 함수는 입력되는 값이 매우 낮거나 매우 높으면 saturation되어 gradient가 0이 된..