iMTE

activation functions In [1]: import matplotlib.pyplot as plt import numpy as np Step function¶ In [2]: def step(x): return 1*(x>0) In [3]: inputs = np.arange(-5,5,0.01) outputs = step(inputs) plt.figure(figsize=(8,5)) plt.plot(inputs,outputs,label='Step function') plt.hlines(0,-5,5) plt.vlines(0,0,1) plt.xlabel('input',fontsize=24) plt.ylabel('output',fontsize=24) plt.grid(alpha=0.3) plt.title("..

Neural Architecture Search : A surveyhttp://www.jmlr.org/papers/volume20/18-598/18-598.pdf Abstract딥러닝이 image recognition, speech recognition, machine translation과 같은 다양한 task에 여러해동안 특출한 진보를 이루어냈다. 이 진보에 대해 중요한 하나의 요소는 새로운 neural architecture이다. 현재 사용되는 architectures들은 human experts가 manually 하게 디자인을 한 것임으로, 시간 소모가 크고, 오류가 발생하기 쉽다. 이런 이유 때문에, 자동적으로 neural architecture search를 하는 분야에 대해 관심이 생기고 있..

Neural architecture search with reinforcement learninghttps://arxiv.org/pdf/1611.01578.pdf Abstract Neural network는 이미지, speech, natural language understanding의 많은 어려운 학습 task에 강력하고 flexible한 모델인데, 디자인하는 것이 힘들다. (Machine learning에 비해서 훨씬 많은 hyper-parameter를 tuning해야한다. 이 tuning이 성능에 크게 영향을 준다.) 이 논문에서는 validation set에서 정확성을 최대화하는 reinforcement learning 기반의 모델 hyper-parameter search RNN을 제안한다. (무..

Paper : Learning to learn by gradient descent by gradient descentDownload : http://papers.nips.cc/paper/6460-learning-to-learn-by-gradient-descent-by-gradient-descentMeta-Learning을 공부하고 연구에 적용해볼 생각으로 정리해보려고 한다. 꽤 재밌는 아이디어고, 어느 tasks에 적용할 수 있다는 점에서 매우 강력한 알고리즘이 될 것이라고 생각한다. Abstract기존의 hand-crafted features 대신에 학습된 features로의 변화는 꽤 큰 성공이었다. 하지만, 최적화 알고리즘 (e.g., optimization algorithm)은 여전히 hand로 ..

You Only Look Once : Unified Real-Time Object Detection (2016)Redmon, Joseph, et al. "You only look once: Unified, real-time object detection." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.(학교에서 찍은 영상에 YOLO를 적용한 case. 나무는 class가 없어서 detect을 하지 못하고 대신에 자동차는 잘 detect한다) Object를 단순히 classification하는 문제는, ImageNet, CIFAR 등 dataset으로 학습된 모델 (AlexNet, ResNet, Goo..

starGANStarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image TranslationChoi, Yunjey, et al. "Stargan: Unified generative adversarial networks for multi-domain image-to-image translation." arXiv preprint 1711 (2017). Facial emotion을 detection하는 알고리즘을 만들다가, starGAN 논문을 읽고 정리를 해본다.StarGAN에서 주목한 점은, 기존의 접근 방식들이 (Pix2Pix, CycleGAN, DiscoGAN 등) 두 개 이상의 domain 사이의 관계를 학습할 때 ..

Pix2PixImage-to-Image Translation with Conditional Adversarial NetworksIsola, Phillip, et al. "Image-to-image translation with conditional adversarial networks." arXiv preprint (2017). cycleGAN, DiscoGAN, Pix2Pix 와 같은 image-to-image translation model은 보란듯이 첫 페이지에 결과를 보여준다. (이러니 안궁금할 수가 없지.) 핵심만 간단하게 해석하고 접근을 해보자.먼저, Pix2Pix는 다른 cylceGAN, DiscoGAN과 달리 Paired image를 요구한다. 즉, input output이 서로 관련이 있..

DiscoGANLearning to Discover Cross-Domain Relations with Generative Adversarial NetworksKim, Taeksoo, et al. "Learning to discover cross-domain relations with generative adversarial networks." arXiv preprint arXiv:1703.05192 (2017).GAN에서 직접적으로 결과를 보여줄 수 있는 것은 역시나 이미지인 것 같다. cycleGAN도 그렇고, 이미지로 확 impact를 주니.. 안궁금할 수가 없는 것 같다. cycleGAN과 굉장히 유사한 개념을 기반으로 loss function을 정했고, network를 구성했다. 이 논문에서 cy..

CycleGANUnpaired Image-to-Image Translation using Cycle-Consistent Adversarial NetworksZhu, Jun-Yan, et al. "Unpaired image-to-image translation using cycle-consistent adversarial networks." arXiv preprint (2017).위의 그림에서 보는 것과 같이, cycleGAN은 서로 다른 domain의 이미지를 translate하는 'Image-to-Image translation' GAN이다. GAN이라는 단어가 사용되었기 때문에 당연히, Discriminator와 Generator는 서로 'Adversarial learning'을 시행한다. Cycle..

Restricted Boltzmann Machine back propagation을 사용해, deep한 neural network를 학습시킬 수 있다. 하지만, deep networks의 cost function은 non-convex function이므로, 어디서 최적화를 시작하는지는 모델의 성능을 크게 좌우한다. (Weights initialization) 다양한 initializer들이 제시되었다. Xavier initializer, He initializer 등이 그렇다. 이 initializer는 들어오는 neurons의 수와 (fan-in) 출력되는 neurons의 수 (fan-out)을 사용해서 normal distribution의 variance를 결정한다. 이 방법은 대부분의 neuron들..