iMTE

Paper : OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNINGDownload : https://openreview.net/forum?id=rJY0-Kcll&noteId=ryq49XyLgAbstract큰 data domain에서 deep neural networks는 큰 성공을 보여주었지만, few-shot learning tasks에서는 성능이 별로 좋지 않았다. (이는 각 class의 매우 적은 example을 보고 빠르게 일반화를 해야하기 때문이다.) 큰 network (e.g., high capacity classifier)에서 gradient-based optimization은 많은 example에 많은 iteration을 해야 성능이 잘나온다는 것이 일반적인 믿..

Paper : Learning to learn by gradient descent by gradient descentDownload : http://papers.nips.cc/paper/6460-learning-to-learn-by-gradient-descent-by-gradient-descentMeta-Learning을 공부하고 연구에 적용해볼 생각으로 정리해보려고 한다. 꽤 재밌는 아이디어고, 어느 tasks에 적용할 수 있다는 점에서 매우 강력한 알고리즘이 될 것이라고 생각한다. Abstract기존의 hand-crafted features 대신에 학습된 features로의 변화는 꽤 큰 성공이었다. 하지만, 최적화 알고리즘 (e.g., optimization algorithm)은 여전히 hand로 ..

Pix2PixImage-to-Image Translation with Conditional Adversarial NetworksIsola, Phillip, et al. "Image-to-image translation with conditional adversarial networks." arXiv preprint (2017). cycleGAN, DiscoGAN, Pix2Pix 와 같은 image-to-image translation model은 보란듯이 첫 페이지에 결과를 보여준다. (이러니 안궁금할 수가 없지.) 핵심만 간단하게 해석하고 접근을 해보자.먼저, Pix2Pix는 다른 cylceGAN, DiscoGAN과 달리 Paired image를 요구한다. 즉, input output이 서로 관련이 있..

Conditional GAN source: https://github.com/eriklindernoren/Keras-GAN/blob/master/cgan/cgan.py Conditional GAN (CGAN)은 specific condition이 주어진 상태에서 fake image를 만들어내는 것이다. 이 condition은 discriminator와 generator의 loss function에 포함된다. GAN의 loss function은 다음과 같고, CGAN의 loss function은 다음과 같다. condition y가 추가된것 외에는 다른 점이 없다. MNIST 데이터를 사용해서 각 class에 해당하는 숫자를 generation하는 code를 keras로 작성해보자. 위와같은 코드를 작성하..

Generative Adversarial Networks (GAN) 두 신경망이 '경쟁'하면서 서로 학습하는 재미있는 아이디어를 가진 network를 Generative adversarial networks 라고 부른다. 두개의 신경망 중 하나는 1. Generative model, 2. Discriminator모델이다. 흔히 이 모델을 설명할 때 위조지폐를 만드는 범인과 이를 감독하는 경찰의 예를 든다. 경찰은 범인이 만든 위조 지폐를 구분을 하고, 거짓인지 진짜인지를 밝힌다. 범인은 이런 과정을 보고 경찰을 속이기 위해서 더 나은 위조 지폐를 만들어 낸다. 그러면 경찰은 다시 더 정밀하게 구분하도록 학습을 하게되고.. 최종적으로는 경찰은 위조 지폐를 분류할 거짓이라고 확률이 50 %가 될 정도로 정밀..