iMTE

Meta-learning with Implicit Gradients [1] https://papers.nips.cc/paper/2019/hash/072b030ba126b2f4b2374f342be9ed44-Abstract.html IntroductionMeta-learning의 frame에서 bi-level optimization procedure는 다음으로 나누어진다.1) inner optimization : 주어진 task에 base learner가 학습하는 과정2) outer optimization : 여러 tasks 들에서 meta learner가 학습하는 과정MAML, DAML, Reptile 등의 방법이 optimization-based methods에 속한다. (Hands-on one-shot..

Meta-learning for semi-supervised few-shot classification (ICLR, 2018) Abstract"In this work, we advance this few-shot classification paradigm towards a scenario where unlabeled examples are also available within each episode....To address this paradigm, we propose novel extensions of Prototypical Networks that are augmented with the ability to use unlabeled examples when producing prototypes."U..

Deep Meta-Learning: Learning to Learn in the Concept Space Abstract "In this work, we argue that this is due to the lack of a good representation for meta-learning, and propose deep meta-learning to integrate the representation power of deep learning into meta-learning" Few-shot learning이 많은 related tasks로 부터 learning algorithm을 학습하는 것이 어려운데, 이를 좀 더 나은 representation으로 해결하자는 방법이 Deep Meta-Learni..

Gradient agreement as an optimization objective for meta-learning (NIPS, 2018) Abstract"Our approach is based on pushing the parameters of the model to a direction in which tasks have more agreement upon. If the gradients of a task agree with the parameters update vector, then their inner product will be a large positive value." 각 Task에서 얻은 gradient의 정보에서 가장 agreement가 큰 부분을 살리고, 반대되는 경우나 다른 방향의..

Meta-Learning sub parts 1. Adversarial Meta Learning (ADML)MAML에서 optimal weight initialization을 찾는 것이 목표였다. Optimal weight initialization을 찾을 때, 좀더 나으면서 견고한 model parameters를 찾기 위해서 clean data와 adversarial data를 사용하는 MAML을 ADML이라고 부른다. Network가 adversarial examples에 의해서 잘못된 판단을 내린다는 점으로 인해서, adversarial example을 사용하는 경우 좀 더 network가 adversarial attack에 강인하고, noisy에 강인하다는 점을 갖게 된다. 이러한 성질을 MAML에..

Meta-Learning sub partsSiamese, Prototypical, Relation, and Matching networksMeta-learning이 사용 될 수 있는 networks를 소개하고자 한다. (개념을 위주로 이해해보자!) 1. Siamese NetworksDeep Metric Learning에서 다루었던 내용이지만, Siamese networks는 이미지 두개를 받는 두개의 networks (weight은 sharing하고 같은 구조)로 구성되어 있다. 두개의 networks는 두개의 이미지로 부터 feature vector (embedding)을 생성해내고, 이 feature vectors의 similarity로 부터 학습된다. Similarity 계산은 feature vec..

Paper : Model-Agnostic Meta-Learning for Fast Adaptation of Deep NetworksDownload : https://dl.acm.org/citation.cfm?id=3305498워낙 중요하고 의미있는 내용들이 있으니, 직접 논문을 다운받아 읽어보는 것을 '적극' 추천한다! Abstract이 논문은 model-agnostic (독립적인) meta-learning을 위한 algorithm을 제안하는데, 이는 Gradient descent로 훈련되는 classification, regression, reinforcement learning을 포함하는 다양한 학습 문제에 적용가능한 모델과 호환된다. Meta-learning이 목표는 적은 수의 training sa..

Paper : OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNINGDownload : https://openreview.net/forum?id=rJY0-Kcll&noteId=ryq49XyLgAbstract큰 data domain에서 deep neural networks는 큰 성공을 보여주었지만, few-shot learning tasks에서는 성능이 별로 좋지 않았다. (이는 각 class의 매우 적은 example을 보고 빠르게 일반화를 해야하기 때문이다.) 큰 network (e.g., high capacity classifier)에서 gradient-based optimization은 많은 example에 많은 iteration을 해야 성능이 잘나온다는 것이 일반적인 믿..

Paper : Learning to learn by gradient descent by gradient descentDownload : http://papers.nips.cc/paper/6460-learning-to-learn-by-gradient-descent-by-gradient-descentMeta-Learning을 공부하고 연구에 적용해볼 생각으로 정리해보려고 한다. 꽤 재밌는 아이디어고, 어느 tasks에 적용할 수 있다는 점에서 매우 강력한 알고리즘이 될 것이라고 생각한다. Abstract기존의 hand-crafted features 대신에 학습된 features로의 변화는 꽤 큰 성공이었다. 하지만, 최적화 알고리즘 (e.g., optimization algorithm)은 여전히 hand로 ..