iMTE

Deep Meta-Learning: Learning to Learn in the Concept Space Abstract "In this work, we argue that this is due to the lack of a good representation for meta-learning, and propose deep meta-learning to integrate the representation power of deep learning into meta-learning" Few-shot learning이 많은 related tasks로 부터 learning algorithm을 학습하는 것이 어려운데, 이를 좀 더 나은 representation으로 해결하자는 방법이 Deep Meta-Learni..

Gradient agreement as an optimization objective for meta-learning (NIPS, 2018) Abstract"Our approach is based on pushing the parameters of the model to a direction in which tasks have more agreement upon. If the gradients of a task agree with the parameters update vector, then their inner product will be a large positive value." 각 Task에서 얻은 gradient의 정보에서 가장 agreement가 큰 부분을 살리고, 반대되는 경우나 다른 방향의..

Meta-Learning sub parts 1. Adversarial Meta Learning (ADML)MAML에서 optimal weight initialization을 찾는 것이 목표였다. Optimal weight initialization을 찾을 때, 좀더 나으면서 견고한 model parameters를 찾기 위해서 clean data와 adversarial data를 사용하는 MAML을 ADML이라고 부른다. Network가 adversarial examples에 의해서 잘못된 판단을 내린다는 점으로 인해서, adversarial example을 사용하는 경우 좀 더 network가 adversarial attack에 강인하고, noisy에 강인하다는 점을 갖게 된다. 이러한 성질을 MAML에..

Meta-Learning sub partsSiamese, Prototypical, Relation, and Matching networksMeta-learning이 사용 될 수 있는 networks를 소개하고자 한다. (개념을 위주로 이해해보자!) 1. Siamese NetworksDeep Metric Learning에서 다루었던 내용이지만, Siamese networks는 이미지 두개를 받는 두개의 networks (weight은 sharing하고 같은 구조)로 구성되어 있다. 두개의 networks는 두개의 이미지로 부터 feature vector (embedding)을 생성해내고, 이 feature vectors의 similarity로 부터 학습된다. Similarity 계산은 feature vec..

Paper : Model-Agnostic Meta-Learning for Fast Adaptation of Deep NetworksDownload : https://dl.acm.org/citation.cfm?id=3305498워낙 중요하고 의미있는 내용들이 있으니, 직접 논문을 다운받아 읽어보는 것을 '적극' 추천한다! Abstract이 논문은 model-agnostic (독립적인) meta-learning을 위한 algorithm을 제안하는데, 이는 Gradient descent로 훈련되는 classification, regression, reinforcement learning을 포함하는 다양한 학습 문제에 적용가능한 모델과 호환된다. Meta-learning이 목표는 적은 수의 training sa..

Paper : OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNINGDownload : https://openreview.net/forum?id=rJY0-Kcll&noteId=ryq49XyLgAbstract큰 data domain에서 deep neural networks는 큰 성공을 보여주었지만, few-shot learning tasks에서는 성능이 별로 좋지 않았다. (이는 각 class의 매우 적은 example을 보고 빠르게 일반화를 해야하기 때문이다.) 큰 network (e.g., high capacity classifier)에서 gradient-based optimization은 많은 example에 많은 iteration을 해야 성능이 잘나온다는 것이 일반적인 믿..

Paper : Learning to learn by gradient descent by gradient descentDownload : http://papers.nips.cc/paper/6460-learning-to-learn-by-gradient-descent-by-gradient-descentMeta-Learning을 공부하고 연구에 적용해볼 생각으로 정리해보려고 한다. 꽤 재밌는 아이디어고, 어느 tasks에 적용할 수 있다는 점에서 매우 강력한 알고리즘이 될 것이라고 생각한다. Abstract기존의 hand-crafted features 대신에 학습된 features로의 변화는 꽤 큰 성공이었다. 하지만, 최적화 알고리즘 (e.g., optimization algorithm)은 여전히 hand로 ..

신카이 마코토의 작품 중, 나에게 의미가 있었던 작품을 정리하고자 한다. 첫번째 작품은, '초속 5cm'. 그리고 '언어의 정원', '너의 이름은'이다. 먼저, '초속 5cm'를 다루고 싶었지만, 좀 더 시간을 두고 보려고 한다. 대신에 '언어의 정원'을 먼저 정리하고자 하며, 극히 개인적인 의견과 스포일러가 포함되어 있으니 읽을 때 주의하길 바란다. 鳴る神の 少し響みて さし曇り 雨も降らぬか きみを留めむ 천둥소리가 저 멀리서 들려오고 구름이 끼고 비라도 내리지 않을까 그러면 널 붙잡을 수 있을텐데 鳴る神の 少し響みて 降らずとも 吾は留まらむ 妹し留めば 천둥소리가 저 멀리서 들리며 비가 내리지 않더라도 당신이 붙잡아 주신다면 난 머무를 겁니다. 1. 타카오타카오 (남자 주인공)은 고등학생으로, 학교 수업과 ..

Reference :http://cs231n.github.io/ Transfer Learning실제로, 충분한 크기의 data set을 갖는 것은 상대적으로 드물기 때문에 전체 ConvNet을 처음부터 학습시키는 경우는 거의 없다. (그 많은 parameter를 tuning 해야한다.) 대신, 매우 큰 data set을 가진 data set로부터 ConvNet을 pre-training한 다음에, 새로운 작업에 적용시키는 방법이 Transfer Learning 이다.1. ConvNet as fixed feature extractor : ImageNet에서 미리 구성된 ConvNet을 사용하고 마지막으로 fully connected layer를 제거한 다음에 나머지 부분을 새 data set의 fixed f..

Reference :http://cs231n.github.io/understanding-cnn/http://aikorea.org/cs231n/understanding-cnn/ Visualizing what ConvNets learnConvolutional networks를 이해하고 시각화하기 위한 여러 가지 접근법이 개발되었는데, 부분적으로는 neural networks에서 학습 된 기능을 해석할 수 없다는 일반적인 비판에 대응한다. (이런점에서 학습된 feature들을 보여주는 것은 explainable AI 분야에서 매우 중요하다. 워낙 Black box라고 해서 신뢰를 못한다는 등의 비판이 많다. (그렇게 신뢰되는 Kernel SVM도 마찬가지 아닌가?)) Visualizing the activat..