iMTE

Meta-learning with Implicit Gradients [1] https://papers.nips.cc/paper/2019/hash/072b030ba126b2f4b2374f342be9ed44-Abstract.html IntroductionMeta-learning의 frame에서 bi-level optimization procedure는 다음으로 나누어진다.1) inner optimization : 주어진 task에 base learner가 학습하는 과정2) outer optimization : 여러 tasks 들에서 meta learner가 학습하는 과정MAML, DAML, Reptile 등의 방법이 optimization-based methods에 속한다. (Hands-on one-shot..

Meta-Learning sub parts 1. Adversarial Meta Learning (ADML)MAML에서 optimal weight initialization을 찾는 것이 목표였다. Optimal weight initialization을 찾을 때, 좀더 나으면서 견고한 model parameters를 찾기 위해서 clean data와 adversarial data를 사용하는 MAML을 ADML이라고 부른다. Network가 adversarial examples에 의해서 잘못된 판단을 내린다는 점으로 인해서, adversarial example을 사용하는 경우 좀 더 network가 adversarial attack에 강인하고, noisy에 강인하다는 점을 갖게 된다. 이러한 성질을 MAML에..