일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- 메타러닝
- meta-learning
- coding test
- 머신러닝
- keras
- cs231n
- Deep learning
- Artificial Intelligence
- 딥러닝
- AI
- Unsupervised learning
- 코딩 테스트
- python
- 설명가능한
- SmoothGrad
- Interpretability
- 코딩테스트
- Explainable AI
- Class activation map
- 백준
- xai
- grad-cam
- Cam
- 시계열 분석
- Machine Learning
- Score-CAM
- GAN
- 인공지능
- 기계학습
- 설명가능한 인공지능
- Today
- Total
목록Deep learning study (43)
iMTE
Deep Meta-Learning: Learning to Learn in the Concept Space Abstract "In this work, we argue that this is due to the lack of a good representation for meta-learning, and propose deep meta-learning to integrate the representation power of deep learning into meta-learning" Few-shot learning이 많은 related tasks로 부터 learning algorithm을 학습하는 것이 어려운데, 이를 좀 더 나은 representation으로 해결하자는 방법이 Deep Meta-Learni..
Gradient agreement as an optimization objective for meta-learning (NIPS, 2018) Abstract"Our approach is based on pushing the parameters of the model to a direction in which tasks have more agreement upon. If the gradients of a task agree with the parameters update vector, then their inner product will be a large positive value." 각 Task에서 얻은 gradient의 정보에서 가장 agreement가 큰 부분을 살리고, 반대되는 경우나 다른 방향의..
Meta-Learning sub parts 1. Adversarial Meta Learning (ADML)MAML에서 optimal weight initialization을 찾는 것이 목표였다. Optimal weight initialization을 찾을 때, 좀더 나으면서 견고한 model parameters를 찾기 위해서 clean data와 adversarial data를 사용하는 MAML을 ADML이라고 부른다. Network가 adversarial examples에 의해서 잘못된 판단을 내린다는 점으로 인해서, adversarial example을 사용하는 경우 좀 더 network가 adversarial attack에 강인하고, noisy에 강인하다는 점을 갖게 된다. 이러한 성질을 MAML에..
Meta-Learning sub partsSiamese, Prototypical, Relation, and Matching networksMeta-learning이 사용 될 수 있는 networks를 소개하고자 한다. (개념을 위주로 이해해보자!) 1. Siamese NetworksDeep Metric Learning에서 다루었던 내용이지만, Siamese networks는 이미지 두개를 받는 두개의 networks (weight은 sharing하고 같은 구조)로 구성되어 있다. 두개의 networks는 두개의 이미지로 부터 feature vector (embedding)을 생성해내고, 이 feature vectors의 similarity로 부터 학습된다. Similarity 계산은 feature vec..
Paper : Model-Agnostic Meta-Learning for Fast Adaptation of Deep NetworksDownload : https://dl.acm.org/citation.cfm?id=3305498워낙 중요하고 의미있는 내용들이 있으니, 직접 논문을 다운받아 읽어보는 것을 '적극' 추천한다! Abstract이 논문은 model-agnostic (독립적인) meta-learning을 위한 algorithm을 제안하는데, 이는 Gradient descent로 훈련되는 classification, regression, reinforcement learning을 포함하는 다양한 학습 문제에 적용가능한 모델과 호환된다. Meta-learning이 목표는 적은 수의 training sa..
Paper : OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNINGDownload : https://openreview.net/forum?id=rJY0-Kcll¬eId=ryq49XyLgAbstract큰 data domain에서 deep neural networks는 큰 성공을 보여주었지만, few-shot learning tasks에서는 성능이 별로 좋지 않았다. (이는 각 class의 매우 적은 example을 보고 빠르게 일반화를 해야하기 때문이다.) 큰 network (e.g., high capacity classifier)에서 gradient-based optimization은 많은 example에 많은 iteration을 해야 성능이 잘나온다는 것이 일반적인 믿..
Paper : Learning to learn by gradient descent by gradient descentDownload : http://papers.nips.cc/paper/6460-learning-to-learn-by-gradient-descent-by-gradient-descentMeta-Learning을 공부하고 연구에 적용해볼 생각으로 정리해보려고 한다. 꽤 재밌는 아이디어고, 어느 tasks에 적용할 수 있다는 점에서 매우 강력한 알고리즘이 될 것이라고 생각한다. Abstract기존의 hand-crafted features 대신에 학습된 features로의 변화는 꽤 큰 성공이었다. 하지만, 최적화 알고리즘 (e.g., optimization algorithm)은 여전히 hand로 ..
Reference :http://cs231n.github.io/ Transfer Learning실제로, 충분한 크기의 data set을 갖는 것은 상대적으로 드물기 때문에 전체 ConvNet을 처음부터 학습시키는 경우는 거의 없다. (그 많은 parameter를 tuning 해야한다.) 대신, 매우 큰 data set을 가진 data set로부터 ConvNet을 pre-training한 다음에, 새로운 작업에 적용시키는 방법이 Transfer Learning 이다.1. ConvNet as fixed feature extractor : ImageNet에서 미리 구성된 ConvNet을 사용하고 마지막으로 fully connected layer를 제거한 다음에 나머지 부분을 새 data set의 fixed f..
Reference :http://cs231n.github.io/understanding-cnn/http://aikorea.org/cs231n/understanding-cnn/ Visualizing what ConvNets learnConvolutional networks를 이해하고 시각화하기 위한 여러 가지 접근법이 개발되었는데, 부분적으로는 neural networks에서 학습 된 기능을 해석할 수 없다는 일반적인 비판에 대응한다. (이런점에서 학습된 feature들을 보여주는 것은 explainable AI 분야에서 매우 중요하다. 워낙 Black box라고 해서 신뢰를 못한다는 등의 비판이 많다. (그렇게 신뢰되는 Kernel SVM도 마찬가지 아닌가?)) Visualizing the activat..
Reference:http://cs231n.github.io/convolutional-networks/http://aikorea.org/cs231n/convolutional-networks/ ConvNetConvNet은 앞에서 다룬 일반 neural networks (feed forward라는 점에서 비슷하다.)과 유사하다. Weight과 bias로 구성되며, 각 neuron은 input을 받아 dot product를 한 뒤에 non-linear 연산을 진행한다. ConvNet은 마지막 레이어에 loss function을 갖고 있으며, 일반 neural networks 학습시킬 때 사용하던 각 종 기법을 동일하게 적용할 수 있다. Architecture overviewNeural networks는 vec..