-----------------------------------------------------------------------------------------------------------------------------------------------------
towardsdatascience.com/non-parametric-meta-learning-bd391cd31700
Non-parametric meta-learning
This story covers non-parametric few-shot learning algorithms, which include siamese networks, matching networks, and prototypical…
towardsdatascience.com
<참고하면 좋을 블로그>
- Non-Parametric Learner 들은 분포를 가정하기 어려운 (샘플 개수가 적은) 태스크(few-shot)에 대해서 유리하다.
다만 우리는 큰 데이터셋으로 스케일이 커진 모수적 방식을 원한다.
--->>> non-parametric method 방식의 핵심은 parametric meta learner 들을 효율적인 non-parametric meta learner 만들기 위해 이용하는 것이다.
Non-Parametric-Learners 에서 Key Idea 는 "test-data point 와 가장 비슷한 하나의 training data에 달려진 라벨을 찾는 과정"이다.
이 과정에서 우리는 두가지를 결정해야 한다.
1. "what space do you compare" // EX) pixel space
2. with "what disctance metric" // EX) L2 distance
하지만 L2 는 좋은 metric 성능을 보여주지 못한다.
-> pixel space에서 L2 metric 을 사용하는 것이 아닌, meta-training data를 이용하여 비교하는 것을 배운다.
<참조하면 좋은 글> 각 네트워크에 대한 설명이 있는 블로그
www.youtube.com/watch?v=ET1XNqm0WN0&feature=emb_rel_pause
1. siamese networks
2. prototypical networks
3. other non-parametric methods
4. properties of meta-learning algorithms
1. siamese networks
www.youtube.com/watch?v=d2XB5-tuCWU&feature=emb_rel_end
샴 네트워크는 독립적으로 두 개의 합성곱 신경망을 실행 한 뒤 비교합니다.
두 개의 input이 같은 클래스라면 두 개의 encoding 값 사이의 거리가 가까워야 합니다.
meta-training time 에서
각 두 개의 이미지에 대해서 비교하는 과정을 반복합니다.
따라서 서로 같은 클래스냐, 다른 클래스냐를 구분하는 binary-classification을 하게 됩니다.
meta-test time 에서
각 테스트 이미지 데이터에 대해서 트레이닝 데이터셋의 이미지와 비교를 하게 됩니다.
따라서 N-way classification을 하게 됩니다.
하지만 이 두가지 방식이 서로 같은 방식이 아니기 때문에 다른 좋은 방법을 찾게 되었습니다.
-> Matching Network
jiminsun.github.io/2019-02-20/Vinyals-2016/
- 참고하면 좋을 관련 블로그 <Matching Network> 참조 : JIMIN SUN
dsba.korea.ac.kr/seminar/?mod=document&uid=63
- 참고하면 좋을 관련 리뷰 < Matching Network> 참조 : 고려대학교 DSBA
- 쫙 훑어줌.
-> Key idea of Matching Network.
테스트 데이터에 대해서 훈련 데이터 포인트에 대한 Nearest Neighbours 를 시행하는 것이라면,
훈련할 때 NN 가 좋은 성과를 낼 수 있도록 Embedding Space 를 훈련 시키는 게 어떻겠냐?!
Matching Network 에서 나온 Contribution
1. Episode training 제시
2. Mini-ImageNet 제공.
-----------------------------------------------------------------------------------------------------------------------------------------------------
이번 렉쳐는 저번 강의에서 하던 optimization based meta learning 의 마무리와, -> Recap & discuss advanced topics
퓨샷러닝에 대한 비모수 접근 방식을 볼 것 이다. -> Siamese networks, matching networks, prototypical networks