본문 바로가기
메타러닝,퓨샷러닝/Few-Shot Object Detection

(논문리딩) LTSD : A Low-Shot Transfer Detector for Object Detection , AAAI 2018

UNI_The Cat 2021. 3. 19. 17:29

- FSOD과 관련한 첫번째 논문

5way-5shot 작업과 같은 일반적인 Few-shot Learning 방식이 아닌, Transfer Learning에 가까움.

// Base Class 를 이용해 학습한 뒤, Novel Class 데이터셋 전체에 모델을 적용.

다만 Novel class당 few-shot 이 필요하다는 점에서 FS 의 성격을 지니고 있음.

 

  • <Abstract>
    • Contribution 
      1. LSTD 의 유연하고 깊은 아키텍쳐는 low-shot detection 의 전이학습 어려움을 완화시킨다. 
        SSD + Faster RCNN 의 Unified Network
      2. few shot detection 을 위한 novel regularized transfer learning framework 제안.
        이것은 Transfer Knowledge(TK) 와 Background depression(BD) regulizations 가 제안되어서 
        원본과 타겟 도메인으로부터 각각 object knowledge를 활용한다.  이것은 few-shot 이미지들을 이용한 파인튜닝 성능을 높여준다.

 

  • <Introduction>
    • Low-Shot Transfer Detector's Contribution
      1. LSTD 내에 SSD 와 Raster RCNN 두 개의 강점을 합친 Low-shot detection 아키텍쳐가 존재.
      2. 편리한 전이학습을 위해 regression 과 classfication 파트를 나눔.
      3.  정규화된 전이학습을 도입. 
        소스 도메인과 타겟 도메인과의 task agnostic 한 전이학습을 도울 뿐 아니라,
        TK 와 BD 로 이루어진 novel regulization 을 이용해 파인튜닝을 강화한다.
  • <Related Works>
    • SKIP

 

 

Large-Scale 의 소스 데이터셋을 통해 source-domain LSTD를 훈련시키고, 이것으로 target-domain LSTD 를 초기화한다.  후에 Small-Scale 의 타겟 데이터셋으로 target-domain LSTD 를 파인튜닝한다. 이 때 low-shot detection regulization 을 이용한다 (BG / TK)

  •  <Model>
    • Low-Shot Transfer Detector (LSTD)
      • Bounding Box regression in the fashion of SSD
        1. SSD is designed in multiple-convolutional-feature. It is suitable to lovalize objects with various sizes. -> good for low-shot detection.
        2. Regressor in SSD is shared among all object categories.
          (Faster RCNN 과 달리 SSD의 Regressor 는 모든 사물카테고리에서 공유된다.)
        3. regression parameter 는 source domain에서 pre-train 된다. 이것은 target domain 의 초기값이 된다.
      • Object Classification in the fashion of Faster RCNN
        1. Detector에서 오는 proposals 을 걸러주는 object-or-not classification 을 둠. -> better target object proposals
        2. (ROI POOLING LAYER) FasterRCNN 의 RPN 을 차용. 고정된 크기의 feature cube 생성
          (middle-level convolutional layer)
        3. 기존의 FCL 가 아닌 ConvLayer 2개를 ROI POOLING LAYER 위에 쌓음.
          -> (NumOfClasses + 1 ) Classification 을 함
        4. 기존의 source-domain 에서 객체와 배경을 구분하는 knowledge 를 target-domain 에서
          Object-or-not Classification 을 통해 transfer 해준다. 
        5. 이러한 Coarse-to-Fine 분류기는 SSD에서 온 수많은 proposal 들을 바로 (K+1) classfier 로 넣어주는 것보다
          좋은 TargetObject Proposal 을 만들어준다.
      • Regularized Transfer Learning for LSTD
        1. Source domain 으로 Pretrain 한 LSTD 를 target domain 으로 fine-tune 한다.
        2. 이를 위해 Fine Tuning 시에 다음과 같은 Loss가 정의된다. (그림 1)
          - L_main 은 LSTD의 Multi-Layer Regression 과 Coarse-to-Fine Classifier 의 로스 합.
          - L_reg 는 L_main 만으로는 파인튜닝하기엔 오버피팅이 있을 수 있기에 만든 novel regularization 이다.
        3. L_reg 는 다음과 같이 정의된다. (그림 2)
          - 람다 항들은 가중치이다.  
          - 람다항들과 <L_BD,L_TK> 의 선형결합 
        4. (BD_REGULARIZATION) for Regression -> L_BD
          - L_BD 는 배경이 학습에 방해가 되어서 만든 novel background-depression regularization 이다. (target domain 데이터셋을 이용한다.)  (그림 3)  L_BD = ||F_BD||_2
          - F_BD 는 ROI POOLING LAYER 에서 나온 feature cube 와 실제 Ground Truth 를 마스킹하여 얻을 수 있는 배경영역 이다. L_BD 는 이러한 배경영역을 줄이기 위해 F_BD에 L2_Norm 을 적용해 만든 규제항이다.
        5. (TK_REGULARIZATION) for Classification -> L_TK
          - 소스 도메인의 카테고리가 타겟 도메인의 카테고리와 매우 유사할 때가 있다.
          EX) 다른 클래스인데, 색깔이나 형태가 비슷한 경우 분명히 transfer 할 수 있는 정보들이 있을 것이다.
          그렇기에 결국 (K+1) 객체 분류에 대해서도 random-initialize 되는 현상을 극복하고, 더 좋은 결과를 얻을 방법이 있어야 한다.
          이를 위해 novel transfer-knowledge (TK) Regularization 를 제안한다.
          - Target 도메인에서 각 proposal 들에 TK regularization 이 적용된다.

          - 학습방법 
          1. Source Domain 과 Target Domain LSTD 에 모두 training image를 넣어준다.
          2. Target Domain LSTD 에서 나온 Poroposal 영역을 Source Domain LSTD 의 ROI POOLING LAYER 에 적용한다. 이렇게 하면 Source Domain 에서 Knowledge Vetor 를 얻을 수 있다.
            이를 통해 Target Domain ROI에 대한 Source Domain Knowledge (확률 분포) 를 구한다.  (그림 4)
          3. Source Domain Knowledge 를 타겟 도메인의 학습에 도입하기 위해 Target-domain LSTD 를 multi-task learning frame work 로 변환한다.
            Target domain LSTD 끝에 Source-Object soften Classifier 를 넣는다. 이렇게 하면 분류기는 소스 도메인의 카데고리로 프레딕션 값을 내뱉는다. -> Soften predicion of source object categories (그림 5)
          4. 위에서 구해낸 Source Domain Knowledge 와 파인 튜닝 되고 있는 네트워크의 Soften Prediction 의 확률분포 차이를 구해낸다. (Cross-Entropy)  -> L_TK (그림 6)
        6. 기존 도메인에서 새로운 도메인의 디텍션 태스크로 가져올 때, 대부분 다시 초기화되어야 하는데 반해 (classfication)
          - Bounding Box Regression
          - Object or Not Classification
          은 충분히 transfer 가능한 Knowlege 이다. 
          위의 규제항들은 transfer가 불가능해서 random initialization 되는 Target-domain Classification 과 
          Transfer 할 때 Regression 을 방해하는 Background 를 줄이는 용도로 만들어졌다.

 

그림 1

 

그림 2
그림 3

 

그림 4 // Source Domain Knowledge - soften label softmax

 

그림 5 // Target Domain Knowledge

 

그림 6 // TK_Regulization

  • Experiment  

티스토리툴바