Orin AGX에 올릴 OD모델 경량화를 위해 KD Method를 적용하려는데 원리를 깊게 알고싶어서 논문을 읽어보았다. 추후에는 코드에 직접 적용할 것이다. [ Abstract ] 성능 향상을 위해서 모델 앙상블을 사용하면 계산량이 급격하게 증가한다. 이럴 때 접근법: Compress the knowledge in an ensemble, 하나의 모델에 compression technique을 적용하는 것이다. [ 1. Introduction ] Training stage & Deployment stage "Cumbersome Model"이 train된 후에 distillation 사용하는 것이다. 여기서 말하는 Cumbersome 한 모델은 teacher 모델을 의미하고, Small한 모델은 stude..

VGGNet (2014)는 옥스퍼드 대학의 VGG(Visual Geometry Group) 팀이 개발한 CNN 구조로 2014년 이미지넷 챌린지에서 우수한 성과를 얻은 구조임, VGGNet은 많은 연구에서 베이스라인으로 사용됨 (ICLR 2015) 차후의 공부나 연구에서 반드시 필요할 것 같아서 정리해보기로함. ICLR 2015 1. Introductions 이미지넷 챌린지를 통해서 비전 모델들이 도전하였는데 high-dimensional shallow feature encodings 부터 deep ConvNet까지 다양한 large-scale image classification system들을 실험할 수 있었다. 이 논문은 CNN에서 depth가 어떤 방식으로 성능에 관여하는가를 보여주기 위함이다. ..