Orin AGX에 올릴 OD모델 경량화를 위해 KD Method를 적용하려는데 원리를 깊게 알고싶어서 논문을 읽어보았다. 추후에는 코드에 직접 적용할 것이다. [ Abstract ] 성능 향상을 위해서 모델 앙상블을 사용하면 계산량이 급격하게 증가한다. 이럴 때 접근법: Compress the knowledge in an ensemble, 하나의 모델에 compression technique을 적용하는 것이다. [ 1. Introduction ] Training stage & Deployment stage "Cumbersome Model"이 train된 후에 distillation 사용하는 것이다. 여기서 말하는 Cumbersome 한 모델은 teacher 모델을 의미하고, Small한 모델은 stude..

* MDE를 end-to-end 신경망을 이용하는 방식의 가장 기본, 주춧돌이라고 할 수 있는 중요한 논문이다. "Scale-Invariant log loss"로 Optimization process 거침

# Abstract # Introduction

우선 지금까지의 depth 추정 문제들은 supervised 였고 gt값이 주어졌었는데 이를 어떻게 unsupervised하게 풀어간다는 것인지 궁금하여 본 논문을 읽어보았다. 학습시킬때 독자적인 depth 정보를 사용하지 않는다고 한다. --> binocular stereo footage 기하학적인 조건을 활용하여 image reconstuction loss로 네트워크를 훈련시켜 disparity 이미지를 생성한다. 1. Introduction 2. Related Work 3. Method 3.1 Depth Estimation as Image Reconstruction 3.2 Depth Estimation Network Key Insight: 오직 왼쪽의 이미지 만을 이용해서 Left-to-Right,..

baseline: encoder-decoder convolutional neural network architecture pose the question of how the global processing of information can help improve overall depth estimation 트랜스포머 기반의 Bins모듈을 제안함. 각 이미지에 따라 center value is estimated adaptively per image Final depth values are estimated as linear combinations of the bin centers. 1. Introduction 기존의 conv 레이어들이 global 정보들을 잘 찾지 못한다고 생각하여 본 연구를 진행함. 고..

이 논문에서는 Internal Discretization (ID)라는 모듈을 이용해 High-level patterns를 학습할 수 있게한다. Geometric-Priors 를 사용한 다른 모델들과는 엄연히 다르다. Continuous-Discrete-Continuous Bottleneck 구조로 지도학습 없이 학습할 수 있음 뭐 당연하게 성능이 좋은 모델인 만큼 위의 ID 모듈은 end-to-end로 학습될 수 있음. 1. Introduction 우선 다들 알다시피 MDE task 자체는 2D input 이미지가 무한한 3D scene들로 해석될 수 있다는 문제점을 갖고있음. 위의 문제를 그나마 개선한 MDE의 SOTA들은 크게 두 방법으로 나눠짐. (1)기하학적 제약 조건, 평면적인 사전정보들을 도입..

MDE의 문제: Classification-Regression problem IEBins는 iterative하게 multiple stage를 거치고 전 단계보다 우세하고 세분화돼서 탐색한다. progressively optimizing the search range Iterative한 과정을 통해 쌓인 오차를 완화하기 위해서 elastic target bin을 제시함. 이 Elastic Bin은 depth uncertainty에 맞게 width를 조정함 ( + feature extractor과 iterative optimizer로 구성된 framework도 제시하는데 GRU 기반의 구조로 강력한 temporal context modeling capabilities를 줌)

깊이 추정에 있어서 Self-Supervised 방식의 (1) 장점: 부족한 gt 레이블들을 해결할 수 있음. 자기지도학습은 레이블을 필요로 하지 않으므로. (2) 단점: 이 모델에서 사용되는 reconstruction loss로 인해 객체간의 경계가 smooth 해짐, Incapable of occlusion.(occlusion은 물체가 물체에 가려지는 현상) 비지도학습을 통해서 stereo 이미지들을 통해 깊이 맵을 생성하는 방법을 제안함. threshold면 임계치를 의미하는 건데..

VGGNet (2014)는 옥스퍼드 대학의 VGG(Visual Geometry Group) 팀이 개발한 CNN 구조로 2014년 이미지넷 챌린지에서 우수한 성과를 얻은 구조임, VGGNet은 많은 연구에서 베이스라인으로 사용됨 (ICLR 2015) 차후의 공부나 연구에서 반드시 필요할 것 같아서 정리해보기로함. ICLR 2015 1. Introductions 이미지넷 챌린지를 통해서 비전 모델들이 도전하였는데 high-dimensional shallow feature encodings 부터 deep ConvNet까지 다양한 large-scale image classification system들을 실험할 수 있었다. 이 논문은 CNN에서 depth가 어떤 방식으로 성능에 관여하는가를 보여주기 위함이다. ..