* MDE를 end-to-end 신경망을 이용하는 방식의 가장 기본, 주춧돌이라고 할 수 있는 중요한 논문이다. "Scale-Invariant log loss"로 Optimization process 거침

# Abstract # Introduction

우선 지금까지의 depth 추정 문제들은 supervised 였고 gt값이 주어졌었는데 이를 어떻게 unsupervised하게 풀어간다는 것인지 궁금하여 본 논문을 읽어보았다. 학습시킬때 독자적인 depth 정보를 사용하지 않는다고 한다. --> binocular stereo footage 기하학적인 조건을 활용하여 image reconstuction loss로 네트워크를 훈련시켜 disparity 이미지를 생성한다. 1. Introduction 2. Related Work 3. Method 3.1 Depth Estimation as Image Reconstruction 3.2 Depth Estimation Network Key Insight: 오직 왼쪽의 이미지 만을 이용해서 Left-to-Right,..

baseline: encoder-decoder convolutional neural network architecture pose the question of how the global processing of information can help improve overall depth estimation 트랜스포머 기반의 Bins모듈을 제안함. 각 이미지에 따라 center value is estimated adaptively per image Final depth values are estimated as linear combinations of the bin centers. 1. Introduction 기존의 conv 레이어들이 global 정보들을 잘 찾지 못한다고 생각하여 본 연구를 진행함. 고..

이 논문에서는 Internal Discretization (ID)라는 모듈을 이용해 High-level patterns를 학습할 수 있게한다. Geometric-Priors 를 사용한 다른 모델들과는 엄연히 다르다. Continuous-Discrete-Continuous Bottleneck 구조로 지도학습 없이 학습할 수 있음 뭐 당연하게 성능이 좋은 모델인 만큼 위의 ID 모듈은 end-to-end로 학습될 수 있음. 1. Introduction 우선 다들 알다시피 MDE task 자체는 2D input 이미지가 무한한 3D scene들로 해석될 수 있다는 문제점을 갖고있음. 위의 문제를 그나마 개선한 MDE의 SOTA들은 크게 두 방법으로 나눠짐. (1)기하학적 제약 조건, 평면적인 사전정보들을 도입..

MDE의 문제: Classification-Regression problem IEBins는 iterative하게 multiple stage를 거치고 전 단계보다 우세하고 세분화돼서 탐색한다. progressively optimizing the search range Iterative한 과정을 통해 쌓인 오차를 완화하기 위해서 elastic target bin을 제시함. 이 Elastic Bin은 depth uncertainty에 맞게 width를 조정함 ( + feature extractor과 iterative optimizer로 구성된 framework도 제시하는데 GRU 기반의 구조로 강력한 temporal context modeling capabilities를 줌)

깊이 추정에 있어서 Self-Supervised 방식의 (1) 장점: 부족한 gt 레이블들을 해결할 수 있음. 자기지도학습은 레이블을 필요로 하지 않으므로. (2) 단점: 이 모델에서 사용되는 reconstruction loss로 인해 객체간의 경계가 smooth 해짐, Incapable of occlusion.(occlusion은 물체가 물체에 가려지는 현상) 비지도학습을 통해서 stereo 이미지들을 통해 깊이 맵을 생성하는 방법을 제안함. threshold면 임계치를 의미하는 건데..