iDisc논문에서 zero-shot testing을 통해 강건함을 확인했다는데 궁금하여 찾아봄. NLP에서 Task 중 하나로 zero-shot classification이 있다고는 하는데 - 간단하게 말하자면 train했을 때 보지 못했던 데이터에 대해서 어떻게 작동하는지를 평가하는 과정임 - 여기서 "zero-shot"은 학습 단계에서 특정 작업이나 데이터에 대한 예제를 전혀 보지 않았음을 나타낸다.

이 논문에서는 Internal Discretization (ID)라는 모듈을 이용해 High-level patterns를 학습할 수 있게한다. Geometric-Priors 를 사용한 다른 모델들과는 엄연히 다르다. Continuous-Discrete-Continuous Bottleneck 구조로 지도학습 없이 학습할 수 있음 뭐 당연하게 성능이 좋은 모델인 만큼 위의 ID 모듈은 end-to-end로 학습될 수 있음. 1. Introduction 우선 다들 알다시피 MDE task 자체는 2D input 이미지가 무한한 3D scene들로 해석될 수 있다는 문제점을 갖고있음. 위의 문제를 그나마 개선한 MDE의 SOTA들은 크게 두 방법으로 나눠짐. (1)기하학적 제약 조건, 평면적인 사전정보들을 도입..

인풋이 2D Image인데 이는 무한한 3D scenes들로 조사될 수 있어서 ill-posed한 문제임 Outdoor scenario에 대해서 MDE benchmark의 다양성이 적음; 유일한게 KITTI임; 추후에 Arogoverse1.1, DDAD 라는 데이터 셋이 만들어지기도 했음.

MDE의 문제: Classification-Regression problem IEBins는 iterative하게 multiple stage를 거치고 전 단계보다 우세하고 세분화돼서 탐색한다. progressively optimizing the search range Iterative한 과정을 통해 쌓인 오차를 완화하기 위해서 elastic target bin을 제시함. 이 Elastic Bin은 depth uncertainty에 맞게 width를 조정함 ( + feature extractor과 iterative optimizer로 구성된 framework도 제시하는데 GRU 기반의 구조로 강력한 temporal context modeling capabilities를 줌)

깊이 추정에 있어서 Self-Supervised 방식의 (1) 장점: 부족한 gt 레이블들을 해결할 수 있음. 자기지도학습은 레이블을 필요로 하지 않으므로. (2) 단점: 이 모델에서 사용되는 reconstruction loss로 인해 객체간의 경계가 smooth 해짐, Incapable of occlusion.(occlusion은 물체가 물체에 가려지는 현상) 비지도학습을 통해서 stereo 이미지들을 통해 깊이 맵을 생성하는 방법을 제안함. threshold면 임계치를 의미하는 건데..