[자율주행] Sensor Calibration- Intrinsic, Extrinsic calibration 설명

사실 제일 중요한게 각 위치마다 센서가 달리는데 이 때 실제 Global Coordinate를 Camera Coordinate로 Mapping하는 것이다.

Mapping할 때 중요한건 변환 Matrix임 그래서 우리가 선형대수학 시간에 배웠던 것 처럼 Rotation, Traslation등을 위해 행렬을 사용함.

센서 퓨전이나 카메라를 이용한 작업에 있어서 좌표계가 무엇보다 중요함.

1. Intrinsic Calibration

• Camera Sensor의 렌즈 또는 LiDAR와 같은 광학적 장비 내의 Distortion을 해결한다. 

2. Extrinsic Calibration

• 각 센서들의 FoV(Field of View)를 보기 위해 기하학적 관계를 파악해야한다. 서로 다른 좌표계를 지니므로
• 각 센서별로 있는 6개의 Parameters (Rotation, Translation 3축을 알아내는 과정)
• Mapping을 위해 필요하다. 예를 들면 차량 좌표계나 LiDAR 좌표계가 어긋난 경우나 잘못된 Parameter로 Calibration이 되어있는 경우 -> 실제와 다른 지도를 생성한다.
• Localization을 위해 필요하다. 차량의 위치나 방향을 잘못 추정할 수 있음
• Object Detection을 위해 필요하다. 위치가 어긋나 안정성이 감소될 수 있음
• 센서 좌표계를 알아내기 어렵고 rotation, translation을 구하기 위해 자로 재는 것은 어려워 알고리즘을 사용한다. 

---

[ Extrinsic Calibration의 2가지 방법 ]

1. Perception Sensor Calibration Methods (인지 센서)

   1.1  Target-based Calibration

• 특수한 target (checkerboard와 같은)을 카메라나 라이더가 동시에 보는 방식
• 정확한 Calibration Parameters를 추출 가능
• 센서와 타겟간의 관계를 통해 센서와 센서의 관계를 알아냄

  

 

   1.2 Targetless Calibration

• 이미지, Point Cloud의 공통으로 feature를 추출하는 방식
• 운용 중에도 Calibration 가능, 체커보드 필요 없음
• 비교적 성능이 떨어지지만 센서 자체가 틀어지는 경우에도 보정이 가능하다. 

2. Motion Sensor Calibration Methods (모션 센서)

• IMU나 GPS, GNSS에서 주는 Motion 정보를 이용해서 IMU와 GPS 사이를 Calibration 하는 방식
• Hand-eye Calibration
  • Vehicle coordinate 와 sensor coordinate 사이의 Tx (구속조건) 을 찾아내는 것
  • 짝을 모아서 Optimization을 통해 Tx를 얻어냄
• Unsupervised Calibration (Calibration이 잘되는 경우)
  • 글로벌 Optimization 을 통해 지도를 매끈하게 만드는 과정
  • Vehicle Coordinate, 차량 좌표계 사이의 Calibration의 값 측정
  • 고성능의 Sensor Fusion을 할 수 있다.