카메라, 라이다 센서융합 딥러닝 기술 심화
Q) 라이다 센서는 주변 환경에 대해 고해상도 스캐닝 정보를 제공하여 높은 인지 성능을 달성한다. 그럼에도 불구하고 다른 센서와 융합이 필요할까?
→ 필요하다. 라이다 센서도 완벽하지 않고, 단점이 있기 때문에 강인하고 일관된 인지 성능을 얻기 위해서는 다른 특성을 갖는 센서와의 융합이 필요하다고 생각한다.
학습 내용)
1.
카메라, 라이다 센서융합 딥러닝 기술 개요
2.
카메라, 라이다 센서융합 접근 방법
keyword 1)
프러스텀 포인트넷
→ 카메라 영상을 이용해 2차원 검출을 수행한 후, 그에 해당하는 3차원 영역인 프로스텀 추출
→ 프로스텀에 있는 포인트를 따로 처리
keyword 2)
카메라 라이다 특징값 융합
→ 카메라 영상에 CNN을 적용하여 얻은 특징 지도를 변환하여 라이다 특징값과 융합
keyword 3)
3D-CVF
→ 카메라 영상으로부터 얻은 2차원 특징 지도를 3차원 복셀 구조로 투영
카메라, 라이다 센서융합 딥러닝 기술 개요
•
카메라 + 라이다 장단점 보완을 위한 센서 융합 기술 필요
카메라
장점
•
물체 인식을 위한 풍부한 정보 제공
단점
•
거리 정보 부정확
라이다
장점
•
정확한 거리 정보 제공
단점
•
해상도가 카메라 만큼 높지 않음
카메라 + 라이다
→ 다양한 딥러닝 기법 연구중
카메라, 라이다 센서융합 접근 방법
접근 방법
1.
카메라 중심의 센서융합 기술
•
카메라(메인) + 라이다(부가적 센서)
•
프러스텀에 존재하는 라이다 포인트 추출
◦
포인트넷 등의 딥러닝 모델로 처리
▪
3차원 검출 정보 얻어냄
▪
ex) 프러스텀 포인트넷 (CVPR18)
▪
단점 : 카메라 물체 검증 성능에 의존
프러스텀 포인트넷
→ 물체에만 포인트넷을 적용해서, 3차원 박스의 파라미터 추정
2.
카메라, 라이다 특징값 융합 기술
융합을 할 수 있는 방법
1.
앵커박스(물체 검출을 하기 위해 기준이 되는 박스) → 특징값 추출 → 3차원 검출
2.
CNN으로 얻은 카메라 특징 지도 → 3차원 공간으로 투영 → 라이다에서 얻은 특징값과 융합하는 방법
