Ceres Solver로 직접 해보면 이해하기 쉬움!

http://ceres-solver.org/tutorial.html

1. 각 frame image에서의 2d feature point와 pair되는 3d points 글로벌 좌표에서 각 프레임 카메라 좌표로 전환 P’=Rp + t
2. 카메라 좌표 Nomal plane화 (z값 1로)
3. Distortion과 카메라 내부파라미터를 이용하여 이전 이미지 좌표계로 나타냄
4. 이를 실제 관측값과 이미지 좌표로 투영된 픽셀(3d-2d) 값에 대한 error function를 구함
5. cost function을 통해 최적화
6. 이때 카메라 자세 T에서 얻어지는 랜드마크 값 p들을 관측값으로 비교하기 위해서는, 비선형방정식을 선형 방정식으로 변형 시켜줘야한다.
7. 첫번째로 Tranformation Matrix(Lie Group) 형태를 Rodrigues formula(log) 를 통해 lie algibra(선형) 형태로 바꾼다.(Rotation Matrix에 대하여 vector화)ㄴ
8. 이유는 9개의 요소와 3개의 자유도를 가지고 있는데, 자유도보다 요소가 많으면 singularity에 빠기지 쉽다. 또한 Rotation Matrix는 +,-,x,나누기가 있는데, 이는 최적화 할때 Computational이 증가한다. 그렇기 때문에 벡터화를 하여서 Targent space(선형 공간)에서의 최적화를 해야 된다.
9. 두번째 error function(cost function)에 대해 first order & second order tayor series하여서 선형화를 만든다.
10. 이때 T에 대한 카메라 error function에 대한 편미분과 랜드마크에 대한 편미분을 하여서 Jacobian Matrix(각 요소에 대한 vector field를 구한다)를 구한다(선형근대화를 시킨다.)
11. 얻어진 자코비안 매트릭스들을 Information 곱을 통한(J * Omega * J^t = H) 통해서 Hessian Matrix를 만들거나, 편미분을 한번 더하여서 Hessian Matrix를 만든다.
12. 9번째 스텝을 통해서 가우시안 뉴턴, LM같은 최적화 공식인 [H * deltax = -b]이라는 식이 나오고 LM,가우시안뉴턴 같은 최적화 방법으로 최적화가 된다.
13. Jacobian 및 2차 편미분으로 Hessian Matrix를 만들게 되면 엄청나게 큰 희소성의 행렬이 되고, 희소성은 역행렬을하여서 문제를 푸는데 많은 메모리 소모와 시간이 걸린다.
14. 이에 Schur Elimination 이용, 행렬안에 특징별 block 매트릭스를 통하여서 계산량을 적게, 쉽게 dx(예측값)을 구하고 이를 실제 관측값과 cost function을 통해 최적화를 한다.
15. 모든 맵포인트를 고려하게 되면, 계산량이 많고 불필요한 맵포인트도 포함될수 있으므로, RANSAC을 통해서 가치있는 맵포인트들과 정해진 이미지 프래임 숫자만 큼 Bundle Adjustment를 한다.
16. 즉 Covisibiltiy graph에 대한 문제를 푼다.
17. 또한 cost function를 통해 오차를 최적화 하는데는 오버 피팅이 되지 않도록 Huber같은 것을 사용하여서 outlier 제거를 통해 오차의 크기 수정을 결정한다.
18. 이와 같이 Hessian Matrix에 맺친 카메라 포즈에서 관찰된 Landmark 포인트들을 Gassian Newton or LM같은 방식을 써서 실제 관측값에 대한 오차를 계산하고 Mappoints와 camera 자세를 업데이트 해준다.

Optical Flow

1. Feature Point를 찾는다.
2. 디스크립터를 사용하지 않고
3. 얻어진 Feature Point를 Optical Flow를 통해서 이미지 시퀀스간에 특징점 모션을 트래킹 한다.
4. 즉 디스크립터를 사용하는 대신에 Optical Flow를 사용한 것이다.
5. 이떄 3차원 공간에 특징점은 불변한다라는 과정하에
6. 이미지 플래인에 투영을 하여서 실제 특징점과 3D 공간상으로 투영된 특징점의 오차를 최소화 한다.
7. 이미지 NonConvexity 이유로 최적화 하는데 어려움이 있는데 이미지 피라미드를 이용하여서, 이미지 스케일 문제를 해결하고 최적화를 실행한다.
8. 즉, 예를 들어 이미지에 20개의 특징점이 있는 픽셀에 모션이 생긴다면, 0.5로 이미지를 압축을 하여서 줄어든 픽셀 모션 5개를 통하여 최적화한다.
9. Optical Flow를 통해 얻어진 것들은 Epiploar contraint, Triangularation, PnP알고리즘을 통해 맵포인트나, 자세를 추정한다.

Direct Method

1. 특징점 없이, 픽셀로만 이용을 하여서 얻어지는 특징점(?)으로 Epipolar contraint, Triangularation, PnP알고리즘을 통해 자세와 맵포인트들을 추정하는 방법이다.
2. Direct Method 같은 경우에는 이미지 플래인에 랜덤으로 픽셀을 고른다.
3. 이떄 첫번째 이미지 플래인에서 랜덤으로 선택된 픽셀 p1의 위치와 값을 2번째 이미지 플래인에서 intensity오차를 통해 p2 위치를 찾는다.
4. 이때 이미지 픽셀에 대한 intensity는 불변한다는 가정하에 Itensity 오차를 계산하여서 p2의 위치를 최적화 한다.
5. 얻어진 p1, p2에 대한 오차 최적화에 대한 관계식으로 카메라 자세 T를 얻게 된다.
6. 이를 통해 카메라좌표계와 T를 고려한 두번째 카메라좌표계에서 q를 구하고, 얻어진 q는 내부 카메라 파라미터로 부터 이미지 플래인에서의 카메라 자세를 얻게 된다.
7. 카메라 좌표계 간의 변환을 얻는 걷은 구글이나, 유투브에 잘 나와있다(자코비안을 통해서 Hessian Matrix와 bias를 통해 정해진 iteration수만큼 리에대수를 통하여서 자세를 업데이트 추정한다.
8. 이미지 NonConvexity 이유로 최적화 하는데 어려움이 있는데 이미지 피라미드를 이용하여서, 이미지 스케일 문제를 해결하고 최적화를 실행한다.
9. 즉, 예를 들어 이미지에 20개의 특징점이 있는 픽셀에 모션이 생긴다면, 0.5로 이미지를 압축을 하여서 줄어든 픽셀 모션 5개를 통하여 최적화한다.
10. 이를 통해 6,7 방법을 통해 자세를 추정한다.

Direct Method의 장단점

1. 특징점과 디스크립터 계산하는데 사용되는 시간을 줄였다.
2. 특징점이 없는 공간에서 사용 가능. inderect method는 특징점 이외에 장면들을 무시하지만, direct method는 모든 이미지 픽셀을 활용할 수 있음.
3. density 한 map구축 가능
4. Direct Method는 Gradient Descent에 의지를 하기 때문에 이미지는 NonConvexity의 특징을 가지고 있어, 오직 작은 모션 일때만 적용이 가능하다.
5. 비슷한 픽셀의 intensity가 많기 떄문에 복잡성이 증가한다.
6. 픽셀에 대한 Itensity가 불변한다는 가정하에 하는 작업이므로, 빛에 대해 약하다.

두 이미지 시퀀스에서 특징점과 디스크립터를 FLANN알고리즘을 통해 매칭점을 찾습니다. 찾아진 매칭점들은 두 이미지 시퀀스간의 관계를 나타내는 Epipolar Contraint을 통해서 Essential Matrix와 Fundamental Matrix를 구하여서, Triangulation을 통한 맵포인트 생성과 PnP알고리즘을 통해 카메라 포즈를 구할 수 있습니다.

Essential Matrix

Essential Matrix는 Symmetric하고 Positive-definte하기 때문에 행렬분해를 통해서 Rotation과 Tranlation을 구할 수 있다.

그렇다면 Epipolar Contraint을 통해 Essential Matrix안에 있는 미지수를 구해야하는데 어떻게 구할까? 거기에 대한 해답은 Eight point algorithm이다.

Normal Plane과 8개 특징점에 대한 Epipolar Contraint을 통해서 선형화 된 식을 얻고 이를통해 Essential Matrix를 만든다. 자세한 식은 구글이나 유투브에 잘 나와있다.

얻어진 Essential Matrix는 행렬분해를 통해 Rotation과 Translation 값을 구할 수 있다.

Homography

두 이미지 시퀀스에 대한 epipolar Contraint에서 많이 나오는 것이 Homography이다. Homography는 두 이미지 플래인간에 투영관계를 나타내고 있다. 만약 특정점이 두 이미지 플래인에 나타나고 있다면, 이 Homography를 통해 모션에 대한 예측을 할 수 있다. 즉 두 이미지플래인에 매쳐있는 공동의 특징점들을 Homography를 통해 모션에 대한 예측을 한다. 이 Homography Matrix를 구하는것은 Fundamental Matrix를 구하는 것과 비슷하다. 이때 4개의 매칭점을 이용을 하여서 rank가 8인 Homography Matrix를 구하게 된다. 이를 Direct Linear Transform 방법과 비슷하게 문제를 푼다(카메라 내부 파라미터를 구할때 많이 사용된다. 2d image points and 3d word points비교를 통한, CheckBoard, Linaer Equation) 자세한 식은 구글이나 유트브에 잘 나와있다.

얻어진 Homography Matrix는 Essential Matrix와 마찬가지로 행렬분해를 통해 Rotation과 Translation을 구할 수 있다.

Homography Matrix가 슬램에서 중요한 이유는, 특징점 및 카메라 자세에 대한 로테이션이 생겼을 경우, Fundamental Matrix의 자유도는 낮아지게 된다. 이는 Degerate 문제가 생긴다. 이때 많은 노이즈를 포함하게 되는데, 만약 Eight Point algorithm으로 Fundamental Matrix문제를 풀게 된다면, Degerate로 생기는 노이즈에 따라 정확한 값을 얻을 수 없다. 이 문제를 해결하기 위하여, Fundamental Matrix와 Homography Matrix를 동시에 계산하며, 재투영을 하였을때 최소의 오차를 가지고 있는 매칭점을 구하게 된다. 이때 모든 Point를 고려할 수 없으므로, Ransac을 통해 가치있는 포인트들을 추리고 행렬분해를 통해 Rotation과 Translation을 구한다.

슬램에서 문제들

1. Homography Matrix는 순수 로테이션(Translation 이 없는)일때 사용이 된다. Essential Matrix같은 경우 Translation이 0 일 경우 Essential Matrix의 값또한 0이다. 이에 Homography Matrix를 써서 회전에 대한 값을 구한다. 그러나 모노카메라일경우 Translation이 없을 경우 Triangulation을 통한 맵포인트를 구할 수 없기 떄문에, initilaization을 할때 일정에 정해진 이동이 꼭 필요하여 초기화를 해야된다. 또한 초기화 당시 Translation이 작다면 카메라 포즈나 맵포인트들에 대한 정확도가 낮아진다. 초기화가 잘 되었다면 3D-2D 모션 추정 알고리즘을 통해 카메라 자세를 추정할 수 있다.

2. 오차가 큰 매칭점들은 RANSAC에 의해 제거를 하여서 정확한 Essential Matrix를 구한다.

3. Essential Matrix 혹은 Homography Matrix를 통해 Rotation과 Tranlation을 구하게 되었다면, 두 이미지 시퀀스의 카메라 자세, Transformation과 두 이미지간의 매칭포인트들을 통해 Mappoints를 생성 할 수있다.

4. 모노 카메라일경우 1,2,3 번을 통해서 초기 Relative Rotation과 Relative Translation값을 가지고 3d mappoints를 만들고, 그후 solve pnp(3d-2d) 방법을 통해서 다음 카메라 자세 추정을 한다음 3d Triangulation를 반복적으로 한다.

5. 스테레오 카메라 및 Depth카메라일 경우 위의 Essential Matrix 및 essential matrix를 찾아 Relative Pose를 찾는 것이 아니라, 바로 3d triangulation을 만들고 solvepnp를 통해서 카메라 포즈 및 맵포인트들을 만든다.

6. PnP는 주로 Direct Linear Transformation, Bundle Adjustment로 두개가 있다.(3D-2D 방법), (3D-3D는 ICP 방법)

임원 면접관 5명이 들어오셨고, 약 18분의 시간동안 면접을 보았다.

면접

1. 자기소개 안녕하십니까. 우선 이렇게 기회를 주셔서 감사합니다. 저는 오늘 두가지 핵심 삶에 대한 자세에 대해 말씀드리며 저를 소개하겠습니다. 저는 “나는 할 수 있다.” “후회하는 삶을 살지 말자” 입니다. 나는 할 수 있다는, 제가 어렸을때 운동선수 되는것이 꿈이였습니다. 허나 부상으로 인하여 더이상 운동선수가 할 수 없었고, 이에 어려운 시기와 방황을 하였습니다. 이에 많은 청소년상담센터와 부모님의 격러로 단계적 목표를 수립하고 달성하며 할수 있다는 자세를 갖게 되었습니다. 후회하지 말자는, 어렸을때부터 현재까지 저릴 키워주신 외할머니가 있습니다. 외할머니가 무지개 다리 건너신 이후에, 되돌릴수없는 후회가 많이 있었으며, 이에 앞으로 모든 순간 최선을 다하여 후회하지말자는 자세를 갖게 되었습니다. 이 두가지 기본 자세를 통하여 모바일 로보틱스 엔지니어가 되기위해 노력하였습니다. 오늘 최선을 다해서 면접에 임하겠습니다.

2. 중국에 가게 된 이유 3개 국어가 되는 것이 인생 목표중 하나입니다. 그리하여 중국어를 더 잘하고 싶어서 이렇게 유학을 결정하게 되었습니다.

3. 중국에서 일해야 되지 않나 논리가 안맞다. 문화 차이때문에 그렇습니다. 한국에서 발전하고자 합니다.

4. 중국에서 유망한 회사 3개좀 말해달라 그리고 이유좀 니오 - 게임 체인저, 테슬라의 전기충전방식이 아닌 배터리를 바꾸는 새로운 인프라 작업 Xpeng - 테슬라를 많이 따라한 회사이지만, 테슬라와 다르게 레이더를 적용하려고 함 상하이자동차 - 중산층, 저렴한 가격에 좋은 좋은 차량을 만들고 있다.

5. 연구실에서 어떤 공부를 하였나 연구실에서 주로 카메라 센서를 기반으로한 센서 퓨전을 통한 현지화 및 다양객체 추정을 하였습니다. 이에 슬램을 이용한여서 네비게이션 시스템을 구축하였습니다.

6. 꼭 중국어를 선택해서 공부한 이유 아무래도 중국이 세계에서 큰 시장이기 때문에, 제가 중국어를 공부하게 된다면 앞으로 먹고 사는데 문제가 없을 것 같아서 공부하게 되었습니다.

7. 왜 3개 국어가 되어야겠다고 생각했나 그냥 따로 이유가 없었습니다. 영어를 잘하는 친구들은 많은데, 사실 중국어를 잘하는 친구들은 적습니다. 영어를 하면서 중국어를 한다면, 남들과 다른 경쟁력이 될 수 있을거라 생각하여서 공부하였습니다. 남들과 같은 스킬을 가지고 싶지 않았습니다.

8. 왜 한국자동차연구원이 당신을 꼭 뽑아야 하는 이유 우선 저는 센서퓨전을 통한 현지화 및 다중 객체 인식에 대해서 공부하였습니다. 이에 자동충전을 위한 영상인식 및 임베디드 시스템 설계에 대해서 자신이 있습니다. 또한 중국에서 근 4년을 살았기 때문에 세계에서 전기자동차가 큰 시장 중국에 대한 변화, 트렌드를 빠르게 접할 수 있습니다. 이를 통하여서 다양한 협력사와 완성차들을 과 함께 훌륭한 한국자동차를 만들 자신이 있습니다.

9. 가장 기억에 남는 일 학부시절에 국제학생회를 하면서 다양한 학생들을 만날수 있었습니다. 학교생활을 도와주고 같이 여행을 가면서, 다양한 문화권에 있는 친구들을 이해할 수 있었고, 그 순간이 가장 기억에 남는 일이였습니다.

10. 실패했던 경험 교환학생을 갔을때 후회하는 경험이 있었습니다. 교환학생을 갈때 6개월만에 중국어 가장 높은 등급을 얻는 목표를 설정을 하였습니다. 그렇게 문화교류도 안하고 친구를 사귀지 않으면서 열심히 공부를 하였는데, 결국 7점 차이로 합격을 하지 못하여, 다시한번 공부를 했었어야 했습니다. 이때 제가 실패라고 느낀것은 교환학생을 가게 되면 초기에 친구들을 많이 사귈수 있는 기회와 동아리 활동등을 통해서 문화를 교류하고 경험 할 수 있는 것이 많았습니다. 허나 제 지나친 목표떄문에 이런 경험들을 하지 못하였습니다. 이에 그 시기에서만 경험할 수 있는 경험을 하고 목표 설정도 조절을 하여서, 이런 실패를 더이상 하지 않으려 노력하고 있습니다.

11. 4년이란 시간을 공부했다고 하였는데, 어떻게 4년이라는 시간이 되었는지, 여기에서는 2년 반인데. 2년 반은 석사 과정을 하였고, 1년은 하얼빈에서 교환학생, 반년은 우한이라는 곳에서 교환학생을 하였습니다.

12. 보통 미국권으로 유학을 가는데, 왜 중국으로 가였는지 남들과 다른 강점을 갖고 싶었습니다. 영어를 잘하는 사람은 많지만, 중국어를 잘하는 사람은 없습니다. 남들과 다른 저만의 강점을 얻고 싶었습니다.

13. 하고 싶은 일, 어떤 일을 하고 싶은지 센서퓨전 경험을 통해 다양한 센서퓨전과 객체추정에 대한 연구개발을 하고 싶습니다.

14. 마지막할말 오늘 이렇게 귀중한 시간을 주셔서 감사합니다. 비록 좋은 결과를 얻지 못하여도, 제가 있는 자리에서 최선을 다하여서, 꼭 면접자리가 아닌 더 좋은자리에서 뵙도록 노력하겠습니다. 감사합니다.

팀장님이 들어오셧다. 임원 면접으로 준비하였지만, 완벽하게 실무면접이였다.

면접

1. 자기소개 안녕하십니까. 우선 이렇게 기회를 주셔서 감사합니다. 저는 오늘 두가지 핵심 삶에 대한 자세에 대해 말씀드리며 저를 소개하겠습니다. 저는 “나는 할 수 있다.” “후회하는 삶을 살지 말자” 입니다. 나는 할 수 있다는, 제가 어렸을때 운동선수 되는것이 꿈이였습니다. 허나 부상으로 인하여 더이상 운동선수가 할 수 없었고, 이에 어려운 시기와 방황을 하였습니다. 이에 많은 청소년상담센터와 부모님의 격러로 단계적 목표를 수립하고 달성하며 할수 있다는 자세를 갖게 되었습니다. 후회하지 말자는, 어렸을때부터 현재까지 저릴 키워주신 외할머니가 있습니다. 외할머니가 무지개 다리 건너신 이후에, 되돌릴수없는 후회가 많이 있었으며, 이에 앞으로 모든 순간 최선을 다하여 후회하지말자는 자세를 갖게 되었습니다. 이 두가지 기본 자세를 통하여 모바일 로보틱스 엔지니어가 되기위해 노력하였습니다. 오늘 최선을 다해서 면접에 임하겠습니다.

2. 슬램종류 슬램에는 lidar 기반 슬램과 Camera 기반 슬램이 있습니다.

3. 중국에서 취업 안하는 이유 문화 차이때문에 그렇습니다. 한국에서 발전하고자 합니다.

4. 중국에 간 이유 3개 국어가 되는 것이 인생 목표중 하나입니다. 그리하여 중국어를 더 잘하고 싶어서 이렇게 유학을 결정하게 되었습니다.

5. ORBSLAM3 공부를 해봤는지 네 6개월전 인턴을 할때 같이 스터디를 해보았습니다. 다른 점이라고 한다면 아틀라스 모듈이라는 것이 있어서, 트래킹 로스트가 생겼을때, 여러 맵들을 그룹으로 다시 만들어서 맵핑을 시작합니다. 그러다 백오브더 워드를 통해 얻어지는 이미지 특징이 만나는 지점이 있다면, 그떄 로컬 맵핑으로 머지가 되게 됩니다. 그 점이 큰 차이점이라 생각 됩니다.

6. 로보틱스에서 어떤것에 자신이 있는지 측위 분야에 자신이 있습니다.

7. 라이더 해봤는지 라이더는 로스를 공부할 떄 패키지로 되어있는 상태로 공부하였습니다.

8. 왜 카메라만 하였는지 프로젝트를 할때 적은 비용으로 만들자는 것이 주요 관건이였고, 이에 카메라 센서를 통해서 하게 되었습니다.

9. 프로트엔드 백엔드 차이 프론트엔드는 전처리과정으로 주로 맵포인트들을 생성을 하고 이에 카메라 포즈를 찾게 됩니다. 백엔드라고 한다면, 이렇게 생성된 맵포인트들과 카메라 포즈를 최적화 하는 단계라 생각합니다. 로컬플래너로 최적화를 할 수 있고, FUll 최적화도 가능합니다.

10. 측위 말고 하고 싶은것 어렵겠지만, 슬램 쪽을 해보고 싶습니다.

11. 코딩실력 10점 만점에 몇점이라 생각합니까 5점이라 생각합니다.

12. 로스패키지 그냥 이용한거 아닌지 아닙니다. 로스패키지를 그대로 이용했다기 보다는, 알고리즘 프래임워크를 가져와서 모델에 맞는 코스터마이즈를 하였습니다.

13. 모션플래닝은 어떻게 했는지 Open Motion Planning Library를 사용을 하여서 하였습니다. 라이브러리를 이용하여서, 얻어지는 맵포인트들을 라이버리에 등록을 하고, 탐색점과 현재 지점을 경로를 탐색하도록 하였습니다.

14. 모바일 로봇 내비게이션에서 어떤 것이 제일 중요하다 생각하는지 환경인지와 객체인지가 중요한 슬램이 가장 중요하다 생각합니다. 그 이유는 아무래도 잘못된 맵을 생성하게 되면, 그 이후에 모듈들에게도 문제가 되기 때문입니다.

15. 비쥬얼 슬램 개선해야되는점 아무래도 작은 환경에서는 잘 된다고 생각합니다. 다만 주행이 길어지는 큰 환경으로 갔을때는 아무래도 드래프트가 쌓이면서, 좋은 맵들을 구성할 수 없다고 생각이 됩니다. 또한 환경에 대한 조건이 항상 constant 해야 된다고 생각합니다. 빛에 대한 영향을 많이 받고, 또 아무래도 많이 복잡한 환경에서는 어려움이 있을것 같습니다. 또한 이런 부족한 특징을 매꿀수 있는 다른 센서를 이용하여서 개선할 수 있습니다.

16. Filter SLAM과 Graph SLAM에 대한 차이 우선 Filter SLAM에 대해서는 제가 잘 모릅니다. 다만 Gprah SLAM에 대해서는, 모션 모델을 통해 얻어지는 오도미터리를 하나의 노드로 간주를 하고, 카메라 센서나 라이다 센서를 통해 얻어지는 3D 맵포인트들을 통해, 환경을 구성합니다. 이렇게 각 노드마다 구성된 포즈와 3D Mappoints들은 이전에 방문했던 노드와 같게 된다면, Bundle Adjustment나 least Square을 통해 최적화가 되게 됩니다.

17. 벡엔드는 어떻게 하는 건지 프론트엔드에서 카메라 포즈와 주변 환경에 대한 MapPoints들을 얻게 되는데, 이 얻어지는 프레임, 씬에서의 포즈와 맵포인트들간에 Least Square를 통한 최적화를 하는 것입니다.

18. Yolov3와 ORBSLAM2 어떻게 이용했는지 첫단에, ORB 특징점 추출함과 동시에, Yolov3 프레임워크를 통해 바운더이박스를 생성했습니다. 이미지시퀀스간에 얻어진 바운더리 박스에 생겨난 특징점들 Epipolar Contraint을 통해 두 이미지 특징점에 대한 Distance가 특정 임계값을 넘어가게 되면, 필터링을 하는데 사용을 하였습니다.

19. 카메라 센서로 충분히 네비게이션 할 수 있는지 Monocular Camera는 좀 힘들 것 같습니다. 허나 스테레오 카메라나 뎁스카메라를 사용한다면, 저는 충분히 가능할 것으로 생각됩니다. 실제로 제개 해보았고 이에 작은 공간에서는 충분히 가능할 것이라고 생각됩니다.

20. 카메라 센서 기반으로 하였을때 잘되었는지 연구실에서 실제 시스템을 검증을 하였는데 잘 되었습니다. 물론 작은 공간이나 협좀은 공간, 지저분한 공간에서 이 검증이 힘들어서, 그래도 연구실에서 깨끗하게 정리를 하여서 검증을 하였습니다.

21. Yolov3 프레임 워크만 그냥 사용한건가요? 네 그렇습니다.

22. 객체 분류는 어떻게 하였나요? 따로 특정 객체만 추출하는 게 아니라, 기본 디폴트값을 이용하여서 바운더리 박스를 만들었습니다. 이에 ORB 특징점 추출 알고리즘을 통해 얻어진 특징점이 동적인지 아닌지 확인하고, 동적이면 바운더리 안에 있는 맵포인트들을 슬램에 적용이 되지 않게 방해되지 않게, 필터를 하였습니다.

23. 객체 분류할떄 썻던 딥러닝 프레임 워크와 데이터 셋 CoCo 80가지 객체 데이터 셋과 딥러닝 프레임워크 Resnet101이를 사용하였습니다.

질문

1. 입사하게 되면 어떤일 하나요 주로 이것저것 많이 시켜보며, 적합한 임무를 맡게 될 것입니다.

2. 주로 세니어 혹은 책임 연구원님들이 주요 역할을 맡아서 하나요? 저희는 그런것이 없습니다. 다같이 합니다.

3. 입사일 아마 7월쯤이 될 것입니다. 해외 입국자, 격리에 대한 문제를 고려할 것이니, 인사담당자와 더 자세히 말씀하는게 좋을 것 같습니다.