Traditional Programming
Data 와 Program 을 짜서 Output 내는 기존의 프로그래밍과 달리 Machine Learning 에서는 데이터를 엄청 많이 넣어주게되면 원하는 프로그램을 짤 수 있게 되었음. 이러한 컨셉의 방법론은 이전에도 있었지만 컴퓨팅 능력과 데이터의 부족으로 실현 불가능했음. 점점 더 어려운 문제를 풀 수록 데이터를 얻는 것도 어려움.
Simulators
데이터를 얻기 어려운 문제들 때문에 SImlators 를 씀. 어떤 알고리즘을 개발했다고 하면 SImulators 에서 잘 돌아가는지 봄. 하지만, Simualtors 는 현실을 완벽하게 반영하지 못함. Noise 를 반영하지 못할 수도 있고, 얘기치 못한 상황에 대응할 수도 없음. 연구실에서는 이러한 한계점들을 극복할 수 있는 방법론을 개발하고 있음.
Localization
이미지를 많이 받아서 deep learning 을 사용해 feature 를 뽑고 3차원 정보를 만들어 둠. 새로운 이미지가 들어왔을 때 동일하게 뽑은 feature 가 기존 학습한 데이터로 학습한 3차원 정보 내에서 어느 부분과 비슷한지를 보고 위치를 찾음.
3D VS 2D
3 차원 데이터는 데이터가 m 단위로 나오기 때문에 물리법칙을 적용하기 쉽지만, noise 가 많음. 더불어 메모리와 획득에 있어서 비쌈. 2 차원 데이터는 3 차원 데이터에 비해서 모으기 쉽고 이미지로부터 의미있는 feature 를 뽑는 다양한 연구가 많은 장점이 있음.
Inoor Scene Localization
Panorama 사진을 찍어 사용하는 것은 생각보다 AR/VR 의 발전으로 획득도 어렵지 않고 global structure 를 조금 더 잘 볼 수 있는 장점이 있음. Projected Point Cloud 와 input panorama image 와 비슷하도록 optimization 을 진행해봄. 다만, Gradient Descent 는 local minima 를 찾는 과정이기 때문에 Initial point 를 여러 개를 두어서 시작하게 됨. 딥러닝을 사용하지 않아 빠르게 적용해볼 수 있다는 장점도 있음.
물체의 위치가 바뀌었을 떄도 localization 이 잘되는 연구를 해보자! 해서 연구를 계속 진행함. 이 때 사용하게 되는 것이 Score Map 인데, 이는 각 로컬 영역별로 얻어낸 color historgram 을 비교하여 synthetic view 중 에서 비슷한 color histogram 이 있으면 high score 를 부여하고 아니면 low score 를 부여하는 방법론임. Histogram 을 만드는 cost 를 줄이기 위해서 rotation 만 바뀌는 Panorama 의 특성상 color histogram 의 shift 만 존재함을 이용해 재사용하는 방법을 사용함. 이렇게 완성해낸 Score Map 을 바탕으로 Score Map 이 높은 영역에 대해서는 loss 에 가중치를 높게, 낮은 영역에 대해서는 loss 에 가중치를 낮게 두었음.
Sim2Real
Simulator 상에서 noise 가 없을 때 학습한 상황에서 noise 가 추가된 새로운 환경에서도 로봇이 self-supervision 을 통해서 잘 동작하도록 하는 방법론을 연구함. Adaptation Step 에서의 fine tuning 을 진행하는 self-supervision 에 해당하는 loss 를 추가하는 방법을 사용함.