Objective
Multiview Consistency 를 유지하면서
1.
Panorama 이미지를 생성하는 것
2.
Multiview Depth2Img 로 Scene 을 스타일화하는 것
Method
전체적인 골자는
1.
Generation Module 에서는 Multiview Consistency 를 유지하며 이미지들을 생성하고
2.
Interpolation Module 에서는 생성한 이미지(trajectory 상의 frame)사이를 interpolate 하고,
3.
생성한 이미지들을 Multiview Consistency 를 유지하며 초해상화하는 것
위 과정에서 Multivew Consistency 를 유지하기 위한 방법론으로 Correspondence Attention (CA) 라는 모듈을 특별하게 제안함.
이는, 이미 알려져 있는 correspondence 를 기반으로 해당 correspondence points 에서의 정보를 반영한 형태의 attention 을 산출하는 layer 를 둠으로써 이루어지게 됨. 즉, GT 를 두고 학습할 때 이 CA layer 가 corresponding layer 의 관계를 잘 나타내서 consistency 를 유지하도록 학습되는 느낌으로 볼 수 있음.