Objective
RGB monocular view video (with Human Scene Interactions) 를 입력으로 받아
1.
3D Scene 을 reconstruction 하는 것
2.
비디오 상에 보인 Human Pose 를 reconstruction 하는 것
Method
1.
Total3D 로 initial 3D Scene (ground plane, camera extrinsic, 3d object 6DoF) 를 추출함.
2.
Initial 3D Scene (ground plane, camera extrinsic, 3d object 6DoF) 을 다음과 같은 세 가지 관점에서 refine 하는 형태로 optimize 함.
•
이미지 상에서 보이는 Human-Object occlusion 이 object 위치에 대한 cue 를 제공함.
•
Human 은 still object 의 내부를 penetrate 할 수 없음.
•
Human-Object contact region 은 같은 위치를 점유함.