POCO: 3D Pose and Shape Estimation with Confidence

태그
HPS
스키밍 날짜
2023/09/18

Objective

앞선 수많은 HPS 들이 표현하지 못했던 regression 결과의 confidence 를 표현할 수 있도록 하는 것이 목적이다. 논문에서는 이를 Uncertainty 라는 개념으로 표현한다.

Method

논문에서는 Uncertainty 를 주기 위해 전체적으로 θ^=θ+σθˉ\hat\theta = \theta + \sigma\bar \theta 형태의 결과 산출을 도입한다. 이 때 σ\sigma 가 uncertainty 의 크기를, θˉ\bar\theta 가 uncertainty 의 형태를 나타낸다고 볼 수 있다.
가장 기본적인 설계는 θˉ\bar\theta 를 normal distribution 에서 꺼내오는 방법이지만, 이는 다양하고 복잡한 uncertainty 를 표현하기에는 어려워 Normalizing Flow 기반의 uncertainty 설계를 도입한다. 이 Normalizing Flow 는 일련의 invertible function fΦf_{\Phi} 로, fΦ1(θˉ)=zf^{-1}_{\Phi}(\bar\theta) = z 를 만족하여 기존 normal distribution 이 아닌 다른 distribution 을 base density function 으로 사용할 수 있게 한다.
마지막으로, 논문에서는 base density function 의 complexity 를 늘린 것에서 더 나아가 Normalizing Flow 에 conditional 한 정보를 주입하여 base density function 자체도 각 sample 별로 변경하는 것이 필요함을 경험적으로 알아냈고, 이를 구현했다.