Duplicate

Lecture 8 | Appearance

수강 일자
2022/10/04

Physics-based Methods in Vision

•
어떤 물체를 본다는 것은 해당 물체에 반사된 빛을 인식하는 것임.
•
영상이 왜 이렇게 나타났는지 이해하기 위해서는 빛과 물체 표면에서의 반사, 빛이 통과하는 매질 등에 대한 물리적인 이해가 필요함.

Light and Shadow

•
빛과 물체의 iteration 으로 관측되는 현상 중 하나로 Shadow (그림자) 가 있음.
•
그림자는 빛이 물체에 막혀 도달하지 못한 곳에 생김.
•
역광은 빛이 충분히 반사되지 않았기 때문에 물체가 검은색으로 보이는 것임.

Reflection

•
Reflection (반사) 는 서로 다른 두 매질의 인접한 부분에서 빛의 진행 방향이 반대로 바뀌는 현상임.
•
사진의 주요 물체는 창문인데, 실제 사진 속의 대부분을 차지하는 것은 나무의 그림임. 컴퓨터 비전을 이러한 사진에 적용하면, 창문이라기 보다는, 나무로 인지할 가능성이 높음. 이러한 혼란을 야기하지 않기 위해서는 나무가 보이지만 반사된 것이고, 실제 주요 물체가 창문이라는 것을 기계가 인지할 수 있어야 함.
◦
Similar Example 1) 고인 물에 반사된 나무
◦
Similar Example 2) 강물에 반사된 나무

Refraction

•
Refraction (반사) 는 서로 다른 두 매질의 인접한 부분에서 빛의 진행 방향이 꺾이는 현상임.
•
사진의 물 밑의 바닥은 정사각형 형태의 타일의 연속인데, Refraction 에 의해 찌그러져 보임.
◦
찌그러진 영상으로부터 correction 을 통해 물이 없을 때 어떻게 보이는지에 대한 연구도 진행되고 있음.
◦
Similar Example) 물이 찬 유리잔 뒤에 놓인 꽃이 보이는 형태가 일그러져 있음.

Interreflection

•
방 안에 반사를 잘 일으키는 물체가 가득하면, 보고 있는 뷰가 여러 번의 반사로 인해 생성된 뷰이고, 원래 뷰의 기하학적인 구조가 어떻게 생겼는지를 알아내는 것은 사람조차 어려울 때가 있음.

Scattering

•
Scattering (산란) 은 숲 같은 곳에 작은 물방울들의 불균형성 의해서 빛의 경로가 꺾이고, 사방으로 흩어지게 되는 현상임.
◦
Similar Example 1) 구름을 볼 수 있는 것도 산란 현상 때문임.
◦
Similar Example 2) 물 속의 물고기의 위치가 달라보일 수 있음.

More Complex Appearance

•
Lips and Skins
◦
입술과 피부는 하나의 균일한 매질이 아님.
◦
빛이 무조건 반사되는 것도 아니고 흡수되기도 함.
◦
피부가 부드러울 수도 있지만 돌기가 있을 수도 있음.
◦
피부가 동일한 물질이라고 보기에는 어려움.
◦
입술에는 복잡한 패턴이 있음.
•
Hair
◦
머리카락을 컴퓨터에 잘 구현하기 위해서는, 현실에서 머리카락이 빛을 받았을 때 어떻게 보이는지를 이해해야 함.
◦
머리카락을 컴퓨터 그래픽으로 표현하는 것은 고전적으로 어려운 문제였음.
▪
수백만의 가닥의 기하학적 구조를 표현하는 것.
▪
Aliasing 없이 얇은 곡선을 표현하는 것
▪
각 머리카락별로 다르게 산란되는 빛을 표현한는 것

Mechanism of Reflection

•
Reflection 에 대한 이해가 기반이 되어야지만 왜 그러한 이미지가 등장했는지에 대해 이해할 수 있음.
•
Surface Reflection: 거울과 같이 특정 방향으로의 반사 (Specular Reflection)
◦
피부를 보았을 때 반짝거리는 부분등이 광원의 위치나 관찰자의 위치에 따라 달라지는데, Surface Reflection 에 의한 현상임.
•
Body Reflection: 모든 방향으로의 반사 (Diffuse Reflection)
◦
피부를 보았을 때 어느 각도나 광원에서 보아도 피부 고유의 색으로 보이게 됨.
•
3 types of interaction: Transmission (투과), Reflection (반사), Absorption (흡수)
◦
Transmission (투과) : 잎사귀 등의 반투명한 것들은 뒤의 것들도 보임.
◦
Reflection (반사): 잎사귀가 잎사귀처럼 보임.
◦
Absorption (흡수): 잎사귀가 빛을 흡수해 광합성을 함.
◦
이러한 복잡한 반사 과정을 수학적으로 모델링할 때 BRDF 라는 개념을 자주 씀

BI-Directional Reflectance Distribution Function (BRDF)

•
3D coordinate 를 기반으로 수학적으로 반사 된 빛을 카메라 인식하는 과정을 표현함.
•
Esurf(θi,ϕi)E^{\rm surf}(\theta_i,\phi_i) : θi\theta_i, ϕi\phi_i 방향으로 들어오는 빛의 양 (Irradiance)
•
Lsurf(θr,ϕr)L^{\rm surf}(\theta_r,\phi_r): θr\theta_r, ϕr\phi_r 방향으로 나가는 빛의 양 (Radiance)
•
BRDF 라는 함수는 아래와 같이 표현됨.
f(θi,ϕi,θr,ϕr)=Lsurf(θr,ϕr)Esurf(θi,ϕi)f(\theta_i, \phi_i, \theta_r, \phi_r)=\frac{L^{\rm surf}(\theta_r,\phi_r)}{E^{\rm surf}(\theta_i,\phi_i)}
◦
특정 각도로 들어오는 빛의 양 대비 특정 각도로 나가는 빛에 대한 비율.
◦
BRDF 가 0 이면 그 방향에 대해서는 모두 흡수, BRDF 가 1 이면 그 방향에 대해서는 모두 반사함.
•
Conservation of Energy: BRDF 를 반구에 대해서 적분하면 1 보다 작거나 같음.
∫hemispheref(θi,ϕi,θr,ϕr)dωi≤1\int_{\rm hemisphere} f(\theta_i, \phi_i, \theta_r, \phi_r)d\omega_i \le 1
◦
스스로 에너지를 생성하지 않는 한 들어온 빛의 양은 나가는 빛의 양보다 많다.
◦
나가지 않는 빛은 흡수되는 것으로 봄.
•
Helmholtz Reciprocity (열역학 제 2법칙에 기반)
f(θi,ϕi,θr,ϕr)=f(θr,ϕr,θi,ϕi)f(\theta_i, \phi_i, \theta_r, \phi_r) = f(\theta_r, \phi_r, \theta_i, \phi_i)
◦
광원과 카메라의 위치를 스위칭 하더라도 BRDF 는 변하지 않음.
•
Rotational Symmetry (Isotropy)
◦
광원과 카메라가 고정된 상태로, 물체를 normal 을 축으로 하여 회전했을 때, BRDF 가 유지된다면 해당 물체는 Rotational Symmetry (Isotropy) 를 만족하는 것임.

Example Surfaces

•
Body Reflection (Diffuse Reflection)
◦
Matte Appearance (무광의 외관) 을 가지는 물체에서 잘 일어남.
◦
점토, 종이와 같은 재질이 Body Reflection 이 잘 일어남. (어디에서 바라보아도 비슷하게 보임.)
•
Surface Reflection (Specular Reflection)
◦
Glossy Appearance (윤이 나는 외관) 을 가지는 물체에서 잘 일어남.
◦
금속류와 같은 재질이 Surface Reflection 이 잘 일어남. (보는 위치에 따라서 매우 달라보임.)
•
많은 물질들이 Body Reflection 과 Surface Reflection 을 모두 보여줌.
•
사진을 Diffuse Reflection 과 Surface Reflection 으로 나누는 연구도 있음.

Lambertian BRDF

•
Diffuse Reflection 을 표현하기 위한 수학적 모델
•
Lambertian Surface (Ideal)
◦
입사하는 빛의 incident direction 이 정해지면, viewing direction 이 어디이던 간에 동일하게 보이는 표면.
•
Lambertian BRDF
f(θi,ϕi,θv,ϕv)=ρdπf(\theta_i, \phi_i, \theta_v, \phi_v) = \frac{\rho_d}{\pi}
◦
반사각에 관계 없이 BRDF 이 일정함.
◦
ρd\rho_d 는 상수로, albedo 라고 함.
◦
Radiance Intensity: I=dΦidωI=\frac{d \Phi_i}{d\omega}
▪
광원 II 에 대해서 각도에 대한 빛의 Power
◦
Surface Irradiance: E(θi,ϕi)=dΦidAE(\theta_i,\phi_i)=\frac{d\Phi_i}{dA}
▪
단위 면적 당 빛의 Power
◦
Surface Radiance: 반사되는 빛의 양에 대한 고찰
▪
Solid Angle 의 특성 dω=dA′R2=dAcos⁡θiR2d\omega = \frac{dA'}{R^2}=\frac{dA\cos\theta_i}{R^2} 를 사용
f(θi,ϕi,θv,ϕv)=L(θv,ϕv)E(θi,ϕi)=ρdπf(\theta_i, \phi_i, \theta_v, \phi_v) =\frac{L(\theta_v,\phi_v)}{E(\theta_i,\phi_i)} = \frac{\rho_d}{\pi}
L(θv,ϕv)=ρdπdΦidA=ρdπdΦidωcos⁡θi=ρdπIcos⁡θi=ρdπIn⃗⋅s⃗L(\theta_v,\phi_v)=\frac{\rho_d}{\pi}\frac{d\Phi_i}{dA} = \frac{\rho_d}{\pi}\frac{d\Phi_i}{d\omega}\cos\theta_i = \frac{\rho_d}{\pi}I\cos\theta_i= \frac{\rho_d}{\pi}I\vec{n}\cdot\vec{s}
▪
L(θv,ϕv)=ρdπIcos⁡θi=ρdπIn⃗⋅s⃗L(\theta_v,\phi_v)=\frac{\rho_d}{\pi}I\cos\theta_i= \frac{\rho_d}{\pi}I\vec{n}\cdot\vec{s} 를 Lambert’s cosine Law 라고 함.
•
Diffuse Reflection 을 통해 사방으로 반사되는 빛의 에너지는 normal 과 incidence direction 의 각도의 cosine 에 비례함.

Specular Reflection and Mirror BRDF

•
모든 incident light 는 단일 direction 으로 반사됨. (viewing direction v⃗\vec v 가 specular/mirror direction r⃗\vec r 과 동일할 경우에만 해당 빛을 볼 수 있음.)
f(θi,ϕi,θv,ϕv)=ρsδ(θi−θv)δ(ϕi+π−ϕv)f(\theta_i, \phi_i, \theta_v, \phi_v) = \rho_s\delta(\theta_i-\theta_v)\delta(\phi_i+\pi-\phi_v)
◦
ρs\rho_s 는 Specular Albedo 라는 상수.
◦
Incident light 과 viewing direction 간의 고도는 같고, 방위각은 180°180\degree 차이날 때만 0 이 아닌 값을 가짐
•
Surface Radiance
L=Iρsδ(θi−θv)δ(ϕi+π−ϕv)L=I\rho_s\delta(\theta_i-\theta_v)\delta(\phi_i+\pi-\phi_v)
◦
첨언) Diffuse Reflection 과는 다르게 빛이 퍼지지 않고 온전하게 한 방향으로만 가기 때문에 그냥 II 를 곱하는 것으로 Radiance 를 구한 것으로 보임.

Combining Specular and Diffuse: Dichromatic Reflection

•
이미지로 보이는 색상은 두 개의 Reflection 을 모두 고려해야 함.