Adding a Lens
•
Pinhole Camera 와 달리 Barrier + Pinhole 이 Lens 로 대체됨.
•
Lens 는 Object 의 한 점에서 반사된 빛을 하나의 점으로 모아주는 역할을 함. (1:1 Mapping)
•
Lens 는 특정한 거리 (in focus) 에 있는 점들을 하나로 모아주지만, 그 외의 거리에 있는 점들은 완벽하게 모아주지 못함. → Circle of Confusion 영역에 매핑됨.
•
Lens 에 평행하게 입사하는 빛은 focal point 에 모이고 렌즈의 중심으로부터 Focal Point 까지의 거리를 Focal Length 라고 함.
Thin Lens Fomula
•
Focal Length , lens 와 object 사이의 거리 , lens 와 Image Plane 상의 거리 간의 관계를 나타내는 공식
•
위 수식을 바탕으로 이며, 다음과 같이 변형되어 나타낼 수 있음.
Aperture, F-Number
•
Aperture (): lens 가 빛에 노출되는 부분의 지름 (Diameter)
•
F-Number: Focal Length 를 Aperture 로 나눈 값
◦
의 의미는 Focal Length 가 Aperture 의 16 배라는 뜻
◦
Focal Length 는 Lens 에 따라 고정이기 때문에 가 크다는 것은, 렌즈의 노출 영역이 작다는 것을 의미함.
•
F-Stops: 노출하는 Diameter 를 보통 discrete 하게 바뀌는데, 바꿀 수 있는 Aperture 세팅들을 의미함.
Depth of Field
•
Depth of Field 는 물체가 충분히 선명하게 찍힐 수 있는 거리를 의미함. (In Focus)
•
Depth of Field 보다 멀어지거나 가까워지면 blurred 된 이미지가 보임.
Focus and Defocus
•
물체와의 거리 에서 lens 와 거리 만큼 떨어진 Image Plane 상에 잘 맺히는 상황.
•
물체와의 거리 이 되면 실제 상은 에 맺히게 되고 지점에서는 blur circle 이 나타남.
•
Blur Circle 의 Diameter 는 닮음에 의해 다음과 같이 계산됨.
Controlling Depth of Field
•
Aperture Size 를 줄이면, 렌즈의 바깥쪽으로 가는 빛을 막아줌으로써 Blur Circle 의 Size 를 줄여줄 수 있음.
Field of View (FOV)
•
보이는 영역에 대한 각도를 의미함.
•
Focal Length 와 Camera Retina (상의 크기) 로 정의할 수 있음.
•
특정부분만을 보고 싶으면 Field of View 를 작게 조절하면 됨.
•
멀리서 Field of View 를 작게 가져가는 것과 가까이서 Field of View 를 크게 가져가는 것은 물체를 비슷한 크기로 볼 수 있음.
◦
하지만, 가까이서 Field of View 를 크게 가져가는 것은 Perspective Distortion 이 심함.
The Dolly Zoom
•
특정 위치에 있는 물체의 크기가 유지되도록 하면서 카메라를 멀리 가져감과 동시에 FOV 를 서서히 작게 바꾸면, 물체의 뒤쪽에 있는 물체들이 점점 커져보임.
Real Lenses
•
하나의 Lens 만으로는 카메라를 실제로 구현하기는 어렵고 여러 개의 lens 로 구성함.
•
여러 개의 lens 로 구성하게 되면 오차들이 생기게 됨.
◦
Lens Flaws: Chromatic Aberration
▪
햇빛은 다양한 파장의 빛이 합쳐진 형태이기 때문에, lens 를 통과했을 때 하나의 ray 로 나가지 않고 분리되는 현상이 발생함.
▪
lens 중심으로 들어오는 빛들에 대해서는 해당 효과가 적은데, lens 의 바깥쪽으로 들어오는 빛들에 대해서는 Chromatic Aberration 효과가 커짐. (어떤 영역은 빨, 노에 대해서는 정보가 있는데 그 외의 정보가 없는 현상이 발생할 수 있음.
◦
Lens Flaws: Spherical Aberration
▪
lens 의 바깥쪽으로 들어오는 빛들에 대해서는 원래 모여야 할 곳보다 앞쪽으로 보이는 문제
◦
Lens Flaws: Vignetting
▪
lens system 상에서 첫 lens 에서 꺽인 빛이 두 번째 lens 에 도달하지 못하고 바깥으로 빠져서 발생하는 오차
▪
이미지의 모서리 쪽의 빛 자체가 적게 나타남.
◦
Radial Distortion
▪
Optical Axis 와의 거리에 따라서 Image magnification 이 증감하기 때문에 볼록하거나 오목한 형태로 왜곡이 나타남.
▪
Pin Cushion Distortion (오목) /Barrel DIstortion (볼록)
▪
기본적인 lens system 들에는 자체적으로 Radial Lens Distortion 을 보정하는 알고리즘이 들어있음.
◦
Lens Glare
▪
Lens 의 성분 자체의 불균일성 때문에 발생하는 내부적인 상호반사와 산란이 일어날 수 있음.
▪
매우 밝은 광원이 존재할 때 보통 나타남
◦
Digital Camera 를 사용하면서 나타나는 문제
▪
Photon 이 photo cell 을 떄리면 CCD 나 CMOS 가 이를 전기적 신호로 변환함.
▪
Color Moire
•
환경에서 훨씬 빠르게 변하는 항목이 있을 때 그것을 caputring 할 때 aliasing 이 일어났음.
•
Fabric 같은 패턴에서 발생함.
•
CCD 가 다양한 색상을 감지할 수 있는 detector 로 이루어져 있고 물리적인 크기가 정해져 있어서 환경을 일정한 size 만큼으로 sampling 하는 것으로 볼 수 있는데 그것보다 빨리 변하는 패턴이 있으면 aliasing 이 나타남.
•
Sampling 이슈와 별개로 두 가지 알고 있는 패턴을 겹쳐 새로운 Moire 패턴이 나오기도 함.
▪
Digital Camera Artifacts
•
Noise
◦
밤에는 빛이 적기 때문에 light sensitivity 를 높여야 하고 noise 가 커질 수 밖에 없음.
◦
Light Sensitivity (ISO) 와 Noise 에 대한 trade-off 임.
•
In-Camera Preprocessing
◦
요새는 스마트폰으로 사진을 찍으면 여러 가지 Image Processing 을 거쳐 사진을 최종적으로 산출함.
◦
사진을 손으로 찍을 때 보통 나타나는 떨림에 기반한 blurring 을 선명하게 만드는 과정이 과도하게 적용되면 boundary 의 하얀 선과 같은 artifact 인 halos 들이 보일 수 있음.
•
Excessive Compression
◦
일반적인 이미지 형태는 압축이 많이 된 형태
◦
고가의 디지털 카메라의 raw file 은 굉장히 큰 JPEG 파일이며, 경우에 따라서는 과도한 압축을 통해 artifact 가 생길 수 있음.
•
Blooming
◦
하늘은 너무 밝아 charge 가 overflow 가 되면서 나뭇잎에 해당하는 부분도 하얗게 보이는 현상이 발생할 수 있음.
•
Purple Fringing
•
White Balance
◦
카메라나 조명에 따라서 색이 다르게 보이는 현상이 발생할 수 있음.
◦
Prior knowledge 가 주어지면 조명이나 카메라에 기반한 색에 무관한 본래 색으로의 보정을 가능함.
The Human Eye
•
Iris (홍채)
◦
색이 칠해진 눈의 부분
◦
빛이 얼마나 들어올지를 조절함
•
Pupil (동공)
◦
실제 빛이 들어오는 통로
•
Sclera (흰자)
◦
눈알을 지지함
◦
근육이 붙어서 눈 전체를 움직일 수 있음.
◦
유인원과 비교해서 흰자가 매우 큰데, 사회적 동물로써 진화한 것이 아닌가- 라는 해석도 있음. (내가 느끼는 것을 상대방에게 간접적으로 표현해줄 수 있음)
•
Lens (수정체)
•
Cornea (각막)
◦
Pupil (동공) 위에 덮인 투명한 껍질
◦
망막에 상이 맺히게 도와줌.
•
Retina (망막)
◦
눈 안쪽에 있는 얇은 막
◦
빛을 감지하는 세포들이 존재하여 (Rods & Cones) 빛을 전기신호로 바꾸어줌.
•
Optic Nerve (시신경)
◦
전기신호로 바뀐 빛을 대뇌에 전달하는 역할
◦
Blind Spot (맹점) 이 존재함.
◦
뇌에서 반전된 이미지를 복원하여 가깝고 먼 곳을 볼 수 있음.
◦
간뇌를 통해 뇌의 시각처리 담당 부분인 visual cortex 로 이어지게 됨.
•
Rods (간상세포)
◦
막대기 처럼 생김
◦
1억 2천개의 세포로 이루어짐
◦
밝기를 감지하는 역할 (Night VIsion 에 많이 활용됨)
•
Cones (원추세포)
◦
원뿔처럼 생김
◦
6백만개의 세포로 이루어짐
◦
색상을 감지하는 역할
•
Ganglion Cells (신경절 세포)
◦
움직임, 패턴 등을 감지하는 역할
•
Blind Spot (맹점)
◦
시신경이 대뇌에 연결되기 위한 부분에는 Rods & Cones 가 존재하지 않아 그 부분에서는 볼 수 없음.
◦
다만, 눈이 두 개기 때문에 한 쪽에서 못 보는 것도 다른 눈으로 볼 수 있는 경우가 많아 일상생활에서 크게 문제가 없음.
Deep Hierarchies in Vision
•
뇌의 어떤 부분이 어떤 역할을 하는지를 알려면 특정 부분에 손상을 입은 사람이 살아서 그 결과를 전달받아야 하기 때문에 굉장히 어려움.
•
Sub-cortical Vision
◦
Photoreceptors on Retina
▪
빛을 감지해서 ganglion cell 로 signal 을 보냄
▪
Recpetive Field Size:
◦
Ganglion Cell
▪
밝기, 색상의 차이, 동작, 속도 등의 다양한 특성들을 선택적으로 감지할 수 있도록 발달 되었음.
◦
LGN
▪
Thalamus (간뇌) 에 존재하며 시신경으로부터 온 signal 을 대뇌에 전달해주는 역할을 함.
▪
Retina 에서 감지한 signal 의 5% 정도만 보내고 95% 는 쳐냄.
▪
대뇌에 가기 전에 feedback 도 가능함. (Attention, Expectation, Imagination, Filling-in the missing information)
•
Cortical Vision
◦
LGN 에서 입력받은 정보는 Dorsal 과 Ventral Stream 으로 보내짐.
▪
Dorsal Pathway: 공간지각과 액션 플래닝
▪
Ventral Pathway: 물체인식과 분류
◦
V1
▪
Visual Cortex 의 가장 앞쪽에 있는 영역
▪
Edge, Grating, Line-Ending, Motion, Color, Disparity 등이 존재하면 V1 cell 이 fire 되어 뒤에 있는 cell 들에게 전달됨.
◦
V2
▪
V1 cell 이 연결된 영역
▪
Texture-defined contours, Illusory Contours 과 같은 high level 의 정보를 표현하는 역할
◦
V3
▪
무엇이 일어나는지 거의 알려져 있지 않음.
◦
V4
▪
서로 다른 curvature 의 contour나 특별한 각도의 vertices 에 민감하게 반응함.
▪
색에 관련된 표현을 다룸.
•
Inferior Temporal Cortex
◦
IT (Inferior Temporal Cortex)
▪
Object Part 에 대한 모델을 만듬.
▪
중간 복잡도의 feature 들을 모아서 조금 더 high level resoning 을 함.
▪
TEO 와 TE 로 구성됨.
•
TEO: 간단한 형태에 대한 것을 다룸.
•
TE: 손이나 얼굴같은 복잡하지만 중요한 feature configuration 에 대해서 다룸.