What is the Metaverse?
•
Snow Crash 라는 소설에서 처음 등장한 단어로, Meta 와 Universe 의 합성어
•
정확히는 모르겠지만, 가상환경에서 사람들이 커뮤니케이션 공간을 일컫는 듯함.
•
Metaverse vs. Game? Metaverse vs. Social Media? …
◦
바람의 나라 (1996) vs. Gather Town (2022)
◦
Second Life (2003) vs. Zepeto (2018)
Internet vs. Social Media vs. Metaverse
•
Internet: 여러 information 을 공유하고 communication 할 수 있는 프로토콜
•
Social Media: 정보와 생각, 관심을 주고 받으면서 커뮤니케이션 및 네트워킹하는 채널
•
Metaverse: Universal 하고 Immersive 한 가상의 세계
How Do We Communicate in Real World
•
우리는 현실 세계에서 말, 표정, 손짓 등의 프로토콜을 이용하여 information 을 전달함.
•
이러한 사람들이 보내는 signal (Verbal, Proxemics, Kinesics) 을 시간에 따라서 모두 다 저장할 수 있다고 가정
◦
Proxemics 는 사람들 사이의 거리
•
Signal Sender 는 높은 자유도로 signal 을 보냄.
◦
얼굴, 몸, 손가락, 음성, 언어, 톤, 외관 …
Revolutions of Communication Protocols
•
In-Person Communication 이 모든 정보가 손실 없이 전달되는 가장 편한 communication
•
Remote 한 communication 을 In-Person Communication 과 어떻게 하면 유사하게 만들까- 에 대한 고민이 있음.
◦
Postal Service (550 BC): 편지로 언어 signal 을 보냄
◦
Telegraph: 모스 부호 (편지에 비해서 delay 가 적음)
◦
Telephone: coded signal 이 아니라 목소리를 synchronized 하게 전달할 수 있게 됨.
◦
Video Call: 2D Visual Data 를 synchronized 하게 전달할 수 있게 됨.
◦
Metaverse: ??
▪
Video Call 이후 어떻게 하면 In-Person 과 유사해질까에 대한 문제에 대한 것이 Metaverse 의 핵심
▪
근데 또 현실과 굳이 가까워질 필요도 없어서 방향이 무조건 In-Person 으로 갈 필요는 없음. → 우주로 갈 수도, 다른 외관으로 보일 수도!
▪
Gather Town 은 가까이 있다, 멀리 있다의 정보를 Spatial Cue 로 전달하고 싶었을 것임.
▪
Metaverse 는 기존 게임과 달리 자유도가 높음. 옷을 만들거나 게임 자체를 만들 수 있어서 조금 더 현실과 가까운 느낌이 들 수 있음.
Building Virtual World Similar to In-Person Communication
•
Sender 의 모든 Signal 들을 다 캡처해서 보내야 함.
•
Receiver 는 1st person view 로 보고 조작할 떄도 가장 현실과 유사한 방법으로 조작해야 함.
•
이런게 갑자기 왜 떴냐? → 최근에서야 가능해졌기 때문임…
◦
AI, Big Data, Internet, Devices, Computing Power
Requirements to Realize Metaverse
•
Sender
◦
Caputuring Authentic Appearance
•
Receiver
◦
Displaying the signals interactively
•
Network
◦
Fast Network
◦
Zero Latency Delay
•
Accessibility
◦
Easy to Access
◦
Anyone can easily reconstruct their own signals
◦
Anyone can easily get into digital world
Reconstructing 3D World from Images
•
Computer Vision 의 주요 연구 분야
PnP: 2차원 이미지가 어떤 Camera Pose 에서 찍혔을까?
SfM: Image → Camera Pose + 3D Recon → Camera Pose Refine → …
Homework
AR / VR 관련 오픈소스 (e.g. PIFuHD. MoCap, …)
본인의 이미지나 동영상을 오픈소스를 이용해서