Duplicate

Metaverse: Building A Digital World as Realistic as Possible

수강 일자
2023/04/21

What is the Metaverse?

Snow Crash 라는 소설에서 처음 등장한 단어로, Meta 와 Universe 의 합성어
정확히는 모르겠지만, 가상환경에서 사람들이 커뮤니케이션 공간을 일컫는 듯함.
Metaverse vs. Game? Metaverse vs. Social Media? …
바람의 나라 (1996) vs. Gather Town (2022)
Second Life (2003) vs. Zepeto (2018)

Internet vs. Social Media vs. Metaverse

Internet: 여러 information 을 공유하고 communication 할 수 있는 프로토콜
Social Media: 정보와 생각, 관심을 주고 받으면서 커뮤니케이션 및 네트워킹하는 채널
Metaverse: Universal 하고 Immersive 한 가상의 세계

How Do We Communicate in Real World

우리는 현실 세계에서 말, 표정, 손짓 등의 프로토콜을 이용하여 information 을 전달함.
이러한 사람들이 보내는 signal (Verbal, Proxemics, Kinesics) 을 시간에 따라서 모두 다 저장할 수 있다고 가정
Proxemics 는 사람들 사이의 거리
Signal Sender 는 높은 자유도로 signal 을 보냄.
얼굴, 몸, 손가락, 음성, 언어, 톤, 외관 …

Revolutions of Communication Protocols

In-Person Communication 이 모든 정보가 손실 없이 전달되는 가장 편한 communication
Remote 한 communication 을 In-Person Communication 과 어떻게 하면 유사하게 만들까- 에 대한 고민이 있음.
Postal Service (550 BC): 편지로 언어 signal 을 보냄
Telegraph: 모스 부호 (편지에 비해서 delay 가 적음)
Telephone: coded signal 이 아니라 목소리를 synchronized 하게 전달할 수 있게 됨.
Video Call: 2D Visual Data 를 synchronized 하게 전달할 수 있게 됨.
Metaverse: ??
Video Call 이후 어떻게 하면 In-Person 과 유사해질까에 대한 문제에 대한 것이 Metaverse 의 핵심
근데 또 현실과 굳이 가까워질 필요도 없어서 방향이 무조건 In-Person 으로 갈 필요는 없음. → 우주로 갈 수도, 다른 외관으로 보일 수도!
Gather Town 은 가까이 있다, 멀리 있다의 정보를 Spatial Cue 로 전달하고 싶었을 것임.
Metaverse 는 기존 게임과 달리 자유도가 높음. 옷을 만들거나 게임 자체를 만들 수 있어서 조금 더 현실과 가까운 느낌이 들 수 있음.

Building Virtual World Similar to In-Person Communication

Sender 의 모든 Signal 들을 다 캡처해서 보내야 함.
Receiver 는 1st person view 로 보고 조작할 떄도 가장 현실과 유사한 방법으로 조작해야 함.
이런게 갑자기 왜 떴냐? → 최근에서야 가능해졌기 때문임…
AI, Big Data, Internet, Devices, Computing Power

Requirements to Realize Metaverse

Sender
Caputuring Authentic Appearance
Receiver
Displaying the signals interactively
Network
Fast Network
Zero Latency Delay
Accessibility
Easy to Access
Anyone can easily reconstruct their own signals
Anyone can easily get into digital world

Reconstructing 3D World from Images

Computer Vision 의 주요 연구 분야
PnP: 2차원 이미지가 어떤 Camera Pose 에서 찍혔을까?
SfM: Image → Camera Pose + 3D Recon → Camera Pose Refine → …

Homework

AR / VR 관련 오픈소스 (e.g. PIFuHD. MoCap, …)
본인의 이미지나 동영상을 오픈소스를 이용해서