History of VR/AR in Education and Training
First VR Technology
•
첫 VR 기기, Sensorama 는 1962 년 Morton Heilig 에 의해서 개발됨.
•
시각, 청각, 후각 등 여러가지 감각적 경험을 제공함.
•
상업적 성공으로는 이어지지 않음.
Early VR Application in Education/Training
•
Aspen Movie Map
◦
MIT 에서 미국 국방부에서 funding 을 받아 Aspen 이라는 도시의 계절별 scene 을 만듬.
◦
Virtual Map 이 병사들이 투입되기 전 익숙함을 줄 수 있는가를 확인하기 위한 목적이었음.
History of VR/AR in Education and Training
•
1980 년대 초반 VR 이라는 용어가 Jaron Lanier 에 의해서 최초로 정립됨.
•
이후, VR 기술을 Education 과 Training 에 쓰려는 관심이 매우 높아짐.
•
교육과 학습에서의 VR 의 장점?
1.
학생들에게 추상적인 개념을 이해할 수 있는 형태로 시각화할 수 있음.
2.
시공간적 제약이나 안전상의 이유로 직접 찾아가기 힘들거나 관찰하기 힘든 이벤트를 재연할 수 있음.
→ 가상세계에서 이루어지는 활동을 통해 교육생들이 실제로 어떤 행위를 통해 지식을 익히게 하는, learning by doing 혹은 active learning 이 가능해짐.
•
1990 년대부터 VR 을 이용한 교육 제작물이 만들어지기 시작함.
•
1998 년 VR 기반의 교육의 실제 사례를 평가한 결과가 있음.
1.
미리 만들어진 컨텐츠를 바탕으로 학습하는 것 + 교육 참가자들이 실제로 새로운 것을 만들어내는 활동 모두 교육적으로 효과적이었음.
2.
효과성을 결정짓는 요소는 VR Applicaiton 에서 interaction 이 얼마나 활발하게 일어나는가였음.
3.
VR Application 속의 interactivity 가 application 이 얼마나 몰입감 있게 만들어졌는지 (immersiveness) 보다 교육의 효과성에 더 영향을 미치는 것으로 평가함.
4.
교육생들은 VR 환경 내에서의 교육으로 인해서 교육에 대해서 동기부여가 된다고 평가함.
5.
교육생들은 생각보다 VR Application 의 fidelity 에 대해서는 관용적이었고, motion sickness 는 자주 리포트되지 않았고 그 수준도 낮았음. (매스꺼움보단 약간의 어지러움)
6.
VR 을 이용한 교육에서 강사의 역할은 VR 의 activity 를 중재하거나 activity 후 토론을 managing 하는 것으로 변경됨.
7.
HMD (Head Mounted Display) 를 활용하는 것보다는 데스크탑을 활용하는 VR 이 더 실용적이었음. 이는 HMD 가 고가였던 것도 있지만, 교육 참가자를 1인으로 제한하고 무게나 motion sickness 가 주요한 원인으로 뽑혔음.
•
이후에는 데스크탑 기반의 VR 이 주로 발전했고 높은 수준의 immersiveness 를 제공할 순 없지만 잘 만들어진 graphic 과 높은 interactivity 가 있을 때 충분한 교육효과가 있음을 보였음.
•
현재는 HMD 의 가격이 싸지면서 VR 은 더욱 중요한 교육의 방법론으로 자리잡고 있음.
•
AR 또한 지식을 제공하는 새로운 방법론으로 자리잡으면서 떠오르고 있음.
•
VR Training 은 VR 을 사용하는 가장 주요한 이유가 되었음. (62% 기업이 VR 을 training 에 사용한다고 응답했음.)
VR/AR in Education
VR Related Learning Theories
•
교육에 있어서 새로운 툴의 도입은 VR 이 처음이 아니지만, 새로운 툴이 도입될 떄는 검증된 교육학적인 접근 (pedagogy) 이 고려되어야 함.
•
VR 은 다음과 같은 세 가지의 pedagogy 에 기반함.
1.
Constructivism
인간은 자신의 경험으로부터 지식과 의미를 구성해냄. → 교육 참가자들은 가르침과 학습의 중심에 있어야하고, 학습 이전에 가지고 있었던 경험을 토대로 학습이 진행됨.
VR 의 공간과 컨텐츠를 통해 피교육자들에게 경험을 제공하고, 이를 통해서 피교육자가 새로운 지식을 습득하게 함. (Situated Learning, Experiental Learning, Collaborative Learning)
2.
Autonomous Learning
교육 참가자들이 스스로 학습 목표를 정하고, 학습 방법을 선택해서 학습을 하면서 진도를 체크하고 결과를 테스트할 때 진정한 지식이 습득됨.
VR 은 이러한 자기주도학습을 하기 적절한 환경을 제공함.
3.
Cognitive Load Theory (CLT)
일반적으로 과제해결을 위해 필요한 인지자원의 양이 보유하고 있는 인지자원의 양을 초과할 때 인지 과부화가 발생함. 인지부하이론에서는 인지과부화를 학습부진의 주요한 원인으로 봄.
VR 에서는 인지적 부하를 미리 디자인하고, 과부하가 걸리지 않도록 하여 교육의 효과를 늘리는 시도를 할 수 있음.
Types of VR Applications in Education
1.
Observational Learning
참가자의 행동이 실제 VR 공간에서 재연되면서 참가자가 다양한 공간에 방문하는 과정에서 여러 지식을 습득하게 됨. (e.g. 역사적 장소나 특정 현상이 발생하는 상황을 재연)
2.
Operational Learning
가상으로 구성된 상황에서 참가자가 직접 물체를 그들의 손으로 조작하여 경험과 지식을 습득하게 됨. 참가자가 잘못된 행동을 했을 때 피드백을 주는 방법으로 학습을 진행할 수 있음. (e.g. 기하학을 학습할 때 직접 만져보면서 변형하고 볼 수 있게 함.)
3.
Social Learning
가상환경에서 다른 피교육자들과 협력하는 과정을 통해 지식을 습득하게 됨. Multi VR 환경이 전제가 되고 강사와 참가자들간의 활발한 교류가 가정됨.
4.
Scientific Research
VR 을 실험을 하기 위한 장소로 활용하여 지식을 습득하게 됨. 현실에서 하기 어려운 것들을 가상에서 실험할 수 있도록 함으로써 실제 실험실 대비 비용이나 안전 상의 위험을 줄일 수 있음. (e.g. 신체 내부 기관의 조작과 그 효과에 대한 실험)
Effectiveness of VR Education
•
기존의 학습에 비해서 높은 학습효과와 만족도를 가지는 것으로 드러남.
•
건축물 내 설비의 조작에 대한 실험을 2D 도면, 2D 도면 + 설명, 3D 도면, VR 컨텐츠 로 나누어 교육을 한 뒤 효과를 비교했는데, 3D 도면과 VR 컨텐츠로 교육을 받은 학생들이 조작의 정확성이나 걸린 시간적인 측면에서 더 나은 퍼포먼스를 보였음.
•
다만, 3D 도면과 VR 컨텐츠는 인지부하가 더 높게 나타났음.
•
높게 나타난 인지부하에도 불구하고 기억으로부터 탐색을 쉽게하는 효과가 있어 더 나은 task performance 를 보이는 것으로 나타났음.
Factors to Learning Outcomes in VR Education
•
75명의 고등학생을 대상으로 VR 을 통해 생물학 교육을 했는데, 피교육자의 학습 스타일 (e.g. 주도적으로 활동하여 습득 or 성찰을 통해 습득 or 시각을 통한 학습 or 청각을 통한 학습 … ) 이 학습효과에 크게 영향을 주지 않은 것으로 드러났음.
•
다만, 학습스타일에 따라서 느끼는 실재감이나 인지부하의 차이는 있긴 했음.
VR/AR in Training
Education and Training
•
Training 도 education 의 일종이긴 한데, 교육대상과 목적이 특화된 경우라고 볼 수 있음. (specialized education)
•
Training 의 목적은 지식을 습득하는 목적도 있을 수 있지만, 기술을 익히게 하는 것과 행동패턴을 바꾸거나 익히게 하는 경우가 많음.
VR for Skill Training
•
처음 VR 을 만들기 위한 cost 는 높지만, 반복적으로 사용할 수 있고 여러가지 training scenario 를 처음 만든 VR 을 이용해서 만들 수 있기 때문에 실제로는 비용이 크진 않음. (e.g. 소방관의 훈련을 위해 장소 및 상황을 직접 만드는 것보다 VR 을 활용하는 것이 좋을 수 있음.)
•
VR 은 화재나 폭발, 재난 등과 같은 위험요소로부터 직접적인 노출이 없는 안전한 환경을 마련해줄 수 있음.
•
다양한 감각적 입력 (시각, 촉각, 후각 등…) 이 모두 활용이 되기 때문에 특정 task 나 대상에 대해 가지고 있는 지각을 바꿀 수 있음. → Immersiveness 및 skill training 의 효과를 늘릴 수 있음.
◦
쿠키나 허브에 따라 후각을 직접 제공하려는 시도가 있음.
◦
수트를 입으면 온도에 대한 자극을 특정 부위에 줄 수 있도록 설계한 시도도 있음.
◦
최근에는 글러브나 컨트롤러 없이 사용자의 손에 햅틱 피드백을 줄 수 있게 하는 시도도 있음.
◦
다른 장소에서 일어나는 이벤트에 의한 감각을 햅틱 수트로 플레이어한테 전달할 수도 있음.
◦
전기적 자극을 사용자의 특정 근육에 줄 수도 있음.
Creating Pipeline of VR Skill Training
1.
Task Analysis
VR 에서 시뮬레이션하게 될 task 를 위한 정보를 수집함.
세부적으로는, 신체의 어떤 파트가 어떤 모션을 어느정도의 시간으로 하게 되는지에 대한 정보와 각각의 신체 활동 전 후에 어떤 의사결정들이 머릿 속에서 이루어지는지에 대한 정보를 수집함.
2.
Training Scenario Sketching
실제로 사람들이 작업을 현실에서 어떻게 진행하는지를 매우 자세하게 작성함.
3.
Implementation
작성한 시나리오 기반으로 구현을 진행함.
Step 1: Task Analysis
•
Therbligs Motion Analysis
주로 신체의 여러 부위를 이용한 물리적 행위를 자세히 분석하기 위한 방법론임.
특정 작업을 할 때 각 신체 부위가 어떤 행위를 하는지와 그에 걸리는 소요 시간 같은 것들을 기록함. 작업이 능숙도를 요구할 때 적합한 방식이지만, cognitive task 를 잘 표현하지는 못함.
•
Hierarchical Task Analysis
하나의 작업을 계속하여 세부적인 작업으로 나누어 분석하는 방법론임.
더이상 나눠질 수 없는 task 가 나올 때까지 hierarchical 하게 나눔. 각 sub task 에서의 의사결정 내용을 기록함.
•
Cognitive Work Analysis
Task 를 나누고 분류하는 것 뿐만이 아니라, 각각의 task 에서 나타나는 제약조건들, 이를 극복하기 위한 전략, 전략을 잘 수행하기 위해 필요한 능력들을 다 분석하는 방법론임.
실제 VR 컨텐츠를 제작하는데 이 모든 정보를 활용하지는 않더라도, 어떤 정보들이 필요한가를 이러한 방법론을 통해서 알 수 있음. (가이드 역할)
Step 2: Training Scenario Sketching
•
게임의 시나리오 개발과 비슷한 형태를 가짐.
•
다음 여섯 가지 요소에 대한 정의와 설명을 필요로 함
1.
Object: Scene 을 구성하는 static 혹은 dynamic 물체들
2.
Characters: VR 상에서 유저가 되는 플레이어, NPC 등
3.
Behaviors: 각 캐릭터가 특정 context 에서 어떤 식으로 하는지 보통은 이러한 행동들은 확률적으로 (stochastic) 표현이 됨
4.
Actions: 유저가 시나리오 진행을 위해 하게 되는 직접적인 행위
5.
Triggers: 플레이어의 action 외에도 시나리오를 진행시키기 위해서 (특정 이벤트를 발생시키기 위해서) 필요한 요소들
Step 3: Implementation
•
Software
◦
Development Tool: Unity, Unreal → 3D 모델링도 굉장히 중요함!
◦
Procedural Generation
배경이 되는 대규모 모델링을 위해서 활용할 수 있는 방법론.
도시나, 땅, 건물의 평면 등을 기존 데이터의 패턴을 활용해서 자동적으로 만들어내는 기법.
•
Hardware
◦
VR Devices: HMDs, CAVE
◦
Sensors: Leap Motion, Kinect
VR for Skill Training Examples
•
First Responder Training
◦
First Respnder: 긴급한 상황이 발생할 때 최초로 대응하는 사람들
◦
위험물질 취급, 경찰 검문서에서 모니터링 등의 시나리오를 재연함으로써 First Respnder 들이 교육받을 수 있는 프로세스
•
Medical Training
◦
3차원으로 복잡한 심장의 구조를 표현
◦
의사들이 실제 수술과 유사도가 높다고 평가하였고, 훈련의 수준도 높다고 평가함.
•
Workforce Training
◦
산업현장에서의 training 으로 보통 현실에서 재연이 힘든 위험 작업을 VR 로 구혀함.
◦
높은 곳에서 작업해야하는 고소작업, 고압 전선의 유지보수 작업 등
In-Class Note Taking
Limitations of VR/AR
•
안전지식을 쌓는 것과 실제 상황에서 그렇게 행동하는 것과는 관련이 없다는 연구결과가 있음. → 실효성이 없음
•
VR 기반의 교육이 실제 상황에서 얼마나 효과가 있는지 검증하는 것이 어려움.
Curbing Risk Habituation
•
VR 에서도 현실에서와 비슷하게 위험에 둔감화된 모습을 보일까?
•
처음 하는 집단과 일주일 전에 해본 집단 사이에 위험 감지 시간을 체킹하여 훈련의 효과를 VR 내에서 검증해볼 수는 있었음.
Assignment
•
VR/AR 이 활용된 사례를 찾아서 5분의 프레젠테이션을 준비
◦
What is this VR/AR about?
◦
What are the limitations?
◦
How can improve it?
◦
Propose new VR/AR for education and training