본 세션에서는, Feed Forward (FF) 도 여전히 풀지 못했던 복잡한 문제에 대해서 다루기 위해 고안된 네트워크인 Deep Feed Forward Network 에 대해서 알아보려고 합니다.
가장 먼저 보이는 구조의 변화는 Hidden Cell 이 존재하는 layer 가 한 겹이 아니라 여러 겹이 되었다는 점입니다. 그리고 언뜻 봐서는 Input Cell 의 개수도 늘어난 것 처럼 보이지만, 사실은 Perceptron, Feed Forward, Radial Basis Function Network 에서 Input Cell 을 2 개로 예시를 든 것일 뿐, Input Cell 의 개수 자체는 구조와 관련이 없다는 점 알아주시면 좋을 것 같습니다.
단순하게 "복잡한 문제를 해결한다" 라고만 이야기하면 궁금해하실 분들이 많을 수 있으실 것 같습니다. 복잡한 문제를 해결하기 위해서 Hidden Cell 을 추가하는 것은 Perceptron 에서 Feed Forward 가 등장할 때도 나타난 개념입니다. 그와 비슷한 이유로 네트워크의 weight 가 표현할 수 있는 다양성을 늘리기 위해서 Hidden Cell 및 layer 를 추가하는 것이 복잡한 문제를 해결할 수 있는 가능성을 높인다고 보시면 됩니다.
이와 관련하여 간단한 예시를 들으려고 합니다. 아래 예시는 구글의 머신러닝 playground 실습에서 제가 진행한 나선형 데이터세트 분류기를 테스트해본 것입니다.
위 예시처럼 실제로 저희가 정답도 알고 있지 않고, 해의 존재성도 모르지만, 놀랍게도 Input Cell 의 종류와 Hidden Layer 를 잔뜩 넣고 학습을 돌리니 분류가 되었습니다. 제가 실제 예시를 준비하지 않고 이러한 실습을 가져온 이유도 Deep Feed Forward Network 가 애초에 해결하고자 했던 문제들이 이러한 복잡한 형태의 문제이기 때문입니다.
직접 해보실 분들은 아래의 북마크를 타고 들어가서 해보셔도 좋을 것 같습니다.
이렇게 이번 세션에서는 Feed Forward(FF) 에서 Hidden Cell 이 더 많이 추가되어 다량의 Hidden Layer 를 생성한 네트워크인 Deep Feed Forward Net(DFFN) 의 구조와 예시에 대해서 알아보는 시간을 가졌습니다. 이번 세션을 통해서 Deep Neural Network 의 가장 기본이 되는 DFFN 이 어떠한 과정을 통해서 고안되었는지와 어떠한 문제들을 해결할 수 있는지에 대해서 알아두시면 좋을 것 같습니다.