본 포스트에서는 다양한 Artificial Neural Network(인공신경망) 의 종류와 그 쓰임새에 대해서 알아보려고 합니다. 딥러닝을 공부한 뒤로 꽤나 궁금해하던 주제였는데 기초도 모른채 손을 대었다가는 잘 이해도 못한 채 마무리 될 것 같아서 미루고 있었는데, 나름 10개월 동안 딥러닝에 대한 이것저것을 알아보면서 배운 내용과 추가로 찾아본 내용들을 바탕으로 정리를 해보려고 합니다.
제가 참고한 자료는, A mostly complete chart of Neural Networks 와, 이에 대한 요약을 한 The Neural Network Zoo 입니다. 찾아보니, The Asimov Institute 란 곳에서 만든 자료인데 AI 와 창의성을 접목하여 다양한 아이디어를 제시하고 건축가, 그래픽 디자이너, 패션 디자이너, 마케터 및 음악 제작자 등에게 도움이 되는 다양한 자료 및 툴을 제작한다고 합니다.
위 사진은 참고한 자료의 일부를 캡처한 사진입니다. 간단한 구조의 네트워크부터 복잡한 구조의 네트워크까지 그 구조를 간략하게 제시해줍니다. 본 포스트에서는 A mostly complete chart of Neural Networks 에서 제시한 Network 의 구조와 각각이 어떠한 용도로 사용되는지에 대한 개괄적인 내용을 다루려고 합니다.
다음은 다루려고 하는 Network 들입니다.
예정된 다룰 네트워크 목록
Perceptron (P)
Feed Forward (FF)
Radial Basis Network (RBF)
Deep Feed Forward Network (DFFN)
Recurrent Neural Network (RNN)
Long Short Term Memory (LSTM)
Gated Recurrent Unit (GRU)
AutoEncoder (AE)
Variational AutoEncoder (VAE)
Denoising AutoEncoder (DAE)
Sparse AutoEncoder (SAE)
Markov Chain (MC)
Hopfield Network (HN)
Boltzmann Machine (BM)
Restricted Boltzmann Machine (RBM)
Deep Belief Network (DBN)
Deep Convolutional Network (DCN)
Deconvolutional Network (DN)
Deep Convolutional Inverse Graphics Network (DCIGN)
Generative Adversarial Network (GAN)
Liquid State Machine (LSM)
Extreme Learning Machine (ELM)
Echo State Network (ESN)
Deep Residual Network (DRN)
Differential Neural Computer (DNC)
Neural Turing Machine (NTM)
Capsule Network (CN)
Kohonen Network (KN)
Attention Network (AN)