Deep Learning was Enabled by Hardware
딥러닝이 성공할 수 있었던 이유는 GPU 때문임. 머신러닝이 있었던 때는 한참 전이었지만, AlexNet 이후부터 새로운 Hardware 를 이용하여 딥러닝의 시대를 열었음.그 이후로 딥러닝은 점점 발전하면서 커다란 Hardware 를 요구하게 됨.
Codesign of AI/Hardware
AI 와 Hardware 가 만나는 지점이 교수님의 놀이터임. AI 를 위한 Hardware, Hardware 를 위한 AI 를 연구함
Computer Hardware
CPU, GPU, TPU 등이 있음. 왜 이런 Hardware 들이 자꾸 필요할까? 이는 선택과 집중을 했기 때문임. CPU 는 general purpose 로 모든 것을 하려고 한 Hardware. GPU 는 parallel cores 로 그래픽스, AI, 비트코인 등에 사용함. TPU 는 Deep Learning 에 특화되어 약 100 배 정도 빠름.
Background GNN
똑같은 Neural Network 를 각 Node 에서 수행하고 feature 들이 edge 를 타고 aggregate 됨.
DNN Quantization
Deep Neural Network 32bit 많이 쓰는데, 4bit 짜리 써도 정확도가 어느정도 잘 나왔음. 딥 러닝 Hardware 비싸서 고민인데 quantization 하면 싸고 빠른데 성능 그렇게 많이 안 떨어져서 사람들이 요새 많이 하는 중임. 왼쪽에서 누가 Training 을 32 bit 으로 하여 던져주었을 때, 그걸 4 bit 로 바꾸려는 시도를 할 수 있음. Knowledge Distillation 이라고 부르는 방법론으로 teacher 와 동일한 판단을 하도록 학습을 할 수 있음.
Human Design Example - DSCore
MobileNet 은 그냥 convolution 을 하면 너무 계산량이 많기 때문에 1 channel 짜리 convolution 을 함.
Need for Codesign
Network 먼저 만들고 Hardware 나중에 만드는 것은 expensive, slow 하고 Hardware 먼저 만들고 Network 나중에 만드는 것은 오류가 큼.
First Ingredient: Differentiable NAS
Conv 의 크기에 따라, 혹은 아무것도 안넣는 path 를 모두 넣어보고 AI 를 이용해 적절한 Hardware 를 찾아낼 수 있음.