Mobile/Lightweight Deep Learning
-
[Lightweight DL] Quantization (3/3)Mobile/Lightweight Deep Learning 2020. 12. 27. 14:59
Quantization 시리즈의 마지막 포스팅입니다. 첫번째 포스팅에서 quantization이란 무엇인지 설명하고, int 8bit 솔루션들을 소개했습니다. 두번째 포스팅에서는 더 나아가 sub 8bit, sub 4bit quantization을 위해 진행된 연구들을 살펴보았습니다. 본 글에서는 binary quantization, 즉 binarization에 대해 소개하겠습니다. Review. Sub-8bit quantization에서 총 세 가지 기법 - log quantization, weighted quantization, outlier quantization을 소개했습니다. 4bit quantization에서는 precision highway와 learnable quantization을 소개했..
-
[Lightweight DL] Quantization (2/3)Mobile/Lightweight Deep Learning 2020. 12. 13. 21:09
지난 포스팅에 이어, 경량 딥러닝을 위한 기법 중 하나인 Quantization을 살펴보겠습니다. Review. 딥러닝에서 quantization이란 모델의 weight과 activation을 나타내는 bit 수, 즉 bit depth를 줄이는 것을 의미합니다. 데이터 타입을 float32에서 float16, bfloat16으로 점차 줄여나가다가, Google과 Nvidia에서는 아예 int 연산으로 대체하자며 Int 8bit solution을 제시했습니다. 본 글에서는 bit depth를 8보다 더 줄이기 위해, 즉 "sub" 8bit quantization으로 나아가기 위해 어떠한 연구들이 진행되었는지 살펴보도록 하겠습니다. 본 글은 서울대학교 유승주 교수님의 "Embedded Systems and ..
-
[Lightweight DL] Quantization (1/3)Mobile/Lightweight Deep Learning 2020. 11. 29. 21:05
딥러닝 모델을 서버에서 학습하고 추론할 경우, Nvidia GPU와 같은 강력한 컴퓨팅 리소스들을 활용할 수 있습니다. 하지만 모바일/임베디드 환경에서는 컴퓨팅 리소스가 현저히 부족하기 때문에, 디바이스에서 학습은 커녕 추론을 하기까지도 많은 챌린지가 존재합니다. 기존 딥러닝 모델의 정확도를 크게 떨어뜨리지는 않으면서도, 적은 컴퓨팅 리소스로도 실행 가능할 수 있도록 경량 딥러닝(Lightweight Deep Learning) 분야의 연구가 활발히 진행되고 있습니다. 이를 위해 여러 가지 기법들이 존재하지만, 우선 본 포스팅에서는 Quantization(양자화)에 대해 살펴보고자 합니다. 본 글은 서울대학교 유승주 교수님의 "Embedded Systems and Applications" 수업을 기반으로 ..