전체 글
-
Noise Suppression미분류 2021. 2. 16. 15:47
상대방과 통화를 하던 중에 자신 또는 상대방이 시끄러운 곳에 있어서 서로의 목소리가 잘 들리지 않았던 경험, 한번 쯤 있으실텐데요. 옆 집 공사 소리, 길거리 소음, 카페 음악 소리 등 다양한 잡음(noise)이 목소리에 섞여버려서, 서로의 말이 잘 전달되지 않는 문제입니다. COVID-19로 인해 재택근무를 하며 화상 회의/수업을 자주 하다보니, 이러한 문제가 더 피부에 와닿습니다. 본 포스팅에서는 noise suppression(잡음 제거)라는 task에 대한 기본적인 소개를 한 뒤, 이와 관련된 성능 평가 지표들을 알아보겠습니다. 1) Noise Suppression? 잡음이 섞인 목소리로부터 잡음을 억제하고 깔끔한 목소리를 추출해내는 기술을 noise suppression(잡음 제거)라고 합니다...
-
[Lightweight DL] Quantization (3/3)Mobile/Lightweight Deep Learning 2020. 12. 27. 14:59
Quantization 시리즈의 마지막 포스팅입니다. 첫번째 포스팅에서 quantization이란 무엇인지 설명하고, int 8bit 솔루션들을 소개했습니다. 두번째 포스팅에서는 더 나아가 sub 8bit, sub 4bit quantization을 위해 진행된 연구들을 살펴보았습니다. 본 글에서는 binary quantization, 즉 binarization에 대해 소개하겠습니다. Review. Sub-8bit quantization에서 총 세 가지 기법 - log quantization, weighted quantization, outlier quantization을 소개했습니다. 4bit quantization에서는 precision highway와 learnable quantization을 소개했..
-
[Lightweight DL] Quantization (2/3)Mobile/Lightweight Deep Learning 2020. 12. 13. 21:09
지난 포스팅에 이어, 경량 딥러닝을 위한 기법 중 하나인 Quantization을 살펴보겠습니다. Review. 딥러닝에서 quantization이란 모델의 weight과 activation을 나타내는 bit 수, 즉 bit depth를 줄이는 것을 의미합니다. 데이터 타입을 float32에서 float16, bfloat16으로 점차 줄여나가다가, Google과 Nvidia에서는 아예 int 연산으로 대체하자며 Int 8bit solution을 제시했습니다. 본 글에서는 bit depth를 8보다 더 줄이기 위해, 즉 "sub" 8bit quantization으로 나아가기 위해 어떠한 연구들이 진행되었는지 살펴보도록 하겠습니다. 본 글은 서울대학교 유승주 교수님의 "Embedded Systems and ..
-
[Lightweight DL] Quantization (1/3)Mobile/Lightweight Deep Learning 2020. 11. 29. 21:05
딥러닝 모델을 서버에서 학습하고 추론할 경우, Nvidia GPU와 같은 강력한 컴퓨팅 리소스들을 활용할 수 있습니다. 하지만 모바일/임베디드 환경에서는 컴퓨팅 리소스가 현저히 부족하기 때문에, 디바이스에서 학습은 커녕 추론을 하기까지도 많은 챌린지가 존재합니다. 기존 딥러닝 모델의 정확도를 크게 떨어뜨리지는 않으면서도, 적은 컴퓨팅 리소스로도 실행 가능할 수 있도록 경량 딥러닝(Lightweight Deep Learning) 분야의 연구가 활발히 진행되고 있습니다. 이를 위해 여러 가지 기법들이 존재하지만, 우선 본 포스팅에서는 Quantization(양자화)에 대해 살펴보고자 합니다. 본 글은 서울대학교 유승주 교수님의 "Embedded Systems and Applications" 수업을 기반으로 ..