구글, 스파스 추론으로 뉴럴네트워크 고속화

구글이 모바일용 기계 학습 라이브러리 텐서플로 라이트(TensorFlow Lite)와 신경망 추론 최적화 라이브러리 XNNPACK에 추가적인 스파스(Sparse) 최적화를 적용해 추론 속도를 크게 향상시켰다고 발표했다.

스파스(Sparse)는 '척척'을 의미하는 단어다. 빅데이터 등 해석에서 데이터 전체는 대규모이지만 의미 있는 데이터는 극히 일부밖에 없는 상황이 많다. 

스파스 모델링은 이러한 성질을 가진 데이터를 취사선택하고 의미 있는 데이터만 분석하는 방법론이다. MRI나 X선 CT의 해상도 향상과 입체 구조 계산의 고속·고정밀화 등에 이용되고 있다.

출처: Google AI Blog

구글이 9일(현지시각) 블로그를 통해 새롭게 발표한 스파스 모델링은 “해석 대상이 되는 모델이 스파스인지 여부를 검출할 수 있어 추론 속도를 대폭 향상할 수 있다”는 것이다.

화상회의 응용 프로그램 구글 미트(Google Meet)의 실시간 처리에서는 위 그림과 같이 기존의 모델(왼쪽)보다 스파스화 모델(오른쪽)은 낮은 처리 시간과 더 높은 초당 프레임(FPS)을 구현하고 있다. 

구글은 그림 전체 배경에서 피사체의 영상 품질을 유지하면서 70%의 스파스화를 통해 처리 속도를 30%나 빠르게 하는 데 성공했다는 것이다.

마찬가지로, 손 모양 검출 모델인 미디어파이프 핸드(MediaPipe Hands)에서도 스파스화로 처리 속도를 50%나 향상했다. 

출처: Google AI Blog

위 그림은 왼쪽이 기존 모델에서 중앙이 증류(distillation)라는 고급 AI의 입력과 출력을 간단한 AI에 학습된 모델이다. 오른쪽은 스파스화 모델이다. 기존 모델에서는 처리 속도가 60ms(미리세컨드, 1/1000초) 전후이지만, 스파스화 모델은 증류 모델보다 빠른 25ms 미만 처리 속도에 이른다.

구글은 스파스화가 뉴럴네트워크(neural network) CPU 추론을 개선하는 간단하고 강력한 기술이라서 앞으로도 이런 종류의 연구를 계속할 예정이라고 밝혔다.

김한비 기자 itnews@