[애플 AI칩] 2. WWDC에서 공개된 A11 Bionic 뉴럴엔진

- 애플(Apple) AI칩 개발동향과 3년 내 출시할 제품/서비스 예측

[요약] 구글(Google)이 알파고(AlphaGo)라는 인공지능(AI) 컴퓨터 프로그램 덕분에 AI 기술의 선두주자로 알려져 있지만, 구글의 단점은 클라우드 베이스의 AI이다(이를 Edge->Cloud AI라 함). 반면 애플(Apple)은 온디바이스(on-device)의 AI 제품을 개발하고 실제 제품에 적용하고 있다는 점에서 구글을 능가하고 있다. 왜냐하면 이제 블록체인 개념의 Cloud->Edge가 도래하고 있기 때문이다. 

2017년에 애플이 자체 개발하고 디자인한 ‘Neural Engine + 최초로 애플이 디자인한 GPU(그 전까지는 Imagination Technologies가 디자인) + M11 + Face ID + Touch ID를 지원하는 네 개의 에너지효율 요소’를 통합한 A11 Bionic Chip을 iPhone X에 탑재해 런칭했다. (1) 많은 기업들이 AI칩에 도전하고 있지만 이는 업계 최초로 애플이 AI칩 분야의 선두주자임을 증명한 것이다. (2) 그 결과 애플은 어느 날인가 퀄컴(Qualcomm)과 인텔(Intel)과 삼성(Samsung)을 위협할 수도 있을 것이다.  

애플은 HAS(Hardware+AI+Software)라는 개념의 독자적으로 디자인하고 통합된 하드웨어와 독자적인 뉴럴엔진의 A11 Bionic Chip과 독자적인 OS 플랫폼을 구축한 유일한 기업이다. 따라서 현재 TrueDepth 카메라와 Dot Projector 기반으로 서비스하고 있는 Face ID와 Animoji를 뛰어넘어 향후 Cloud<->Edge를 선도할 수 있을 것으로 전망된다. 

애플과 애플이 인수한 프라임센스의 특허를 분석한 결과, 앞으로 3년 이내에 애플은 뉴럴엔진·AI Chip 베이스의 트루뎁스 카메라 기술과 도트 프로젝트 기술을 활용해 (1) 3D Animoji를 2018년에 나만의 Memoji로 업데이트하고 최종 3D Avatar/Model로 업그레이드하여 출시할 것으로 예측되고, (2) 다양한 콘텐츠와 서비스(Mac, TV, 전기차(EV)/자율차(AV) 등) 중심의 3D UI/UX의 AR/VR로 확대 출시 될 것으로 예측되며, (3) Mac OS/iOS가 3D GUI의 OS/App/Safari로 업그레이드 될 것으로 예측된다.  

[글 싣는 순서]
1. 뉴럴엔진의 인공지능 칩(A11 Bionic Chip)
1-1. 배경(Background) – Edge<->Cloud를 위한 AI Chip 개발이 필요
1-2. 애플(Apple)의 뉴럴엔진/네트워크와 A11 Bionic Chip
1-2-1. 애플과 애플이 인수한 프라임센스의 특허분석 
1-2-1-1. Face ID와 뉴럴 네트워크
1-2-1-2. 트루뎁스(TrueDepth) 적외선 카메라
1-2-1-3. 3차원 맵을 위한 도트 프로젝터(Dot Projector)

1-2-2. 2017년 9월 WWDC에서 공개된 A11 Bionic Neural Engine 
1-2-3. 유럽특허청에 등록한 상표 – 뉴럴엔진(Neural Engine)
1-2-4. 애플의 아이폰 8/8 플러스/X에 탑재된 A11 Bionic Chip
1-2-5. A11 Bionic Chip이 탄생하기 전까지의 여정
1-3. 인사이트 종합

2. 특허분석으로 예측하는 3년 내 애플이 출시할 제품과 서비스
2-1. 애플의 3D Avatar/Model
 2-2. 애플의 3D UI/UX의 AR/VR
 2-2-1. 3D UI/UX의 AR/VR for Mac/TV
 2-2-2. 3D UI/UX의 AR/VR for Car/EV/AV
 2-3. 애플의 3D GUI의 OS/App/Safari
 2-3-1. 3D GUI의 OS/App
 2-3-2. 3D GUI의 브라우저(Safari) 


1-2-2. 2017년 6월 WWDC에서 공개된 A11 Bionic Neural Engine

애플은 2017년 6월 WWDC에서 마케팅 수석부사장인 실러(Phil Schiller)가 머신러닝 알고리즘을 위한 최적의 하드웨어 구조를 공개했다. 이는 뉴럴엔진이라 불리는 새로운 AI 구성요소를 가진 프로세서이다. 용도는 Face ID(페이스 ID), 애니모지(Animoji), 기타 머신러닝 작업이다. 자체 디자인한 CPU와 GPU를 사용해 보다 에너지 효율적인 방법으로 머신러닝과 뉴럴 네트워크를 지원한다.

▲ 2017년 6월 Apple이 WWDC에서 공개한 A11 Bionic Neural Engine &amp; Neural Networks. Image: Apple's WWDC

1-2-3. 유럽특허청에 등록한 상표 – 뉴럴엔진(Neural Engine) 

애플은 2017년 11월 29일, 유럽특허청(European Patent Office)에 ‘뉴럴엔진(Neural Engine)’이라는 상표(trademark)를 신청했는데(Application Number: 017538513), 등록일은 2018년 3월 19일이다. 국제 클래스(분류)는 009이며, 클래스 카테고리는 ‘Computer & Software Products & Electrical & Scientific Products’이고, 제품과 서비스는 ‘Handheld digital electronic devices capable of providing access to the internet and for the sending, receiving, and storing telephone calls, electronic mail, and other digital data; computer chips’이다. 한마디로 컴퓨터 칩이다.

▲ 유럽특허청에 등록한 상표 – 뉴럴엔진(Neural Engine). Image: Trademarkia

1-2-4. 애플의 아이폰 8/8 플러스/X에 탑재된 A11 Bionic Chip

애플이 2017년 9월 12일에 출시한 아이폰 8·아이폰 8 플러스·아이폰 X에는 앞에서 살펴본 A11 바이오닉(Apple A11 Bionic)이 탑재되어 있는데, 이는 애플이 설계한 64비트 시스템온칩(SoC)의 ASIC(application-specific integrated circuit)로 대만 TSMC가 10나노 공정으로 제조한 AI칩이다. A11 바이오닉에는 머신러닝, 추론모델(inference model), 이미지 인식과 모션 인식 등의 알고리즘인 뉴럴엔진(Neural Engine)이 적용되었는데, 뉴럴엔진은 초고속 프로세싱을 돕는 듀얼 코어(Dual Core) 설계로 되어 있으며, 실시간 프로세싱을 위해 초당 최대 6천억 번의 작업(600 billion operations per second)을 수행한다. 

▲ 애플의 아이폰 8/8 플러스/X에 탑재된 A11 Bionic Chip을 가능케 하는 하드웨어 구성요소들. 왼쪽부터 트루뎁스 적외선 카메라, 근접 센서, 적외선 대량 조명 장치, 주위(부변) 빛 센서, 스피커, 마이크로폰, 700메가 픽셀 카메라, 도트 프로젝터. Image: Apple Insider(16 Sep 2017)

이 새로운 뉴럴엔진은 애플이 새롭게 선보이는 (1) 적외선 트루뎁스(TrueDepth) 카메라와 도트 프로젝터를 이용해 (2) 얼굴인식 기능인 페이스 ID(Face ID)를 사용할 수 있게 하고 더 나아가 (3) 3D 애니모지(Animoji)를 사용하게 하며 (4) 추후 제작되는 게임 등 증강현실/가상현실 앱을 원활하게 쓸 수 있도록 할 것으로 기대하고 있다(Apple Insider, 23 Sep 2017; Wikipdia.org).

얼굴인식인 페이스 ID를 이용한 것이 3D 애니모지(Animoji)이다. 본인의 얼굴을 등록할 때 트루뎁스(TrueDepth) 적외선 카메라는 적외선 이미지를 인식해 점 패턴(dot pattern)으로 읽어 이 데이터를 A11 Bionic Chip으로 보낸다. 이 때 적외선 대량 조명 장치는 어두운 곳에서도 얼굴의 이미지를 잘 인식한다. 그리고 도트 프로젝터는 이렇게 기 등록된 얼굴의 이미지들을 리얼 타임으로 매치 혹은 매핑시키기 위해 30,000 개 이상의 점(Dots)을 투영하고 인식 분석하여 페이스 ID(잠금과 해제)의 기능을 하는 것이다.

▲ 애플 iPhone X의 3D 애니모지(Animoji) 기능(12 Sep 2017). Image: Apple

동시에 도트 프로젝터는 50개 이상의 각기 다른 얼굴 근육의 움직임을 분석하여 사용자의 세밀한 표정을 16개의 애니모티콘에 투영해 자신의 얼굴 표정을 기반으로 맞춤형 3D 이모티콘을 만들 수 있다. 50개 얼굴 근육 움직임을 인식해 팬더곰, 여우, 외계인 등 캐릭터 얼굴에 그대로 반영할 수 있다. 

이는 향후 새로운 형태(3D Avatar 등)의 커뮤니케이션 수단으로 활용될 것으로 기대되고 있으며, 사용자들은 수정/편집/생성을 통해 다양한 3D 애니모지를 만들어, 1인 가구 시대의 생산성을 높이기 위해 동시에 5개 온라인 회의를 하는 경우, 내 개성과 목소리와 감정을 지닌 맞춤식 3D 애니모지나 3D 아바타를 보낼 수도 있을 것이다(이를 Face Message하고 함).

1-2-5. A11 Bionic Chip이 탄생하기 전까지의 여정

디지타임즈(Digitimes)의 보고서를 인용하면서 애플인사이더는 ‘구글이 알파고(AlphaGo)라는 AI 컴퓨터 프로그램 덕분에 AI 기술의 선두주자로 알려져 있지만, 구글의 단점은 클라우드 베이스의 AI라면서(이것을 Edge->Cloud AI라 함). 반면 애플은 on-device의 AI 제품을 개발하고 실제 제품에 적용하고 있다는 점에서 구글을 능가하고 있다’고 분석했다(이것을 Cloud->Edge AI라 함). A11 Bionic Chip을 말하는 것이다. 

블룸버그(Bloom Berg)와 애플 인사이더(Apple Insider)는 2018년 1월 29일 애플의 A11 Bionic Chip이 탄생하기 전까지의 여정을 소개했다(Bloom Berg & Apple Insider, 29 Jan 2018). 그간 애플은 iPhones, iPads, Macs 및 Watches를 위해 꾸준히 칩을 디자인해 왔다. 

사실 스티브 잡스(Steve Jobs)는 Samsung, Intel 및 Imagination Technologies 사 등 칩 제조사들에 의존하지 않는 독자적인 기술을 가져야 한다고 믿었다. 그런 전략 방향에서 2008년에 칩 제조사인 P.A. Semi를 인수했다. 2년 후인 2010년에 스티브 잡스는 iPad를 출시했다. 이 iPad에 탑재된 칩이 바로 최초로 애플이 디자인한 첫 번째 SOC인 A4이다.

1997~2009년 까지만 해도 삼성전자가 디자인한 칩을 iPhone에 탑재했는데, 2010년도부터 애플이 독자적으로 디자인한 A4 칩이 iPhone 4, iPad, Ipod Touch, 애플 TV에 탑재되었다. 

그 이후로 2011년에 듀얼 코어 SOC인 A5, 2012년에 iPad 스크린의 고해상도를 지원하기 위해 최적화된 A6X, 2013년에 iPhone 5S의 터치 ID/결제 데이터를 저장하고 걸음의 모션을 지원하는 M7을 분리한 64-bit SOC인 A7, 2016년에 두 개의 고성능 요소와 두개의 에너지효율 요소와 M10을 지원하는 A10 Fusion, 그리고 마침내 2017년에 Neural Engine + 최초로 애플이 디자인한 GPU(그 전까지는 Imagination Technologies가 디자인) + M11 + 페이스 ID + Touch ID를 지원하는 네 개의 에너지효율 요소를 통합한 A11 Bionic Chip이 탄생한 것이다. 그 결과 칩의 주요 발전소(powerhouse)가 된 애플은 어느 날인가 퀄컴(Qualcomm Inc.)과 인텔(Intel)을 위협할 수 있을 것이다. 

▲ 애플의 가장 중요한 모바일 디바이스 칩(Apple's most important mobile device chip)의 여정. Image: Bloom Berg(29 Jan 2018)

그 뿐만 아니라 독자적인 칩을 100% 디자인하기 때문에 요소 비용을 절감할 수 있고, 미래에 예측되는 주요기능들을 신속하게 디자인할 수 있으며, 자체적으로 R&D를 제어함으로써 삼성전자 같은 프레너미들(frenemies)로부터 비밀을 보호할 수도 있다. 

이제 많은 기업들이 인공지능 칩에 도전하고 있다. 그러나 인공지능 칩은 많은 자본과 규모가 필요함으로 몇몇 기업들은 과거에도 그렇듯이 실패할 것이고 애플과 같이 그 동안 지식과 노하우를 축적한 기업들은 성공할 것이다. 

1-3. 인사이트 종합

애플인사이더가 ‘구글이 알파고(AlphaGo)라는 AI 컴퓨터 프로그램 덕분에 AI 기술의 선두주자로 알려져 있지만, 구글의 단점은 클라우드 베이스의 AI라면서(이것을 Edge->Cloud AI라 함), 반면 애플은 온디바이스(on-device)의 AI 제품을 개발하고 실제 제품에 적용하고 있다는 점에서 구글을 능가하고 있다’고 분석한 내용이 타당한 것으로 필자는 판단한다. 왜냐하면 이제 블록체인 개념의 Cloud->Edge가 도래하고 있기 때문이다.

2017년에 애플이 자체 개발하고 디자인한 ‘뉴럴엔진 + 최초로 애플이 디자인한 GPU(그 전까지는 Imagination Technologies가 디자인) + M11 + 페이스 ID + Touch ID를 지원하는 네 개의 에너지효율 요소’를 통합한 A11 Bionic Chip을 iPhone X에 탑재해 론칭했다. 

(1) 많은 기업들이 AI칩에 도전하고 있지만 이는 업계 최초로 애플이 AI칩 분야의 선두주자임을 증명한 것이다. (2) 그 결과 칩의 주요 발전소(powerhouse)가 된 애플은 어느 날인가 퀄컴(Qualcomm)과 인텔(Intel)과 삼성(Samsung)을 위협할 수도 있을 것이다. 

애플은 HAS(Hardware+AI+Software)라는 개념의 독자적으로 디자인하고 통합된 하드웨어와 독자적인 뉴럴엔진의 A11 Bionic Chip과 독자적인 OS 플랫폼을 구축한 유일한 기업이다. 따라서 블록체인의 To Be 모델인 퍼블릭(Public)과 프라이빗(Private)이 융합된 하이브리드(Hybrid) 블록체인을 도입하고 서비스할 수 있는 유일한 기업이다. 

따라서 현재 TrueDepth 카메라와 Dot Projector 기반으로 서비스하고 있는 페이스 ID와 애니모지를 뛰어넘어  3차원 베이스의 Cloud<->Edge를 선도할 수 있을 것으로 전망된다.

애플과 애플이 인수한 프라임센스의 특허를 분석한 결과, 앞으로 3년 이내에 애플은 뉴럴엔진·AI Chip 베이스의 트루뎁스 카메라 기술과 도트 프로젝트 기술을 활용해 (1) 3D 애니모지(Animoji)를 2018년에 나만의 Memoji로 업데이트하고 최종 3D Avatar/Model로 업그레이드하여 출시할 것으로 예측되고, (2) 다양한 콘텐츠와 서비스(Mac, TV, 전기차(EV)/자율차(AV) 등) 중심의 3D UI/UX의 AR/VR로 확대 출시 될 것으로 예측되며, (3) Mac OS/iOS가 3D GUI의 OS/App/Safari로 업그레이드 될 것으로 예측된다. 이를 위해 다음부터는 관련 특허분석을 시도하여 증빙해보기로 한다.

 

 차원용 소장/교수/MBA/공학박사/미래학자 

아스팩미래기술경영연구소(주) 대표, (전)국가과학기술심의회 ICT융합전문위원회 전문위원, 국토교통부 자율주행차 융복합미래포럼 비즈니스분과 위원, 전자정부 민관협력포럼 위원, 국제미래학회 과학기술위원장 
 

 

[정리 이새잎 기자  ebiz@itnews.or.kr]