[애플 AI칩] 4. 애플의 3D UI/UX의 AR/VR

애플(Apple) AI칩 개발동향과 3년 내 출시할 제품/서비스 예측

[요약] 구글(Google)이 알파고(AlphaGo)라는 인공지능(AI) 컴퓨터 프로그램 덕분에 AI 기술의 선두주자로 알려져 있지만, 구글의 단점은 클라우드 베이스의 AI이다(이를 Edge->Cloud AI라 함). 반면 애플(Apple)은 온디바이스(on-device)의 AI 제품을 개발하고 실제 제품에 적용하고 있다는 점에서 구글을 능가하고 있다. 왜냐하면 이제 블록체인 개념의 Cloud->Edge가 도래하고 있기 때문이다.  

2017년에 애플이 자체 개발하고 디자인한 ‘Neural Engine + 최초로 애플이 디자인한 GPU(그 전까지는 Imagination Technologies가 디자인) + M11 + Face ID + Touch ID를 지원하는 네 개의 에너지효율 요소’를 통합한 A11 Bionic Chip을 iPhone X에 탑재해 런칭했다. (1) 많은 기업들이 AI칩에 도전하고 있지만 이는 업계 최초로 애플이 AI칩 분야의 선두주자임을 증명한 것이다. (2) 그 결과 애플은 어느 날인가 퀄컴(Qualcomm)과 인텔(Intel)과 삼성(Samsung)을 위협할 수도 있을 것이다.   

애플은 HAS(Hardware + AI + Software)라는 개념의 독자적으로 디자인하고 통합된 하드웨어와 독자적인 뉴럴엔진의 A11 Bionic Chip과 독자적인 OS 플랫폼을 구축한 유일한 기업이다. 따라서 현재 TrueDepth 카메라와 Dot Projector 기반으로 서비스하고 있는 Face ID와 Animoji를 뛰어넘어 향후 Cloud<->Edge를 선도할 수 있을 것으로 전망된다.  

애플과 애플이 인수한 프라임센스의 특허를 분석한 결과, 앞으로 3년 이내에 애플은 뉴럴엔진·AI Chip 베이스의 트루뎁스 카메라 기술과 도트 프로젝트 기술을 활용해 (1) 3D Animoji를 2018년에 나만의 Memoji로 업데이트하고 최종 3D 아바타/모델로 업그레이드하여 출시할 것으로 예측되고, (2) 다양한 콘텐츠와 서비스(Mac, TV, 전기차(EV)/자율차(AV) 등) 중심의 3D UI/UX의 AR/VR로 확대 출시 될 것으로 예측되며, (3) Mac OS/iOS가 3D GUI의 OS/App/Safari로 업그레이드될 것으로 예측된다.   

[글 싣는 순서]
1. 뉴럴엔진의 인공지능 칩(A11 Bionic Chip)
  1-1. 배경(Background) – Edge<->Cloud를 위한 AI Chip 개발이 필요
 1-2. 애플(Apple)의 뉴럴엔진/네트워크와 A11 Bionic Chip
   1-2-1. 애플과 애플이 인수한 프라임센스의 특허분석 
    1-2-1-1. Face ID와 뉴럴 네트워크
   1-2-1-2. 트루뎁스(TrueDepth) 적외선 카메라
   1-2-1-3. 3차원 맵을 위한 도트 프로젝터(Dot Projector)
   1-2-2. 2017년 9월 WWDC에서 공개된 A11 Bionic Neural Engine 
    1-2-3. 유럽특허청에 등록한 상표 – 뉴럴엔진(Neural Engine)
    1-2-4. 애플의 아이폰 8/8 플러스/X에 탑재된 A11 Bionic Chip
    1-2-5. A11 Bionic Chip이 탄생하기 전까지의 여정
 1-3. 인사이트 종합 

2. 특허분석으로 예측하는 3년 내 애플이 출시할 제품과 서비스
 2-1. 애플의 3D 아바타/모델

 2-2. 애플의 3D UI/UX의 AR/VR
   2-2-1. 3D UI/UX의 AR/VR for Mac/TV

   2-2-2. 3D UI/UX의 AR/VR for Car/EV/AV
  2-3. 애플의 3D GUI의 OS/App/Safari
   2-3-1. 3D GUI의 OS/App
   2-3-2. 3D GUI의 브라우저(Safari)  


2-2. 애플의 3D UI/UX의 AR/VR

애플과 프라임센스의 3D AR/VR 관련 특허를 분석한 결과, 앞으로 3년 이내에 애플은 뉴럴엔진·AI칩 베이스의 트루뎁스 카메라 기술과 도트 프로젝트 기술을 활용해 다양한 콘텐츠(게임, 영화, 교육, IoT, IIoT, IoB 등)와 서비스(Mac, TV, 전기차(EV)/자율차(AV) 등) 중심의 3D UI/UX의 AR/VR로 확대 출시될 것으로 예측된다. 

2-2-1. 3D UI/UX의 AR/VR for Mac/TV

3차원 UI(Three-dimensional user interface) – 프라임센스의 기술로 기술개발은 2008년으로 거슬러 올라가, 2008년 1월 14일에 가출원하고(61/020,754, 61/020,756), 2008년 2월 28일에 개량 가출원하고(61/032,158), 2009년 1월 13일에 정식 출원하여(12/352,622), 2009년 7월 16일에 출원서가 공개되고(20090183125), 2012년 4월 24일에 특허를 획득했다(8,166,421).

▲ 애플 특허의 Fig.1(8,166,421, 24 Apr 2012). Image: USPTO

Fig.1은 22의 사용자가 3D UI(20)로 26의 컴퓨터를 제어하는 그림으로 이것을 가능하게 하는 핵심 기술은 24의 3D 센싱 디바이스 혹은 별도의 카메라로, 사용자의 손의 움직임을 포함한 장면을 센싱한다. 

따라서 수집한 이미지는 사진일 수도 있고 비디오일 수도 있다. 컴퓨터(26)가 3D 센싱 디바이스(24)로 수집한 정보들을 프로세싱하여 28의 디스플레이에 나타난 객체들을 매치시켜 3차원 인터페이스로 제어하는 것이다. 

사용자(22)는 손을 X-Y-Z 방향으로 움직이면 3D 센싱 디바이스(24)가 이를 잡아내고 컴퓨터(26)가 프로세싱하여 디스플레이(28) 위에 나타난 객체들(게임, 음악, 영화, 사진, 슬라이드, 워드, 한글 등)을 선택하고 줌인(확대)-줌아웃(축소) 제스처로 제어하는 것이다. 

3D 센싱 디바이스(24)에는 트루뎁스 적외선 카메라가 있어 스폿(spot) 혹은 도트(dots) 패턴을 읽어 낼 수 있다. 그러면 컴퓨터(26)가 삼각측정법으로 사용자 몸 표면의 포인트들의 3D 좌표를 프로세싱하여 3D map으로 생성하고 이를 제스처 3D UI로 사용하는 것이다.

▲ 애플 특허의 Fig.3(8,166,421, 24 Apr 2012). Image: USPTO

Fig.3는 사용자(22)가 터치 없이(비-접촉 방식으로) 3D UI로 디스플레이(28)에 나타난 객체들을 제어하는 그림으로 센싱 디바이스(24)는 50의 시야각에서 사용자의 손의 움직임을 센싱한다. 이때 Z-축은 디스플레이 평면과 수직 방향(perpendicular direction)인 세로 방향을(longitudinal direction), X-Y축은 디스플레이 평면과 평행(parallel) 방향인 가로 방향(tranverse direction)을 나타낸다. 그림에서는 손을 가로 방향인 X-축으로 움직이는 것을 보여준다. 그리고 사용자의 손의 움직임을 3차원 맵으로 나타내고 이를 UI로 이용해 객체들을 제어하는 것이다.

3차원 UI로 세션 제어(Three-dimensional user interface session control) – 프라임센스의 기술로 2010년 12월 13일에 가출원하고(61/422,239), 2011년 12월 8일에 정식 출원하고(13/314,210), 2012년 3월 19일에 개량 출원하고(13/423,314), 2012년 12월 13일에 출원서가 공개되고(20120313848), 2015년 1월 13일에 특허를 획득하고(8,933,876), 이보다 앞서 2013년 10월 17일 개량 출원하고(14/055,997), 2014년 2월 13일에 출원서가 공개되고(20140043230), 2015년 3월 19일에 특허를 획득했다(9,035,876).

Fig.2는 사용자가 ‘Push gesture’를 하는 그림인데, 사용자는 손(30)을 Z-축인 디스플레이(28) 쪽으로 36의 거리에 접근하는 첫째 모션(forward motion)이다. 그 다음 두 번째 모션은 손을 뒤로 사용자 쪽으로 당기는 것이다(backward motion). 

예를 들어 40의 화살표 방향으로 초당 10cm로 움직이는 것이다. 그러면 센싱 디바이스(24)가 이를 감지하고 컴퓨터(26)가 프로세싱하여 손의 움직임을 3D map을 생성해 3D UI로 구현하는데, Z-축은 깊이를 의미하므로 손이 디스플레이에 가까이 가면 객체가 확대대고 뒤로 빼면 축소된다. 

Fig.3은 X-축인 side-to-side(swiping motions)로 손을 움직이는 Wave Gesture로 왼쪽으로 움직이면 객체가 왼쪽으로 오른쪽으로 움직이면 객체가 오른쪽으로 움직인다. Y-축(up)으로 움직여 객체를 위와 아래로 보낼 수도 있다. 

▲ 애플 특허의 Fig.2와 3(9,035,876, 19 May 2015). Image: USPTO

줌-베이스의 제스처 UI(Zoom-based gesture user interface) – 프라임센스의 기술로 기술개발은 2011년으로 거슬러 올라가, 2011년 7월 5일에 가출원하고(61/504,339), 2011년 8월 9일에 수정 가출원하고(61/521,448), 2011년 8월 14일에 수정 가출원하고(61/523,349), 2012년 5월 30일에 수정 가출원하고(61/652,899), 2012년 7월 5일에 정식 출원하고(13/541,786), 2013년 1월 10일에 출원서가 공개되고(20130014052), 2013년 5월 29일에 개량 출원하고(13/904,050),  2013년 10월 10일에 출원서가 공개되고(20130265222), 2014년 11월 4일에 13/541,786에 대한 특허를 획득하고(8,881,051), 2014년 9월 15일에 개량 출원하고(14/485,840), 2014년 12월 25일에 출원서가 공개되고(20140380241), 2016년 6월 28일에 13/904,050에 대한 특허를 획득하고(9,377,865), 2017년 12월 5일에 14/485,840에 대한 특허를 획득했다(9,836,201).

9,377,865 – Fig.1은 22의 사용자가 비-접촉 혹은 비-촉각(non-tactile)의 줌(Zoom)-베이스의 UI(20) 혹은 Zoom Grid Interface(20)를 가능하게 하는 컴퓨터 시스템(26)을 설명하는 그림이다. 이것을 가능하게 하는 핵심 기술은 24의 3D 센싱 디바이스로, 사용자의 손이나(30) 머리(22)나 눈동자의 움직임을 포함한 장면을 감지한다. 트루뎁스 적외선 카메라가 그 예이다. 따라서 수집한 이미지는 사진일 수도 있고 비디오일 수도 있다. 컴퓨터(26)가 3D 센싱 디바이스(24)로 수집한 정보들을 프로세싱하여 28의 디스플레이에 나타난 38의 객체들을 매치시켜 인터페이스로 제어하도록 한다.  

▲ 애플 특허의 Fig.1(9,377,865, 28 Jun 2016). Image: USPTO

이때 컴퓨터(26)는 3D 센싱 디바이스(24)가 수집한 데이터를 프로세싱하여 사용자(22)를 3D map으로 구성해준다. 3D map이란 수평의 X-축, 수직의 Y-축, 그리고 깊이의 X-축을 말하는 것으로 3D 좌표는 사용자 몸의 객체의 표면을 나타내는 것이다.

사용자(22)는 손을 X-Y-Z 방향으로 움직이면 3D 센싱 디바이스(24)가 이를 잡아내고 컴퓨터(26)가 프로세싱하여 디스플레이(28) 위에 나타난 42의 커서의 위치를 제어하여 38의 객체들(게임, 음악, 영화, 사진, 슬라이드, 워드, 한글 등)을 선택하고 줌인(확대)-줌아웃(축소) 제스처로 제어하는 것이다. Z-축은 디스플레이 평면과 수직 방향(perpendicular direction)인 세로 방향을(longitudinal direction), X-Y축은 디스플레이 평면과 평행(parallel) 방향인 가로 방향(tranverse direction)을 나타낸다.

3D 센싱 디바이스(24)에는 트루뎁스 적외선 카메라가 있어 스폿(spot) 혹은 도트(dots) 패턴을 읽어 낼 수 있고, 동시에 도트 프로젝터가 있어 스폿의 패턴을 투영해 패턴의 이미지들을 수집할 수 있다. 그러면 컴퓨터(26)가 삼각측정법으로 사용자 몸 표면의 포인트들의 3D 좌표를 프로세싱하여 3D map으로 생성하고 이를 제스처 UI로 사용하는 것이다.

▲ 애플 특허의 Fig.2(9,377,865, 28 Jun 2016). Image: USPTO

Fig.2는 컴퓨터나 TV 등의 계층적 데이터 구조(hierarchical data structure) 혹은 나무구조(tree structure)인 50을 설명하는 그림으로 일련의 계층적 줌 그리드 인터페이스 표면인 52A~52E를 나타내고 있다. 각각의 Zoom Grid 표면은 몇 개의 상호작용 객체들인 38A~38N을 구성하고 있다. 사용자(22)는 제스처 인터페이스(좌우로 손을 움직여)로 나무(50)를 횡단하여(traverse) 상호작용 38을 악세스하여 원하는 객체를 손으로 잡는 Grab Gesture로 선택할 수 있다. 

예를 들어 그림에서는 영화(Movies)인 38L의 ‘Born To Be Wild’를 선택하는 경우인데, 인터페이스 순서는 Fig.4A~4D의 그림과 같다. 

▲ 애플 특허의 Fig.4A~4D(9,377,865, 28 Jun 2016). Image: USPTO

Fig.5는 폴더나 파일(pile, file)을 줌-인터페이스로 38을 불러내고 그 파일의 내용이 무엇인지를 엿보(Peek)는 그림이다. 6개의 파일 중 원하는 파일을 손으로 잡는 Grab gesture로 불러올 수 있다. 

예를 들어 사용자가 줌-인, 즉 잡아당기는 제스처(Pull gesture)를 하면 6개의 파일들이 쭉 나타나고 Grab gesture로 하나를 선택해 파일을 불러낼 수 있다. 반대로 줌-아웃, 즉 미는 제스쳐(Push gesture)를 하면 6개의 파일들이 포개져 왼쪽의 38파일로 들어간다.

▲ 애플 특허의 Fig.5(9,377,865, 28 Jun 2016). Image: USPTO

Fig.6는 Zoom Grid로 미디어 플레이어를 제어하는 그림으로, 38L의 ‘Born to be wild’를 재생하면서 사용자는 Pull gesture로 90의 Zoom Grid인 92(Pause), 94(Stop), 96(Play), 98(Seek)을 제어할 수 있다. 또한 100의 볼륨을 제어할 수 있는데, 102의 볼륨 슬라이더 아이콘을 손동작인 횡단, 즉 X-축을 따라 좌우로 손짓하여 제어한다. 

▲ 애플 특허의 Fig.6(9,377,865, 28 Jun 2016). Image: USPTO

Fig.7은 98(Seek)을 선택했을 때의 110의 Zoom Grid인데, 사용자는 112A의 스크럽 포인트(scrub point)를 Grab gesture로 선택한 경우이다. 스크럽 포인트란 38L의 영화에 나오는 특수 장면들이다. 

▲ 애플 특허의 Fig.7(9,377,865, 28 Jun 2016). Image: USPTO

Fig.8은 3차원 줌(Zoom)-베이스의 UI로 스크린 상의 키보드(120)를 제어하는 그림으로, 28은 디스플레이, 122는 키 영역, 124는 텍스트 입력 영역 126은 서치 결과 영역(result area), 128은 키, 128A는 스페이스 바이다. 사용자가 손을 X-Y 축으로 움직이면(Find gesture) 컴퓨터가 128의 키를 하이라이트로 띄워주고, 그러면 Fig.1에서 보았던 커서(42)가 128의 키에 나타나고, X-Y축으로 손을 움직여 커서를 42의 ‘C’에 위치시키면 ‘C’의 사이즈가 커지고 손으로 잡는 Grab gesture로 ‘C’를 입력하는 것이다. 손을 X-Y 축에서 Z-축으로 손을 뒤로 당겨(pull hand back) Z-축 상의 키를 찾을 수 있다. 반대로 Push gesture를 하면 입력했던 글자들이 ‘undo’가 된다.

▲ 애플 특허의 Fig.8(9,377,865, 28 Jun 2016). Image: USPTO

Fig.9A는 off-screen, 즉 일반 컴퓨터를 제어하는 그림으로 사용자가 손을 30에 포인트하면 컴퓨터는 현재 보여지고 있는 콘텐츠를 보여주고, 두 손을 이용해 줌인-줌아웃 제스쳐로 콘텐츠를 확대-축소할 수 있다. 

▲ 애플 특허의 Fig.9A(9,377,865, 28 Jun 2016). Image: USPTO

9,836,201 – Fig.1을 보면 앞서 소개한 특허(9,377,865)와 같은데, 단 다른 것은 42의 커서가 빠져있다는 것이다. 그만큼 손동작만으로 38의 객체들을 제어할 수 있다는 것으로, 커서를 이용하지 않고 손을 포인팅하고 객체가 하이라이트 되면 Grab gesture 등으로 객체들이나 키보드의 키(글자)를 입력할 수 있어, 보다 혁신적으로 업그레이드된 특허라 볼 수 있다.

▲ 애플 특허의 Fig.1(9,836,201, 5 Dec 2017). Image: USPTO

원격 디바이스를 위한 향상된 3D 인터페이스(Enhanced 3D interfacing for remote devices) – 프라임센스의 기술로 기술개발은 2009년으로 거슬러 올라가, 2009년 3월 13일에 가출원하고(61/159,808), 2010년 3월 11일에 정식 출원하고(12/721,582) 포기했으며, 2014년 6월 23일에 분할 출원하고(14/311,444) 포기했으며, 2017년 11월 8일에 다시 출원하여(15/806,350), 2018년 3월 1일에 출원서가 공개되었다(20180059925).
 

▲ 애플의 공개된 출원서의 Fig.1(20180059925, 1 Mar 2018). Image: USPTO

Fig.1은 제스처로 원격 정보를 입력하는 시스템 10을 설명하는 그림으로 14는 사용자, 12는 사용자의 손을(16) 센싱하는 가장 중요한 3차원 센싱 디바이스 혹은 콘트롤러이다. 3차원이란 X-Y-Z 축을 감지하는 3차원 카메라인데 트루뎁스 적외선 카메라이다. 

센싱 디바이스가 감지한 데이터는 18의 컴퓨터에서 프로세스된다. 20은 디스플레이이고 24는 포인트인 커서이며, 디스플레이에는 26의 원격 정보 입력 인터페이스가 있는데, 심볼인 28(1) – 30(2) – 32(3) – 34(Sart) -36(End)으로 구성되어 있으며, 40은 줌 레벨 표시(100%~500%)이고 42는 축적 표시(scale indicator)이다. 사용자 14는 지금 막 특정 제스처를 사용하려고 하는데, 16의 손을 사용해서 위-아래, 좌-우로 움직이든가 아니면 특별한 원을 그리려고 한다. 

Fig.2의 44는 참고좌표로 X는 수평, Y는 수직, Z는 깊이 좌표인데, 사용자는 46의 점선의 시계 방향으로 원을 그리는 제스처를 할 수 있다. 그러면 12의 센싱 디바이스에서 감지되고 18의 컴퓨터에서 프로세싱하여 시계 방향 원의 제스처를 ‘줌 명령’으로 해석해 줌 레벨 표시가 100%에서 150%로 증가되고, 이에 따라 24의 커서가 가리키는 주변의 28-30-32의 심볼을 줌-인(확대)하는 것이다. 시계 반대 방향의 원은 그 반대의 줌-아웃(축소)이다. 또 다른 예로 사용자는 48의 위치에서 50의 위치로 손을 움직이면 28-30-32의 심볼의 크기가 1 단위에서 1.5단위 크기로 확대된다. 

▲ 애플의 공개된 출원서의 Fig.2(20180059925, 1 Mar 2018). Image: USPTO

Fig.3에서 사용자는 58 위치의 손을 60의 위치로 좌로 수평 이동시켰을 때, 다사 말하면 참고좌표 44의 화살표 방향(52)으로 수평으로 이동시키면 54의 포인트(커서)가 56의 포인트로 왼쪽으로 이동한다. 손을 오른쪽으로 이동시키면 포인트가 오른쪽으로, 위로 이동시키면 포인트가 위로, 아래로 이동시키면 아래로 이동한다.

▲ 애플의 공개된 출원서의 Fig.3(20180059925, 1 Mar 2018). Image: USPTO

Fig.4는 디스플레이에 62의 심볼인 아크(arc, 아치)가 T9사(t9.com)의 T9 Text Input으로 나타난 경우인데, 사용자는 팔꿈치(elbow, 118)를 의자 오른쪽 받이 표면에 올려놓고 의자에 앉아 있다. 사용자는 44의 참고좌표에서 70의 아크(아치)처럼 팔꿈치는 그대로 있고 손만을 74의 위치에서 72의 위치로 움직이면서 62의 아크에 있는 여러 숫자들의 버튼(64-76-68)을 선택할 수 있다. 여기서는 76의 버튼을 선택한 경우인데, 아크 형태로 손을 움직이다가 76의 버튼을 손으로 잡는 제스처(Grab gesture) 혹은 76의 버튼에서 수직방향으로 손을 아래로 움직이면 76의 버튼이 하이라이트되고 강조되어 선택되었음을 나타내는 것이다. 센싱 디바이스가 아크 형태의 손의 움직임을 감지하려면 124의 구면좌표계(spherical coordination system)의 원리를 이용해 122의 영역으로 움직인다는 것을 사전에 입력하고 감지하는 것이다.

▲ 애플의 공개된 출원서의 Fig.4(20180059925, 1 Mar 2018). Image: USPTO

Fig.7은 선택을 해제하는 경우로 100의 방향으로 손을 위로 들어 올리면 해제로 해석하여 디스플레이에 나타났던 심볼들이 모두 사라지게 된다.

▲ 애플의 공개된 출원서의 Fig.7(20180059925, 1 Mar 2018). Image: USPTO

응시 베이스 디스플레이 제어(Gaze-Based Display Control)와 포인팅 베이스 디스플레이 상호작용(POINTING-BASED DISPLAY INTERACTION) – 프라임센스의 기술로 2011년 2월 9일에 가출원하고(61/440,877), 2011년 8월 24일에 개량 가출원하고(61/526,692), 2011년 9월 25일에 개량 가출원하였다(61/538,867).

2013년 8월 7일에 분할하여 (1) Gaze-Based Display Control로 정식 출원하고(13/960,822), 2013년 12월 5일에 출원서가 공개되고(20130321265), 2016년 9월 27일에 특허를 획득했다(9,454,225). 

2013년 8월 7일에 분할하여 (2) POINTING-BASED DISPLAY INTERACTION으로 정식 출원하고(13/960823), 2013년 12월 6일에 출원서가 공개되고(20130321271), 2016년 5월 17일에 특허를 획득했다(9,342,146). 

이 두 특허의 청구항은 10개와 23개로 다르지만, 그림은 10개로 같은 기술을 다루고 있어, ‘응시 베이스의 디스플레이 제어’라는 특허의 내용을 소개한다. 

Fig.1은 앞서 보았던 그림과 같으나 이번에는 손의 움직임을 감지하는 것이 아니라 어디를 응시하고(Gaze) 있는지를 감지하기 위하여, 34의 눈의 위치와 응시 방향을 감지하기 위해 38의 동공(pupil), 39의 홍채(iris), 41의 각막(cornea)까지 24의 센싱 디바이스가 감지해 최종적으로 눈의 응시 방향을 감지해 3차원 맵으로 생성하고 이를 3차원 UI로 사용해 36의 객체들을 눈으로 제어하는 것이다.

▲ 애플 특허의 Fig.1(9,454,225, 27 Sep 2016). Image: USPTO

Fig.4는 눈으로 디스플레이에 나타난 숫자 키판(36A)을 이용해 패스워드를 입력하는 그림으로 92는 시선(line of sight)이고 94는 시야각이며 36B는 시작 버튼이다. 시선을 숫자 키판에 집중하여 패스워드를 입력한 후 그 다음 시작 버튼을 응시해 컴퓨터를 시작한다. 만약 정해진 시간에 눈의 움직임이 없으면 절전 모드로 전환한다.  

▲ 애플 특허의 Fig.4(9,454,225, 27 Sep 2016). Image: USPTO

Fig.6A는 패스워드를 입력한 후 사용자가 92의 시선으로 36B 시작 버튼의 120의 시선 표적 포인트를 응시한 경우의 디스플레이에 나타난 객체들이다. 122는 메뉴 영역이고 36C는 아이템들이다. Fig.6B는 사용자가 시선을 36C의 아이템들 중 ‘Mail’에 집중했을 때의 디스플레이에 나타난 매일 관련 내용들이다. 36E는 Back 버튼이고 36D는 매일 리스트이다.

▲ 애플 특허의 Fig.6A와 6B(9,454,225, 27 Sep 2016). Image: USPTO

Fig.8은 손과 눈을 이용한 Point-Select 제스쳐이고, Fig.9는 Point-Touch 제스쳐이다. 

▲ 애플 특허의 Fig.8~9(9,454,225, 27 Sep 2016). Image: USPTO

차원용 소장/교수/MBA/공학박사/미래학자 

아스팩미래기술경영연구소(주) 대표, (전)국가과학기술심의회 ICT융합전문위원회 전문위원, 국토교통부 자율주행차 융복합미래포럼 비즈니스분과 위원, 전자정부 민관협력포럼 위원, 국제미래학회 과학기술위원장 

[정리 이새잎 기자 ebiz@itnews.or.kr]