使用 amazon rekognition 打造以深度學習為基礎的圖片辨識應用

© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

John Chang

Technology Evangelist, AWS

January 2017

Amazon Rekognition以深度學習為基礎的圖片辨識應用

圖片– 廣泛使用, 普及, 到不可或缺

圖片– 爆炸性的成長趨勢

Source: InfoTrends Worldwide Consumer Photos Captured and Stored.

2013 -2017 prepared for Mylio.

圖片– 爆炸性的成長趨勢

Amazon S3 – Images Stored

Amazon Rekognition以深度學習為基礎的圖片辨識服務搜尋, 比對, 以及組織上百萬張照片

物件與場景偵測臉部分析人臉比對臉部辨識

Amazon Rekognition API

DetectLabels

物件與場景偵測偵測圖片中的物件，場景與概念


DetectLabels

{

"Confidence": 94.62968444824219,

"Name": "adventure"

},

{

"Confidence": 94.62968444824219,

"Name": "boat"

},

{

"Confidence": 94.62968444824219,

"Name": "rafting"

},

. . .

物件與場景偵測

Flower

ChairCoffee Table

Living Room

Indoors

物件與場景偵測

Maple

Villa

Plant

Garden

Water

Swimming Pool

Tree

Potted Plant

Backyard

使用Rekognition物件與場景偵測

圖片分享的App可以增強智慧搜尋並且更快速的找到珍

貴的回憶，像是婚禮，遠足或是日落。

度假產業可以將上傳的圖片，自動標記像是壁爐，廚房

或是游泳池的標籤 (tags) 。

旅遊網站及討論區可以透過像是海灘，露營或是登山的

標記，分類用戶產生的圖片。

物件與場景偵測的使用情境動態建立搜尋索引


臉部分析偵測人臉與關鍵臉部特徵

DetectFaces


[

{

"BoundingBox": {

"Height": 0.3449999988079071,

"Left": 0.09666666388511658,

"Top": 0.27166667580604553,

"Width": 0.23000000417232513

},

"Confidence": 100,

"Emotions": [

{"Confidence": 99.1335220336914,

"Type": "HAPPY" },

{"Confidence": 3.3275485038757324,

"Type": "CALM"},

{"Confidence": 0.31517744064331055,

"Type": "SAD"}

],

"Eyeglasses": {"Confidence": 99.8050537109375,

"Value": false},

"EyesOpen": {Confidence": 99.99979400634766,

"Value": true},

"Gender": {"Confidence": 100,

"Value": "Female”}

DetectFaces

Demographic Data

Facial Landmarks

Sentiment Expressed

Image Quality

臉部分析

General Attributes

Demographic Data

Facial Landmarks

Sentiment Expressed

Image Quality

臉部分析

Brightness: 25.84

Sharpness: 160

General Attributes

使用 Rekognition 臉部分析

相片列印服務可以跟用戶推薦最好的相片

線上交友服務可以透過分析結果，改進配對建議。

零售業可以了解來店顧客的分眾狀況與喜好。

廣告服務可以針對顧客顯示動態以及個人化內容

臉部分析使用情境(線上與店頭零售)

分眾與情緒分析

Female

Happy

Smiling

Male

No Facial Hair

Happy

Female

Sad

No Eyeglasses

臉部分析使用情境(線上與店頭零售)


Look Your Best All Day

Time for A New Look?

臉部分析使用情境(目標行銷)


Pers

on A

Pers

on B

Sees

Sees

臉部分析使用情境(目標行銷)


demographic and

sentiment attributes

Look Your Best All Day

Application

AMAZON

REDSHIFTAMAZON

DYNAMODBAMAZON S3

log

demographic

profile updates

retrieve ad image

face image is collected

and analyzed AMAZON

REKOGNITION

DetectFaces

CompareFaces


人臉比對根據人臉確認用戶


CompareFaces

{

"FaceMatches": [

{"Face": {"BoundingBox": {

"Height": 0.2683333456516266,

"Left": 0.5099999904632568,

"Top": 0.1783333271741867,

"Width": 0.17888888716697693},

"Confidence": 99.99845123291016},

"Similarity": 96

},

{"Face": {"BoundingBox": {

"Height": 0.2383333295583725,

"Left": 0.6233333349227905,

"Top": 0.3016666769981384,

"Width": 0.15888889133930206},

"Confidence": 99.71249389648438},

"Similarity": 0

}

],

"SourceImageFace": {"BoundingBox": {

"Height": 0.23983436822891235,

"Left": 0.28333333134651184,

"Top": 0.351423978805542,

"Width": 0.1599999964237213},

"Confidence": 99.99344635009766}

}

人臉比對

物聯網與視訊鏡頭製造商可以直接將根據人臉比對的功能整合到產品

人臉比對的應用程式可以針對公共安全定位特定人物

旅館與餐旅業可以提供顧客及貴賓更方便識別方式

線上測驗或是民調可以藉由比對webcam截圖，驗證出席者是否為已註冊的用戶

使用 Rekognition 人臉比對

人臉比對使用情境根據人臉做驗證

Amazon Rekognition API人臉識別

從集合中建立人臉索引與搜尋

Index

Search

Collection

IndexFaces

SearchFacesByImage


f7a3a278-2a59-5102-a549-a12ab1a8cae8

&

v1

02e56305-1579-5b39-ba57-9afb0fd8782d

&

v2

Face ID & vector<float>Face

4c55926e-69b3-5c80-8c9b-78ea01d30690

&

v3tr

an

sfo

rme

d

sto

red

{

f7a3a278-2a59-5102-a549-a12ab1a8cae8,

02e56305-1579-5b39-ba57-9afb0fd8782d,

4c55926e-69b3-5c80-8c9b-78ea01d30690

}

IndexFace Collection


Face

{

f7a3a278-2a59-5102-a549-a12ab1a8cae8,

02e56305-1579-5b39-ba57-9afb0fd8782d,

4c55926e-69b3-5c80-8c9b-78ea01d30690

}

SearchFacebyImageCollection

Nearest neighbor

search

Face ID

人臉識別

使用人臉識別

家庭相片分享 App 可以透過人臉識別，將家庭中同一個人的所有的臉部相片群集起來

娛樂與新聞公司可以從數十年封存的相片中建立索引，找出名人出現過的相片

校園與公司安全單位可以透過人臉搜尋，確保工作場所中的所有人員都是合法授權進入的

公共場所安全隊可以藉由人臉集合自動追蹤特定人士

人臉識別使用情境建立人臉索引集合

AMAZON S3

APPLICATION

Image Indexer

AMAZON

REKOGNITION

IndexFaces

Person Details

Application TableFace Collection

AWS LAMBDACAMERA

Live Frames

人臉識別使用情境從人臉集合中搜尋相似臉孔

Amazon Rekognition 運作原理

Ground Truth Generation

Training


SimpleAutomated Quality Fast

Data Pipeline


GlobalTrained ReliableElastic

Human Workforce

Amazon Rekognition – 深度學習過程

Conv 1 Conv 2 Conv n

…

…

Feature Maps

Labrador

Dog

Beach

Outdoors

So

ftm

ax

Probability

Fully

Connected

Layer

優勢

Fully Managed AWS Integration Low CostProven Scalability Secure

Amazon Rekognition – 可用性與價格

1. 已經正式發表的服務

2. 目前已於三個地理位置先啟用1. US East (N. Virginia)

2. US West (Oregon)

3. EU (Ireland)

3. 計價方式• 隨用即付• 免費額度 – 新帳號前12個月每個月5000張圖片• 單價隨用量級距調整

Amazon Rekognition – 詳細價格

分析圖片級距 Price per 1000 images

processed

First 1 million images processed* per month $1.00

Next 9 million images processed* per month $0.80



Over 100 million images processed* per month $0.40

*Images processed: For APIs with image as input, it’s the number of images analyzed. For APIs with no image input 1 API call = 1 image processed.

總結

1. 完全受管而且容易使用的圖片辨識服務

2. 四個主要功能1. 物件與場景偵測2. 人臉分析3. 人臉比對4. 人臉辨識

3. 與 AWS 以及AI 服務整合• Amazon S3

• Lex and Polly

4. 高延展性與低成本

Getting Started

http://aws.amazon.com/rekognition/

Remember to complete

your evaluations!

Thank you!

John Chang

Recap