experts system...

2018/4/23

1

知識力專家社群

人工智慧與深度學習

曲建仲

台灣大學電機工程學系博士

政治大學科技管理與智慧財產研究所兼任助理教授

中華民國九十六年度全國優秀青年工程師獎章並獲總統召見訓勉

內容大鋼

2

➩人工智慧的分級與歷史

➩第一次人工智慧熱潮：程式的搜尋與推論

➩第二次人工智慧熱潮：知識的輸入與判斷

➩第三次人工智慧熱潮：機器學習與深度學習

➩處理器的硬體架構

➩電腦與手機的軟體架構

➩程式語言的開發流程

➩作業系統與軟體框架

➩雲端服務與雲端技術

➩各大廠商人工智慧發展現況

➩人工智慧時代媒體如何創新轉型

2018/4/23

2

3

人工智慧的分級與歷史

人工智慧的分級

4

第一級人工智慧：含有自動控制的功能(可以自動控制)

➩經由感測器偵測外界的溫度、濕度、亮度、震動、距離、影像、聲音等訊

號，經由控制程式自動做出相對的反應，例如：吸塵器、冷氣機等。

➩公司裡的工讀生：只是執行老板交待的命令，進行各種重複性的工作，例

如：大箱子搬到寫有「大」的區域；小箱子搬到「小」區域。

第二級人工智慧：基本典型的人工智慧(可以探索推論、運用知識)

➩利用演算法將輸入與輸出資料產生關聯，可以產生極為大量的輸入與輸出

資料的排列組合，可能的應用包括：拼圖解析程式、醫學診斷程式等。

➩公司裡的員工：能夠理解規則並且做出判斷，例如：根據箱子長、寬、高

分類大小箱子，運用知識留意不同貨物種類：小心易碎、易燃物品等。

參考資料：松尾豐、江裕真，了解人工智慧的第一本書，經濟新潮社。Stuart Russell, Artificial Intelligence: Modern Approach。

2018/4/23

3

人工智慧的分級

5

第三級人工智慧：機器學習的人工智慧(可以機器學習)

➩根據資料學習如何將輸入與輸出資料產生關聯，「機器學習」是指根據資

料由機器自己學習規則，可能的應用包括：搜尋引擎、大數據分析等。

➩公司裡的經理：能夠學習原則並且自行判斷，例如：給予大箱子與小箱子

的判斷原則，讓他自己學習如何判斷多大是大箱子？多小是小箱子？

第四級人工智慧：深度學習的人工智慧(可以深度學習)

➩自行學習並且理解機器學習時用以表示資料的「特徵值」，因此又稱為

「特徵表達學習」，可能的應用包括： Google教會電腦貓的特徵。

➩公司裡的總經理，能夠發現規則並且做出判斷，例如：發現有一個箱子雖

然很大但是卻是圓形(特徵值)，與其他貨物不同應該另案處理。


人工智慧的歷史

6

第一次熱潮(1950~1960)

➩利用電腦針對特定問題進行搜尋與推論並且予以解決。

➩但是當時電腦一遇到複雜的問題束手無策，被戲稱為只能解決玩具問題。

第二次熱潮(1980~1990)

➩把大量專家的知識輸入電腦中，電腦依照使用者的問題判斷答案。

➩專家系統應用在疾病診斷，連續的問題有一個判斷錯誤則得到錯誤的結果。

第三次熱潮(2000~now)

➩機器學習：提供大數據來訓練電腦學習「特徵值」。

➩深度學習：提供大數據來訓練電腦自行學習並且理解資料的「特徵值」，

又稱為「特徵表達學習」。

2018/4/23

4

7

第一次人工智慧熱潮

程式的搜尋與推論

第一次人工智慧熱潮：程式的搜尋與推論

8

樹搜尋(Tree search)

➩廣度優先搜尋(Breadth-first search)：優先搜尋同一層的結點。

X＞A＞F＞B＞C＞G＞H＞D＞E＞I＞J

➩深度優先搜尋(Depth-first search)：優先搜尋下一層結點。

X＞A＞B＞D＞C＞E＞F＞G＞I＞J＞H

A

F

B

C

H

G I

J

X

AF

BCD

E

DE

GH

IJ

第一層

第四層

第三層

第二層


2018/4/23

5

蒙地卡羅樹搜尋(MCTS：Monte Carlo Tree Search)

9

➩對多數個可能的選擇分別進行相同次數的模擬，計算每一個選擇的效用，

對於效用大的選項就分配更多次數的模擬。

選擇(Selection)：從根結點R開始，選擇連續的子結點向下至葉子結點L。下

面的結點有更多選擇子結點的方法，使遊戲樹向最優點擴充功能移動，這

是蒙地卡羅樹搜尋的本質。

➩擴充功能(Expansion)：除非任意一方的輸贏導致遊戲結束，否則會建立

一個或多個子結點或從結點C中選擇。

➩模擬(Simulation)：在結點C中進行隨機布局。

➩反向傳播(Backpropagation)：使用布局結果更新從C到R的路徑上的結點

資訊。

每一個節點的內容代表勝利次數/遊戲次數

10

第二次人工智慧熱潮

知識的輸入與判斷

2018/4/23

6

第二次人工智慧熱潮：知識的輸入與判斷

11

專家系統(Expert system)

➩用電腦取代醫生：將疾病相關的所有知識輸入電腦，再以程式判斷。

➩用電腦取代律師，將法律相關的所有條文輸入電腦，再以程式判斷。

【實例】史丹福大學開發的MYCIN系統

➩檢體從那裡取得？ if (血液) else if (唾液) else if …

➩細菌的革蘭氏分析結果是什麼？ if (陰性) else if (陽性) else if …

➩細菌的形狀是什麼？ if (棒狀) else if (圓形) else if …

➩病人的疼痛狀況？ if (劇烈) else if (微小) then

➩綠膿桿菌

➩測試結果MYCIN系統的正確度大約69%，比非細菌感染科的醫師高，但是

比細菌感染科的醫師正確度80%還低。

專家系統的問題

12

專家系統的問題

➩雖然這樣的系統看起來很陽春，但是確實可以協助企業節省人力成本，因

此當時包括：製造、醫療、會計、人事、金融等都有廠商推出專家系統。

➩沒有自行學習的機制：只能針對專家事先準備好的狀況判斷和預測，即使

只有一條規則弄錯最後也有可能判斷錯誤。

➩必須先請專家提供所有知識：必須花費很高的成本由專家提共知識輸入電

腦，這需要很長的時間，但是有時候專家的意見本身不一致。

➩知識數量太多彼此產生矛盾：當知識數量太多規則變成幾萬條，彼此之間

可能產生矛盾或前後不一致，必須再請專家做嚴格的分類與知識管理。

➩無法處理不明確的答案：對於模稜兩可的答案，例如：是胃部隱隱作痛，

但是否確定是胃？還是小腸、大腸；隱隱作痛是小痛、大痛？

2018/4/23

7

知識的分類與描述

13

語意網路(Semantic network)

➩要讓電腦(專家系統)取代專家，必須先研究知識的分類與描述方式，如何

才能讓人類能夠理解，電腦又容易處理。

➩人類大腦是用那一種結構或模型記憶文字或詞彙，以結點方式連結起來形

成「語意網路(Semantic network)」，是進行自然語言理解的應用研究。

IBM華生(Watson)

➩ IBM公司所開發的人工智慧「華生(Watson)」2011年在美國益智遊戲節目

危險邊緣(Jeopardy)中打敗歷屆冠軍贏得勝利。

➩華生(Watson)並不是真的理解問題的意義，而是分析問題並且由專家提供

所有知識事先輸入的資料中計算出機率最高的做為答案。

自然語言處理(NLP：Natural Language Processing)

14

自然語言處理

➩讓電腦能夠理解人類使用的語句和語言。

➩語素分析(Morphemic analysis)：分解為語素(有意義的語詞)並且標註詞性。

➩語法分析(Syntactic analysis)：由文法對語素進行分析決定語法結構。

➩語意分析(Semantic analysis)：分析語句的意義。

統計自然語言處理(Statistical natural language processing)

➩電腦進行翻譯時不管語言學裡文法的結構與意義相關的知識，只是依照

「這樣翻譯的機率最高」的原則來進行就可以了！

➩語料庫(Text corpus)：在語言學上意指大量的文章資料，通常經過整理，

具有既定格式與標記，並且詞彙之間的相關性。

➩文章中出現蘋果，則有很高的機率會出現：紅色、甜的、圓形等詞彙。

2018/4/23

8

讓電腦了解人類的意思

15

電腦翻譯的困難：He saw a woman in the garden with a telescope

➩電腦斷字系統：他／看到／女生／在花園裡／用望遠鏡

➩ Google 翻譯：他用望遠鏡在花園看到女生。

➩一般人理解：他用望遠鏡在看風景時恰好看一個女生在花園裡。

➩在花園裡的是他還是她？拿望遠鏡的是他還是她？

➩人類會利用以往的經驗或常識來判斷這個句字所代表的意思，但是機器沒

有這些經驗，因此必須事先將人類所有的經驗或常識事先輸入電腦。

➩同樣的事情可能發生在不同的場景，如果不是花園，而是車站，那應該是

他在車站用望遠鏡？還是她在車站被看到？機率分別是多少？

➩要讓電腦在缺乏經驗或常識的情況下翻譯一定做不好，這就是電腦翻譯的

困難，但是要將人類所有的經驗或常識事先輸入電腦是一件困難的事。

框架問題(Frame problem)

16

人工智慧只能解決給定的問題，在一定的「框架」內。

➩在洞穴裡有一個可以為機器人供電的電池，電池上放置了一個定時炸彈，

科學家必須設計一個機器人把電池取出，才能為機器人供電。

➩機器人一號成功的把電池取出來，卻把電池上放置的定時炸彈也拿出來，

機器人雖然知道有炸彈，卻不知道炸彈會跟著電池拿出來。

➩機器人二號會先判斷是否會把炸彈也拿出來，結果機器人站在電池前面思

考所有問題：拿走電池洞穴會倒塌嗎？拿走電池天空會下雨嗎？

➩機器人三號只思考與任務相關的問題，結果機器人站在電池前面思考各種

行為與任務的相關性：洞穴倒塌與任務相關嗎？天空下雨與任務相關嗎？

➩機器人二號思考所有問題，機器人三號思考各種行為與任務的相關性，而

永遠思考不完，對人類來說再簡單不過的問題，對機器人來說卻很困難。

2018/4/23

9

符號接地問題(Symbol grounding problem)

17

電腦理解的困難

➩電腦無法把符號(文字或詞彙)與它所代表的意義相互連結(接地)起來，也

就是很難理解我們所謂的「意義」，因此無法產生「智慧」。

➩例如：對於一個從來沒有看過斑馬的人，只要我們告訴他有一種動物的外

觀很像馬，但是身上有條紋，叫做斑馬。

➩當這個人看到真正的斑馬立刻會知道：這大概是所謂的斑馬吧！因為他理

解「馬」和「條紋」這兩個符號(詞彙)的「意義」。

➩人類可以擴張「符號」所代表的「意義」，但是電腦使用符號時必須在一

定的「框架」內，也就是必須預先定義。

➩心物問題(Mind body problem)：我思(思想)故我在(主體)，探討電腦有沒

有心(思想或精神)？

18

第三次人工智慧熱潮

機器學習與深度學習

2018/4/23

10

第三次人工智慧熱潮：機器學習與深度學習

19參考資料：https://blogs.nvidia.com.tw。


大腦的學習與思考：運用數據進行訓練(Training)與預測(Predict)

➩獲取數據：人類的大腦經由眼耳鼻舌皮膚收集大量的數據，才能進行分析

與處理，人工智慧也必須先收集大量的數據進行訓練。

➩分析數據：人類的大腦分析收集到的數據找出可能的規則，例如：下雨之

後某個溫度與濕度下會出現彩虹，彩虹出現在與太陽相反的方向。

➩建立模型：人類的大腦找出可能的規則後，會利用這個規則來建立「模型

(Model)」，例如：下雨之後某個溫度與濕度、與太陽相反的方向。

➩預測未來：將新收集的數據輸入模型預測未來，例如：以後只要下雨，溫

度與濕度達到標準，就可以預測與太陽相反的方向就可能會看到彩虹。

20

2018/4/23

11


21

機器學習(Machine learning)

➩思考人類學習的過程，其實就先進行分類，才能理解並且進行判斷，最後

才能採取行動，分類的過程其實就是一種「是非題(Yes或No)」。

➩機器學習是指電腦執行人工智慧的程式自行學習，一邊處理大量的資料，

一邊自動學會分類方式，就如同人類在學習一樣。

➩機器學習有許多不同的形式與名稱，包括：資料科學(Data science)、資

料探勘(Data mining)、統計模式(Statistical modeling)、預測分析

(Predictive analytics)、知識發現(Knowledge discovery)、圖形辨識

(Pattern recognition)、自我調適系統(Adaptive systems)、自我組織系統

(Self-organizing systems)等。

機器學習的種類

22

監督式學習(Supervised learning)

➩所有資料都有標準答案，可提供機器學習輸出判斷誤差使用。

非監督式學習(Un-supervised learning)

➩所有資料都沒有標準答案，無法提供機器學習輸出判斷誤差使用。

半監督式學習(Semi-supervised learning)

➩部分資料有標準答案，可提供機器學習輸出判斷誤差使用。

強化式學習(Reinforcement learning)

➩自己嘗試錯誤並且找出最佳答案，可以視為一種「非監督式學習」。

基因演算法(Genetic algorithm)

➩根據達爾文進化論適者生存，從各種不同的可能答案中找出最好的答案。

2018/4/23

12

機器學習的分類方法

23

最鄰近法(Nearest neighbor)

➩最鄰近的資料分類相同的機率最高。

貝氏分類法(Naive Bayes)

➩先判斷資料的各項特徵屬於那個類別，再加總在一起。

決策樹(Nearest neighbor)

➩根據某一個數值是否帶有某種屬性，做為分類的標準。

支援向量機(Support vector machine)

➩分類時儘量讓分類與分類之間的邊界區間最大化。

神經網路(Neural network)

➩基因演算法(Genetic Algorithm)


24

樹突(Dendrites) 軸突(Axon)

細胞核(Nucleus) 突觸(Synapse)

軸丘(Axon hillock)

下一個神經元細胞體(Cell body)

接收區(Receptive zone)

觸發區(Trigger zone)

傳導區(Conducting zone)

0.8 0.1

輸出區(Output zone)

0.5 0.3

2018/4/23

13


25

神經網路是由神經元組成(人類大腦中大約有860億個神經元)

➩神經元是用來感知環境的變化，再將信息傳遞給其他的神經元，基本構造

由細胞體(內含細胞核)、樹突(Dendrites)、軸突(Axon)組成。

➩突觸(Synapse)：神經元與神經元、肌肉細胞、腺體細胞之間通信的特異

性接頭(Junction)，用來傳遞生物電流或化學物質(多巴胺、乙醯膽鹼)。

➩接收區(Receptive zone)：為樹突到胞體的部份，用來接收生物電流或化

學物質，如果接收的來源越多，對胞體電位的影響越大。

➩觸發區(Trigger zone)：位於軸突和細胞體交接處的「軸丘(Axon hillock)」，

用來決定是否產生神經衝動的起始點。

➩傳導區(Conducting zone)：為軸突的部份，用來傳導神經衝動。

➩輸出區(Output zone)：神經衝動的目的是讓神經末梢，也就是突觸傳遞生

物電流或化學物質，才能影響下一個神經元、肌肉細胞、腺體細胞。

人工神經網路(ANN：Artificial Neural Network)

26

赫布理論(Hebbian theory)

➩解釋學習過程中大腦的神經元變化的神經科學理論，突觸前一個神經元向

突觸後一個神經元持續重複的刺激，可以導致突觸傳遞效能(權重)的增加。

➩人工神經網路(ANN)又稱為「類神經網路」，是一種模仿生物神經網路的

結構和功能所產生的數學模型，用於對函式進行評估或近似運算。

輸入層輸出層隱藏層1 隱藏層2 隱藏層3

神經元神經元神經元神經元

b1

a1

a2

a3

0

1

2

3

4

5

6

7

8

9

2018/4/23

14

感知器(Perceptron)

27

單層感知器(SLP：Single Layer Perceptron)

➩ 1958年Frank Rosenblatt發明「感知器(Perceptron)」，經由赫布理論最

小化單層網路的權重，是第一個以演算法精確定義的神經網絡，也是第一

個具有自我學習能力的數學模型，為後續人工神經網路模型的始祖。

𝑂𝑢𝑡𝑝𝑢𝑡 = 𝑓(

𝑖=1

𝑛

𝑤𝑖 𝑎𝑖 + 𝑏) = 𝑓(𝑤1𝑎1 +𝑤2𝑎2 + … + 𝑤𝑛𝑎𝑛 + 𝑏)

𝑓

a1

a2

an

…

Output

w1

w2

w3

Input

乘加運算(SOP：Sun of Product)

激勵函數(Activation function)

感知器(Perceptron)

28

激勵函數(Activation function)

➩感知器使用激勵函數的目的是引入非線性，在人工神經網路中如果不使用

激勵函數，那麼都是以上一層神經元輸入的線性組合作為這一個神經元的

輸出，輸出和輸入脫離不了線性關係，則深度神經網路便失去意義。

2018/4/23

15

人工神經網路(ANN：Artificial Neural Network)

29

人工神經網路的運算

➩這一個神經元由前一個神經元接收到電氣訊號達到某一個門檻值以上就會

產生神經衝動，同時把電氣訊號傳送給下一個神經元。

➩這一個神經元(b1)接收到的訊號強度：是由上一層神經元(a1/a2/a3)加權

(w1/w2/w3)之後的總和(Sun)，屬於「乘加運算(SOP：Sun of Product)」。

➩再經由「S型函數(Sigmoid function)」轉換後輸出，可以設定「門檻值

(Threshold point)」變成開(1)或關(0)的訊號，在程式中比較容易處理。

➩人類的神經元會因為反覆學習而使得突觸間傳遞作用加強，就好像這裡的

人工神經網路權重變大，因此這種分類法是參考人類大腦神經網路的原理。

神經網路模型(Neural network model)

30

0.8

0.2

1.0

0.1

0.5

2.5

-2.9

a1

a2

a3

b1

w1

w2

w3

➩下一個神經元(b1)接收到的訊號強度

0.0

1.0

0.4

0.2

0.6

0.8

0 2 4 6-2-4-6

𝑦 =1

1 + 𝑒−𝑥

𝑏1 = 𝑤1 × 𝑎1 + 𝑤2 × 𝑎2 + 𝑤3 × 𝑎3 = 0.5 × 0.8 + 2.5 × 0.2 + −2.9 × 1.0 = −2.0

0.1

b1

a1

a2

a3

激勵函數

突觸(Synapse)

線性函數

非線性函數

2018/4/23

16

經由人工神經網路(ANN)訓練電腦進行手寫辨識

31

MNIST資料庫(Modified National Institute of Standards and Technology)

➩在圖形辨識領域的科學家們共同使用的一套標準圖形資料庫，才能確定是

開發出更好的演算法，而不是運氣好恰好資料比較好解讀。

➩例如在MNIST資料庫中的每個數字都是28ｘ28＝784畫素，總共有七萬張

圖片，每一個手寫數字圖片都有標準答案對應到正確的數字。

➩人類的神經元會因為反覆學習而使得突觸間傳遞作用加強，就好像這裡的

人工神經網路權重變大，因此這種分類法是參考人類大腦神經網路的原理。

➩誤差反向傳播(EBP：Error Back Propagation)：經由微分計算每一個權重

變大或變小時，輸出與輸入的誤差會變小，調整所有權重使誤差變小。

➩主管經由員工提供的資訊進行判斷，正確的資訊是由下(員工)往上(主管)

提供(反向傳播)，而修正時由上(主管)向下(員工)，慢慢就會判斷正確。

MNIST資料庫的手寫數字

32

0

1

2

3

4

5

6

7

8

9……

……

784

輸入層10

輸出層

100

隱藏層

正確數字機率

0 0.05

1 0.05

2 0.10

3 0.15

4 0.15

5 0.65

6 0.20

7 0.10

8 0.05

9 0.15

ai

bi

ci

waibi wbici

調整權重wabi與wbci

總共784ｘ100＋100ｘ10＝79,400個權重

正確的數字手寫的數字監督式學習

……

2018/4/23

17

MNIST資料庫的手寫數字

33

輸入層、隱藏層、輸出層的維度

➩輸入層有784個維度(28ｘ28＝784畫素)，隱藏層有100個維度(自行設定)，

輸出層有10個維度(0~9數字)。

28

255 255 255 255 255 255 255 255 255 255

255 255 255 255 255 255 255 255 255 255

255 255 255 255 255 255 255 255 255 255

255 255 255 255 255 255 255 255 255 255

255 255 255 255 255 255 255 255 255 255

255 255 255 255 255 255 255 255 255 255

255 255 255 255 255 255 255 255 255 217

255 255 255 255 255 255 255 255 167 81

255 255 255 255 255 255 162 79 15 0

255 255 255 255 255 255 113 13 0 11

28

……

……

28

28

神經網路的訓練與預測

34

訓練階段：監督式學習(Supervised learning)

➩輸入大量已知答案的資料進行訓練，當結果出現錯誤就調整權重，反覆進

行直到輸出的結果接近標準答案，可能需要幾秒也可以需要幾天。

➩例如：輸入七萬張手寫數字圖片都有標準答案對應到正確的數字，每當任

何一張圖片輸出結果錯誤就調整所有79,400個權重(waibi與wbici)。

預測階段：學習非常花時間、預測只要一瞬間

➩輸入不同於訓練階段的新資料，經由已經調整好的79,400個權重計算後輸

出結果，只需要一瞬間就可以完成，精確度有賴於訓練時得到的權重。

➩神經網路的訓練與預測和人類的學習與判斷相似，我們通常都是花很長的

時間學習(訓練)，但是學會之後進行判斷(預測)只需要一瞬間就可以了。

2018/4/23

18

機器學習的問題

35

機器學習的模型(Model)

➩資料科學是一種收集資料、了解資料、分析資枓、預測資料的科學。

➩資料裡不同變數之間存在數學上或機率上的規則稱為「模型(Model)」。

➩圍棋比賽：運用某種模型分析出過的牌、出現的牌評估每個玩家的勝率。

模型基於圍棋規則、機率理論、基本假設等來建立。

機器學習的定義

➩經由資料分析建立模型，並且使用這個模型來預測結果。有人把這種技術

稱為「資料探勘(Data mining)」或「預測建模(Predictive modeling)」。

➩預測某封電子郵件是否為垃圾郵件。

➩預測某筆線上交易是否為詐欺行為。

機器學習的特性

36

特徵選擇(Feature selection)

➩為了建立模型而選擇相關的「特徵值(Feature value)」。

➩特徵值是機器學習在輸入時所使用的變數，它的數值可以定量呈現目標的

特徵，隨著挑選特徵值的不同會讓精確度產生很大的影響。

➩例如：手寫辨識必須調整手寫文字的中心與大小，並不是把手寫文字切割

成許多畫素再輸入神經網路就可以得到精確度。

2018/4/23

19

人工智慧的困難

37

直到今日人工智慧無法實現的主要原因

➩專家系統：輸入知識讓電腦變聰明，但是知識無窮無盡永遠也寫不完。

➩框架問題：對於不同的任務無法事先決定該使用什麼知識。

➩符號接地問題：無法把符號(文字或詞彙)與它所代表的意義相互連結起來。

➩心物問題：我思(思想)故我在(主體)，探討電腦有沒有心(思想或精神)？

➩機器學習：必須由人類決定特徵值，電腦才能依照這個特徵值來訓練。

如果電腦可以自行分析資料找出特徵值

➩電腦能夠理解「有斑紋的馬」這個特徵，只要人類告訴電腦這個特徵所使

用的符號叫「斑馬」，就把符號與它所代表的意義相互連結(接地)了！

➩電腦能夠理解「與炸彈相關」這個特徵，就不會思考各種行為與任務的相

關性，而永遠思考不完了！

人工智慧的困難

38

符號與意義

➩符號：「貓」或「Cat」。

➩意義：耳朵尖尖眼睛明亮很可愛的一種動物，就是「特徵值」。

➩人工智慧面臨許多問題就是因為電腦無法自行理解符號的「意義」，而最

近發展的「深度學習」已經可以讓電腦自行分析資料找出「特徵值」。

意義符號

貓Cat

2018/4/23

20

深度學習(Deep learning)

39

深度學習與機器學習的差別

➩深度學習(深度神經網路)讓電腦可以自行分析資料找出「特徵值」，而不

是由人類來決定特徵值，就好像電腦可以有「深度」的「學習」一樣。

➩深度學習使用多層神經網路，理論上隱藏層愈多自由度與精確度愈高，但

是結果相反，因為誤差反向傳播(EBP)無法傳遞回愈上一層神經元。

➩主管經由員工提供的資訊進行判斷，正確的資訊是由下(員工)往上(主管)

提供(反向傳播)，而修正時由上(主管)向下(員工)，當階層太多時效果不佳。

➩深度學習使用多層神經網路，同時使用「自動編碼器(Autoencoder)」來

進行「非監督式學習(Un-supervised learning)」。


40

總共784ｘ100＋100ｘ784＝156,800個權重

手寫的數字手寫的數字非監督式學習

……

……

ai

bi

ci

wabi wbci

調整權重wabi與wbci

……

784

輸入層784

輸出層

100

隱藏層

2018/4/23

21


41

資料的縮減

➩深度學習的輸入層為手寫的數字，輸出層還是手寫的數字，為了使輸出儘

可能與輸入接近，必須針對調整所有156,800個權重(wabi與wbci)。

➩當某個畫素為黑色，它相鄰的畫素是黑色的機率很高，因此可以把幾個畫

素都視為黑色來處理，類似靜態影像壓縮技術(JPEG)的原理。

➩要把那幾個畫素都視為黑色來處理，輸出與輸入才會接近(誤差會變小)，

電腦必須嘗試把不同的畫素都視為黑色來處理，自行學習找出「特徵值」。

➩當電腦學習到將右上角某一個畫素相鄰的10個畫素都視為黑色來處理，輸

出與輸入才會接近，則在隱藏層裡所有156,800個權重就代表了特徵。


42

學習的深度

➩把第一層的隱藏層當成第二層的輸入層；把第二層的隱藏層當成第三層的

輸入層，依此類推，讓電腦逐層學習。

➩輸入層有784個維度(28ｘ28＝784畫素)，第一層隱藏層有100個維度(自行

設定將維度濃縮)，當成第二層的輸入層。

➩第二層的輸入層有100個維度，第二層的隱藏層有10個維度(自行設定將維

度濃縮)，當成第三層的輸入層。

➩依此類推，層次愈多、深度愈深，形成抽象度愈高的「特徵值」，而這個

特徵值已經足以代表這個手寫數字「符號」的「意義」。

➩人類學習的過程：把相關的東西分類在一起，再經過多層運算形成抽象度

愈高的「特徵值」，最後經由特徵值理解這個東西的「意義」。

2018/4/23

22


43

……

……

784

輸入層784

輸出層第一層隱藏層

ai

bi

ci

waibi

wbici

……

第二層輸入層

第二層隱藏層

第三層輸入層

100

80

……

80

……

di

ei

fi

第九層隱藏層

第十層輸入層

第十層隱藏層

……

……

wdiei

weifi

100

6040

20 2040

60

Google的貓臉辨識

44

學習的深度

➩由Youtube的影片取出1000萬張圖片，神經網路具有100億個神經元，由

1000台電腦(16000個處理器)，運算三天才完成。

➩將1000萬張圖片輸入深度學習神經網路，經由數層神經網路使電腦自行學

習找出「特徵值」而能夠辨識「對角斜線」。

➩再經由數層神經網路使電腦能夠辨識「人臉」與「貓臉」，形成抽象度愈

高的「特徵值」，最後經由特徵值理解這個東西的「意義」。

➩此時只要我們告訴電腦具有這個特徵值的東西稱為「人(符號)」；具有那

個特徵值的東西稱為「貓(符號)」，電腦就能夠將符號與意義產生連結。

➩未來只要我們輸入其他照片，電腦就能夠自動判斷這個是人，那個是猫，

這個學習的過程其實和人類學習過程是類似的。

2018/4/23

23


45

Diagonal line node

Face node

Cat node

46

微控制器(MCU)

特定應用積體電路(ASIC)

可程式化邏輯元件(PLD)

微處理器(MPU)

數位訊號處理器(DSP)

圖形處理器(GPU)

標準單元積體電路(CBIC)

中央處理器(CPU)

複雜可程式化邏輯元件(CPLD)

現場可程式化邏輯陣列(FPGA)

半客製化積體電路(Semi custom IC)

全客製化積體電路(Full custom IC)

數位積體電路(Digital IC)

處理器(Processor)

無客製化積體電路(General purpose IC)

2018/4/23

24

軟體框架(Software framework)

47

➩軟體系統的架構專門提供程式設計師開發某一類程式，提供有彈性且方便

擴充的物件導向函式庫(Library)與應用程式介面(API)，也提供基本的模組

(Module)、功能(Function)、工具(Tool)等。

➩程式設計師必須遵守軟體框架所定義的輸入與輸出標準規範，框架就是制

定一套規範(思想)，大家(程式設計師)在這個者規範(思想)上工作。

➩軟體框架可以讓程式設計師方便且快速的進行程式開發，程式設計師在軟

體框架上開發程式就好像編劇使用別人搭好的舞台來編劇和表演一樣。

➩軟體開發供應商或處理器供應商一般會將某一種處理器特定的參考程式碼、

軟體框架、作業系統、韌體驅動程式等開發工具整合在一起，稱為「軟體

開發套件(SDK：Software Development Kit)」。

48

人工智慧的應用

2018/4/23

25

Google使用深度學習加強各種雲端服務

49

Google Cloud Machine Learning

➩ 2014年經由併購DeepMind公司的深度學習演算法做為Google、Google X、

Google Verily Life Sciences等單位的人工智慧核心。

➩ Google Brain Project：由Youtube的影片取出1000萬張圖片，神經網路具

有100億個神經元，由1000台電腦(16000個處理器)，運算三天才使電腦

自行學習找出「特徵值」而能夠辨識「貓臉」。

➩ Google雲端平台針對深度學習提供的管理服務，讓程式設計師建立任何大

小、任何資料的學習模型，並且經由TensorFlow軟體框架打造服務，同時

整合了Cloud Dataflow、Cloud Storage、BigQuery等雲端服務。

➩ Google自行設計張量處理器(TPU：Tensor Processing Unit)，專門處理深

度學習演算法常用的張量運算，但是僅供Google雲端伺服器使用。

Amazon使用深度學習提供智慧家庭與零售物流服務

50

Amazon Machine Learning as a Service

➩使用深度學習進行自動語音辨識(ASR：Automatic Speech Recognition)、

自然語言處理(NLP：Natural Language Processing)，並且推出家用語音

系統Echo與語音助理Alexa，廣受好評。

➩每一台Amazon Echo使用七個微機電系統麥克風接收到不同的聲波經由波

束成形(Beamforming)演算法可以取出清楚的聲音，使十公尺內的聲音都

可以被清楚接收，稱為「遠場語音辨識(Far field voice recognition)」

➩ Amazon使用深度學習分析消費者的背景資料、使用習慣、消費偏好等；

AWS雲端平台提供深度學習服務提供客戶進行資料分析，

2018/4/23

26

Amazon Echo系統方塊圖

51

Facebook使用深度學習加強社群功能

52

FBLearner Flow

➩ 2015年臉書人工智慧實驗室(FAIR：Facebook AI Research)開發深度學習

模組Torch，提供靜態影像辨識、動態影像辨識、自然語言處理等。

➩ 2016年提供深度學習平台FBLearner Flow，提供自動化處理機器學習的

工具、建構專用內容理解引擎、計算機視覺分析引擎等。

➩併購WIT.AI公司加強語音辨識深度學習技術，啟動Deepface計畫經由三維

模型建立靜態人臉特徵，讓電腦自動辨識臉書上的臉部圖片。

2018/4/23

27

Microsoft使用深度學習加強商業分析

53

Microsoft Cortana Intelligence Suite

➩微軟公司提供Cognitive Service與Bot Framework服務。

➩ Project Oxford計畫：以深度學習進行影像與語音辨識、自然語言處理。

➩ Project Adam計畫：以深度學習針對1400萬張圖片進行辨識。

➩使用深度學習做為Azure雲端平台運算核心，可以將資料從簡單的描述性

分析進化成建設性分析，並且用來預測未來會發生的事情，建議應該採取

的行動來加強及改良商業決策過程。

分散式機器學習工具(DMTK：Distributed Machine Learning Toolkit)

➩提供分散式機器學習框架與學習演算法，由參數伺服器與客戶端軟體開發

工具(SDK：Software Development Kit)兩個部分組成。

IBM使用深度學習加強Watson人工智慧平台

54

IBM Watson on Bluemix Cloud Platform

➩提供程式設計師雲端開發平台，Watson將「認知運算服務」導入到程式

系統中，例如：語音辨識、邏輯語意分析、自然語言分類、圖片辨識等，

藉由圖形使用者介面把服務與流程相關程式連結到機器人。

➩併購AIchemyAPI公司，利用深度學習人工智慧搜集網路企業、網站圖片

與文字進行識別與數據分析，利用企業內部銷售數據，分析全球新聞與社

交媒體等外部數據，建立量化客戶模型，為企業預測潛在客戶。

2018/4/23

28

人工智慧時代媒體如何創新轉型

55

➩智慧編輯將成為媒體機構的核心，推動媒體整體轉型升級，包括線索發現、

內容採集、內容寫作、內容分發、效果反饋、內部協同、自動處理等。

➩傳統媒體如果不抓住人工智慧的發展潮流，將遭遇新技術發展的打擊，技

術是推動媒體進步的動力，人工智慧將在內容生産、産品形態、內容傳播、

內容監管等各個方面對媒體産生巨大影響。

➩人工智能正與媒體産生強烈的化學反應，將對生産傳播的各個環節産生深

遠影響，光學字元識別(OCR)掃描、智慧語義分析等綜應用，進一步提升

新聞報道的時效性、廣度和深度。

➩傳統媒體邁向人工智慧時代要用更開放的心態擁抱創新變革，應當針對媒

體關鍵的用戶平臺、新聞生産係統、新聞分發平臺及信息終端等，增加人

工智慧技術，包括：語義識別和分析、VR/AR、機器演算法、深度學習、

大數據、物聯網等新技術，為媒體內容生産與呈現開拓想象空間。

56

曲建仲／兼任助理教授

政治大學科技管理與智慧財產研究所

[email protected]

0931204896

知識力專家社群：您的專屬科技顧問

experts system...

Documents