Weather / Climatefrom Open Data to Big Data

彭啟明

WEATHERRISK EXPLORE INC.

台灣OPEN DATA聯盟

Agenda什麼是氣象？

Open and Big

氣象界的Open Data

先進國家開放了什麼？

Open Weather Data做什麼？

台灣的Open Data

什麼是氣象？

不是只有大雨特報、颱風警報…

或是

哪裡溫度幾度？

什麼是氣象？

智慧

經驗

資訊

資料

古人預報天氣

智慧

智慧的累積

智慧

經驗

冬至在頭，凍死老牛

冬至在中，單衣過冬

冬至在尾，二月凍雪

台灣最大最開放的資料…每年有六百萬本的印製量

走向科學時代

智慧

經驗

資訊

現代氣象科學

1849：美國開始最早的氣象觀測網

1860：第一張天氣圖誕生

1954：第一個例行性的數值天氣預報啟用

1959：第一顆氣象衛星TIROS-1成功發射

1974：日本建立自動氣象觀測網

晴雨錄（來源：數位典藏與數位學習聯合目錄）

現代的氣象

智慧

經驗

資訊

資料

Open and Big

氣象資料不僅開放歷史早，資料量也相當龐大…

Open and Big從海裡到太空的觀測

“Currently, more than 10000 manned and automatic surface weather stations, 1000 upper-air stations, over 7000 ships, more than 100 moored and 1000 drifting buoys, hundreds of weather radars and over 3000 specially equipped commercial aircraft measure key parameters of the atmosphere, land and ocean surface every day”

WMO http://www.wmo.int/pages/themes/observations/index_en.html

每分每秒不間斷的數據！！

Open and Big每公里 1 網格的氣象預報◦ 510,072,000 x 百種氣象參數 x 14 天逐時預報

◦ 歐洲氣象中心每天產出超過 80GB 資料！！

台灣非 WMO 會員國◦ 台灣最早的測站有百年歷史

◦ 超過 700 個氣象站與自動測站

◦ 每5分鐘1筆數據，1天400MB，1年150G

◦ 超過15TB，持續增加中！！

“1分鐘報氣象來自超過100TB的氣象資料！”-天氣風險總監

Open and Big數值模式預報◦ 一般預報

◦ 中長期預報

氣象警特報◦ 隨各國地理環境不同而不同

觀測資料◦ 衛星資料

◦ 雷達資料

◦ 各監測儀器資料

◦ 環境資料

Open and Big過去 現在

硬體 超級電腦 商品化伺服器

硬體成本 以億計 以十萬計

供應商 稀少 眾多

系統 封閉稀少 開放系統

數值模擬 自行研發 開放多樣

分析工具 傳統文書處理軟體、統計軟體 開放多樣

資料庫 傳統 RDB NoSQL DB

視覺化 封閉稀少 開放多樣

Open Source

氣象服務

智慧

經驗

資訊

資料

我們的服務資料 資訊 經驗 智慧

資料 資訊 經驗 智慧

資料 資訊 經驗 智慧

資料 資訊 經驗 智慧

道路安全

企業政府防災

天氣監控

媒體監控

短期天氣預報

根據客戶需求的時間與地點，提供客製化的天氣預報服務。

適合舉辦戶外活動的公關公司、廣告公司、製片公司、運動會、企業家庭日…等。

防災服務

服務項目：日常氣象災害風險評估、颱風動態分析、防災應變決策評估、劇烈天氣監測及預警…

服務對象：企業、高鐵、公路總局、縣市政府

海象預報利用海洋天氣觀測資料，預測海上天氣狀態、風速、風向、浪高、浪向、氣溫及有無劇烈天氣系統引發之機會。

適用對象：航運業者、海事工程、遠洋漁業…等

智慧

經驗

資訊

資料

進展中的服務資料 資訊 經驗 智慧

資料 資訊 經驗 智慧

資料 資訊 經驗 智慧

氣象經濟

企業天氣風險

健康天氣

氣象經濟

從過去龐大的歷史資料統計，再加上氣候預報資訊，可提供服飾業、農業、家電業…等天氣敏感企業做為產銷與營運的參考。

企業經營風險

智慧

經驗

資訊

資料

我們的服務資料 資訊 經驗 智慧

資料 資訊 經驗 智慧

資料 資訊 經驗 智慧

資料 資訊 經驗 智慧

氣候變遷

機率、風險管理

速度、多樣性

服務多元

資料 資訊 經驗 智慧 資料科學家

美國因應氣候變遷擬建立的夥伴關係

人與文化整合性氣候研究

企業進程

夥伴關係

強化夥伴關係可以增進彼此的力量和利益，並且可提升夥伴關係工作的價值和影響力

學術界整合氣候研究計劃提升對氣候的了解、監測、模擬、預測和衝擊，提升有效的決策 提升個別人員的專業的

技能組成有力的團隊，預備好能處理各樣的狀

況企業調整基礎設施、管理規範和作業流程，維持高性能和回應的計畫

，以及產品和服務圖片來源：Climate Program Office, Strategic Plan 2015-2019

25

環保署 2014 建立國際氣候變遷調適夥伴聯盟

重點已不僅是上游的預報產出

而是下游的服務應用！

但全球或是台灣多數產業不了解資料與氣象的連結

氣候對社會的挑戰

氣候六大能力的建構

監測了解和模擬

預測和推估評估

決策的告知溝通和教育

美國氣候計畫辦公室夥伴關係氣候研究策略

圖片來源：Climate Program Office, Strategic Plan 2015-2019 29

先進國家開放了什麼？

先進國家開放了什麼？美國: 完全開放、政府負責災害部分，產官學分工，創造民間及個人的氣象創新突出。

英國: 政府氣象部門原隸屬國防部，現學習美國方式改變中。

日本: 推動氣象民間服務，區隔產官學，創造全球首家氣象上市公司。

韓國: 仿效日本，前總統李明博把應對氣候變遷的氣象產業作為發展方向。

中國: 準備開放市場，但先扶植中國內部技術能量競爭力。

歐洲: 歐洲 ECMWF 預報詳細資料需付費，但預報技術世界第一。

U.S. Climate Data Initiative

Climate.Data.gov

Other

Departments/Agencies

John David Podesta: “Climate Data Initiative launches with

strong public and private sector commitments.”

Environmental Systems

Research Institute

U.S. Geological Survey

Counselor to the President

/26 33

https://nex.nasa.gov/nex/static/htdocs/site/extra/opennex/

https://nex.nasa.gov/nex/static/htdocs/site/extra/opennex/

https://nex.nasa.gov/nex/static/htdocs/site/extra/opennex/

https://nex.nasa.gov/nex/static/htdocs/site/extra/opennex/

https://nex.nasa.gov/nex/

典藏台灣的生命軌跡 國網中心打造地科資料庫

地科資料庫為國內第一個千兆級（Petascale）整合科學觀測資料且提供服務的平台，提供巨量資料（Big Data）之累積、典藏與管理服務。其所收集處理的大量即時與歷史資料，皆為與人類生活緊密連結之地球科學觀測資料………首座完整擁有台灣的地球與環境科學基礎數據庫，具寶貴的在地價值。

http://www.nchc.org.tw/tw/news/index.php?NEWS_ID=271

蘋果日報2014/10/28 國網中心指出，地科資料庫目前僅提供學者研究與政府單位使用，使用者必須提出申請才能擁有帳號，通過審核可免費使用，預估申請時間約1周。

典藏台灣的生命軌跡 國網中心打造地科資料庫

地科資料庫為國內第一個千兆級（Petascale）整合科學觀測資料且提供服務的平台，提供巨量資料（Big Data）之累積、典藏與管理服務。其所收集處理的大量即時與歷史資料，皆為與人類生活緊密連結之地球科學觀測資料………首座完整擁有台灣的地球與環境科學基礎數據庫，具寶貴的在地價值。

http://www.nchc.org.tw/tw/news/index.php?NEWS_ID=271

我們自己努力的關鍵探索資料

定義資料應用的價值

成功關鍵跨界合作

Big Data 軟體架構、氣象專業、資料科學、UI 設計，必須跨領域團隊合作。

Mr. Big 天氣分析師 資料科學家 後端工程師前端設計師

成功關鍵從小做起

提高第一個資料產品的成功率，建立團隊與客戶的信心。

成功關鍵盡早做起

與公司願景連結，以 Big Data 做為長期差異化的競爭策略，做產業中的領頭羊，並以之進入全球市場

台灣開放資料聯盟成立2013.09.18

我看到

1.開放資料有未來性，是年輕人的機會。2.如同網路興起時，有機會發展一波革命。3.國外都是積極投入，由上到下掌握掌握。4.積極開放資料，就會有大數據。5.氣候變遷可以靠大數據來解決。

台灣的Open Data

行政院

經濟部工業局

科技會報行政院NCI

民間諮詢委員會

國家發展委員會

災防救助

國土資訊

教育文化

衛生醫療

食品安全

交通資訊

其他業務

推動加值應用

促進產業創新

建全發展環境

全面宣傳推廣

有效連結供需

推動供給 驅動應用制定資料開放作業原則研擬我國適用規範(資料格式、資料交換標準、API等)

活化Open Data應用，創造台灣產業新價值推動台灣成為Open Data

加值應用基地

台英開放資料雙方合作

和政府反映開放資料

2014 年2月和馬總統座談反映：馬總統無正面回應江院長說由張善政政委及蔡玉玲政委負責

2014 年8月和江院長座談反映：指派毛副院長負責開放資料

部會名稱 資料詢問內容 部會名稱 資料詢問內容

1 台電公司 請開放台灣的電力資料 14 臺鐵管理局 請開放鐵路局，每日搭乘人數資料

2 台電公司 請開放最小行政區的每日用電電量資料 15 衛生福利部 各區域大型醫院每日急診數人數

3 人事行政局 請開放公務人員各職務之月薪 16 衛生福利部 希望開放醫事人員執業資料

4 人事行政局 建議提供加給及特支費等相關資料一案 17 衛生福利部 請衛福部開放每日猝死人數

5 警政署請提供 全國各警察機關測速執法超速或闖紅燈每日資料

18 疾病管制署 提供流感速訊資料於「政府資料開放平台」

6 警政署 請開放歷年詳細交通事故地點資料 19 健保署 建議開放健保資料庫，去個資化資料乙事

7 警政署可否開放較為即時的資料(易發生婦幼被害犯罪地點資料集)

20 氣象局 請開放氣象雷達資料

8 高工局/公總 請開放交通流量資料 21 氣象局 請開放氣候資料？

9 消防署 開放火災事件資料 22 交通部 請開放各縣市公車動態 API

10 能源局請開放我國能源資料

23 觀光局 請開放 各景點旅遊統計資料

11 能源局 公開能源站的數量、位置、種類、使用量 24桃園機場/入出

境管理局請開放我國各機場入出境每日人數資料

12 中油公司 建議開放每日各加油站的加油油量資料 25 主計總處 請開放歷年經濟預測資料之說明

13 國貿局請公開兩岸服貿協議各項對台灣產業有益或有害之評估

26 財政部請財政部開放各級政府單位每年靠資料收費的歲入

部會名稱 資料詢問內容 部會名稱 資料詢問內容

27 總統府 我國因應氣候變遷政府的施政預算 40 桃園機場 請開放桃園機場客運量日統計

28 台電公司 請開放落雷監測資料 41 教育部大學各科系入學、畢業人數每年資料 各大學每年預算數、教師數

29 總統府請開放行政首長接受餽贈、款待、旅遊或與非政府組織在總統府之會議時間及其目的

42 公程會 政府電子採購資料

30 總統府 政府首長 出差旅行 搭乘大眾運具報告 43

31 總統府 總統府能耗資料

32 教育部 大學助學貸款資料

33 教育部 教育統計資料

34 外交部 歷年援外資料

35 國發會 開放資料的時程及逐步開放資料集規劃

36 環保署 各工廠空氣污染物排放資料

37 各縣市政府 1999 資料庫

38 捷運局 台北及高雄捷運站各站每日進出資料

39 國貿局請公開兩岸服貿協議各項對台灣產業有益或有害之評估

Request and Response

5%

40%

40%

15%Yes, We would like to open

There's NO such thing

It's enough

No response

和政府要資料啟明會長惠鑒：日前致總統電子郵件，敬悉。您關心公共事務，擔任「開放資料聯盟」（Open Data Alliance, ODA）會長，對政府開放資料政策提供寶貴意見，總統甚為重視，特囑代復致意。「開放資料」已是國際趨勢，政府也注意到此一方向，並建置「政府資料開放平臺」（data.gov.tw）。您建議增加開放42項資料事，因涉主管機關權責，已轉請行政院統整處理；至本府業務相關資料之開放，亦已配合「政府資訊公開法」明訂之「主動公開政府資訊之範圍」於本府網站「政府資訊公開」專欄（路徑：首頁／公報與法令／政府資訊公開）上載公開資訊，方便民眾查詢瀏覽。非常感謝您的來信，特此回復，並祝 平安喜樂

總統府 敬啟

和政府要資料馬總統您好

針對府方回覆本人於六月底之開放資料政策，相關之回應不甚明確，凸顯府方對於開放資料政策不了解。

建請馬總統可要求總統府相關單位及幕僚做兩件事

1. 看看美國總統歐巴馬如何推動開放資料政策，美國白宮及英國內閣開放了哪些資料給您參考，您就可以知道您該做哪些政策推動。

2. 將現有總統府政府資訊公開之資料，以開放資料格式對外提供。

啟明 敬上

回覆內容：

啟明會長惠鑒：7月19日致總統電子郵件，敬悉。感謝您再對政府「開放資料」政策提供寶貴意見，本府已轉呈總統，所提建議已留供研議辦理。至盼不吝續賜卓見，為國家進步發展共同努力。特此回復，並祝 平安如意

總統府 敬啟

開放資料的問題

56

機密

公開敏感

收費

我以為:

敏感敏感

開放資料的問題

57

公開

機密

收費

結果是:

申請研究資料

憤怒的中年人

訴求期許政府高層，該看看各國領袖，如何用政策來達成開放資料成效。

政府應盡速公開盤點所擁有的資料集，並與各國已開放之資料集進行比較，列出開放時間表。

對於不開放、機密的資料理由，必須透過與民間協商方式進行。

為何要這樣？台灣民間資料科學家的活力豐沛，可以為亞洲開放資料

應用最充分多元的國家自許。

讓年輕人透過資料運用來改造政府，加速革新，更能創

造工作機會及經濟產值。

若政府不積極開放資料，在國際大數據浪潮下，年輕人

苦無資料練兵，將是導致台灣缺乏國際競爭力的關鍵因

素。

副總統：開放資料必走之路Sep.25.2014

61

政府公開資訊的程度當然還有努力空間，不過政府開放資料，牽涉到國家機密和個人個資保護等層面。政府若給錯資料，會有責任問題，國會也會監督，期盼體諒政府目前還不能滿足民間對開放資料的要求，其中仍有條公道的紅線需要兼顧。

台灣需要破壞式的改造由上到下的推動策略

需要開放資料政策或法律

有效能的推動開放資料權責單位！？=開放辦?

我們想要台灣開放資料路徑圖

希望結合各個社群 ODA、g0v、OpenData.TW、OSM……..

民間開放資料社群及企業將結合，舉辦駭客松，將投入資源，比對各國目前所開放資料之資料集，與國內現有開放資料進行比較，為台灣找到開放資料之路徑圖。

醬缸文化大家來當司馬光

PENG@WEATHERRISK.COM

WWW.FACEBOOK.COM/WEATHERRISK

Thank you for your attention!

/26 65