[TWDS 線上版聚] 從雲端代理商，看未來 AI 技術的應用發展

[2022/05/06] Taiwan Data Science Meetup — 余佑駿 You-Jun Yu

講者介紹

余佑駿(You-jun)目前在宏庭科技股份有限公司(Microfusion Technology) 擔任雲端架構師，在團隊執中負責 Google Cloud Platform (GCP) 的 AI&ML 服務。

從數學系橫跨至統計所，畢業後他踏入資料科學的世界，除積極投入專案開發外，也投身於各資料社群中。2020年他轉職擁抱雲端，取得AWS、GCP、Azure等證照。

這次他將以一個曾與資料朝夕相處的工程師、跨入雲端產業的架構師視角，重新帶大家觀察雲端在AI/ML產品上的布局與發展。

分享主題： 從雲端代理商，看未來 AI 技術的應用發展

內容大綱

1. 關於雲端產業
2. 雲端代理商的角色
3. 全球主要雲端服務比較
4. 雲端架構師的角色
5. AI/ML在雲端上的運作
6. Q&A精選

1. 關於雲端產業

你是否曾經從個人雲端空間上找到遺忘已久的的照片或檔案，即使時過境遷已經換了硬體設備，這些紀錄也從來不擔心遺失？

對於企業而言，使用雲端儲存空間、運算資源，除了不怕遺失重要檔案，也是省錢、省力的好工具，在基礎建設不足的情況下，使用雲端能節省建立資料中心、聘請人才的成本，且隨時都能從不同裝置上存取檔案。

透過雲端服務，資訊變得更容易共享、流通，也能讓企業專注在本業上面，將服務品質推至另一座山頭。

雲端產業的蓬勃發展奠基於產業對於資訊服務的高度需要，因應不同需求各個雲端服務提供者也扮演著不同角色：

1. 基礎架構即服務 (IaaS) ：提供客戶透過隨用隨付制存取位在雲端的儲存容量、網路功能、伺服器及其他運算資源。

2. 平台即服務 (PaaS) ：提供雲端環境以供使用者建置與供應應用程式。

3. 軟體即服務 (SaaS) ：服務提供者透過網際網路遞送軟體及應用程式。使用者訂閱軟體，然後透過 Web或供應商API存取它們。

(source: IBM Cloud)

Cloud Service Types and Responsibilities

雲端服務正是 以基礎資訊架構為基礎，提供雲端平台、軟體等服務給使用者 ，而通常雲端服務的提供者根據不同角色定位，與客戶之間有著不同的權責關係，無論是何種定位，雲端安全都會由供應商與客戶間共同承擔。

2. 雲端代理商的角色

說到雲端廠商你會想到那些公司呢？或許你聽過Google Cloud、Amazon的 AWS等服務？那說到雲端代理商，你知道他們在做什麼嗎？兩者的角色及工作環境又有何不同呢？

Comparison graph

作為 雲端代理商 ，主要負責原廠研發、生產、製造以外的工作，例如：透過系統設計整合原廠開發的不同服務，並協助客戶導入雲端服務，作為 雲端原廠 ，較有機會協助研發更多新潮的產品功能，與跨國、大規模的企業相互合作，創造數位轉型的機會。

雲端代理商 協助客戶解決問題時，常需要因應不同情境創造新的解決方法(Consulting)，但若遇到當下無法以雲端原廠服務解決問題時，通常會向 雲端原廠 專業人員詢問，因此雲端原廠可視為是 Consulting 的 Consulting 。

作為 雲端代理商 最大的挑戰來自於：客戶的需求或許現階段代理的雲端原廠並未提供相應服務，因此需要向客戶溝通，並善用其他第三方服務解決問題。

總的來說， 雲端代理商與原廠最大的差別 在於，前者致力於 打造客戶所需的客製化雲端產品 ，而後者則 專注做產品創新、技術研發 等。

3. 全球主要雲端服務比較

a) 全球領先的雲端服務提供者

• AWS ：目前為雲端市占率的龍頭，主要針對特定產業解決方案(例如：醫療、零售等)，專注於公有雲。
• Azure ：目前為市占率第二，專注於將雲端與既有數據中心混和使用。
• GCP ：目前市占率第三，技術開發能力強(特別是人工智慧這方面)，專注於多雲的整合管理。

Statistics for the Cloud market link

b) AWS與 GCP的比較

• AWS：重視為特定產業提供需求導向的產品服務，其開發平台主要是以開發者為使用對象，目標是減少工程師寫程式、跑模型的負擔。
• GCP：以技術為導向，由Google工程師開發出不同機器學習、人工智慧等演算法後，再整合不同功能形塑某產業可能使用的解決方案，其開發平台適合不同專業背景的人員開發使用(low code)。

4. 雲端架構師的角色

a) 雲端架構師的角色有哪些？

不同於一般資料分析師，需要學習的範圍更廣，除了要熟悉雲端廠商所推出的不同服務，各自的優勢與限制，也要能為客戶設計出最符合成本效益，滿足其需求的雲端架構，幫助客戶達成數位轉型！

Job Duties for a Cloud Architect

b) 身為雲端架構師需要什麼能力？

• 系統設計 (組合不同的雲端服務工具)
• 溝通能力 (說出客戶內心想說的話)
• 程式設計 (有一定邏輯)
• 自學能力 (因為雲端的世界會推陳出新，要持續不斷地學習)

5. AI/ML在雲端上的運作

a) Google Cloud

• Vertex AI — 從為工程師開發所設計的機器學習API到較容易操作的介面，一直演進到現有的Vertex AI，更適合機器學習、資料科學相關背景的人使用，幫助資料分析相關從業人員能一條龍的完成從資料處理到模型調教等工作。

GCP Vertex AI

• BigQuery ML — 為了不讓資料離開資料庫後就變得無用，除了原讀取資料庫的功能外，也可以用BigQuery實現常見的機器學習方法、調教參數。

b) AWS

• Amazon SageMaker — 提供工程師和資料科學家能快速訓練、建模、實現機器學習的平台，甚至也能監控不同模型的實驗結果。模型部署上，AWS也能將不同類型的模型部屬到同一端點內，對於企業來說較符合成本效益。

Amazon SageMaker

• Amazon SageMaker Autopilot — 鎖定特定欄位後，機器會自動做資料前處理、超參數調教等，亦可以根據原始的程式碼進一步調教，得到更符合資料預測情境的模型。

Amazon SageMaker Autopilot

• Amazon SageMaker JumpStart — 針對特定情境的問題(例如：手寫辨識、需求預測等)可以直接產出一串程式，開發者不需要從頭寫起。

c) 如何選擇AI/ML 使用的雲端平台

• 如果對於程式開發很有興趣，可以使用AWS SageMaker。
• 若想在企業內落實low-code/no-code，建議可嘗試GCP — Vertical AI。

6. QA精選

Q1:對於新創企業來說，如果有動態網頁的資料儲存需求，應選擇哪個雲端平台？

• 需要考量兩個層面，一是未來想要拓展服務的scale(服務範圍是台灣？還是全球？) (目前只有Google在台灣有機房)。
• 二是成本方面：各個雲端平台尚可去查看是否有新創計畫可以申請，也有免費的使用額度可進行試用。

Q2:為什麼不做Data science了呢？有什麼職涯上的考量嗎？還是有看到什麼趨勢呢?

• 想要嘗試自己的極限，從前一份工作中的前輩身上學習到跟雲端相關的知識，雲端也是未來趨勢，對於大公司是如何進行系統設計以因應大量資料很有興趣！

Q3: 使用雲端服務做AI/ML時需要將資料和程式都放到雲端嗎？如何將本地端的資料與雲端程式分開使用？

• 沒有限制資料必須在雲端才能做訓練，或是訓練後的模型必須在雲端做部署才能使用，只要有將資料輸出上傳雲端至雲端，將訓練後的模型檔下載下來，在自己的Container使用。

Q4:請問做雲端架構師是不是要非常了解「作業系統」、「計算機組織」這種底層的知識呢？

• 對於成為雲端架構師來說， 不需要 特別學習計算機概論，非理工背景者，也可以從工作中catch up，但是如果有學過可以講過更細緻的東西，能夠更好的向顧客解釋。

Q5:雲端架構師需要專精哪方面的Coding?

• 建議還是可以精熟一種語言，學會一種其他也可以通(不限定某一種)。

Q6: 想請問雲端架構師的未來職涯發展與規劃？

• Solution Architect(雲端架構師)的工作範疇包含：做產品的Pre-sale、架構設計、POC(測試)、建置、Technical Support等工作，除了學廣之外，更要專精某一項服務，深入耕耘成為某一服務的專家，未來也會希望到跨國的原廠學習！

Q7: 遇到陌生沒碰過的專案或情境，你是如何找到正確方向來快速自學以順利應對客戶? 還是說會有更資深的Mentor擔任PM進行指導?

• 雲端原廠 一定會有資深的人可以請教，以Google的分工而言，Customer Engineer負責解決顧客問題(會廣)，Specialist(專家)：Data, ML, AI等專家則會針對某一塊深耕。
• 雲端代理商 則是視公司而定，通常在工作上使用Google關鍵字搜尋，通常可找到別人也遇過的問題，或是與同事討論，如果有技術上的問題，也需要去詢問原廠specialist。
• 此外，各家原廠也會有自己的 reference architect framework ，可以從上面看一下給出的架構範例，也是一個很好的學習途徑。

Q8: 對於跨不同公有雲之間(例如：訓練資料存放在不同的cloud, model serving 時要參考的真實資料在另一個cloud儲存處) 進行ML/DL 建模的data pipeline架構建議？

• 資料散落在不同雲上的時候，要如何整合讓資料取用更便捷？只要能將Data Pipeline的接觸點接好，將Google Cloud和AWS hard data sync起來會比較容易整合，或是可以使用BigQuery可以做跨雲的統一查詢，取用時比較方便。

筆手：邢芳瑜 (Ruby Hsing)
校稿：余佑駿 (You-Jun Yu)
👉 歡迎加入台灣資料科學社群，有豐富的新知分享以及最新活動資訊喔！