2024 領航計畫已開放報名,請點擊後查看報名資訊
前往 Medium 閱讀好讀版

資料團隊經驗談及如何在企業中實踐 Data Democracy, 黃介榮 CJ, Data Analytics Specialist

講者介紹 - 黃介榮 CJ,目前在 Google 擔任Data Analytics Specialist。CJ 在不同的 Big Data / Analytics / MarTech 初創企業中擁有10年的經驗。之前曾在 17 Media 擔任數據科學與分析負責人,當時是從頭開始在 GCP 中構建數據倉庫。此即時媒體串流系統推薦系統將手機應用程序的使用時間和觀看時間增長10%以上,還構建了 ML / AI 基礎架構和工作流。在 Etu / ITRI CCMA 中工作時,CJ 還具有基 Hadoop 解決方案的 Telco / Media / EC 方面的經驗。

Abstract:
CJ 擁有在初創企業的豐富經歷,他將分享「過去在新創中成立資料團隊經驗談」以及「在企業中實踐 Data driven culture , data democracy 的挑戰」!

在分享題目以前,CJ 想分享給大家

Throwing a bunch of gifted people in a room doesn’t guarantee they’ll be a team.

不是把所有最強的人聚在一起就可以解決所有問題。

要如何建立一個好的 Data Team?

  1. Start from small

因為當遇到一個題目,若碰到新技術或要去學習的話,會相對辛苦。因此,就可以從小的 Team 開始嘗試。

2. Stop hunting unicorns

有時候挑選人才,會期望對方是個獨角獸,例如有十年工作經驗,多年專案實務經驗等等,但其實不一定要挑選這樣的人才。(同場加映:John 說「獨角獸是理想 Don’t hunt for unicorns」)

3. Young is not a bad thing

有時候找剛畢業的新鮮人,也是一個不壞的選擇,同時能讓團隊的多元性更豐富。

Journey of building a team- phase 0

從整個脈絡來看,Data Team 是要橫跨,從 Engineering 到 Business,整個光譜的角色。Data Team 的第一個人其實扮演一個角色,需要規畫整個架構,同時又有點像 PM,並且需要做非常多事務。當然 Data Engineering (資料工程)要有非常扎實的基本功,要去思考如何運用 Engineering 的方式去規劃,這也意味著觀察和思考自己的角色是非常重要的。

再來是,當只有一個人的時候,可以在其他的 Business Unit Team 或像是行銷、商務或技術團隊中,尋找1–2個種子成員,邀請他們分別來做分析題目。可以從自己身上 offload 一些使用者給種子成員去嘗試分析,讓他們去實踐公司期望的 Data Team 文化或 Data Project 的想法。

Journey of building a team- phase 1(6–8 months)

其實在 17 Media 中,有很多事情要做,因此也陸續招募不少人。大家可能有個迷思是,公司有資源等於公司可以一次招募大量人才,但其實招募的時程大概要花六到八個月才把人找齊。可以想像一下,在這過程中,大概是每一到兩個月增加一位團隊成員。我們要試著去了解公司商業邏輯、商業挑戰,以及資料倉儲在不同前後端介接有哪些 package 需要注意。在這個階段,資料工程會比資料分析和資料科學更重要。

再來,其實跟其他程式專案一樣,要嚴格執行 Code Review。因為這算是一個啟蒙的過程,若這階段的程式碼沒有被 Code Review、沒有提出正確的資料,其實會讓公司對整個團隊的品質產生非常大的質疑。

另外還有一點是,SQL 目前還沒有一個很好的 Guideline,因此我們可以去參考以下兩個 reference,可以參考如何撰寫、變成 reuse 的 model,甚至是把每一次分段執行的 ETL 程式碼變成一段程式碼,這些細微的差異都有可能逐漸變成非常大的差別。

Reference 參考:

  1. https://github.com/mozilla/bigquery-etl>
  2. https://github.com/GoogleCloudPlatform/Bigquery-utils

Journey of building a team- phase 2

資料科學要落地,才能凸顯其價值。

雖然在 Data Team 成立前3–6個月就招募資料科學家,但當時沒有很好的 Datasets 可以提供他們做研究,因此雖然他們可能針對,如市場留存等,能夠幫助公司的題目做了研究、有了一些想嘗試的做法,可惜當時沒有太多能讓他們執行的方案。雖然我們都知道有很多題目可以做,但 題目要在公司對的時間才能被落地

同時,公司有成立另一個部門是 Growth Hacking,我們希望在流量成長有更多開發,我們就讓該團隊和 Data Team 做了綜合,在這個階段其實不需要很潮的分析方法,最重要的是能夠幫助公司現階段需要的商業 use case,變成一個可執行、可落地的方案在公司內部,跟不同的 Business Unit 做結合,其實對於整個 Data Team 要落實 Data 文化有很大的幫助,但也會轉換很多團隊成員的角色,可能造成一部分成員離開及新成員加入。

Journey of building a team- phase 3

最後 Data Team 的樣貌,資料工程人員配置不變。

針對 Data 在 Infra 端有所謂的 DA (Data Analyst),他會在 Data Mart 上去建立更多的 Data Mart。而 Growth Hacker 轉為 BA (Business Analyst),因為我們發現我們不只是想獲取流量,我們還想要獲取更多的主播數、商業模型等等,所以已經不只是單純在做流量增長了。

小整理:

Data Engineer 和 Data Analyst 是靠近 Data 的部分,會是去豐富 Datasets 或做 ETL。而 Business Analyst 則是和不同的 Business Unit 去做討論,類似於 Data PM 的角色。

Lessons Learnt

  • Grow the team member one by one

Necessities at different moment。其實團隊成長是緩慢的,要透過不同的時間點、不同的需求去尋找團隊成員,而不是一次大量去招募所有職務成員。

  • Cultural fit in addition to a positive, cooperative attitude.

Right people not the experience。文化適應其實比其他特質來的更重要。

  • Experience the whole business with team members

Partners in the decision making process not just support/reactive stats-gatherers. 需要去了解 Business Unit Team 的商業邏輯、決策流程,而非單純的提供 Business Unit Team 提出的分析需求。

Journey of Building a Team- Ideal Phase

  • BI in different BU Team
  • Hybrid team structure
  • Bridge BU and DS team

理想上,若能夠在不同 BU 中都有針對該 BU 領域的 BI,打造一個混合型的團隊結構,可以讓各 BU 團隊 和 Data 團隊溝通更順利,讓 BA 可以更專注在他們的工作內容,進而有產生高效的工作品質。

Key Data Team Characteristic

  • Ad Hoc
  • Scalable
  • Collaborative
  • Risk Taking
  • Creative — 從其他不同切入點回應問題

Data Democracy

一個好的決策品質,其實要將 Data-Driven 引入決策流程。

這部分是參考 Airbnb 的作法,當他們在做 Data-Driven Culture 或是建立 Data Democracy 的時候,是放入每一個決策中去做延伸。

Learn → Plan → Test → Measure → Learn

例如,我們會去做 Tag 再去做分析,那分析量化的結果會再放入學習的流程之中,以便我們在下一次制定計畫時有依據來做優化。

這樣的流程在 Data Team 還是小團隊時,是可行的;當公司規模在高速成長時,我們就要去思考如何讓其他團隊的成員也能獲得益處,而這是一個非常大的挑戰。這時候,phase 0 的 BU Team 種子成員就可以在決策過程中嘗試採納 Data 當作決策依據,使用數字去說話。

慢慢地就可以把 Data-Drive Culture 從個人過渡到團隊,再從團隊過渡到公司,讓公司每一個日常決策都有數據支持。 這個過程絕對不是一天兩天可以完成,這是一個可能耗時一兩年的漸進式過程。

Reference 參考

  1. Democratizing Data at Airbnb. By Chris Williams, Eli Brumbaugh, Jeff… | by Chris C Williams | Airbnb Engineering & Data Science
  2. At Airbnb, Data Science Belongs Everywhere | by AirbnbEng | Airbnb Engineering & Data Science

Tech wise - let more engineers can do DE

Orchestration tool, no more shell Please

  • Better monitoring and health check
  • 減少技術門檻

Self EDA tool

  • free BA/DS resources
  • 減少 Data query 的時間

ETL

  • YAML/config base
  • Easy iterate
  • 減少仰賴 DE 的程度

Culture Wise

  • CXO Dashboard / company wise dashboard is the door

可以試著用 Data-Driven 從商業面去切入第一個題目,來去 Earn trust from upper level/stakeholders。

  • Find a MVP project

Impact revenue a lot but no one is doing.

我們可以從一個例子來看:每年公司都會寄送 DM 給會員,行銷 Compaign 要消耗非常多預算。行銷團隊就試著去挑了一些銷售比較不好的百貨商品,和資料科學團隊討論他們的想法,提出解決方案來節省公司每年破億的行銷預算。

在上述例子中,其實可以看出來 Data 佔了一個蠻重要的角色,可以讓公司節省非常多成本。

  • The entire process needs to be intuitive and easy to use

其他商務使用者不容易理解如何使用工程師做出來的工具。

No Python coding, please! (笑)

  • Dashboards — explainable reporting

提供一目了然、可視化的報告或儀表板讓對數據不敏感的 BU Team,讓他們也可以去觀察出洞見。

筆記:陳冠名  
校稿:林虹葳👉 歡迎加入台灣資料科學社群,有豐富的新知分享以及最新活動資訊喔!  
資料科學協會

資料科學協會

社群分享筆記 更新紀錄

Copyright 2020-2024 資料科學協會 All Rights Reserved.

本網站由 資料科學協會 維護