資料分析及商業實驗在最後一哩路的應用

講者：鄭亦雯 Iwen Cheng | Senior Manager ＠ Walmart Inc.

摘要

📍亦雯是在做策略營運的工作 ，本身毫無資料科學相關背景，她會從公司策略與營運的角度，來與資料科學家合作，以數據策略營運的層面，進行一些商業實驗，接下來我們來看亦雯是如何應用所學專業來解決Walmart的最後一哩路(Last Mile Delivery)的問題。

大綱  
一、 About Iwen  
二、美國電商 - 最後一哩路 (Last Mile Delivery in the U.S.)  
三、公民數據學家 (Citizen Data Science concept)  
四、探索式商業分析及商業運用 (Exploratory data analysis)  
五、商業實驗及其運用 (Design of business experiments)  
六、Q&A

About Iwen(講者簡介)

📍鄭亦雯，在台灣出生長大，大學是唸政治大學，畢業後在銀行交易室工作3年，之後到美國康乃爾大學就讀 MBA 學位，在 MBA 期間的第一年到 Apple Inc. 實習，了解產業知識，從 MBA 畢業後到 Walmart 任職。

在大學期間，課程較重視邏輯思維，主要修習於統計、財務、會計等知識，奠定目前職涯的基礎，如同墊腳石般累積個人經驗及分析思維。

在 MBA 期間，往更一個層面來加深工程技能，研究所期間學到簡報技巧、溝通技巧、策略思維，以及學到之前工作及求學沒有接觸到的 Tableau 、 SQL 等工作技能。

現在是 Walmart 的 Senior Manager ，從事策略與營運方面的工作，大多時候都是在做策略性思維，以及數據驅動方針。

講者分享的工具與 Project Refenece，可 點此連結了解更多。

美國電商-最後一哩路(Last Mile Delivery in the U.S.)

📍主要指的是從倉庫把東西、包裹，甚至是從餐廳送東西到客戶手上。在美國最知名的兩家運輸公司叫做 UPS 跟 Fedex ，在台灣像是宅急便，在大街小巷都可以看到運貨的車輛在巷弄裡面走動，將東西送到客人手上，UPS 跟 Fedex 這兩家公司佔據美國last mile delivery市場，但其實我們看到隨著就是一場電商競爭，不論是新創公司還是其他大公司也都跟進這一塊，在右手邊圖示可以看到市場是每年持續增常的狀態，以目前來說這是價值五百~六百億的市場趨勢。

哪些未來趨勢

📍以目前來說 Fedex 是基本上最大的供應商，近幾年很多時候大家都是利用 UPS 、 Amazon 、 Walmart 運送包裹送至顧客家裡，並採用貨到付款的方式。

Amazon 其實也是慢慢拓展他們的大規模的運送網絡 (delivery network) ，其實在美國各大城市，就例如講者本身之前住在舊金山，現在則是住在芝加哥，在城市裡很常看到類似 Amazon 的運輸車輛在大街小巷穿梭運送貨物，藉此可以知道 Amazon 在很多地方下足功夫，因為在做last mile delivery 運送的這一塊，是需要花大量的資金注入的一個產業。

Walmart 是講者在 MBA 畢業後的第一份工作，Walmart 是美國最大的零售商，它其實也有自己的 last mile delivery ， Walmart 從貨運倉儲中心送貨到客人的家裡，然而也有另一個方式是從店面取貨，Walmart 的定位與全聯在台灣的定位相同，可以透過走幾步路就能看到一間 Walmart ，連同開車十分鐘內都能看到 Walmart ，因此在美國各地各處皆能看到 Walmart ，在團隊裡有透過零工經濟 (Gig Economy) 方式運送生鮮雜貨、包裹到顧客家中。

零工經濟 (Gig Economy) 在美國的文化

📍第一個印象是類似台灣的 Uber Eats、 Foodpandas 為最主要的客源，而在美國的話，像講者的公司 Walmart 也是其中一個，目前正在逐漸成長中，那還有像是 Amazon 、 Fedex 、 DoorDash 、 Uber 、 Chowbus 、 Grubhub ，這些都是在美國最主要的一個經濟參與者 (economic player) ，這些也涵蓋許多不同的產業，像是有生鮮雜貨還有餐廳，或者是酒類相關的，亦或是藥物、花，這些都是在美國常見的用品，有些可能需要執照、特殊的指導才能運輸的。

什麼是公民數據科學家 What is Citizen Data Science?

📍公民數據科學家 (Citizen Data Science) 在美國是蠻新的概念，是被 Gartner 提出來的一個術語，主要是說任何人都可以變成是一個數據科學家。

Gartner 將他們定義為創造或生成建模的人，這些模型使用高級診斷分析或預測和規範的能力，其主要的工作職能則不能歸屬於統計和分析領域上 (a person who creates or generates models that use advanced diagnostic analytics or predictive and prescriptive capabilites,but whose primary job function is outside the field of statistics and analytics) 。

雖然我們的工作不是做數據分析的，但其實很多時候都能用數據分析的概念去解決問題，這的概念就像是接下來會提到的探索性數據分析 (EDA,Exploratory Data Analysis) 。

探索式商業分析及商業運用(Exploratory data analysis)

📍它其實有五個最大概念，就從問題開始來看哪一個是真正的問題?我們有哪一個問題是我們要去解決的?當你有這個問題時就把它敲定 (finalize)下來，從一開始去找出哪些數據是你需要的，然後能夠幫你解決這個問題，那接下來的話就要去探索、分析、可視化 (visualize) ，最後再將資料分享出去。

其實會花最多時間在探索數據、探索如何分析數據，這就是我們所講的探索式數據分析 (exploratory data analysis) 。

接下來想要講的另外一個概念是敘述統計，大家應該都有聽過敘述統計，那講者接下來要講的是很多時候其實在商業方面，有很多的商業問題都是用敘述統計，其最基本的統計概念去解決，有90%的商業問題，其實我們都是去探討頻率，顯示有多少頻率是發生，還有看它有沒有哪些集中趨勢是可以被看見的，然後就是查看可變性，確認有沒有一致性。

像是有哪些 Last Mile Delivery 的問題、運輸供應 (Driver supply) 有沒有注意到哪一個部分，在什麼時候我們的供應量 (supply) 是比較低的，在什麼時候的供應量 (supply) 是比較高的，以及發生的頻率有多長，發生的變數會有多少種，以上這些問題都是常出現的商業問題，我們都還是會用敘述分析去解決這些問題。

再一個例子是我們在日常生活中很常想到表現最糟糕的部分，以及表現最好的部分，這些變數量有多少，變數量是如何分佈的，那其實到頭來我們很常的時間都是用四分位 (quarter) ，這種基本的統計概念來做分析、分類，或是做推薦方式。

商業實驗及其運用(Design of business experiments)

📍與大家分享商業實驗相關的概念，將提到商業實驗的設計上的五個步驟：

• Purpose 目的：我們最主要的目的是什麼?問題是什麼?假設是什麼?還有哪些問題是我們要去解決，然後我們的目標需要達成?以一個商業夥伴或是策略營運經理的角度來說，其實我都會要求我的團隊、商業夥伴，把這個問題想得很清楚，花時間釐清及定義問題，因為要把最原始的源頭問題找出來，並設計對的目的，才有機會去做不一樣的商業經驗，這樣的結果才會是有效的。
• Buy-in 接受：讓目的及想法，獲得大家及主管或股東的認同，在執行商業實驗前都要獲得每一位同仁的允許，才能再進行接下來的動作。
• Feasibility 可行性：執行商業實驗前，要思考這個是否可行的、可逆的，如果結果是不可逆的話，要思考後果是什麼?
• Railability 可靠性：這部分數據科學家與商業分析師都有做過相關的訓練，即是怎麼去定義真實，選擇隨機分析，或是做A/B測試，就是選擇方法執行可靠性的方法。
• Value價值：開始商業實驗之前，要思考有沒有任何附加價值的部份，以及學習的價值在裡面。

實驗階段Experimental stages

📍與大家分享我們在實際工作上是怎麼使用商業實驗的方法，以及執行實驗時的階段。

在執行實驗時的階段，有三個步驟：

• Execution test 執行測試：在意專案或是計畫有沒有執行成功，這此階段最主要會放在系統上看有沒有成功或是失敗，所以在這個時候是不會產生很多問題來控制測量結果。
• Pilot 前導階段：這階段會想不同的案例 (use case) 後，然後開始衡量我們真正的 KPI ，像是我們想怎麼來改善顧客經驗，那這樣我們通常的 KPI 是什麼，然後如果我們要改善性能，那我們要怎麼去定義這些 KPI ，明確的讓商業實驗設計能不能幫忙完成 KPI ，達到預期的結果。
• Retail test 零售測試：當你在設計這個測試的時候，要去想說這項測試有沒有辦法代表整個市場，那在這個時候也要很注意推行時不能超過20%的整體市場，所以我們在做商業實驗上都會有肥澤波去慢慢擴展市場。

範例-平台遷移方法 (Example — Platform Migration Approach)

📍與大家分享去年我們在做平台遷移 (platform Migration) 的時候，我們的方法是什麼?

我們在做的平台是想把訂單與駕駛結合，然後我們就想把整個平台遷移到新平台上，我們利用一種有紀律和嚴格的的實驗方法來擴展 Matching 2.0 供應鏈，並利用結構化的測試和學習方法來實現平台遷移。

• Execution test： Matching 2.0 是否按預期/功能效率工作?
• Pilot：我們將重點轉移到追蹤關鍵系統措施和模型迭代上。
• Soft launch：對於第三次迭代，我們確保測試組能代表整體網絡，並包括所有系統措施。

實驗方法-迭代實驗 (Experimental approach-Iterative Experimention)

📍接下來想跟大家介紹反饋迴路 (Feedback Loop) 概念，這個概念在The Lean Startup中被Eric Erie提及，其中提到反饋迴路 (Feedback Loop) 的概念，如果你要去建立一個功能時，或是啟動功能的話，就會是一個構建 (build)、測量 (measure)、學習 (learn) 的概念。這個概念也被一個哈佛商學院的教授，叫做Stefan H. Thomke在他的著作Experimentation Works中被諸多公司運用。

首先第一步是建立假設，然後去執行實驗，透過每一次的實驗，有一個新的發現，再用新的發現去執行下一個循環，這其實是我們在每天當中也常常利用這個程序。

實驗方法 (Experimental approach)

步驟1.定義目標並提出假設

步驟2.確定反應目標的測試KPI步驟

步驟3.定義所需的敏感度

步驟4.定義觀察值或是目標族群，以及樣本大小

步驟5.選擇測試和對照，並使用目標族群。

步驟6.分析

步驟7.控制群組的樣本

什麼是好的商業實驗?(What Makes Good Business Experiments)

📍假設 (Hypothesis) 、認同 (Buy-in)、可行性 (Feasibility)、可靠性 (Reliability)、因果關係 (Causality) 、價值 (Value)、決策 (Decisions)，這是講者覺得最重要的七個步驟在任何商業實驗。

好書分享

📍最後，講者與大家分享自身很喜歡的書籍：

1.The Lean Startup ：這本書在矽谷是蠻受歡迎的一本書，他講很多新創公司透過反饋迴路及建構-測量-學習去測試假設因子，然後成功完成實驗。

2.Experimentation Works ：可以從這本書學到很多真正的 (support) 、假設 (Hypothesis) ，還有哪些問題是該問的，然後還有像你要怎麼去推動你的組織、團隊，以及實驗醫學 (experiment medicine) 的案例，很推薦大家去讀這本書。

3.Designing with Data ：這本書提到很多怎麼去做才會感到有興趣 (Interesting) ，然後怎麼去設計實驗，用數據 (Data) 去決定策略 (Decision) ，那我自己的話是很喜歡這三本書，然後也可以把它運用在工作上。

4.The Making of a Manager ：因為講者現在是一個部門的管理者，因此發現這本書在職涯發展上面怎麼去建立一個團隊，怎麼去成為時間管理者，所以這個就是我想要跟大家分享學到的內容。

Ｑ＆Ａ精選

Q1 : 請問講者在 Last Mile Delivery 常見的問題，比如說資料分析的問題，是你們常常分析或是解決的，像是預測是不是能準時到貨或是怎樣送會比較節省成本等，可不可以跟大家分享一下?

A1：

在 Last Mile Delivery 上，其實我們有很多問題要解決，因為像是 Gig Economy 的話，駕駛員他們自己具有自主性、自主權決定他要使用 Uber app 、 DoorDash app 、 Spar app，那所以他們是有自己的自主權，所以在預測運送供應鏈 (Driver Supply) 這一方面的話，其實是最困難的!

因為第一部分是需要找出需求，透過每一週、每一天，還有每一段的需求量，在運送供應鏈上，是需要預計這個時間點會有哪些駕駛、有多少駕駛在我們的平台上，這部分是最困難的部分之一。

另一個部分的話，是路線的部分，公司在做街道運送服務時，應該是需要越有效率越好，所以有很多變數是需要考慮進去的，像路線、地址的部分，還有一輛車需要載多少貨物量，不論是路線還是交通方面都是需要考量設想的，所以這是一個複雜的最佳化問題 (optimization problem) ，因此我們有專門的工程師、產品經理、數據科學家一起檢視這個問題。

Q2 : 如何去從0到1建立strategy~感謝!

A2：

以個人經驗來分享給大家，我覺得我們要建立一個策略或是建立一個目標，其實最主要的還是會回歸到視角與標準，將這些變成腳本的時候，就會是我們最終或是最後要達成的樣子及目的。像是我們要去推行計畫或是推行一個新的策略時，要知道我們的目的、目標是要做什麼，當我們把這個問題想得很清楚之後，若要去建立策略和過程都可以建立在一個目的上面，所以我都會把很多問題想成用一句話來總結我們想要做的事情，然後這個一句話有沒有辦法涵蓋到所有想要做的事情，也包含之後要去做很多的分析、優化流程，所以如果我要去建立這個策略，那我的回饋是什麼、價值又是什麼，或者是我要提高管理效率。

因此，在這裡我很推薦一本書叫做 Measure What Matters (中譯，OKR：做最重要的事)，這本書可以學習到如何定義目的、衡量目的，讓所屬的團隊或是所有的策略都要回歸到所建立的目的上面，那我會推薦大家去看這本書 Measure What Matters by John Doerr ，它其實講述很多公司都是怎樣去設立他們的目標，然後再設定他們的 KPI 。

Q3 : 回到講者提到的 Example1-Last Mile Delivery 簡報上，講者提到常用敘述的方式，自身比較好奇這樣的經驗若是看見什麼 pattern 會想到設計，或者是會有一些策略相關的行動?

A3：

其實我們很多時候都在設計這個策略，大多時候都是用敘述性分析，那我們就會去定義一個 pattern，如果我們看到假設因子都是特別的地方，我們就會哪一個供應鏈跑出來的值很低，那在這個時候我們特別注意到在哪一個時段這個問題是很常見的，那其實我們就可以用這些數據去定義這個策略，呈現這些數據去給我們的領導，也或者去給我們的夥伴 (functional partner)，然後轉化至Walmart 內部報告。

Q4 : 講者提到在 Walmart 做的實驗，然後我好奇假設他是無人商店的話，你們會不會針對同一店家進行同一個實驗?那要怎麼評估這樣的結果的?

A4：

像是 Walmart 在做很多實驗時，要怎麼樣去排除這些店家，其實基本上對於我們來說，我們沒有辦法做 A/B 測試，因為我們沒有找到完成像是地理、位置，或者是任何 pattern 是完全一模一樣的商店，所以其實像是很多線上體驗很不一樣，就像是輸入及輸出在 A/B 測試，所以在我們決定這些商店及實驗，其實我們會有一個團隊來去看說有哪些商店已經在測試和控制器，然後把這些排除掉，然後再去做其他的實驗，所以我覺得要怎麼去了解，這可能要獲得一個團隊的贊成 (aligned on) ，以及我們有哪些實驗可執行的，然後有哪些已經被否決，還有該怎麼管理實驗對整體發展是最有效的。

Q5 : 剛剛在測試設計那邊有提到評估可行性是一個很重要的部分，那如果不可行的話，通常會是用什麼其他方法解決這個商業問題嗎?會不會有一個參考推理的方法，或者是其他的方法?

A5：

很多實驗其實一開始都是可行的，但是最後你會發現去做了任何的實驗後會變得不可行，或者這個方法沒有辦法去持續進行，那我覺得其他方法就會是持續探索，但就是確保在每一個實驗，每一個實驗都是花費了很多人的心力、金錢在上面，所以要確保有好的問題才能夠去移動到下一個，也透過文件紀錄這些內容，以借前車之鑑的方式來應用。

Q6 :前面提到有一些實驗可能會執行一到兩個月，聚焦在實驗的需求、樣本大小的需求，如果需要預估執行比較久的實驗，是會在前幾週就有一個早期測試結果，然後有一些情況下會有一些較早行動，或者是通常大家是怎麼樣管理這個流程的?

A6：

我覺得我們在設計這個實驗，其實很多時候都會執行到實驗完成，除非是這個實驗對於商業有很大很重要的影響，這時候你就要去回顧標準，像是我們在做一個實驗，或多或少其實對我們有很大的影響，設立停損點的概念，就像是你在這個指標有沒有到達-5%或是-10%，其實你就要停止這個實驗了，因為它對整個公司或是整個產業已經有很大的影響了，因此設立停損點就是把這個實驗停止，然後再去找可能的可行的解決方法，這會是我的建議。

Q7 :最後一個問題是前面有提到說在實驗的時候，不僅僅要看輸出指標，然後也要看輸入指標 怎麼影響輸出指標，那也好奇有沒有一些檢測輸入指標影響輸出指標是相關性或是條件性的方法?

A7：

這是一個很有意思的問題，其實我們團隊會用回歸的方式來找是不是相關性，那如果是相關性比較高，然後它的值是可以接受的，那我們就會接受這個輸入指標。

Q8 :請問是否可以分享失敗的例子?以及團隊如何面對策略失敗的處理?

A8：

我可以分享失敗的例子，像是我們前陣子在執行一個檢測(detection)，那時候的目標就是想要查看能不能把激勵獎金視為一個策略，能夠有一個新的方式運用在整體設計實驗上面，失敗的原因是因為有太多的變數，然後我們太針對政策，所以考慮了很多很多的因素，執行上也太具有針對性，這個方式其實不是一個正確的方式，其實最主要應該就是有一兩個變數去執行，這樣子是最好看出做出這個策略才會去到達你要的結果，那團隊如何面對策略失敗的衝突力，我覺得很多時候就是面對它然後去處理它，那像是我們做的第一個實驗後就發現這個結果不是我們所樂見的，且問題已經太複雜到我們沒有辦法去面對或者去解說這個變數是成功或失敗，其實面對這樣的結果，就是要把它調整策略不應該這麼複雜，就是簡單化它的架構，其實可以去簡易很多東西。

Q9 :簡報中會一直聽到‘ rollback metric/criteria’，聽起來很重要；想請教下，建立rollback metric/criteria 對專案、產品的重要性是什麼?是為了風險管控嗎?還是更有效的執行些試驗項目 (pilot project)?

A9：

像是rollback criteria，就像是因為我們在做任何的實驗，其實都會對商業有很大的影響，還有就是我們有很多商業在進行，所以你其實沒有辦法讓整個公司或是團隊放下其它的案子，然後專注在一件事情上面，所以我們都會去設定限制標準，像是我們如果要做這個決定，對我們的KPI已經有0.5%或1%的影響，這時候我們都需要去認同有沒有辦法持續進行，那這項決定對我們的商業損失是多少，然後對品牌的損失是多少?還要有衡量目標之後才能繼續決定可不可以持續進行，所以設定‘ rollback metric/criteria’很重要的就是如何不去影響的商業運作。

Q10 :想請問在做這些策略的時候，都會有其它領域知識的專家來討論嗎?比如說 Walmart 的品項種類這麼多，在供應鏈這一塊會有分產品各個團隊來去蒐集數據嗎?

A10：

我們確實有很多領域知識的專家，像我自己的話，就是做營運領域相關的，所以我能夠提供的像是我們產品、策略、品項這一類，其實我對其它的也沒有很了解，所以我們在做任何東西都會有很多困難，所以像是我如果在這方面還不夠專業的話，就會藉由數據科學家來去衡量這一個實驗的可靠性跟可行性，那也會有分析師去協助問題的分析，那我自己或者是其它的團隊，就會提供不一樣的專業技能。

Q11 :針對剛問的問題，比如說要比較各店家表現，但可能其中牽涉到運輸部門不同的管理制度或是駕駛員個別表現，這些都比較難去測量。針對這些因素會如何處理?

A11：

其實很多時候都是需要跨部門合作和協助，像是 NBA 學到的技巧就會變成怎麼樣去溝通，或是怎麼樣去說服你的用戶，這部分已經不是數據或者是分析的問題，比較是說服力或是溝通的問題，所以到最後會變成是溝通能力在我們工作上是很重要的。

Q12 :如何去測量及量化那些要觀察的因素?或更有效排除不可控因素來使結果更有參考性?

A12：

這個問題我可能沒有很好的回覆，因為我也還在學習如何測量及量化，其實很多時候都是變成要經驗跟靠知識來決定哪些是我們要去測量跟量化的，很多時候我們也是會跟數據科學家跟分析師合作觀察它的關聯性，然後決定哪些因素是要去觀察?哪些因素是要去測量?其實我們都是在聚焦於專業知識、經驗上。

Q13 :想請問講者目前所任職的策略與營運單位，是否能分享主要工作內容?是負責什麼樣的策略規劃?此單位的工作表現會用哪幾種 KPI 衡量呢?謝謝。

A13：

假設我的團隊是Uber，那Uber的話應該大家都有用過或是了解他們的組織架構，那我們團隊其實就是一個Walmart 有 Uber 的組織，那接下來在 Uber 上面的話，可能就是會有營運策略，就會去定義今年要擴展哪些市場?或者是我今年想要在台北或是台中可能有其它的策略，例如得到更多的顧客、銷售額，或者是增加績效，所以這就是我們團隊正在做的事情，像是要怎麼去輸入這些效能，然後討論要如何制定這些特約?

然後去看用什麼方式可以去改善我們的效能，那我們每天的主要工作內容就像是分析與決策，所以很多的部分是在讓這些因素，也花很多時間在簡報上，那我現在是用一個管理者的角度，利用有限的資訊去做決定。

Q14 :想請教 Iwen 除了學習SQL/Tableau 之外，是否有學習 Python 或 R 這樣的工具呢?在工作中與數據科學家或數據團隊溝通實驗設計或驗證時，有需要相關的技能知識嗎?謝謝

A14：

我其實在 SQL/Tableau 是熟悉的，而 Python、R 是很入門級的，我之前是有學過一點點，但沒有學得很深，如果能夠把 Python、R 這兩個程式語言學起來的話，在資料分析上面是很有用的，我工作上與數據科學家或數據團隊溝通上，對我們來說是不需要了解 Python 或R 的工具，但很多時候都是需要了解統計相關的概念，很多時候我們在講數據建模、資料探勘時都是用很多統計的概念，所以我覺得統計、數學其時要很懂，才跟數據科學家溝通跟進行實驗的樣子。

Q15 :請問目前團隊的人員組成以及分工?

A15：

我們目前整個團隊大概有100人左右，那整個營運團隊的話，會有不一樣功用、不一樣的人，都會有自己的專業知識，我自己有一個團隊，然後下面有4個人，那有一個人主要是在做指標 ，每週每月監測或者是每月監測，另一個人做很多實驗相關工作，例如怎麼去設計、怎樣去協助整個團隊執行實驗，還有其他兩個團員，做的比較像是專案管理、儀表板 (dashboard) 視覺化的部分。

Q16 :想請問Iwen關於以下幾個問題:

(1)EDA的研究結果報告方式會是以甚麼樣的形式來呈現呢?

(2)在與不同成員合作時會在一起時定義研究結果的格式嗎?還是會有一定的制式?

(3)策略分析的利益相關者大概會涉及到哪一些?

A16：

(1)很多時候我們都是用Tableau在做故事板 (storyboard) ，例如怎麼樣去建立故事線，然後怎麼樣去做可視化，也會把做好的成果放入簡報內，因為最後還是要總結內容給你的領導、主管看，所以會用Tableau、簡報、Email這三種方式呈現。

(2)然後不同的成員，在剛開始的時候會定義格式嗎?會，我們其實剛開始都會去定義要做哪些測量，所以說在執行任何的專案，都會有這個專案交易員 (project trader) 或 專案計畫 (project plan) ，那就是很清楚明白寫出來我的項目是什麼，我的正常測量 (normal measurement) 是什麼，然後我的關鍵測量 (key measurement) 是什麼或者是我的關鍵里程碑 (key milestone) 是什麼，會有一定的格式來討論我們要達到的目標及結果，還有我們的截止時間是怎樣，所以都會有很資深的專案交易員 (project trader) 或項目計劃去做。

(3)在做任何的策略，最重要的還是要有主管的贊同、股東有沒有辦法被你說服，然後最主要的利益相關者，在做分析時會跟很多人數據科學家合作，如果你有跟專案、數據分析、市場行銷合作，其實你要牽涉的利益相關者會很多，那最重要的還是回歸到你們的最終討論上。

Q17 :好奇做實驗時有一些內部的實驗工具嗎?類似實驗平台或者是用第三方的類似平台嗎?如果有的話，那個平台還有怎麼樣的功能或服務?然後使用者會覺得目前這個平台提供哪些服務是充足的?哪些方面那個平台還沒有辦法分析，以滿足專案、結果的需求?

A17：

我們現在目前的話，還是用自己組別內的工具，所以像是 Python、Tableau ，還有一些文書工具，所以我們還是非常初階的狀態，沒有一個平台來執行實驗，那我知道 Uber、DoorDash 都已經有現成的實驗平台，但 Walmart 目前應該其它組別應該有實驗的平台跟工具。

筆記手：游翊婕
校稿：Andy Chang

👉 歡迎加入台灣資料科學社群，有豐富的新知分享以及最新活動資訊喔！