“實驗不再只是研究領域的玄奧工具，而是企業決策的有效手段。”
好文4600字 | 8分鐘閱讀
作者：邁克爾·盧卡（Micheal Luca），馬克斯·巴澤曼（Max H. Bazerman）
假設你供職於谷歌（Google）的廣告團隊，現在需要就廣告該使用藍色背景還是黃色背景的問題做出決定。
你覺得黃色會吸引更多的點選，你的同事們則認為藍色的效果會更好。那麼，你該如何決策？
在早期的谷歌，像這樣意見相左的兩派肯定會爭論不休，直至一方讓步，或者雙方都同意將決定權交給老闆。
不過最終，谷歌上上下下的領導者漸漸明白過來，很多類似這樣的爭論和決策都毫無必要。
“我們並不想看到高管們爭論藍色還是黃色背景能帶來更多廣告點選。”谷歌的首席經濟學家哈爾·瓦里安（Hal Varian）告訴我們說，“為什麼要爭論這樣的問題？我們做一個簡單的實驗，結果不就出來了嗎？”
瓦里安和團隊合作，開發出了谷歌的系統化實驗方案。如今，谷歌開展的實驗數量達到了驚人的規模——每年超過1萬例。這些實驗結果為廣告銷售、搜尋引擎引數設定等各種情境下的管理決策提供了決策依據。
實驗思維已經滲透到了科技行業的大部分領域。眼下，大多數主流科技公司，譬如亞馬遜（Amazon）、臉書（Facebook）、優步（Uber）和Yelp，在沒有透過實驗驗證的情況下，都不會對自家平臺輕易做出重大改變，因為它們不清楚這樣的改變會對使用者行為構成怎樣的影響。
一些傳統企業，例如金寶湯公司（Campbell Soup），數十年來也一直在謹慎地開展實驗。
隨著數字化轉型的啟動，更多公司加大了對實驗的投入力度。隨機對照實驗不再只是學術研究領域裡的玄奧工具，而是成為企業的主流。
實驗結論以證據為基礎，對直覺和猜測起到了補充作用。我們曾親眼見證了實驗給組織帶來的巨大回報。例如，eBay就透過實驗警覺地發現，自己每年在廣告上浪費了數百萬美元。
隨著實驗在企業內的應用越來越普遍，管理者更需要制定框架來有效地開展實驗。在本文中，我們將會圍繞著四則經驗展開探討。
01 將實驗系統化地納入公司決策過程
對於管理者而言，參與實驗的設計和詮釋是非常重要的，這樣做不但可以保證實驗能夠得益於管理者的見解和經驗，同時也有助於管理者培養“測試”敏感度，他們會變得更傾向於在日常決策過程中，檢驗自己的假設和尋找證據。
除此之外，公司還應當設立基礎機制，使得實驗之風能夠盛行於整個組織。這樣一來，實驗就不會在各自封閉的狀態下進行。
例如，在數字旅遊平臺繽客網（Booking.com），所有業務領域都開展了實驗，既包括面向顧客的平臺實驗，也包括面向合作伙伴的實驗。
公司大約有1500名員工會參與到實驗中來。繽客網的產品經理可以輕鬆地開展實驗來測試產品的新功能，然後再全面向顧客推出。事實上，繽客網約80%的產品開發團隊都在積極地開展各種實驗。
繽客網還實施了各種各樣的管理變革，譬如讓公司內部的資料科學家舉辦培訓課程，併為單個實驗提供定製性的分析支援。
一旦實驗得以開展，相應結果就會被記錄到一個集中式儲存庫中，全公司的員工都可以詳細審閱這些內容，以及先前實驗所得到的結果。每個人都能看到實驗測試了哪些功能，無論這些功能最終是否得以實現。
繽客網的這些做法，使得它可以為團隊決策提供實驗證據，且團隊能夠掌控如何從實驗結果過渡到決策階段。
02 從探求新手段是否有效，
昇華至探求它們為什麼有效
中國的電子商務巨頭阿里巴巴允許零售合作伙伴在其平臺上自行定價，但對於使用者最終支付的價格，它依然保留了一定的控制權——這種控制，部分是透過決定賣家能否給顧客提供折扣來實現的。
為了充分利用這種控制機制，阿里巴巴決定透過實驗來確認從使用者參與和留存的角度來看，在何種情形下，折扣會給平臺帶來最大價值。
舉例來說，為了提升銷量，阿里巴巴允許賣家向那些將特定“促銷商品”放在購物車中超過24小時的顧客提供較大折扣。但這些優惠券的存在，實際上真的改變了顧客的購物行為嗎？
2016年年初，一個管理研究小組聯合阿里巴巴，在該公司的兩個平臺上開展了一項隨機現場實驗，以衡量購物車促銷方案究竟會產生怎樣的效果。
研究人員隨機挑選了100萬名阿里巴巴平臺上的顧客，他們從2016年3月12日到2016年4月11日，至少被平臺上的一項促銷活動觸達過。
研究人員將這些顧客分別列入對照組和實驗組。實驗組的顧客會收到特定促銷商品的優惠券，通常這些商品在顧客的購物車中保留了一天以上。與此同時，對照組的顧客將不會得到任何優惠券。
阿里巴巴和研究小組非常關注兩類問題的答案：1. 當拿到優惠券時，顧客買下購物車中商品的可能性是否會更高？2. 就總體而言，相比那些沒有得到優惠券的顧客，拿到優惠券的顧客是否會從阿里巴巴的平臺上購買更多的商品？
實驗結果表明，購物車方案有些雞肋：對某些賣家來說，它是好事，但對另外一些賣家而言，它是壞事。結果還顯示該方案整體而言似乎並沒有增加阿里巴巴平臺上的購買量。基於這一實驗結果，公司決定不再推廣購物車優惠券方案。
不過，我們需要注意的是此案例中提出的問題。阿里巴巴實驗主要想解開的疑惑是“購物車方案會帶來什麼影響”，而不是“這一方案應當如何設計”。
這是一個重要的區別，因為優惠券之所以作用不大，可能只是因為設計不合理，而不是因為這類折扣天生存在缺陷。
儘管這項實驗證明了當前的購物車方案促銷效果不是特別好，但我們還是想知道是否有效果更好的替代方案。
具體來說，阿里巴巴可以考慮對購物車方案的若干要點進行測試。
首先，促銷活動通常因為較低的曝光度而夭折——三分之一的使用者在優惠券到期之前，都沒有再次看過自己的購物車，因此他們根本不知道有折扣。
其次，方案允許賣家選擇優惠券折扣的幅度，這就阻礙了實驗者探究優惠券價值對於購買行為的影響。
再者，優惠券方案對於使用者滿意度以及阿里巴巴平臺長期參與度的影響依舊不明朗，還需要進一步探索。
在組織中要成功地開展實驗，不僅要解答疑問，更重要的是提出正確的問題，而且提出的正確問題要足夠多。
管理者不僅應該把注意力放在測試現有方案上，還要著重於建立合理的框架，助力未來的潛在方案決策。
03 針對長期綜合效果進行測試
管理者通常比較關注實驗中過於狹隘或短期的效果，因為這些效果是他們最希望得到的，而且易於衡量。
但管理者也應當從長遠考慮，去衡量幾個月乃至更長時間內的效果。這就意味著他們必須明確哪些是對業務最重要的長期效果，然後將其納入實驗設計和解讀。
賓夕法尼亞大學行為改變計劃（Behavior Change for Good, BCFG）主任米爾克曼和達克沃思，希望與24 Hour Fitness健身連鎖公司合作，共同尋找能夠敦促人們鍛鍊的干預措施。
行為改變團隊的科研人員利用StepUp這一干預鍛鍊行為的網路平臺，測試和跟蹤特定的干預措施，往註冊流程裡補充內容和問題，定製參與者接收的電子郵件和文字資訊。
實驗的初步結果顯示，很多幹預措施，譬如簽署承諾和制訂鍛鍊計劃，都可以產生一些短期效果，不過等拉長到幾個月的跨度再看，有些干預措施的效果就不盡如人意了。
對於實驗主義者來說，這既是十分重要的經驗總結，也是一個老大難問題。如果行為改變計劃只跟蹤短期效果，那麼結果看起來或許完全不同。
像24 Hour Fitness這樣的公司的領導者，需要同時思考管理決策的短期和長期效果。獲得短期成效一般更容易些，也更快些，但它們通常無法持久。更糟糕的是，它們還會削弱長期效果。
2018年，優步公司（Uber）在決定是否要推出名為Express Pool的拼車服務時，也遭遇了評估方面的難題。
在使用Express Pool時，叫車人需要多等一會並且多走幾步，才能到達約定目的地。在等待過程中，候選的搭車人將由演算法進行匹配。從結果來看，拼車服務可能更耗時，但為乘客省了錢。
優步拼車定價和市場實驗資料科學團隊的經理兼經濟學家鄧肯·吉爾克里斯特（Duncan Gilchrist）博士，很快點出了該課題的難點。
舉例來說，假如優步在沒有做前期測試的情況下，就貿然推出了該服務，即便它廣受歡迎，我們也很難預料它是否會和優步的其他服務同室操戈。
現在我們假設，優步向波士頓的半數乘客開放了Express Pool服務，那麼另一半乘客就成了本實驗中“可憐”的對照組，因為他們的乘車體驗（包括等待時間）受到了其他乘客（包括實驗組乘客）需求的影響。這類溢位效應在實驗中很常見。
為了避免溢位效應，同時瞭解Express Pool會對公司整個產品線帶來何種影響，優步選擇了一組大型市場，並從中隨機挑選了6座城市推出該項服務。
藉助實驗工具，包括一種可以採用其他城市的加權組合形成“綜合”對照組的辦法，吉爾克里斯特和他的團隊梳理出了新服務的上線會從哪些方面對公司構成影響。
不出所料，Express Pool服務產生了新型的旅程匹配。不過，上述實驗也解釋了此項服務對於優步其他服務的影響，而且明確了該服務的推出有充分的商業依據。
最終，優步信心滿滿地將Express Pool服務推向了各大市場。如果沒有廣泛的實驗作支撐，這種自信以及激發信心的新發現，都將是無源之水、無本之末。
04 提高透明度
各公司每年會開展數以萬計的實驗，並將實驗結果與具體的使用者行為掛鉤，同時利用它們來塑造顧客同自家產品和服務的互動方式。
然而，公眾對於這些實驗所知甚少，部分原因在於公司擔心顧客會覺得自己受到了操縱而忿忿不平。
我們以Facebook多年前開展的一項大規模實驗為例，當時這家公司希望檢驗帖子的情緒基調是否會影響使用者情緒，這種影響又有多大。
為此，Facebook操控了一組隨機選擇使用者所收到的推送。相比其他使用者，平臺呈現給這些使用者的帖子都更消極。
隨後，研究人員在一篇論文中公佈了實驗結果，並總結道：“Facebook上他人的情緒表達會影響我們自己的情緒，這為社交網路上的大規模情緒蔓延提供了實驗證據。”
雖然上述實驗揭示的情緒改變效應並不明顯，但引發的最終結果令人瞠目。
Facebook遭遇了使用者強烈的抵制，他們先前可能一直沒有意識到，一旦登入這個平臺，自己就預設成為實驗物件，有一種被暗中監視的感覺。此外，這項實驗也引發了來自媒體的廣泛關注，而且這些關注多半是負面的。
或許這是意料之中的事情，Facebook並沒有對抵制情緒做出反應，譬如試圖讓平臺變成更快樂或更中立的網路空間，這表明製造積極的情緒影響並非這家公司的主要目標。
然而，針對實驗本身的擔憂，Facebook還是透過其他途徑做出了回應。風波結束以後，Facebook很快就叫停了一些對外研究，對於公司內部開展的實驗也開始甚少透露。
不過值得讚揚的是，Facebook在公司內部成立了一個由5名員工組成的研究倫理委員會，由委員會負責審查選定的實驗。
事實上，Facebook和其他公司會得益於實驗透明度的改善。公司應當建立一個透明流程來澄清它們採用的實驗方案，而不是遮掩實驗過程（或者將相關解釋埋藏在根本沒人會認真閱讀的使用者協議中）。
實驗不僅對公司有價值，對顧客也同樣有價值。想必顧客也不希望體驗公司拍腦袋決策而提供的低質服務，而服務質量本可以透過資料就輕鬆得到改善。
這意味著，顧客其實樂於接受實驗，只要他們的隱私和其他利益能得到尊重，而公司則應當停止對實驗流程遮遮掩掩的保密做法。
我們正處在實驗革命的初期。很多公司都在開展各種實驗，有些實驗的規模相當大。但對於如何有效實驗，這些公司尚處於學習階段。
系統地看待實驗和決策過程，仔細斟酌測試方案和希望取得的結果，多多思考結果帶來的長期影響，對利益相關者保持透明……只有做到這些，實驗才能為公司、為顧客創造價值。
作者簡介：邁克爾·盧卡，哈佛商學院（Harvard Business School）Lee J. Styslinger III工商管理教席副教授。
馬克斯·巴澤曼，哈佛商學院Jesse Isidor Straus工商管理教席教授。
二人合著了The Power of Experiments: Decision-Making in a Data-Driven World一書（MIT出版社，2020年），本文內容節選自該書。
本內容有刪節
原文《難以決策？做個實驗吧》
刊登在《商業評論》2021年11/12月號
- End -
海量實操案例，全球管理精華
0~100歲企業都在看
掃碼訂閱，享特別價
