曾經風靡創新界的口號「快速行動、打破常規」（move fast and break things）在過去10年逐漸退流行。科技公司如今更偏好使用「持續實驗」（continuous experimentation）。不論如何形容，核心目標都是一致的：達到快速、以數據為導向的更新。從測試按鈕的顏色到演算法的表現，企業進行的實驗愈多，就愈有機會創造成長、提升效率。
並非所有成功的實驗都一樣有價值。有些實驗雖然在短期內看似帶來正面變化（例如提高利潤、增加顧客留存等），其實對公司的運作流程帶入了新的複雜性，讓改變變得困難，也使得未來的實驗更難執行，減緩了創新。
「根本性的問題是：當我們說某項實驗『成功』時，到底是什麼意思？」凱洛管理學院（Kellogg School of Management）營運學助理教授塞巴斯蒂安．馬丁（Sébastien Martin）說：「現在它對企業和客戶都很棒，但從長遠來看，它是否會影響創新的能力？」
為了探究實驗導向企業的隱藏成本，馬丁與凱洛格學院的黃煜迪（Yudi Huang）以及共乘服務公司 Lyft 前首席科學家秦志偉（Zhiwei Qin）建立了一個數學模型，用以捕捉公司內部變動所產生的複雜性。他們發現，複雜性所造成的摩擦會隨時間累積，如同債務利息一般。換句話說， 每一次成功的改變都會讓下一次改變更加困難 ，需要更複雜、耗時的實驗，且這種拖沓常常隱而未顯。
然而，研究也發現，一旦公司的複雜性超過某個門檻，就變得沒理由抗拒這種情況。因此，即使實驗變得更慢、更少，企業反而應該接受這類「複雜性債務」（complexity debt），即使這會讓實驗報酬遞減。「在這種情況下，唯一的解決方案往往是從零開始重建，而不是試圖阻止複雜性產生，」黃煜迪說。
「這個模型揭示了極其違反直覺的事，」馬丁坦言。「它揭示了一個幾乎沒有人討論的影響。」對於大量投入資源實驗的科技公司來說，理解這種被忽略的影響尤其重要。「科技公司有大量團隊專門負責實驗；實驗成功是升遷的關鍵，」馬丁表示。「但要說某件事『長期有效』，其實出乎意料的困難。」
實驗成功的隱藏成本：難以實施下一次改變
馬丁對這種困難有親身經歷。2020年他在Lyft擔任研究員時，曾協助測試一種新的強化學習演算法，用於配對司機與乘客。「實驗成本很高，但絕對值得，」他回憶道，「它提升了司機的收入，也讓顧客更滿意，我們的實驗儀表板幾乎所有指標都是綠燈。」2021年Lyft在全球部署了這項新演算法。一切似乎完美，真的嗎？
「我後來發現，當你做出這樣的複雜改變後，會讓其他團隊更難創新，這也會讓實驗本身變得更加困難且代價更高。」馬丁說。
舉例來說，當你使用一個會自我調整的高階機器學習演算法，下一個實驗構想不僅難以發想，也更難落實。「我必須預測這個超聰明的演算法會如何回應我的點子，」馬丁解釋，「這讓我很難靠直覺判斷我的點子是否可行。」
此外，這類影響整體系統的複雜實驗，遠比A/B測試按鈕顏色還要麻煩。就像把一塊巨石丟進急流一樣，Lyft的新演算法可能會以不可預測的方式改變整個系統的運作流程。因此，唯一能測試的方法就是讓所有人同時體驗演算法，觀察結果，再切換回原設定進行比較。這種「切換實驗」（switchback experiments）需要重複進行很多次，並花費更長時間，才能產出可靠結果。
馬丁意識到，實驗帶來的複雜性債務可能悄悄拖慢未來的創新能力，但「在當下，幾乎無法衡量。我開始懷疑自己的決策，於是展開了一場有趣的數學探索。」
建立衡量「複雜性」的模型，計算執行實驗的得失
如同技術債務，「複雜性」在公司中難以衡量，因為它本身難以定義。
「它可能包括官僚流程、軟體架構、組織層級等等，」馬丁說。「但在我們的模型中，複雜性只有一個意涵：當你的複雜性愈高，公司每天成功執行一次實驗的機率就愈低。」
基於這樣的定義，馬丁與共同作者建立了一個模型，用來模擬公司在持續實驗下的演變。他們用2個主要變數來評估實驗設計出的理想化公司：第一是效用率（utility rate），代表公司透過實驗欲最大化的目標，例如如利潤或使用者參與度等；第二則是複雜性，它會拉低實驗效率。
這樣的權衡其實很直觀。隨著時間推移，成功的實驗會提升公司的效用率，就像Lyft的新演算法提升了收入、互動與效率；但同時，每一次實驗產生的變動都可能增加或維持系統的複雜性。
分析模型行為後，研究人員發現，複雜性問題確實存在，並會以3種「陷阱」模式呈現。
第一種陷阱是複雜性債務的負面影響無止境累積，沒有上限。「如果你總是依據實驗結果持續推動改變，那麼它的後果將無法控制，」馬丁說。
第二種陷阱出現在公司達到某一複雜性門檻後，即使試圖不再增加複雜性，也無濟於事：在模型中，當公司已高度複雜，最理性的選擇反而是繼續進行實驗，累積更多債務。
為什麼？因為管理複雜性在短期內成本高昂，卻要到長期才能看見效益。「上市公司的投資人通常只在意未來最多5～10年的表現，」馬丁解釋，「而對一間規模已大的公司來說，機會少之又少，你會有更強烈的動機去追求任何可得的短期改善，不顧長期代價。」
但對於低複雜性的公司（例如新創公司）來說，則更應該警惕。他們比成熟公司更在意短期收入與成長，尤其容易掉入第三種陷阱：為了加速實驗，快速推動導致複雜性的「貪婪型實驗」。這也是許多科技新創的困境：他們必須在下一輪募資前展現高速成長，因此傾向選擇短期有效、但會迅速推升複雜性的實驗。而當他們真的開始擴張時，已高築複雜性債務。
「新創和上市公司是完全不同的世界，」馬丁說。「看似可以幫助公司成長的每一項改變都必須立刻實施，否則公司就會死。」
為了去除實驗帶來的複雜性，也該把「退化實驗」納入考量
那麼，複雜性及其對實驗與創新的負面影響，是否無可避免？也許如此。但馬丁提醒我們，不要過度解讀這個模型。「我們這篇論文的目的是揭示一種實驗中的影響效果，讓人們認真思考這件事，」他說。「解決問題的第一步，就是要先知道問題存在。」
馬丁補充說，與許多公司所持的態度相反，持續實驗並不是一張持續進步的免費門票。「根據我在科技圈的經驗，我覺得這個觀點會引起很大爭議，」他表示。
舉例來說，例如所謂的「退化實驗」（degradation experiments）就像反向的切換測試：暫時撤銷一項看似正面的改變，觀察是否會有不良影響。若無負面影響，也許就可以移除這項變動與其所造成的複雜性，因為「系統已經演化，不再需要改變，」馬丁說。而在製藥等其他重視實驗的產業中，研究長期效果（而非僅看短期結果）是常態。
「科技產業需要更多這樣的思維，」馬丁表示。「這能讓大家意識到：變革可能只是暫時性的，因為它們是有代價的，撤回或重新評估，也完全合理。」
（本文初稿由AI翻譯，審定｜張玉琦）
「根本性的問題是：當我們說某項實驗『成功』時，到底是什麼意思？現在它對組織和客戶都很棒，但從長遠來看，它是否會影響企業創新的能力？」凱洛格管理學院（Kellogg School of Management）營運學助理教授 塞巴斯蒂安．馬丁（Sébastien Martin）
原文標題「The Hidden Cost of Successful Experiments」，先前曾刊登於凱洛格觀點，獲得凱洛格商學院授權刊登，原文連結：https://insight.kellogg.northwestern.edu/article/the-hidden-cost-of-successful-experiments#
專題教授
塞巴斯蒂安．馬丁（Sébastien Martin）凱洛管理學院營運學助理教授。
作者簡介
約翰．帕弗斯（John Pavlus）是一位專注於科學、科技與設計主題的作家與導演，現居奧勒岡州波特蘭。
研究出處
黃煜迪、塞巴斯蒂安．馬丁、秦志偉（Tony Qin），2025年，《實驗中的複雜性陷阱》（The Trap of Complexity in Experimentation），工作論文（working paper）
