📰 来源：Towards Data Science　|　📅 翻译日期：2026年6月7日
🔗 原文：查看原文
🤖 翻译：DeepSeek AI · 仅供参考

背景：从“应该多实验”到“不能再这样实验”

每个想要打造用户喜爱的产品的公司，都会经历这样一个时刻：从“我们应该多做实验”变成“我们不能再这样实验了”。手动调整保留组、流量分配工单在PM和工程师之间来回流转、分析师日历排期数周之久。想做到数据驱动的愿望，反而超出了原本为此设计的工具的承载能力。

ManyChat的选择：我们选中了Eppo

去年，在ManyChat，我们就处于这种境地。我们选择了Eppo，但这个决定只是故事中最小的部分，也是你最无法移植到你公司的部分。我想分享的，是我在做决定过程中走过的路径、途中犯的错误，以及在签下合同之后令我惊讶的事情（没错，医生们因此讨厌我这个把戏）。

关于时机：行业地图正在变动

我们选择Eppo时，恰逢行业异常激动人心的时刻，供应商格局在我们评估期间发生着变化。Eppo本身在几个月前已被Datadog收购。Statsig不久前被OpenAI收购，随后又被转卖给Amplitude。我认为下面描述的任何内容并不依赖于这个特定的新闻周期，但我想承认，这些变化在一定程度上影响了我们做决定时的心情。

三部曲：决策前、决策中、决策后

我将后续内容分为三个部分：决策前、决策中（做决定） 和决策后。

决策前：工程师的苦恼

让我带你进入一切发生之前的心情。我入职时，一位工程师告诉我，如果同时有两个实验机会，他的团队会直接把第二个想法推迟到下一个冲刺，因为配置两个分配方案的技术难题实在令人头疼。出错的最终风险超过了测试的兴奋感。 这简直就是：最好情况是阻碍速度，最坏情况是没有实验。而对那唯一一个会被配置的实验，复制粘贴样板分配逻辑是他们的日常。

决策前：分析师的自嘲

另一位分析师描述自己是“人类微服务”——她指的是保留组由手动定义、手动刷新、传给工程师，如此循环……这的确是一个以第一人称视角体验整个流程的激动人心的机会。但抛开讽刺不谈，那一刻，引入平台的需求不再抽象。

决策前：过去的经验

我此前见过类似的情况。几年前在Marktplaats，我编写了内部Python库来吸收这种痛苦，我们看到在尾部案例中，从数据到洞察的时间从几天缩短到了几小时。后来在Adevinta，我再次目睹了同样的“自建还是购买”的争论在全球更大规模展开，最终选择了自建而非购买。幸运的是，到2025年底，对于我们的规模和当时的情况，平台产品已经足够成熟，购买成为显而易见的选择。

决策前：两个问题

我们想要一个能够最好地帮助实验计划达到目标的工具：首先是前沿统计方法，但更重要的是，一个能默认引导用户（包括产品经理）走向决定性实验的工具。两个问题横亘在我们面前。第一个很简单：我们给痛点命了名，但到目前为止只是传闻。领导层对问题有（很好的）概念，我也在初见时听到开发者和产品经理抱怨当前的技术栈。但所有这些都不像供应商需求清单那样客观。直到我们能将两者并排比较，否则我们无法区分哪些功能是锦上添花，哪些是关键所在。

第二个问题更难。这个决定分量很重，因为无论如何，任何平台都存在一定程度的锁定效应，文化上，即使不是技术上。而且资源有限：我们不可能为市场上的每个平台做POC，更不用说推翻决定重新开始的机会成本了。一次性押注一个平台，没有调整的机会，这无异于自找错误。而由于各家产品在大多数方面如此相似，找到最适合我们的平台需要精准性。我们需要一种方法，将一个高风险的决策分解成一系列相互依存、风险更小的子决策。

决策前：访谈与去风险

我从访谈开始。PM、产品分析师、工程师、市场营销人员。目的是将轶事转化为可与供应商功能列表对照的东西。工程师的日历故事、分析师的“人类微服务”、那位放弃原子实验而将修改打包成更大发布的PM（有些修改干脆被推迟）：这些都成为工具的工作描述。我无法夸大这对后来的帮助有多大。 每次流程偏离方向时，访谈就是我们回来锚定的点。它们也让整个努力在组织内部变得可信：当我能引用具体的摩擦点给我CPO时，解释我们为什么要启动POC就变成了不同的对话。

对于一次性决断的问题，我们将发现过程分为三层，每层聚焦评估的更深层次：

1. 桌面研究。阅读供应商文档，列出长名单。大多数平台在此阶段自我淘汰，我们甚至还未打开销售漏斗。这一步也大量使用了Claude Code。
2. 演示。与每个入围供应商进行聚焦对话。当然有一些销售宣传，但主要是我们探究那些我们已确定为最重要的领域。
3. POC。亲手操作平台，使用真实数据和真实评估者，仅针对两家入围者。

每一层都缩小了范围，并以我们负担得起的“价格”获取信息。等我们到达POC阶段时，只剩下两家，面前的决定已经缩小到我们实际上能够把握的程度：Statsig，还是Eppo？

决策前：访谈定痛点

在任何未来的平台决策中，第一天我就会重复这一点：访谈定义了那些痛点。它们是