菜单

多变量与A / B测试:增量与激进的变化

通过 奥罗拉哈利2018年4月8日

摘要:Radical remanbetx官方网站手机版最好使用A / B实验测试,而多变量测试表明各种UI元素如何相互作用并支持对manbetx官方网站手机版的逐步改进。


在manbetx官方网站手机版 - 优化方法的世界中,A / B测试得到了所有人的关注多变量测试是其不太了解的替代方案,通常被认为太耗时而不值得等待虽然这种方法有其局限性,但它们受益于其优点,单靠A / B测试无法轻易实现。

多变量测试(MVT)

让我们假设您想优化实时产品详情页面的manbetx官方网站手机版,以便最大化转换用于将项目添加到用户的购物车您正在考虑几种可能的变化:

  • 使用产品的视频而不是图像
  • 更改主要号召性用语按钮的标签立即购买添加到购物车

一个多变量测试可以帮助您决定哪些组合这些manbetx官方网站手机版选择会优化转化次数。

我们首先澄清一些术语:

  • 变量:具有多个可能的manbetx官方网站手机版版本的UI元素(例如图像或标题)

    在我们的电子商务示例中,变量是产品的可视化表示和号召性用语按钮的标签。

  • 变体:每个manbetx官方网站手机版的一个变量

    The product image and the product video represent the two variants for the visual-representation variable; the添加到购物车立即购买标签是号召性用语的变体。

  • 变异:由此产生的manbetx官方网站手机版包含每个变量的变体,与其他变体进行比较

    在我们的例子中,会有4个变量,对应变量变体的所有可能组合:图像×添加到购物车,图像×立即购买,视频×添加到购物车,视频×立即购买

定义:多变量测试(MVT)是一种manbetx官方网站手机版 - 优化方法,其中指定变量的多个变体在用户界面中进行测试,目标是最大化转换(主要转换,如完成订单,或微转换喜欢与页面上的功能进行交互)该方法确定哪种变体组合产生最高性能的manbetx官方网站手机版(就指定的转换目标而言)。

图中显示了2个变量的UI,用于识别2个变量。
在多变量测试中,测试2个或更多个manbetx官方网站手机版元素(变量)这些变量中的每一个都可以有多个变体例如,在上面的页面中,我们可以测试2个变量:产品的可视化表示(具有2个变体:图像或视频)和主要号召性用语的标签(有2个变体:立即购买 要么添加到购物车 )。

多变量测试和A / B测试之间的差异

多变量测试通常被视为一种类型A / B测试虽然它的设置和优势有所不同以下是它们之间的相同点和不同点:

  • 这两种方法都是通过划分不同变量的实时站点(或应用程序)流量来测试彼此之间的差异。
  • 两者都衡量哪个替代(即变化)导致特定目标的最高转换率。
  • 在A / B测试中,被测试的变体可能彼此完全不同,而不是操纵一小组变量的结果例如,你可以有两个页面,完全不同的布局,不同的副本,不同的导航,不同的视觉manbetx官方网站手机版,等等The result of the A/B test will indicate that one variation performs better than the other, but you will not know whether it’s because your copy is better, your visual manbetx官方网站手机版 is better, or your layout is better (or the combination).

相反,如果您使用MVT,您通常可以将信用分配给一个特定变体或变体组合Thus, you may, for example, find out that a product video makes a much bigger difference in your conversions than changing the button label, which can give you further strategy and manbetx官方网站手机版 insights (for instance, it may tell you that it’s worthwhile to invest in producing good product videos).

MVT测量元素之间的相互作用

让我们回到我们最初的电子商务示例You may wonder whether two sequential A/B tests would produce the same result as an MVT.  Specifically, let’s pretend that you’d first run an A/B test to compare the video vs图像 - 假设视频获胜接下来,在获胜变体(即视频)上,您将在两个可能的按钮标签之间进行另一次A / B测试,并且立即购买标签证明更好Wouldn’t this result be equivalent with the MVT test?

答案是:不一定可能是最佳组合是图像×的情况立即购买,但你不会测试那个版本。

运行多变量测试而不是A / B测试的主要优点是能够确定页面上各种元素的交互方式互相帮助只有通过测试各种变体的每种组合,你不仅可以发现视觉A的表现优于视觉B,而且按钮C的表现优于按钮D,但你也可以发现最佳组合这些整体。

MVT的局限性

每种变体组合产生的变化都像兔子一样繁殖即便是我们相当简单的电子商务示例也要比较4个manbetx官方网站手机版的变体,对应2个变量之间所有可能的组合为号召性用语变量添加1个变体(例如,采购)将创建另外2个变体 - 通过将此变体与视觉表示变量的其他2个变体组合而生成(一般来说,变量的数量将通过乘以每个变量的变量数来获得;因此,如果您有2个变量,一个变量为2,另一个变量为3个变量,则会得到2×3 = 6个变量。)

该图显示了变体的4种组合
具有每2个变体的两个变量导致多变量实验中的4个变量,以表示这些变体的所有可能组合。

需要在多变量测试中测试的大量变体导致这种方法的最大限制:很多运行多变量测试通常需要更多流量与A / B测试相比,为了达到统计学意义这是因为添加到比较中的每个变体都会导致实时流量被分成更小的部分,因此也可能需要很长时间才能为每个manbetx收集足够的数据点官方网站手机版替代方案(However, keep in mind that the time needed to run the test is dependent not only on the overall traffic, but also on the expected change in conversion rate for the experiment goal, because bigger improvements are easier to measure than tiny differences.) In general, splitting the live traffic among more variations leads to longer-running experiments.

MVT的另一个限制是变体的所有组合必须有意义一起例如,在页面上测试图像和标题的变体时,不要写出引用图像变体细节的标题(例如“Great Spa Vacations”vs“Great Beach Vacations”和相应的照片),因为每个标题都会伴随着每个图像的变化进行测试这种类型的实验最好设置为A / B测试,因此可以更好地控制组合。

使用MVT优化设计,而不是彻底改变它

多变量测试是一种很好的方法对manbetx官方网站手机版进行逐步改进而不是戏剧性的remanbetx官方网站手机版因为它要求您在页面上标识某些感兴趣的元素以测试该变量的多个变体,所以您无法轻松地比较各种变体的根本变化。

Diagram showing A/B test for radical page remanbetx官方网站手机版s compared to MVT for incremental improvements.
对于主要的remanbetx官方网站手机版,在原版和新版本之间进行A / B测试,找出哪个更好然后,使用多变量测试细化获胜的manbetx官方网站手机版的各种元素永远不断迭代!

If your goal is to move towards a substantial remanbetx官方网站手机版 (such as major layout remanbetx官方网站手机版), an A/B test to compare this new manbetx官方网站手机版 against the current one is more appropriate than an MVT.一旦发现性能较高的manbetx官方网站手机版,使用多变量测试进一步细化特定元素在获胜的布局中。