菜单 关闭

A / B测试,可用性工程,激进的创新:支付最好的什么?吗?

通过 Jakob Nielsen3月26日,2012年

总结:3更好的设计方法:每一种都有其用途,manbetx官方网站手机版但代价是,好处,风险明显不同。.


让我们比较3种不同的方法来达到更好的设计:manbetx官方网站手机版

A/B测试 可用性 激进的创新
成本 中低 高(除非幸运)
好处 1—10% 10 - 100% 100 - 1,000%
风险 没有
谁能做?吗? 每个人都 每个人都 天才
多长时间?吗? 周刊 月刊 每十年
国内生产总值的影响 媒介 媒介

定义:

  • A/B测试实时路况分裂成两个(或更多)部分:大多数用户看到标准设计(“manbetx官方网站手机版一个“),但是一小部分认为另一种设计(“manbetx官方网站手机版B“)在收集统计上显著的数字,设计最好manbetx官方网站手机版的KPI(关键性能指标,如转换反弹率)成为了新标准。(通过称为多变量测试的相关方法,一次可以测试超过2个manbetx官方网站手机版设计变量:为了这篇文章,我将把这些分析方法放在一起并讨论AB,不管被测变量的数量。)的一种形式网站分析-或内部网分析-A/B测试具有测试到您的网站(或内部网)的实况流量的巨大优势。.
  • 可用性指的是以用户为中心的全方位设计manbetx官方网站手机版(UCD)活动:用户测试,,实地研究,,并行计算和迭代设计manbetx官方网站手机版,,低保真原型,,竞争力研究,和许多其他研究方法.这些类型的研究通常需要你招募测试参与者谁应该代表你的目标受众。.
  • 激进的设计创新manbetx官方网站手机版创建一个全新的设计,偏离了过去设计而不是爬山的新兴manbetx官方网站手机版方法用于更多的标准重新设计项目。创新的例子有:根本突破(蒸汽机),新产品类别(机车),和主要从事现有的类别(iPhone)。.

成本

增量,A/B测试非常便宜。你需要支付一个设计师来创建”manbetx官方网站手机版B“manbetx官方网站手机版设计,但是大部分的成本在于软件运行和分析测试,这是一次性费用。因此,如果你要这样做,你应该运行大量的A / B测试。.

使用可用性方法,成本范围从200美元用于快速活动38美元,000年有一个网站进行了分析由一位独立专家。然而,甚至高可用性成本与任何企业级项目的全部成本相比也相形见绌。的预算管理一个大公司的网站是什么?轻松地一百万年包括人员成本和开销。.

相比之下,突破性创新迅速跑进几十或几百个数百万美元的研究实验室和实验,甚至绝大多数发明,哪儿也去不成。当然,炫目的洞察力偶尔创建一个美妙的发明而不需要复杂的研究。硫化橡胶和青霉素的发明是导致彻底创新的幸运的典型例子。仍然,运气偏爱有准备的头脑,亚历山大·弗莱明爵士在偶然发现盘尼西林时,已经花了相当多的时间进行无细菌的实验。.

效益:从1%到1,提高000%

很容易有一个数量级差异的效果预期从每个3设计方法:manbetx官方网站手机版

  • A/B测试通常识别可能会增加销售或其他KPI的小改进。几个百分点.有时你很幸运,得到10%或更多。.网站分析的优势这是在备选方案之间几乎没有差异时可靠地确定最佳设计方法的唯一方法。manbetx官方网站手机版也许1%听起来不太像,但是如果你能在一年内每周都能得到这样的收获,你的现金超过50%。.
  • 相比之下,满可用性流程典型地双打的利益指标你的目标(我。e.,你得到100%改进)。例如,企业软件项目可能将培训成本降低一半或两倍。如果旧的设计特别差,manbetx官方网站手机版我们有时会看到1的收益,000%或更多,但这是罕见的。更狭窄的可用性的努力,例如固定特定的设计元素,manbetx官方网站手机版可能导致获得10%所需的使用指标。.
  • 天空是极限激进设计创新manbetx官方网站手机版.足够好的东西可以1,000%比之前发生了什么。当定义一个完全新的产品类别,你可以要求无限的收益,从销售一些销售。然而,但更现实的看法是,新的事物应该根据以往的机会成本来衡量。肯定比零在任何公司可以投资于先进的发展。.

风险

几乎没有风险的A / B测试:假设统计分析是正确完成的,有接近100%的概率,你会选择设计变化,赚了最多的钱。manbetx官方网站手机版如果两种设计之间的差别很小,manbetx官方网站手机版你可能需要等待很长时间才能收集到足够的流量统计意义。但是当替代设计只稍微好一点(如果它更好)manbetx官方网站手机版你失去了坚持旧的设计在漫长的测试。manbetx官方网站手机版.

可用性的方法也有很低的风险。的确,对所有的设计可用性研究之前,航manbetx官方网站手机版运是审慎的风险管理.任何可怕的想法,走出你的狂热的想象力将击落在用户测试当面对真正的客户。.

激进的创新是非常危险的。是的,你可以发明下一部iPhone。但是你更有可能创造下一个牛顿(苹果早期的和注定要失败的尝试个人数字助理)。事实上,几乎所有的创新失败。即使它是一个好主意,一个创新对市场可能为时过早。宠物。com,例如,傀儡闻名广告在互联网泡沫的壮观的破产,但其他公司却避开了所谓的“先行者”优势”现在在网上卖宠物食品赚钱。.

谁能做到?吗?

A/B测试可以由猴子完成(如果猴子具有统计学研究生学位或者能够正确使用统计软件)。您不需要理解设计原则或用户行为。manbetx官方网站手机版只是比你目前的设计尝试不一样的东西。manbetx官方网站手机版如果成绩好,在网站上。否则,尝试别的东西。.

先进的可用性方法通常需要训练有素的专家,但是简单的可用性活动可以是通过一个设计团队的任何成员manbetx官方网站手机版..

回到运气的主题,对于那些天才不足的人员来说,幸运地偶然发现一个根本性的创新肯定是可能的。但通常情况下,系统目标激进的创新,你需要雇用世界上最好的人。问问你自己你是否能实际招募,说,你的项目的前1%位专家。即使你可以,这可能只适用于1%的项目。剩下的99%的项目必须与不那么高的员工合作,谁还可以有足够的天赋和能力,能够获得更多的日常进步——就像大多数项目所需要的那样。.

改善的频率有多长?吗?

网站有足够的流量能完成大多数A / B研究在一天或两天。主要限制因素是你梦想新的设计变化的能力。manbetx官方网站手机版也,manbetx官方网站手机版设计师需要一些时间来实现每个想法作为一个综合的用户体验,给它一个公平的机会反对目前的网站。但基本上,没有理由你不能运行一个新的a / B测试每个星期..

可用性当然可以每周做一次。。自1989以来,,我传福音的速度要快得多比大多数公司雇佣和廉价的可用性的方法。(相比之下,,敏捷用户体验万博官网manbetx下载设计manbetx官方网站手机版是一个暴发户。然而,尽管我尽了最大努力增加可用性的步伐,,每月周转更常见,这就是我的表在本文的开始。.

现实地,的东西真正的激进,它不能经常发生。你可以找到少数例外证明规则,但大多数公司都乐于实现突破性创新每十年一次。(大多数人没有做到这一点,甚至当他们尝试;要么他们的创新最终变得更加谦虚,要么完全失败。)

经济影响

考虑到非常大的潜在利润从获得突破性创新,你可能会认为这种方法有最高的对整个世界经济的影响。但经验表明,实现最大的价值不是来自原始的突破,而是从成千上万的调整和实现建立在原来的工作在随后的几十年。.

激进的创新很快就会变成商品:每个人都有电力,机车、和电脑。重要的是和他们公司做什么:铁路,发明了一种更好的方式运送粮食可能赚更多的钱,而不是公司发明了机车。同样的,iPhone是一个巨大的进步,Android和其他竞争对手逐渐吃市场份额。.

另一方面,因为A/B测试通常会带来微小的改进,你可能会认为它的总体贡献是微不足道的。不是这样的,因为它是一种方法,你可以一次又一次地系统地应用。许多小溪流成为一条汹涌澎湃的大河。.

你可以确定一个方法的价值乘以3因素:

V = G × f × N,,

在哪里?

  • V =总价值,就经济对GDP的贡献而言。.
  • G =的获得从每次改进。彻底创新完全赢了这一次。.
  • f =的频率改进的可能发生。A/B测试在这里获胜,可用性作为一个接近亚军。激进的创新留下几圈在这个赛道。.
  • N =的参与创造创新的公司。再一次,日常的方法在这里赢得,因为它们可以被所有的公司使用,所有的时间。处理工资处理软件?可用性会使它变得更好,但我们可能会等待50年来彻底改进产品线。(基于云的处理可能会更好一些,但是肯定不能算为“激进的这些天。)

突破性创新是值得很多当它发生时,但它很少发生,因此只有一个中型对经济的影响。A/B测试可能对整体经济也只有中等影响,因为它的许多收益是由竞争公司之间移动的市场份额构成的。可用性在广泛的范围内提供稳定的产品改进,及其生产率增长累积,导致一个高潜力提高GDP。.

Tom Landauer的粗略估计计算机故障是,如果所有公司录用,GDP增长将增加百分之一良好的可用性的方法。这可能听起来不算多,但这会增加2万亿美元在未来10年内,仅在美国。(1欧元。5万亿E。美国。)

选择什么?吗?

因为可用性平均赚的钱最多,这是我推荐的策略。(没有意外,如果您阅读过我以前的文章。manbetx官网手机登陆)

但是,事实上,有没有理由要将自身限定为一项单一的策略因为这3种方法相辅相成。.

如果你有预算(或运气),为激进的创新尝试。但使用可用性工程检查是否你的“创新“实际上是任何好的投资一大笔钱之前在一个失败的产品推向市场。而且,一旦你有一个产品,通过可用性和A/B测试来完善它以确保持续质量改进和在竞争中保持领先。从长远来看,许多小质量改进的累积效果比罕见的大突破更有价值。.