在过去的14年里,我们从现实项目中收集了5个不同版本的案例研究和用户体验指标UX指标和投资回报率报告。这些数据让我们回顾了自2006年以来的各种设计项目,看看用户体验设计的影响是如何变化的。

关于案例分析和度量

从2006年开始,我们的UX指标和ROI报告(之前的标题为可用性投资回报)就成为了真实的UX基准测试项目的展示。超过5个版本,我们已经收集了总共99个案例研究。每个案例研究详细介绍了产品、设计问题、设计更改以及至少一对UX-metric值(在设计更改之前和之后)。

我们计算了每个度规对提高成绩-估计每个设计项目对指标影响的相对大小,以百分比表示。例如,假设一个电子商务网站在重新设计之前的转化率是2%。经过重新设计,转化率为5%。在这种情况下,度量的两个值(之前和之后)之间的比率将是5/2 = 2.5,因为在转换度量中(5-2)/2的改进是1.5 = 150%。

我们计算了所有收集的案例研究的改进分数,并将2006-2008年的改进分数与2020年收集的新改进分数进行比较。

显著降低平均用户体验影响

甚至到了2008年,当我们出版了这份报告的第三版,与2006年相比,用户体验的改进有所减少。这一趋势一直持续到2020年。

一般,用户体验的改进大大减少了自2006 - 2008年:从247%到75%(减少了69%)。这个差异在统计学上是显著的(p = 0.01)——我们可以相当确信,现在的平均进步分数比12-14年前要低。

2006年至2008年间收集的案例研究的平均改进得分为247%。2020年收集的案例研究的平均改进分数要低得多:75%。使用非参数检验,平均值之间的差异具有统计学意义(p = 0.01)。

这些数字是许多不同设计项目的平均值。我们发现我们的数据中有巨大的可变性——2020年95%的置信区间相当大,从8%到104%。(因为从2006年到2008年的改进分数的集合没有一个正态分布,我们不能为这个数据集提供一个置信区间。)

(例如)转化率增长8%和104%之间存在显著差异。我们对这样大的范围并不感到惊讶,因为任何基准设计项目的结果都很大程度上取决于以下因素:

  • 体验的现有质量:与各大UX问题的产品有许多的重大改进的机会。
  • 该团队的专业知识和人才:UX团队越好,就越有可能做出正确的设计选择(基于研究和经验)。然而,即使是一个优秀的UX专业人士也不可能每次都能做出正确的设计选择。
  • 变化的数量和质量:有许多变化的大项目更可能有比小的一个上度量大的影响。然而,这并不总是一个硬性的规则:当有很多变化,也有很多的机会去错了。此外,一些收集报告中的案例研究显示大指标影响,因为小的,精巧的设计变化的结果。
  • 方法和度量的精度和灵敏度:一些研究方法是比别人更敏感。这种差异的部分来自于不同的可用样本大小为每个方法。例如,A / B测试在一个网站的主页上,可以很容易地捕捉到数千个数据点,使研究人员能够发现甚至几个百分点的微小变化。但随着量化可用性测试,它是贵了不少获得如大样本量。
  • 它是如何困难的是改变测量行为或偏好:用户越不愿意采取特定的行动,改变他们的行为就越困难。例如,考虑一下在奢侈品电子商务网站进行大额购买的用户比例。即使在设计上有很大的改进,也可能只会让人们愿意给你钱的程度产生很小的变化。

记住,你的个人设计项目可能会因这些因素有不同的影响。有可能你的改善将接近平均水平的75%,但是,作为宽置信区间显示,有变异的巨大数额。在我们的数据,一半的价值在13%到157%之间

这并不意味着我们可以期望50%所有设计项目将在这个范围内有一个改进分数。你自己的影响可能是提高了500%或5000%,但我们的数据表明,提高分数这么高是不寻常的。同样地,你可以看到一个很低的改进分数,只有几个百分点,但这也是很少见的。在大多数情况下,您可以避免一个负面的评分:即使确实有可能使设计变得更糟,但只要您在实现之前对其进行良好的测试,您就不会发布一个降级的用户体验。

较小的用户体验改进是好的

乍一看,基于UX的重新设计导致的平均改进呈下降趋势,这意味着UX专业人员在这些年中变得越来越糟糕。我们认为事实正好相反。在过去的14年里UX-设计界已经成长大幅 - 等都有我们的集体知识和经验。

这减少了平均改善评分并不意味着我们做得不好;它表明,作为一个行业,我们已经做了出色的工作在过去的10多年里。在人的因素和可用性运动的初期,几乎每一个产品都有很大的改进空间。

“在早些年,设计确实是糟糕透了 - 想闪屏,搜索该找不到任何东西,臃肿的图形随处可见。这些早期设计的唯一好处是,他们是如此糟糕,很容易对可用性的人成为英雄:只要运行最小的学习,你将不可避免地发现一些巨大的改进机会。查找并在dot-com泡沫时期固定UX问题,就像桶里射鱼- 每一个设计为那么糟糕!”

雅各布尼尔森,主要尼尔森诺曼集团manbetx官方网站手机版

我们已经解决了许多在许多不同的设计,最大的问题UX。在某些情况下,这些人对具体问题单独修复。但是,作为一个行业,我们的集体知识已经增长还有 - 我们现在有一组丰富的最佳实践和设计模式。每个单独的设计师可以建立在之前已经走了设计师的现有工作。

那么,世界上所有的UX问题已经得到解决,并且都设计完美?当然不是。目前仍然显着改进的余地,为广大的经验。(幸运的是,这意味着UX的专业人士有很大的就业保障。)这个发现只是表明,我们已经做了全面改进经验和解决最突出的问题的一个好工作。

这是否意味着用户体验在今天变得不那么重要了?也没有。我们相信,尽管这些设计变化的规模已经减小,但它们的重要性并不亚于以前。因为整体体验越来越好,用户的期望也越来越高。今天,如果你把一个在2006年还被认为足够的网站放在用户面前,她会拒绝使用它。

我们认为,这些预期将继续步调一致上涨与经验的平均质量。(同样,这是UX专业人士的工作安全性好!)因此,在UX甚至小的改进可能是值得的代价。同时,记住你的竞争对手也很可能在改善他们的体验——这是一场用户体验军备竞赛。)

未来的预测

如果这种趋势持续下去,设计将继续提高平均,并且 - 结果 - UX干预将继续有小的影响。然而,我们认为,这些小变化将是有价值的,因为用户的期望和标准将增长,以及越来越高。

作为一个行业,我们正在进入一个细化。如果我们把自己的经历想象成建造一所房子,那么21世纪的头十年,人们的注意力主要集中在地基、墙壁和屋顶上——我们关注的只是确保结构不会倒塌。在2020年,许多团队发现他们的经验结构是合理的,现在他们可以把注意力转向微调:粉刷墙壁,安装天窗,室内装饰。每一个个人改变可能不会像以前那样产生巨大的影响。但是,这些小的改进积累会产生更加复杂的,愉快的经历。

要了解更多关于这些案例研究的信息和更多数据分析(包括分析每个类别的用户体验度量改进如何随时间变化),检查报告全文:UX指标和投资回报率