菜单 关闭

可用性研究中有多少测试用户?

通过 雅各布·尼尔森6月4日,2012年

总结:答案是5,除非不是。使用更多测试参与者的大多数论点都是错误的,但是有些测试应该更大一些更小。


如果你想要一个号码,答案很简单:在可用性研究中测试5个用户.使用5个人进行测试,您可以发现几乎与使用更多测试参与者一样多的可用性问题。

自从我开始推广以来,这个答案是一样的。”简化可用性工程“1989年。不管你是否测试网站,内部网,PC应用程序,或移动应用程序。与5个用户,请您几乎总是接近用户测试的最大效益成本比。

与任何人为因素问题一样,然而,有例外以下内容:

  • 定量研究(针对统计数据,不是洞察):至少测试20个用户得到统计上有意义的数字;严格的置信区间需要更多的用户。
  • 卡片分类至少测试15个每个用户组的用户数。
  • 目测:测试39岁用户如果你想要稳定的热图。

然而,这些例外不应该让你担心太多:巨大的你的大部分用户调查应该是定性的。-也就是说,旨在收集洞察驱动您的设计manbetx官方网站手机版,请在PowerPoint中,数字并不能给人留下深刻印象。

小测试的主要论点是投资回报率:每增加一名研究参与者,测试成本增加,然而,调查结果的数量很快就达到了收益递减的地步。在同一项研究中管理5人以上的人几乎没有额外的好处;投资回报率像石头一样下降N号.

如果你有大预算?哎呀!把它花在额外的研究上,每个研究中没有更多的用户。

悲哀地,大多数公司坚持进行更大的测试。期间万博官网manbetx下载用户体验会议,请我调查了217名参与者关于他们公司的实践。他们的平均反应是11名测试参与者每轮用户测试-超过推荐尺寸的两倍。很明显,我需要更好地解释-N号可用性测试。

(弱)对更多测试参与者的论据

“一个大网站拥有数百万用户。”对样本大小没关系,即使你在做统计。民意调查需要相同数量的受访者来确定谁将当选匹兹堡市长或法国总统。统计抽样的方差由样本大小决定。不是从中抽取样本的全部人口的大小。在用户测试中,我们将重点放在网站的功能上,以了解哪些设计元素易于使用或难以使用。manbetx官方网站手机版设计元素的质量评估与使用它的人数无关。manbetx官方网站手机版(相反,关于是否修复设计缺陷的决定当然应该考虑到它将得到多大的使用:改进一个只有manbetx官方网站手机版很少用户的特性可能是不值得的;最好花点时间和数以百万计的用户重新编码。)

“一个大网站有数百种功能。”这是运行多个不同的测试-每一个都集中在一组较小的特性上,而不是为了在每个测试中拥有更多的用户。在可怜的用户疲劳之前,你不能要求任何人测试超过一小部分的任务。对,对于功能丰富的设计,您需要更多的用户,manbetx官方网站手机版但是你需要将这些用户分散到许多研究中,每个都集中在你的研究议程的一个子集上。

“我们有几个不同的目标受众。”这实际上是测试更大用户集的合法原因,因为您需要每个目标组的代表。然而,只有当不同的用户实际将以完全不同的方式进行操作时,此参数才成立。我们项目中的一些例子包括

  • 针对医生和病人的医疗网站,和
  • 一个拍卖网站,你可以在那里卖东西或买东西。

当用户和他们的任务不同时,你基本上在为每个目标受众进行新的测试,每个组需要接近5个用户。通常,每个组可以有3-4个用户,因为两个组之间的用户体验会有些重叠。有,说,一个以新手为目标的金融网站,中级,以及经验丰富的投资者,你可以测试三个,对于总共9个用户-您不需要总共15个用户来评估网站的可用性。

“这个网站赚了很多钱,即使是最小的可用性问题也无法接受。”有钱的公司当然有投资回报率案例将在可用性上花费更多.即使他们在每一项质量改进上花费太多,他们会赚更多的钱,因为大量的资金通过用户界面流动。然而,即使是价值最高的设计项目,也会通过保持每项研究manbetx官方网站手机版的规模较小和进行比价值较低的项目所能负担的更多的研究来优化投资回报率。

最基本的一点是,只要您使用的是manbetx官方网站手机版迭代设计过程manbetx官方网站手机版在这里您将设计和测试其他版manbetx官方网站手机版本。任何现在未修复的问题都将在下次修复。如果你有很多事情要解决,只需计划很多迭代。与每次测试更多的用户相比,由于额外的迭代,最终结果将是更高的质量(从而更高的业务价值)。

83个案例研究

下表总结了尼尔森诺曼集团近期的83个manbetx官网手机登陆可用性咨询项目.每个点是一个可用性研究,显示我们测试了多少用户,向客户报告了多少可用性发现。(图表仅包括正常的定性研究;我们还进行竞争性研究和基准测量,并进行此处未显示的其他类型的研究。)

83个可用性测试案例研究的散点图,显示每个研究中测试的用户数量以及报告的可用性发现数量。
相关性很小,但它真的很小。在许多项目中,测试更多的用户并没有产生更多的见解。

为什么我们一开始要运行更多的用户,鉴于我相信我自己的研究结果显示了小-N号测试?三个原因:

  • 一些客户希望对内部信誉进行更深入的研究。当一项研究的发起人向不了解可用性的管理人员展示研究结果时,当测试更多的用户时,这些建议更容易被接受。(如果管理层信任自己的员工,可以省下很多钱。)
  • 一些设计项manbetx官方网站手机版目有多个目标受众,并且在预期(或至少疑似)行为足够大,足以证明抽样额外用户的费用是合理的。
  • 最后,事实上,这些咨询项目是合理的,包括更多的用户,这就是为什么我们经常和大约8个用户一起进行研究。投资回报率是收益和支出之间的比率。雇佣顾问时,真正的费用要比费用高,因为客户还必须花时间寻找顾问和谈判项目。随着投资的增加,你想要更大的利益。

最后一点也解释了为什么“有多少用户”的真正答案有时会比5小得多。如果你有敏捷式用户体验流程万博官网manbetx下载头顶很低,你在每项研究中的投资是如此微不足道,以至于成本效益比被一个较小的效益所优化。(从每项研究中获益较少,从而获得更多的投资回报似乎是违反直觉的,但是,这种节省是因为每个研究的开销越小,您就可以运行更多的研究,因此许多小的好处之和就变成了一个大数字。)

真的吗?低间接费用项目,请通常最好测试每个研究2个用户.对于其他一些项目,8个用户——有时甚至更多——可能更好。对于大多数项目,然而,你应该坚持尝试和真实的:每个可用性测试5个用户。