If you want a single number, the answer is simple:在可用性研究中测试5个用户。使用5个人进行测试,您可以在使用更多的测试参与者时发现几乎与您发现的可用性问题几乎一样。

自从我开始推广以来,这个答案是一样的“discount usability engineering" in 1989. Doesn't matter whether you test websites, intranets, PC applications, or mobile apps. With5 users, you almost always get close to user testing's maximum benefit-cost ratio.

然而,与任何人为因素问题一样,有例外:

  • Quantitative studies(旨在统计,不见解):至少测试20用户获得统计上的重要数量;紧密的置信区间需要更多的用户。
  • 卡排序:至少测试15users per user group.
  • Eyetracking: Test39users if you want stable heatmaps.

However, these exceptions shouldn't worry you much: the vast您的大多数用户研究应该是定性的- 即旨在收集洞察推动你的设计,不是数字来在PowerPoint中留下深刻印象。

The main argument for small tests is simply投资回报:测试成本随着每次额外研究参与者而增加,但调查结果的数量迅速达到了回报的减少点。通过同样的研究,运行超过5人几乎没有额外的好处;ROI像一块石头一样越来越大N

如果你有一个大预算?耶!在额外的研究中花费它,而不是每项研究中的更多用户。

可悲的是,大多数公司坚持运行更大的测试。在此期间UX会议,我调查了217名参与者关于他们公司的做法。平均反应是他们使用的11考试参与者每轮用户测试 - 超过两倍的推荐尺寸。显然,我需要更好地解释小的益处 -Nusability testing.

(Weak) Arguments for More Test Participants

“一个大网站有数百万用户。”即使您正在进行统计数据,对于样本大小并不重要。舆论民意调查需要相同数量的受访者,以找出谁将被选为匹兹堡或法国总统的市长。统计采样的方差由样本尺寸确定,而不是从抽取样品的全部群体的尺寸确定。在用户测试中,我们专注于网站的功能,以查看哪些设计元素很容易或难以使用。对设计元素的质量的评估是独立于有多少人使用它。(相反,关于修复设计缺陷的决定肯定会考虑它会得到多少使用:改善有很多用户的功能可能不值得努力;最好花费数百万用户重新编码一些东西的努力。)

“一个大网站有数百个功能。”这是运行几个的论据不同的测试— each focusing on a smaller set of features — not for having more users in each test. You can't ask any individual to test more than a handful of tasks before the poor user is tired out. Yes, you'll need more users overall for a feature-rich design, but you need to spread these users across many studies, each focusing on a subset of your research agenda.

"We have several different target audiences."这实际上可以是测试较大用户集的合法原因,因为您需要每个目标组的代表。但是,此参数仅在不同的用户实际上以完全不同的方式行事。我们项目中的一些例子包括

  • 一个针对医生和患者的医疗部位,以及
  • an auction site where you can either sell stuff or buy stuff.

当用户及其任务是不同的时,您将基本上为每个目标受众运行新的测试,并且您将每组靠近5个用户。通常,您可以使用每组3-4个用户,因为用户体验将在两组之间稍微重叠。有一个针对新手,中级和经验丰富的投资者的财务网站,您可能会测试每个,总共有9个用户 - 您不需要15个用户总数来评估网站的可用性。

“该网站赚了这么多的钱,即使是最小的可用性问题也是不可接受的。”Rich companies certainly have anROI案例花费更多的可用性。Even if they spend "too much" on each quality improvement, they'll make even more back because of the vast amounts of money flowing through the user interface. However, even the highest-value design projects will still optimize their ROI by keeping each study small and conducting many more studies than a lower-value project could afford.

基本点是,只要您使用一个版本的设计,就可以在任何一个版本的任何一个版本后面留下可用性问题迭代设计过程您将在其中设计和测试其他版本。现在将在下次修复任何内容。如果您有很多东西来修复,只需计划很多迭代。由于额外的迭代,最终结果将是较高的质量(并因此更高的业务价值),而不是每次测试更多用户。

83例案例研究

The following chart summarizes 83 of Nielsen Norman Group's recent可用咨询项目万博官网manbetx下载。每个DOT都是一个可用性研究,并显示了我们测试了多少用户以及我们向客户报告了多少用户发现。(图表仅包括正常的定性研究;我们还经常运行竞争性研究和基准测量,并在此显示其他类型的研究。)

83可用性测试案例研究的散点图,显示每个研究中测试的用户数量以及报告的可用性调查结果。
There's a small correlation, but it's really tiny. Across these many projects, testing more users didn't result in appreciably more insights.

Why did we run more users in the first place, given that I certainly believe my own research results showing the superiority of small-Ntesting? Three reasons:

  • 一些客户希望为内部可信度进行更大的研究。当一项学习的赞助商向那些不理解可用性的高管提出表现时,在测试更多用户时,建议更容易吞咽。(如果管理层可信赖自己的员工,则可以保存大量资金。)
  • 一些设计项目有多个目标受众以及预期的差异(或至少suspected)行为足够大,以证明采样额外用户的费用。
  • 最后,这些是咨询项目的咨询项目,包括更多的用户,这就是为什么我们经常与大约8名万博官网manbetx下载用户进行研究。ROI是福利和费用之间的比率。雇用顾问时,真正的费用高于费用,因为客户还必须花时间找到顾问并谈判该项目。投资较高,您希望更大的好处。

The last point also explains why the true answer to "how many users" can sometimes be much smaller than 5. If you have an敏捷式UX过程with very low overhead, your investment in each study is so trivial that the cost–benefit ratio is optimized by a smaller benefit. (It might seem counterintuitive to get more return on investment by benefiting less from each study, but this savings occurs because the smaller overhead per study lets you run so many more studies that the sum of numerous small benefits becomes a big number.)

For really低开销项目,它通常最佳测试很少2 users per study。对于其他一些项目,8个用户 - 或有时甚至更多 - 可能会更好。但是,对于大多数项目,您应该留下经过验证和真实的:5个用户每个可用性测试。