菜单

为什么你只需要测试5个用户

通过 雅各布尼尔森2000年3月19日

摘要:精心设计的可用性测试是浪费资源最好的结果来自测试不超过5个用户并运行尽可能多的小测试。


有些人认为可用性是非常昂贵和复杂的,用户测试应保留给罕见的web manbetx官方网站手机版项目,预算庞大,时间安排繁多不对精心设计的可用性测试是浪费资源最好的结果来自测试不超过5个用户并运行尽可能多的小测试。

在早期的研究中,Tom Landauer和我展示了在可用性测试中发现的可用性问题的数量ñ用户是:

ñ(1-(1-大号 ñ

哪里ñ是manbetx官方网站手机版和的可用性问题总数大号是测试单个用户时发现的可用性问题的比例典型的价值大号在我们研究的大量项目中平均为31%绘制曲线大号= 31%给出以下结果:

 

测试用户数量增加了可用性问题的比例

 

曲线最引人注目的事实是零用户给出零洞察力

一旦你从a收集数据单个测试用户,你的见解开始了,你已经了解了几乎所有关于manbetx官方网站手机版的可用性的三分之一The difference between zero and even a little bit of data is astounding.

当你测试第二个用户,你会发现这个人和第一个用户做了一些相同的事情,所以你学到的东西有些重叠人们肯定是不同的,所以第二个用户也会有新的东西,你没有观察到第一个用户因此,第二个用户添加了一些新的洞察力,但并不像第一个用户那样多。

第三个用户你会做第一个用户或第二个用户已经观察到的很多事情,甚至是你已经看过两次的事情此外,当然,第三个用户将生成少量新数据,即使没有第一个和第二个用户那样多。

就像你一样添加越来越多的用户,您学习的越来越少因为你会一次又一次地看到同​​样的事情没有真正需要多次观察同一件事情,你会非常积极地回到绘图板和网站来消除可用性问题。

在第五个用户之后,你通过反复观察相同的发现而不是学习新的东西来浪费你的时间。

Iterative manbetx官方网站手机版

曲线清楚地表明您需要测试至少15个用户,以发现所有可用性问题在manbetx官方网站手机版那么为什么我建议用更少数量的用户进行测试呢?

主要原因是最好分配您的预算用户测试许多小测试而不是把所有东西都吹在一个精心研究上让我们说你有资金招募15名代表客户并让他们测试你的manbetx官方网站手机版大。将此预算用于3项研究,每项5名用户!

你想要运行多个测试,因为可用性工程的真正目标是改进manbetx官方网站手机版,而不仅仅是记录它的弱点在与五位参与者的第一次研究发现85%的可用性问题之后,您将需要在remanbetx官方网站手机版中解决这些问题。

在创建新的manbetx官方网站手机版之后,你需要再次测试尽管我说remanbetx官方网站手机版应该“修复”第一项研究中发现的问题,但事实是你认为新的manbetx官方网站手机版克服了这个问题但由于没有人可以完美的用户界面,所以无法保证新的manbetx官方网站手机版确实解决了问题第二个测试将发现修复是否有效或是否有效此外,在引入一个新的manbetx官方网站手机版时,总会有引入新的可用性问题的风险,即使旧的问题得到解决。

此外,与5位用户进行的第二项研究将发现在第一轮测试中未发现的剩余15%的原始可用性问题中的大多数(仍然会有2%的原始问题 - 他们将不得不等到第三项研究被确定。)

最后,第二项研究将能够深入探讨基本结构的可用性该网站评估信息架构,任务流程以及与用户需求匹配等问题这些重要问题在最初的研究中经常被掩盖,在这些初始研究中,用户被愚蠢的表面级可用性问题所困扰,这些问题阻碍了他们真正深入挖掘网站。

因此,第二项研究将作为第一项研究结果的质量保证,并有助于提供更深入的见解第二项研究将始终导致一个新的(但更小的)可用性问题列表,以修复remanbetx官方网站手机版And the same insight applies to this remanbetx官方网站手机版: not all the fixes will work; some deeper issues will be uncovered after cleaning up the interface因此,还需要进行第三项研究。

通过3项研究,每项5位用户,与15位用户的单一怪物研究相比,最终用户体验得到了更多改善。

为什么不用单个用户测试?

您可能认为单个用户的15项研究甚至比5项用户的3项研究更好The curve does show that we learn much more from the first user than from any subsequent users, so why keep going? Two reasons:

  • 总是存在被单个人的虚假行为误导的风险,这些行为可能意外或以不具代表性的方式执行某些行为即使是3个用户也足以了解用户行为的多样性,并洞察什么是独特的以及可以推广的内容。
  • 用户测试的成本效益分析根据测试的风格,提供大约3或5个用户的最佳比例计划和运行研究时始终存在固定的初始成本:最好在多个用户的调查结果中折旧此启动成本。

何时测试更多用户

您需要在网站拥有时测试其他用户几个高度不同的用户群该公式仅适用于以相似方式使用网站的可比较用户。

例如,如果您有一个将由儿童和父母使用的网站,那么这两组用户将具有完全不同的行为,因此有必要对来自两个群组的人进行测试对于旨在将采购代理与销售人员联系起来的系统也是如此。

即使用户群非常不同,两组的观察结果仍然存在很大的相似性毕竟,所有用户都是人此外,许多可用性问题与人们与Web交互的基本方式以及其他站点对用户行为的影响有关。

在测试多组不同用户时,您不需要像在单个用户组的单个测试中那样包含每个组的成员数量观察之间的重叠将确保通过测试每组中较少数量的人来获得更好的结果我建议:

  • 如果测试两组用户,则每个类别有3-4个用户
  • 如果测试三个或更多用户组,则每个类别中有3个用户(您总是希望至少有3个用户确保您已经涵盖了组内行为的多样性)

参考

Nielsen,Jakob和Landauer,Thomas K。:“可用性问题发现的数学模型”,ACM INTERCHI'93会议记录(1993年4月24日至29日,荷兰阿姆斯特丹),pp206-213。

后续manbetx官网手机登陆