菜单 关闭

“但你只测试了5个用户!”:回应对小型研究结果的怀疑

通过 凯瑟琳·怀特顿2月24日,二千零一十九

总结:“这只是一个人”和“我们真正的用户不喜欢这样”是对定性可用性测试结果的常见异议。主动解决这些问题,以确保您的研究是有效的。


使用少量参与者进行可用性测试是一种非常有效的改善界面的方法。通过观察真实的人们试图使用设计,manbetx官方网站手机版我们从用户的角度来看这个界面。由于普通用户缺乏关于系统“应该”如何工作的内部知识,他们经常遇到设计创建者没有预见到的问题。manbetx官方网站手机版

发现这些意想不到的问题是进行可用性测试的关键。但事实上它们令人惊讶,而不是利益相关者预期的问题,通常会导致人们对所观察到的问题是否真正代表了“真正的”用户会遇到的问题产生怀疑。

对于是否应该信任可用性测试的结果持怀疑态度的利益相关者经常声称测试参与者不具有代表性,或者没有足够的测试参与者认真对待测试结果。

利益相关者的反对可能包括

当你遇到这些反对意见时,这里有一些技巧可以帮助团队理解为什么他们应该认真对待定性可用性测试。在最简单的情况下,怀疑主义可能只是缺乏方法经验的结果,并且可以通过清楚地解释该方法来成功地解决,以令人信服的方式交流调查结果。

为利益相关者提供主动解释

首先,确保在进行可用性会话之前,解释您的研究方法.在人们已经开始怀疑之后,提前描述这个过程比试图为它辩护更有说服力。准备好你自己的解释,或者分享视频和文章manbetx官网手机登陆可用性测试是什么为什么你只需要几个参与者.提前承认这种方法的局限性:提到一些问题,就像人们是否相信某个品牌是可靠的,无法通过只与5个用户交谈来准确回答。但是可用性测试并不是关于信念或偏好——它是关于发现正常用户在特定环境下的行为在特定任务中使用特定设计。manbetx官方网站手机版

通过解释以下内容,为利益相关者准备令人惊讶的发现:

“我们可能会看到人们遇到我们无法预料的问题,因为我们对设计的熟悉使我们很难发现一些问题。”manbetx官方网站手机版

“由于所有用户都缺乏我们团队对设计的内部知识,manbetx官方网站手机版这种视角差异所导致的问题很可能会影响到许多用户,并在最初的几个测试会话中出现。”

“与其试图通过与许多用户重复测试来证明每个问题有多糟糕,我们将集中精力快速发现共同问题,所以我们可以修复它们并改进设计。”manbetx官方网站手机版

在早期规划阶段与团队成员分享这一背景,尤其是如果他们不熟悉可用性测试。即使是熟悉可用性测试的团队也能从以下提醒中获益:他们不像他们的用户。

听证就是相信

有时利益相关者会因为他们认为测试结果只是一种观点而不予理会——即撰写报告的研究人员的观点。

可用性测试的重点是听取用户的意见。来自熟练的研究人员的见解和分析可以为报告增加巨大的价值,但一定要确保用户的直接反馈,用他们自己的话说,发出清晰的声音。您可以突出地纳入研究参与者的直接引用;视频剪辑更具吸引力(如果你能够录制会话并有时间编辑视频片段)。

最有说服力的方法是团队实际直接观察可用性测试会话.这种做法允许他们自己看到测试参与者是一个真实的人,并对用户与系统的斗争产生共鸣。当团队成员直接观察会议时,他们还可以看到研究人员没有领导或影响用户。

解决参与者不具有代表性的异议

为了避免反对测试参与者不代表“真正的”用户,确保与真正具有代表性的用户进行测试,并与您的利益相关者分享您如何提前招募他们。

使用真实用户进行测试

如果您正在测试实时网站或应用程序,招募实际访客或用户是寻找代表性参与者的有效方法。当今先进的分析工具(如热罐埃尼奥)使针对特定类型的用户变得容易,例如,使用网站特定部分或应用程序特定功能的用户。对于现实的测试参与者来说,过去或未来的客户列表是另一个很好的来源。

在招聘前获得用户资料的认可

如果你不能直接从实际系统中招募参与者,你可能需要从其他渠道招募参与者.但你仍然可以通过仔细定义哪些特征是你的目标受众的重要特征来确保你的参与者具有代表性。如果你有人物角色,参考它们。询问将收到研究结果的利益相关者,了解他们对目标受众的意见。然后通过提问筛选潜在的测试参与者,这些问题有选择地确定具有目标用户所有基本特征的人。

无论你用什么方法寻找参与者,向你的利益相关者描述每一步:在研究的计划阶段,通过将参与者简介分发给直接观察测试会议的利益相关者,作为最终报告的一部分。

反对没有足够的参与者来证明问题

对可用性测试方法的主动解释对于建立测试结果的可信度和信心有很大的帮助。但仍有人担心,少数人遇到问题并不一定意味着这是一个共同的问题,尤其是只有一名研究参与者遇到问题时。该参与者可能是离群点“有许多其他用户无法分享的异常期望或习惯的人。

事实是,看到至少有两个人在同一个问题上挣扎,确实激发了人们对这个问题有效性的更多信心。但这并不意味着你应该对只有一个参与者经历过的问题给予折扣。(统计学上,五分之一和五分之一没有太大的区别。2/5的置信区间)。聚集更多信息以更好地解释该单个实例的上下文.

分析单个用户的发现

当只有一个测试参与者遇到问题时,首先考虑以下内容:

  • 修理它要多少钱?如果有简单的解决方法,仅仅修复它可能比花时间记录问题要便宜,更不用说在团队会议上无休止地讨论这个问题了。(当您已经计划测试下一个设计迭代时,此选项最有效,manbetx官方网站手机版在这里,您可以检查“修复”是否引入任何新问题。)
  • 那个人的问题有多严重?严重问题通常是那些阻止用户完成任务的问题,引起极大的挫折,或直接与关键设计目标相关。manbetx官方网站手机版如果这些都是真的,但这不是一个容易解决的问题,在进行设计变更之前,需要进行进一步的调查。manbetx官方网站手机版

收集关于单个参与者可用性发现的更多信息并不一定需要更多的用户测试。要考虑的一个出发点是竞争分析:如果对竞争对手设计的审查显示,大多数人没有这个问题,manbetx官方网站手机版然后修复它可能很重要,以满足用户的期望。

检查独立数据源以估计频率

现有数据源(如使用分析或支持请求)对于估计问题的频率和潜在影响非常有用。

例如,审查支持请求并比较其中有多少与“离群值”问题相关,与测试中观察到的其他问题相比。这些信息可以提供真实患病率的相对估计。

如果您没有关于有多少用户遇到问题的具体数据,你可以确定有多少用户使用该功能?以及这些用户对组织目标的价值。例如,假设一个研究参与者误解了排序功能的工作原理,因此,她没能找到一种产品。如果您为该排序功能设置了事件跟踪分析,快速检查这些数据可以显示实际客户使用排序功能的百分比。(因为并非所有用户都会遇到问题,受影响的人员百分比将略低于使用该功能的人员百分比。)

比较测试观察和可用性理论

考虑单个用户可用性问题可以在多大程度上通过现有的用户行为知识来解释,以及是什么使得用户界面易于或难以使用。例如,检查10可用性启发几十年来已经证明了自己。或者看发布的可用性指南基于大量的用户研究和广泛的其他设计。manbetx官方网站手机版虽然如此广泛的用户体验理论并没有专万博官网manbetx下载门针对您的个人设计,manbetx官方网站手机版你可以从以前的研究中得出结论。

如果你在一个测试参与者身上观察到的问题可以很容易地用现有的可用性理论来解释,你有更强有力的理由相信这是一个真正的可用性问题。如果,另一方面,理论预测你的设计应该简单,不会引起问题,manbetx官方网站手机版那么很可能你不幸的测试参与者确实是一个离群的人,这个问题不太可能以任何频率重复出现。

不幸的是,用户体验理论的状态是这样的万博官网manbetx下载,它不能以一种方式或另一种方式最终决定问题。人类的行为是如此多变,设计的可用性还取决于无数的小的上下文细节,manbetx官方网站手机版我们永远无法百分之百地确定某件事是好是坏。但这并不意味着我们对UX一无所知万博官网manbetx下载.我们从几十年前的研究中获得了大量的概念性见解,这些研究表明,用户界面对于某些类别的用户和某些类型的任务来说是容易或困难的,你可以用这些知识来解释个人的经验观察。

也,将您的测试观察与外部验证的用户体验知识体相关联,对于您向团队解释您的发现是一种有用的方法。万博官网manbetx下载清楚地表明,不仅仅是你认为设计有问题,manbetx官方网站手机版但许多其他人在测试其他设计时也发现了类似的问题。manbetx官方网站手机版给问题起个名字。这些策略有助于你提出“小样本”反对意见。

进行定量可用性测试

对于无法与现有数据源关联的潜在严重问题,仅使用5个用户进行测试可能确实不足以自信地推荐一个行动方案。在这种情况下定量可用性研究可以对用户可能遇到问题的比例提供更多的信心。如果问题可以在未减额远程测试,从中收集数据20用户准确的定量研究所需的费用是可以合理承受的。

如果一个组织对小群体的定性方法有着根深蒂固的怀疑,定量研究也可能是值得的。用更多的用户样本测量定性结果的发生率可以证明定性方法在特定组织的设计和用户中的可靠性。manbetx官方网站手机版利用定性研究的投资,在组织内对项目进行全面的记录和宣传,特别注意定性和定量研究结果之间的对应关系。

结论

如果团队不相信结果,因此也不采取任何措施来解决问题,那manbetx官方网站手机版么发现设计问题就毫无意义。有效解决对可用性测试结果的疑问是用户研究的重要组成部分,并应纳入每一项研究计划,从头到尾。