菜单 关闭

超出了NPS:测量与SUS感知可用性,NASA-TLX,和单一任务和可用性测试后缓解问题

通过 页面Laubheimer2月11日2018年

简介:试验后的问卷调查就像SUS测量感知整个系统的可用性;任务后尺度问题的部分设计的建议。manbetx官方网站手机版。


在可用性测试,万博官网manbetx下载用户体验研究人员经常问参与者提供一个主观评价的形式(通常一个评级)使用一个产品或一个网站的经验。仪器如SUS,NPS,或任务难度的问题是最受欢迎的选择。然而,对许多新用户体验从业者,万博官网manbetx下载这些工具的精确的目的(和管理和分析它们的正确方法)通常是神秘的。他们真正的评估,使用它们的恰当方法是什么?当他们应该管理——中间任务或会话结束时,为什么这有关系吗?为什么你会使用一个标准的问卷调查而不是创建自己的?吗?

所有这些调查问卷代表自我报告定量数据;他们很少有意义的本身,没有性能数据(如成功率或任务)来补充。所有这些调查问卷的格式通常是一个评级 规模:参与者给出一个问题,和要求选择一个答案,通常在5 -或7 - point尺度(我们不建议使用规模超过7选项)。。实际的收集数据的方法很简单:可以管理在纸上的问题测试服务商,或者使用一个数字调查工具(这是典型的方法用于远程不加节制的测试)。然而,知道什么时候以及为什么使用问卷是为许多发芽试验主持人更加难以捉摸。。

任务后对检测后的调查问卷

有两个类别的可用性测试期间使用的调查问卷:

  1. 任务后的调查问卷完成后立即完成任务和获取任务的参与者的印象。当每个任务是紧随其后的是这样的一个调查问卷,通常会有许多主观的答案从每个用户,收集因为通常有许多个人的任务可用性研究会话。。
  2. 测试后的调查问卷管理一个会话结束时(或在参与者完成了所有的任务有关的网站)。他们反映用户对你的网站或应用程序的可用性(我。e。他们持久的,总体印象是)。用户体验作为一个整体的印象的peak-end效应(即,最激烈的最后部分的经验,无论是积极的还是消极的,影响参与者的回忆和评价最)。。

任务后,检测后问卷调查不相容;事实上,在大多数定量研究,是有用的收集。(但小心累你的参与者!),而这些指标关联相当强烈,这不是一个完美的关系;一种类型的定量数据为我们提供了一个相当有限的照片整体系统的可用性,和更多的指标,清晰的图片我们可以发展。。

这两种类型的仪器的当前状态的指标主观用户体验;您可以使用它们来比较当前设计针对未来迭代(或行业标准)。manbetx官方网站手机版这些指标做告诉你为什么用户纠结于你的设计,manbetx官方网站手机版,他们也不提供直接的见解如何改进它。他们仅仅是一种跟踪用户如何看待使用你的产品的经验。。

至关重要的是要注意,这些问卷调查定量工具,因此他们需要更大的样本大小(通常至少20 - 30用户)相信,他们的研究结果概括。收集定量数据与小样本大小(如我们通常建议5用户在造型的,定性的可用性测试)几乎肯定不会产生统计上显著的结果。然而,如果你把一个主观评定量表的后续问题,,为什么你给网站[X] [Y]的分数吗?吗?你可以获得有用的定性见解人们对设计的感觉,manbetx官方网站手机版即使你只有少数用户测试。(不要大不了的平均分数。)

在大多数情况下,我们建议使用标准问卷比本土,自从前受到很多研究的支持演示他们的有效性(实际测量他们打算测量),,可靠性(用户将始终以同样的方式回答问题),和灵敏度(他们可以检测到有意义的差异)。。

系统可用性量表(SUS):测试后评估的可用性

最知名的用户体验研究中使用问卷系统可用性(SUS)。万博官网manbetx下载SUS已经自1980年代,命令行界面的日子并反复实验证明是有效的和可靠的。这是约翰·布鲁克在数字设备公司发明的。SUS是仪器检测后,给参与者一个完整的可用性测试会话结束后(或者,当测试多个网站,就像在竞争力评价,参与者从事后的所有任务相关的网站)。。

SUS 10利开特式量表问卷调查显示所有问题
系统可用性是一个规模测试后问卷包含10个不同的问题,解决系统的可用性和可学习性。不要改变订单或SUS的措辞问题如果你想比较你的分数和成绩收集来自其他设计。manbetx官方网站手机版。

SUS 10利开特式量表是一系列问题并产生一个分数从0 - 100。然而,0 - 100分不是等价的一个百分比的分数,如在考试中——杰夫Sauro进行了广泛的基准测试的SUS分数在许多不同的系统中,,发现平均SUS 68分在500年的研究。为你的网站的可用性在所有网站的前10%,你需要80或更高的分数,而73分将你只在前30%。。

使用SUS最大的优势之一是,这是一个古老的规模,大量行业数据基准可以帮助你的分数和你的同行和竞争对手在上下文中理解它——少一些广泛使用的调查工具不能提供。请注意,SUS关系非常密切在一个简单得多的度规,的一个问题净推荐值。他们提供不同的数据,但对于许多组织来说,NPS可能更有用,因为它是一个简单的度量收集和SUS 10)(一个问题,,是一个完善的通用公司的领头羊(即使它不是敏感UX-focused担忧)。万博官网manbetx下载。

单一的缓解问题(SEQ):任务后的满意度

SUS相比之下,后任务进行问卷调查结束时每个任务在测试会话。他们是有用的有两大原因:

  1. 他们允许你比较的哪些部分接口(或工作流)被认为是问题最多,既然你收集这些数据每一个的任务。。
  2. 由于任务本身就得出结论,它是新鲜的参与者的思想,因此她更能提供一个清晰的表明她的态度体验,着色她的记忆没有后续任务。。

任务后问卷调查需要短(1 - 3问题)干预尽可能少的流在测试会话使用该网站。。

有几种广泛应用在使用问卷调查;在大多数情况下,一个一个问题仪器是正确的适合定量可用性测试,因为它需要一些时间和精力参与者回答一个任务后,破坏性最小。自与用户的时间是宝贵的,最好使用一个有效的测量工具。评级问题只给你稍微更多的见解比你来自一个简单的问题,这是更好的投资你的时间预算在其他活动,如额外的测试任务,比问subjective-rating问题。。

“单一的缓解问题”(SEQ)是一个有用的和简单的版本的这个想法已经通过实验验证,证明是可靠的,有效的,和敏感。SEQ要求用户速率的困难他们刚刚完成的活动,从非常容易非常困难的级评定量表。。

量表单独缓解问题
唯一缓解问题,(SEQ)一个问题任务后问卷测量用户的可用性的看法基于过去尝试的任务。由于任务参与者的思想,仍然记忆犹新他们的答案提供了一个有用的评估经验,特定的任务。。

任务后问卷调查的细的粒度可能表明他们可以产生更多的可操作的结果比粗设计团队通过测试后发现用户的总体印象乐器。manbetx官方网站手机版然而,有较少的数据可供比较SEQ结果与其他公司(和任务相比需要可比),所以你主要局限于发现哪些任务相对比较容易或困难在您自己的系统。。

NASA-TLX:任务后工作负载

NASA-TLX(任务负荷指数)是另一种类型的后任务有用的调查问卷为研究复杂的产品在医疗保健和任务,航空航天、军事、和其他后果严重的环境。它往往是在用户体验工作,较少使用万博官网manbetx下载但它是使用的标准问卷很多人为因素和人类工程学的研究。NASA-TLX出现在1980年代,由于美国国家航空航天局的努力开发一个测量仪感知工作负载所需的复杂,高技术航空机组人员的任务。。

NASA-TLX包含6用户必须回答的问题在一个无标号规模比例,从非常低的非常高。。每个问题地址工作负载感知的一个维度:精神需求,生理需求,时间压力,认为成功的任务,整体工作水平,和沮丧的水平。初步评估后,用户衡量每一个他们刚刚完成的六大类,表明哪一类最重要,他们在做什么。这是一个复杂的仪器得分,但值得庆幸的是美国宇航局发布了及作为免费的iOS应用程序。。

美国国家航空航天局及乐器,显示每个6的数不清的等级量表
NASA-TLX仪器要求参与者率每个任务上执行这些6级,每个比例增加。它提供了丰富的数据对各种任务要求对用户在多个不同领域,但是需要时间和专业知识期间收集研究。从官方NASA-TLX形象纸和铅笔工作表。。

虽然NASA-TLX通常是用作人为因素复杂,研究的一个关键指标关键任务系统,它也可以用于其他类型用户体验研究,万博官网manbetx下载一些事项:

  1. 这是一个相对复杂的问卷需要回答每个关键任务后,所以将增加大量的时间(和潜在的参与者疲劳),整个测试过程。。
  2. 它可以破坏研究流动,使经验相当自然的参与者比如果他们进展顺利通过一个测试场景。。
  3. 它通常会要求主持人解释多次仪器(特别是之类的东西之间的区别努力精神的需求,例如)。。
  4. 学习时主要是有帮助的情况下,人类的错误是非常不受欢迎的(医疗、交通工具,复杂的金融领域,等等)。。

因为这个乐器的复杂性,这不是一般的良好匹配的用户体验研究消费者产品或简单的工作流。万博官网manbetx下载为高度复杂的过程,由训练有素的工人,用户不能选择在哪里应用程序他们使用和错误有很高的后果,NASA-TLX选择的问卷调查。SUS一样,NASA-TLX发表了许多研究和行业基准,以帮助您理解上下文的分数,并能够有效地比较他们的竞争对手。。

这些指标的局限性

本文中讨论的各种满意度指标受到以下限制:

  1. 他们是自我报告的数据,可不可靠的。。
  2. 他们测量主观用户感知,不客观的性能。虽然有一些满意度之间的相关性和目标性能指标(如任务完成率,时间的任务,或错误),满意度指标通常告诉一个清晰的故事与性能指标相结合。。
  3. 这些指标告诉你用户的满意度水平,但不确定任何缺点或优点的经验(或者你可以改变什么来改善)。此外,每个参与者可能有完全不同的5 7,例如,的意思。。
  4. 像所有的量化指标,低样本大小(如5用户我们一般建议每一轮的定性的可用性测试)不太可能提供统计上显著的或有意义的结果。。数值数据从5用户不应通知设计决策,manbetx官方网站手机版与这么小的样品和报告数据收集是非常误导。。

总结

自我报告的数据地址用户的满意度和感知可用性通常是收集在定量研究与其他类型的性能的措施。三种流行的工具是:可用性测试后系统规模(SUS),提供有用的信息用户的外卖和整体经验;任务后的单一缓解问题(SEQ),提供不同的任务流的可用性的信息;和任务后NASA-TLX这是适合测量工作负载在复杂,至关重要的任务。这些都是定量措施以来,他们需要相当大的样本容量提供有效的测量。。

大多数实际的用户体验研究,万博官网manbetx下载我们建议简单的满意度调查问卷,尽可能少的问题。这个问题取决于你的研究目标:

  1. 在大多数造型的,定性研究:
    • 你满唔满意这个网站吗?吗?加上后续的问题你为什么要给一个分数[X]吗?吗?这将给你的见解在任何方面的用户体验最重要的用户的满意度,这是最主要的学习主观用户反馈。。
    • 如果你特别感兴趣的单个组件的可用性的用户界面,使用单一的缓解问题在每个任务和要求用户解释他们的分数。(然而,通常是更准确的判断的可用性设计元素通过直接观察,而不是主观分数。manbetx官方网站手机版)
  2. 总结性的定量研究为了基准站点的可用性(通过比较它与其他设计迭代,manbetx官方网站手机版或与竞争对手):
    • 在大多数情况下,使用后的SUS测试和SEQ每个任务后,满意度指标来补充其他性能指标如成功率和时间的任务。。
    • 如果你有特殊情况的复杂,关键任务工作流,取代SEQ NASA-TLX。。
  3. 如果你想要评估业务影响你的用户体验,问NPS的问题,,怎么可能你推荐这个网站给朋友吗?吗?

学习更多在我们一整天的研讨会衡量用户体验。。