菜单 关闭

定量与定性可用性测试

通过 拉鲁卡布迪乌10月1日,二千零一十七

总结:这两种互补的用户研究类型在迭代设计周期中都扮演着重要的角色。manbetx官方网站手机版定性研究为设计过程提供信息;manbetx官方网站手机版定量研究为基准计划和投资回报率计算提供了基础。


介绍

所有可用性测试研究都需要参与者对一个或多个设计执行一些分配的任务。manbetx官方网站手机版有,然而,在用户测试研究中可以收集两种类型的数据:

  • 定性(质量)数据,由观察结果组成,识别易于使用或难以使用的设计特征manbetx官方网站手机版
  • 定量(定量)数据,以反映任务是否易于执行的一个或多个指标(如任务完成率或任务时间)的形式

定量研究

定性数据提供对系统可用性的直接评估:研究人员将观察参与者与特定的UI元素之间的斗争,并推断设计的哪些方面有问题,哪些方面工作得很好。manbetx官方网站手机版他们可以随时要求参与者跟进问题并改变研究过程,以深入了解参与者经历的具体问题。然后,基于他们自己的用户体验知识,并可能通过万博官网manbetx下载观察其他参与者遇到(或不遇到)相同的困难,研究人员将确定各个UI元素是否确实设计得很差。manbetx官方网站手机版

定量研究

定量数据提供设计可用性的间接评估。manbetx官方网站手机版它们可以基于用户的性能在给定的任务上(例如,任务完成时间,成功率,或可以反映参与者的可用性感知(例如,满意度评级)。量化指标只是数字,因此,在没有参考点的情况下,它们可能很难解释。例如,如果研究中60%的参与者能够完成一项任务,那是好是坏?很难说是绝对的。这就是为什么许多定量研究的目的通常不是为了描述一个网站的可用性,而是将其与已知的标准、竞争对手的可用性或以前的设计进行比较。manbetx官方网站手机版

虽然定量数据可以告诉我们,相对于参考点,我们的设计可能不可用,manbetx官方网站手机版他们没有指出用户遇到了什么问题。更糟的是,他们不会告诉我们为了下一次取得更好的效果,在设计上要做什么改变。manbetx官方网站手机版知道只有40%的参与者能够完成一项任务,并不能说明为什么用户在完成这项任务时遇到困难,也不能说明如何使其更容易。为了理解界面中的特定可用性问题,研究人员通常需要使用qual方法来补充定量数据。

统计显著性

Quant比Qual的一个优势是统计显著性.当定量数据以合理的方式呈现时,它们具有一定的防随机性:通常,诸如置信区间和统计显著性等数学工具将告诉我们,数据反映真相的可能性有多大,或者它们可能只是随机噪声的影响——可能是我们招募的特定参与者的人工制品,或者是运行研究的条件。尽管经验丰富的Qual研究人员将部署一系列良好的实践,以保护自己不受机会的影响,并确保其结果不受偏见的影响,我们不能正式保证来自QUAL研究的结果对整个目标人群确实是客观的和有代表性的。

Qual和Quant之间的差异

定性和定量数据需要稍微不同的研究设置和非常不同的分析方法。它们很少同时被收集——因此定性和定量用户研究之间的区别。在迭代设计周期中,定性和定量测试都是必不可少的。manbetx官方网站手机版尽管质量研究在我们的行业中更为普遍,定量研究是唯一允许我们重新设计数字的研究,并清楚地说明我们的新版本比旧版本改进了多少它们是计算的基本工具manbetx官方网站手机版投资回报率.

下表总结了这两种研究类型之间的差异。在本文的其余部分,我们将详细讨论这些差异。

定量研究 定量研究

回答的问题

为什么?

多少和多少?

目标

形成性和总结性:

  • 通知设计决策manbetx官方网站手机版
  • 确定可用性问题并为其找到解决方案

主要是总结性的:

  • 评估现有网站的可用性
  • 随着时间的推移跟踪可用性
  • 将网站与竞争对手进行比较
  • 计算投资回报率

当使用时

随时:在重新设计期间,manbetx官方网站手机版或者当你有一个最终的工作产品

当您有一个工作产品(在设计周期的开始或结束时)manbetx官方网站手机版

结果

根据研究者的印象得出的结论,解释,以及先前的知识

可能在不同研究中重复的具有统计意义的结果

方法论

  • 参与者很少
  • 可根据团队需要调整的灵活学习条件
  • 大声思考协议
  • 许多参与者
  • 定义良好的,严格控制学习条件
  • 通常不大声思考

迭代设计周期:Qual与manbetx官方网站手机版夸特

以用户为中心的基本设计周期始于对现有设计的评估,manbetx官方网站手机版接下来是一个旨在解决当前系统可用manbetx官方网站手机版性挑战的重新设计。新版本完成后,它可以与初始版本进行评估和比较。

迭代设计周期:步骤1和3涉及manbetx官方网站手机版总结性研究(用定量或定性方法完成)。而步骤2涉及形成性研究(用定性方法完成)。

迭代设计周期的第一阶段和第三阶段是manbetx官方网站手机版总结性-它们旨在对设计进行总体评估。manbetx官方网站手机版在这些步骤中,Qual和Quant研究方法(或组合,如纯的)可用于评估设计。manbetx官方网站手机版然而,当目标是将整个重新设计工作与实际的财务节约联系起来,或明确指出重新设计改进了manbetx官方网站手机版多少,必须使用定量研究。拥有成熟用户体验的组织通常有这样一个定量的可用性跟踪万博官网manbetx下载过程。(有时这种定量评估设计的每个版本并与以前版本进行比较的过程称为manbetx官方网站手机版标杆管理

在重新设计阶段,manbetx官方网站手机版用户研究具有形成的角色:它是为了通知设计并引导它走上正确的道路。manbetx官方网站手机版在这个阶段,manbetx官方网站手机版设计人员和研究人员需要相对快速和廉价地获取用户数据,以便能够在不同的设计方案中进行选择并创建可用的用户界面。在这个阶段,质量研究通常是最合适的。我们知道,拥有5名用户,一项定性研究可能会发现85%的可用性问题。在设计中(manbetx官方网站手机版前提是设计尚未接近完美);所以,在重新设计步骤中,manbetx官方网站手机版与少数用户一起快速学习是有意义的,确定重大问题,修复它们,然后用另一小部分用户再次测试新版本。

何时使用Qual与夸特

质量研究非常适合于确定设计中的主要问题。manbetx官方网站手机版例如,我们可以很容易地运行一个定性研究,以查看什么(如果有的话)阻止用户提交形式成功地,而且,基于这项研究,我们可以确定需要加长表单字段,目前密码要求,或使用字段外的标签而不是在里面。

相反,大多数定量研究都是在网站的完整版本上进行的,目的评估网站的可用性,而不是直接通知重新设计过程manbetx官方网站手机版.这不是因为在重新设计迭代过程中不能使用定量方法,manbetx官方网站手机版但是,如果在设计过程中经常和早期使用定量可用性研究,那么它的成本太高了。manbetx官方网站手机版定量研究通常涉及大量用户,而且大多数组织都负担不起花大量的钱在这些研究上去调查页面拷贝是否清晰或者按钮是否可以找到。然而,从定量测试中获得的数据对于说服高层管理层你的网站需要一个完整的重新设计是非常有价值的。manbetx官方网站手机版

结果:质量与夸特

质量数据通常由一组发现组成,识别(并根据严重程度确定)设计的优缺点。manbetx官方网站手机版这些发现是估计值——它们是基于促进任务的研究人员的知识和经验水平,以及解释用户行为的含义。不同的从业者通常会在同一个用户测试会话中识别不同的问题(称为评价者效应)另外,即使我们在招募符合我们目标人口统计的参与者时非常小心,当我们只包括少数人时,总有可能他们不能真正代表整个用户群体,所以我们的研究结果可能会有偏差。

定量研究通常涉及相当多的用户(通常超过30个),并使用统计技术保护自己免受此类随机事件的影响。如果报告正确,定量研究将包括统计显著性结果。例如,误差幅度将帮助您了解您对研究结果的信任程度。如果您的站点与竞争对手的站点之间的任务完成时间差异具有统计学意义,你会知道的,即使你要招募不同的用户并重新运行你的研究,你的结果将指向同一个方向,即使精确的平均值可能略有不同。

因此,正确进行定量研究和分析时,你可以相信他们的结果是可靠的。即,他们不是因为掷骰子的幸运或不幸。

这些类型的分析是基于统计数据的,并且通常涉及到其他类型的技能,而这些技能在同等可用性研究员中是无法找到的。这就是为什么许多公司对Quant和Qual UX研究人员有单独的工作要求。万博官网manbetx下载

方法:质量与夸特

表面上,定量和定性的用户测试看起来非常相似(即,它们都涉及到用户在设计上执行任务)。manbetx官方网站手机版这两类研究都需要遵循良好实验设计的基本规则,manbetx官方网站手机版确保他们有:

  1. 外部有效性:参与者是目标受众的代表,研究条件反映了任务是如何在野外完成的。例如,在桌面模拟器上测试移动站点缺乏外部有效性,因为人们通常会在触摸屏手机上使用该站点。
  2. 内部有效性:实验设置不支持任何一个条件。例如,如果早manbetx官方网站手机版上测试设计A,下午测试设计B,疲劳可能在参与者使用设计B的过程中起到一定的作用。manbetx官方网站手机版

但是,因为定量研究努力获得有统计学意义的结果,这两类研究之间有一些重要的区别:

  • 如上所述,定量研究比定量研究涉及更多的用户。
  • 因为会话设置和参与者背景的差异会增加测量噪声并导致较大的误差范围,定量研究的目的是尽可能减少变异性。因此:
    • 定量研究的条件需要从头到尾严格控制。也就是说,你需要确保你的参与者都在尽可能相同的环境中运行:你不能亲自完成两个会话,远程完成三个会话。
    • 定量研究通常从一个实践任务开始,旨在使所有参与者熟悉研究设置和被评估的站点。这样,可能存在个体差异,说,专家和新手用户被淘汰,因为新手有机会学习界面。
    • 这个大声思考协议是质量研究中的事实方法,但有时在定量研究中并不推荐。研究人员对于“大声思考”方案是否能在定量研究中得到合理的应用存在分歧。在某种程度上,因为有些人比其他人更健谈,可能会增加测量噪声。因此,许多定量研究并不要求参与者大声思考。
    • 姓名等个人信息,地址,或者出生日期会增加研究的可变性,因为不同的人有不同的数据。而对于质量研究,你想让人们进入自己的世界,真实信息,在定量研究中,每个人都应该有相同的经验,因此应该输入完全相同的字符串。这就是为什么应该向参与者提供一组他们都可以使用的组成数据。(此约束有时会给实时系统造成后端困难。)
  • 相反地,对于质量研究,可以在不同的课程之间改变学习条件。例如,如果你发现某项任务不能给你所需的洞察力,在运行下一个用户之前,一定要重写它。更改任务将使执行不同任务的用户的平均度量无效,但在一项质量研究中,你的目标是洞察,不是数字,所以你可以自由地使用那些会破坏数字的东西(不管怎样,这些都不是你的研究目标)。
  • 对于定量研究,任务需要有一个明确的答案。因此,虽然诸如“查找约翰·史密斯的电话号码和地址”之类的任务可能适合于质量研究,这对定量研究是不好的,因为很难为它编写成功的代码:如果参与者找到了电话号码而不是地址,这应该被视为失败吗?

    此外,所有参与者在阅读任务时都应该理解相同的东西。“研究加利福尼亚州无人机飞行许可证的要求”等任务对于定量用户研究来说过于模糊,因为不同的人可能通过“研究”这个词来理解不同的事情,但是如果你试图弄清楚人们可能感兴趣的信息类型,那么在Qual研究中也可以。

  • 虽然在定性和定量实验中使用任务随机化是很好的实践,Qual研究通常不会完全随机进行。在定量测试中,随机化确保任务的顺序不会以任何方式影响结果。

结论

定性和定量用户测试是服务于不同目标的补充方法。Qual测试涉及少数用户(5-8),并直接识别界面中的主要可用性问题。它经常被形成性地使用,通知设计过程并将其引导到正确manbetx官方网站手机版的方向。定量可用性测试(或基准测试)基于大量参与者(通常超过30人);正确分析和解释时,定量测试的结果表明,它具有更高的抗随机噪声的能力。定量研究提供了一种间接的通过任务完成率等指标对网站可用性进行总结性评估,任务时间,或满意度等级,通常用于跟踪系统在设计迭代中的可用性。manbetx官方网站手机版

对于流行的定量研究方法的概述,使用指南,如何计算投资回报率,看看我们的课程测量UX和ROI万博官网manbetx下载.