菜单 关闭

定量用户研究方法:综述

通过 凯特·莫伦4月22日,二千零一十八

总结:您是否需要有关产品用户体验的数字数据,但你不确定从哪里开始?第一步是选择正确的工具。查看最流行的定量方法的列表。


许多用户体万博官网manbetx下载验专业人员倾向于使用定性(qual)方法,人们普遍认为这比定量研究.他们回避了更大样本量和与定量相关的统计数据令人生畏的前景。

如果听起来像你,你错过了!定量方法论是任何有经验的用户体验研究人员工具箱的重要组成部分。万博官网manbetx下载定量方法允许您:

  • 放一个关于产品的可用性。数字有时比Qual测试的结果和视频更有说服力(尤其是当你试图说服高管这样的人时)。
  • 比较不同的设计(例如,manbetx官方网站手机版你的新版本与你的旧版本,或者你的产品与您竞争对手的产品)并确定你观察到的差异是否具有统计学意义,不是因为偶然的机会。
  • 改进万博官网manbetx下载UX权衡决定.例如,如果建议的设计改进预计实施成manbetx官方网站手机版本高昂,值得做吗?如果你有一个估计,在多大程度上改变将提高可用性,定量方法可以帮助您决定重新设计是否值得。manbetx官方网站手机版
  • 将用户体万博官网manbetx下载验改进与组织联系起来目标以及关键绩效指标(从而证明投资回报率证明你的用户体验团队的存在)。万博官网manbetx下载

这篇文章可以帮助您入门——第一步是确定您需要哪种QuantUX研究方法。万博官网manbetx下载我们将介绍一些最流行的定量研究:

  • 定量可用性测试(基准测试)
  • Web分析(或应用程序分析)
  • A/B测试或多变量测试
  • 卡片分类
  • 树形检验
  • 调查或问卷
  • 聚类定性评价
  • 可取性研究
  • 眼睛跟踪测试

每种方法都会产生有价值的定量数据,但是这些技术在收集的数据类型上差别很大,以及所需的资源和工作量。

本文列出了这些方法最常见的用例,并对每种方法的成本和难度进行估算。和任何研究方法一样,每一个都可以适应各种需求。根据你的具体情况,您的成本和困难可能与我们的粗略估计有所不同。此外,您应该知道,每种方法都需要不同的最小样本量来确定统计显著性.

定量可用性测试(基准测试)

  • 用途:
    • 随着时间的推移跟踪可用性
    • 与竞争对手比较
  • 成本:培养基
  • 收集难度:培养基
  • 分析难度:培养基
  • 方法类型:行为(人们做什么)
  • 使用语境:基于任务

虽然没有经常使用,定量可用性测试(有时称为可用性基准测试)与定性可用性测试非常相似-用户需要执行现实任务使用产品。两者的主要区别在于,Qual可用性测试优先考虑观察结果,比如识别可用性问题。相反,定量可用性测试的重点是收集诸如任务时间或成功.

一旦您收集了样本量相对较大的指标(大约35个参与者或更多参与者),你可以用它们来跟踪你的产品的可用性随着时间的推移的进展,或者将其与竞争对手产品的可用性进行比较。

当您随着时间的推移跟踪可用性度量时,在产品的许多不同迭代中,你可以创建这样的图表。这类信息可以帮助您密切关注产品的用户体验,万博官网manbetx下载确保它随着时间的推移而改进。

您选择的可用性测试类型(亲自远程慢化,或远程未降级)将影响成本,并且难以与此方法关联。由于Quant和Qual可用性研究的目标不同,这个结构测试和任务使用也需要不同。

对于运行基本的定量可用性测试研究所需的所有技能,看我们的全天课程测量用户体验.

Web分析(或应用程序分析)

  • 使用:
    • 检测问题或确定问题的优先级
    • 监控性能
  • 成本:
  • 收集难度:
  • 分析难度:
  • 方法类型:行为(人们做什么)
  • 使用语境:现场直播

分析数据描述人们对你的现场产品做了什么-他们去了哪里,他们点击什么,他们使用什么功能,他们来自哪里,以及他们决定离开网站或应用程序的页面。这些信息可以支持各种各样的用户体验活动。万博官网manbetx下载特别地,它可以帮助您监控各种内容的性能,UIS或者你产品的特点,找出不起作用的东西。

为了解释分析和定量可用性测试之间的差异,看这段2分钟的视频.

有关分析的更多信息,特别关注这些方法在用户体验中的适用性,万博官网manbetx下载看我们的全天课程分析和用户体验.

A/B测试或多变量测试

  • 用途:比较两种设计方案manbetx官方网站手机版
  • 成本:
  • 收集难度:
  • 分析难度:
  • 方法类型:行为(人们做什么)
  • 使用语境:现场直播

虽然您可以使用分析指标来监控产品的性能(如上所述),您还可以创建实验来检测不同的用户界面设计如何通过A/B测试或多变量测试来更改这些度量。manbetx官方网站手机版

在A/B测试中,团队创建同一用户界面的两个不同的实时版本,然后将每个版本显示给不同的用户,以查看哪个版本的性能最好。例如,您可以创建同一个操作按钮标签的两个版本:获得定价VS学习更多.然后您可以跟踪两个版本中按钮接收到的单击次数。多元检验相似,但涉及同时测试几个设计元素(例如,manbetx官方网站手机版测试可能涉及不同的按钮标签,排版,以及在页面上的位置。)

这两个基于分析的实验对于在同一个设计的不同变体之间做出决定都是很好的,并且可以结束团队关于哪个版本最好的争论。manbetx官方网站手机版

A/B测试分割您的传入站点流量(用户),并将一些用户导向一个版本的用户界面,其他版本。

这种方法的一个主要缺点是经常被滥用.有些团队没有尽可能长时间地进行测试,根据小数字做出冒险的决定。

有关A/B和UX多变量测试的更多信息,万博官网manbetx下载看我们的全天课程分析和用户体验.

卡片分类

  • 用途:确定信息体系结构标签和结构
  • 成本:
  • 收集难度:
  • 分析难度:培养基
  • 方法类型:态度(人们说什么)
  • 使用语境:不使用产品

在一个卡片分类研究,参与者被赋予内容项目(有时字面上写在索引卡上),并要求以对他们有意义的方式对这些项目进行分组和标签。此项测试可亲自进行,使用物理卡,或者远程使用卡片分类平台,比如Optimasort。

当面进行卡片分类测试时,用户对物理卡进行排序和分类。每张卡片都包含其所代表内容的描述。

这种方法使您有机会进入用户的思想模型信息空间。他们使用什么术语?他们如何逻辑地将这些概念组合在一起?

对创建类似分组的参与者百分比进行定量分析可以帮助确定大多数用户可以理解的分类方法。

树形检验

  • 用途:评估信息架构层次结构
  • 成本:
  • 收集难度:
  • 分析难度:培养基
  • 方法类型:行为(人们做什么)
  • 使用语境:基于任务的不使用产品

在一个树形检验,参与者试图仅使用网站的类别结构完成任务。它本质上是评估信息架构的一种方法,通过将它与用户界面的所有其他方面隔离开来。

例如,想象一下你的产品是宠物用品网站,这是你的最高层次。

层次结构的可视化可能看起来像这样。树测试的参与者被要求在你的层次结构中找到一个特定的项目(例如衣领)。他们首先只看到顶级类别(例如,狗,猫,鸟,等)一旦他们做出选择(狗),他们看到选择的子类别。

你可以让你的参与者在一个任务中找到狗项圈。对树测试结果的定量分析将显示人们是否能够在信息层次结构中找到指向此项的正确路径。有多少参与者选择了错误的类别?

该方法有助于识别IA结构,标签,安置也符合人们的期望。

有关如何设计和评估信息架构的更多信息,manbetx官方网站手机版看我们的全天课程信息架构.

调查和问卷

  • 用途:收集用户信息,他们的态度,与行为
  • 成本:
  • 收集难度:
  • 分析难度:
  • 方法类型:态度(人们说什么)
  • 使用语境:任何

调查是一种灵活的用户研究工具。你可以在不同的环境中管理它们——比如在一个实时网站上进行的短截获调查,在电子邮件中,或者在可用性测试之后。

它们可以生成定量和定性数据的组合-评级,多项选择题中每个选择的答案比例,以及开放式响应。您甚至可以将调查的定性响应转化为数字数据(请参阅以下有关对定性评论进行编码的部分)。

像这样的语义差异评分量表,每个单选按钮代表一个数值。受访者可以选择易用(1)、难用(5),或介于两者之间的值。对这个问题的平均反应衡量了你的应用程序的感知难度。

您可以创建自己的自定义调查,或者你可以用其中一个提供已建立的问卷(例如,系统可用性量表或净发起人得分)。这些调查问卷的一个优点是,你可以经常将你的结果与行业或竞争对手的得分进行比较,看看你怎么样。即使您创建了自己的自定义调查问卷,你仍然可以跟踪你的平均分数,监控产品改进。

有关设计调查的更多信息,manbetx官方网站手机版以及许多定性的用户研究方法,看我们的全天课程用户研究方法:从策略到需求再到设计manbetx官方网站手机版.

聚类定性数据

  • 用途:确定定性数据中的重要主题
  • 成本:
  • 收集难度:培养基
  • 分析难度:培养基
  • 方法类型:态度(人们说什么)
  • 使用语境:任何

这种技术不是一种数据收集方法,更多的是定性数据的分析方法。它涉及对定性研究的观察结果进行分组(例如,日记研究调查,焦点小组,或采访)基于共同的主题。如果你有很多观察结果,当提到特定主题时,您可以计算实例的数量。

例如,想象一下你运行一个日记研究要求参与者在一周的日常生活中每次使用你的产品时都要报告,目的是了解他们在什么环境下使用您的产品。您可以计算人们在工作中使用产品的实例,在他们的家里,或者走。

这种方法可以识别特定主题或情况的流行率或频率,例如,用户投诉或用户界面问题的频率。

这种方法是从大量定性信息中挖掘数值数据的好方法。但这可能相当耗时。

可取性研究

  • 用途:识别与产品或品牌相关的属性
  • 成本:
  • 收集难度:
  • 分析难度:
  • 方法类型:态度(人们说什么)
  • 使用语境:基于任务

定量期望性研究尝试量化和测量产品的某些质量,例如审美吸引力,品牌实力,语调这些研究可以根据您的研究问题进行定制,但是他们通常会首先让参与者接触你的产品(或者给他们展示一个静止的图像,或者让他们使用实况产品或者原型)。然后,你会要求他们通过从A中选择选项来描述设计。manbetx官方网站手机版描述性词语列表.样本量大,代表了你的人口,趋势开始出现。例如,你可能会认为84%的受访者认为设计“新鲜”。manbetx官方网站手机版

眼睛跟踪测试

  • 用途:确定哪些UI元素分散注意力,可找到的,或可发现的
  • 成本:
  • 收集难度:
  • 分析难度:
  • 方法类型:行为(人们做什么)
  • 使用语境:基于任务

眼睛跟踪研究需要特殊的设备来跟踪用户在界面上移动时的眼睛。当许多参与者(30个或更多)在同一界面上执行同一任务时,有意义的趋势开始出现,你可以看出,具有一定的可靠性,页面的哪些元素会引起人们的注意。眼睛跟踪可以帮助您识别哪些界面和内容元素需要强调或取消强调,帮助用户实现目标。

眼睛跟踪软件可以使用聚集的注视数据(用户在界面上查看的地方,这里用绿点表示)。

进行眼球跟踪研究的一个主要障碍是高度专业化,非常昂贵,有些不稳定的设备需要大量的培训才能使用。

如果你正在考虑进行一项眼睛跟踪研究,查看我们的免费报告如何进行眼睛跟踪研究.

选择一种方法

方法

通常用于

成本

收集难度

分析难度

类型

使用语境

定量可用性测试

随着时间的推移跟踪可用性

比较竞争对手

培养基

培养基

培养基

行为

基于任务

Web分析(或应用程序分析)

检测问题或确定问题的优先级

监控性能

行为

现场直播

A/B测试

比较两个特定的设计选项manbetx官方网站手机版

行为

现场直播

卡片分类

确定IA标签和结构

培养基

态度的

不使用产品

树形检验

评估IA层次结构

培养基

行为

不使用产品

调查和问卷

收集用户信息,他们的态度,与行为

态度的

任何

聚类定性评价

确定定性数据中的重要主题

培养基

培养基

态度的

任何

可取性研究

识别与产品或品牌相关的属性

态度的

基于任务

眼睛跟踪测试

确定哪些UI元素分散注意力,可找到的,或可发现的

行为

基于任务

此表提供了上述方法的摘要。

从你的研究问题开始

当试图确定使用哪种定量方法时,先回答你的研究问题。你需要知道什么?其中一些方法最适合一般研究问题.例如:

  • 我们的产品可用性如何随时间变化?
  • 与竞争对手相比,我们的表现如何?
  • 我们的哪些问题影响最大?我们应该如何确定优先级?

对于这些类型的问题,你可能想用定量可用性测试,网站分析,或调查.

当你有更多的具体问题你想回答。例如:

  • 我们应该如何修复我们的全球导航类别?
  • 我们的大多数用户对我们的视觉设计有什么看法?manbetx官方网站手机版
  • 在这两种设计方案中,我们应该将哪一种用manbetx官方网站手机版于仪表板?

对于这些研究问题,你可能想用A/B测试,卡片分类,树测试编码定性评论,可取性研究,或眼球追踪.

这些建议中有一些灰色区域,然而。例如,A/B测试可能不是贵公司的选择,出于安全或技术原因。如果是这样的话,你负担得起,你可以亲自做一个定量可用性研究来比较两个原型。然而,这不是定量可用性测试的典型用途,所以我没有在这里讨论。

考虑成本

在研究问题之后,选择方法的第二大影响因素是成本。这些方法在成本上会有很大的不同,这取决于您如何实施研究。你使用的工具,参加人数,你的研究人员所花费的时间都会影响最终的成本。为了让事情变得更复杂,许多团队的研究预算差异很大。再一次,这里的成本估算是相对的。

低预算团队将依赖于数字方法-远程可用性测试,在线卡片分类平台,如Optimasort,A/B测试,以及Web或应用程序分析。根据经验,面对面方法(例如面对面可用性测试,个人卡片分类)往往更昂贵,因为他们需要更多的研究人员的时间。此外,他们可能需要旅行和设备租赁。眼睛跟踪是这里列出的最昂贵的方法,并且应该只被那些有大量预算和研究问题的团队使用。

这个图表显示了本文讨论的定量方法在适用于研究问题的不同粒度级别(一般到具体)方面的位置。

下一步

一旦你选择了一个方法,了解它!做你的家庭作业,确保你能按自己的意愿计划和进行学习,确保你得到有用的结果。我在本文中包含了一些链接,以向您指出每种方法的更多资源,以及A资源最后的部分。

被警告:你不能不做任何统计分析就收集指标并开始做决定。仅仅从5个用户那里收集评分量表的回复是不够的,取平均值,继续前进。

对于这里讨论的每种方法,有不同的建议最小样品尺寸-为了获得可靠的数据并确定统计显著性.你需要达到最小的样本量。如果你不这样做,你不能保证你的发现不仅仅是侥幸。

一定要考虑到你需要研究相关统计概念的时间,无论你选择哪种方法,以及获得正确最小样本量的成本。我保证,它不像看上去那么难,而你的定量数据将是非常值得的麻烦。

资源

测量UX和ROI万博官网manbetx下载(全天课程)

“了解统计意义”(文章)

“统计意义是什么?”(文章)

“定量研究:要测试多少用户?”(文章)

“如何通过5个简单步骤计算置信区间”(文章)

“可用性投资回报率”(文章)

可用性投资回报率(ROI),四版本(报告)

“何时使用哪些用户体验研究方法”(文章)

“万博官网manbetx下载用户体验研究摘要”(文章)

测量U样本量和置信区间计算器(工具)

定量可用性测试

“数量与定性可用性测试”(文章)

“准确性vs.对定量可用性的洞察”(文章)

“为定量和定性可用性研究编写任务”(文章)

“远程可用性测试:适度和非适度”(文章)

“远程适度可用性测试:如何以及为什么进行这些测试”(文章)

“成功率:最简单的可用性指标”(文章)

分析学

分析和用户体验(全天课程)

分析与VS定量可用性测试”(视频)

“用户体验实践中分析的三种用途”(文章)

“面向用户体验战略家的五个基本分析报告”万博官网manbetx下载(文章)

A/B测试或多变量测试

分析和用户体验(全天课程)

“代替A/B测试”(文章)

“通过用户体验研究定义更强大的A/B测试变体”万博官网manbetx下载(文章)

“关于A/B测试的10件事”(文章)

“多变量与A/B测试:增量与彻底改变”(文章)

卡片分类

信息架构(全天课程)

“卡片分类:发现用户的心理模型以获得更好的信息架构”(文章)

“卡片分类:将用户推到术语匹配之外”(文章)

“卡片分类:如何最好地组织产品供应”(视频)

“如何避免卡片分类中的偏差”(视频)

树形检验

信息架构(全天课程)

“树测试:快速,菜单标签和类别的迭代评估”(文章)

“树木试验第2部分:结果解释”(文章)

“使用树测试测试信息架构”(文章)

调查和问卷

用户研究方法:从策略到需求再到设计manbetx官方网站手机版(全天课程)

“除了核动力源:用SUS测量感知可用性,NASA TLX任务和可用性测试后的一个简单问题”(文章)

“12条关于编写更好调查问题的提示”(文章)

“清理调查和在线研究的数据”(文章)

聚类定性数据

“量化定性数据的5个示例”(文章)

“如何编写和分析逐字注释”(文章)

“日记研究:了解长期用户行为和体验”(文章)

可取性研究

“可取性研究:测量视觉设计的审美反应”manbetx官方网站手机版(文章)

“使用Microsoft Desireability工具包测试视觉吸引力”(文章)

“Microsoft Desireability工具箱产品反应词”(文章)

眼睛跟踪测试

如何进行眼睛跟踪研究(免费报告)

“眼睛跟踪显示任务场景如何影响人们的外观”(视频)