菜单 关闭

定量用户研究方法:概述

通过 凯特·莫兰2018年4月22日

简介:Do you need numerical data about your product’s user experience, but you aren’t sure where to start? The first step is choosing the right tool查看最常用的定量方法列表。


许多用户体验专家倾向于定性方法(定性),这被广泛认为是更容易和更便宜的比定量(定量)研究他们回避了与量化相关的较大样本量和统计数据的令人生畏的前景。

If that sounds like you, you’re missing out! Quant methodologies are an important part of any experienced UX researcher’s toolkitQuant方法允许您:

  • 放一个number 关于您产品的可用性数字有时比质量测试的结果和视频更有说服力(特别是当你试图说服像高管这样的人时)。
  • Compare 不同manbetx官方网站手机版s(例如,您的新版本vs您的旧版本,或您的产品与your competitor’s product), and determine whether the differences you observe are 具有统计学意义,而不是随机的机会。
  • Improve 用户体验的权衡决定For example, if a proposed manbetx官方网站手机版 improvement is expected to be expensive to implement, is it worth doing? If you have an estimate of how much the change will improve the usability, a quant method may help you decide whether the remanbetx官方网站手机版 is worth it.
  • Tie UX improvements back to organizational goals and key performance indicators (thus demonstrating your 投资回报 and justifying your UX team’s existence).

这篇文章可以帮助你开始,第一步是确定哪些需要量化用户体验研究方法我们将介绍一些最流行的量子研究:

  • 定量可用性测试(基准测试)
  • 网络分析(或App Analytics)
  • A / B测试或多变量测试
  • 卡片分类
  • 树测试
  • 调查或调查问卷
  • 聚类定性评论
  • 可取性研究
  • Eyetracking测试

这些方法中的每一种都产生有价值的定量数据,但这些技术在收集的数据类型以及所需的资源和工作量方面差异很大。

本文列出了这些方法的最常见用例,并估算了每种方法的成本和难度与任何研究方法一样,每种方法都可以适应各种需求根据您的具体情况,您的成本和难度可能与我们的粗略估计不同Additionally, you should be aware that each of these methods will require different minimum sample sizes to determine 统计学意义

定量可用性测试(基准测试)

  • 使用:
    • 随时跟踪可用性
    • 与竞争对手比较
  • Cost: 介质
  • Difficulty of Collection: 介质
  • 困难的分析:介质
  • 类型的方法:行为(什么人)
  • 使用环境: Task-based

Although not used as often, quantitative usability testing (sometimes referred to as usability benchmarking) is a lot like qualitative usability testing — users are asked to 执行现实的任务 using a product两者之间的主要区别在于,可用性测试优先考虑观察,例如识别可用性问题In contrast, quant usability testing is focused on collecting metrics like time on task or 成功

一旦您收集了具有相对较大样本量(大约35个参与者或更多)的指标,您就可以使用它们跟踪产品的可用性随时间推移的进度,或者将其与竞争对手产品的可用性进行比较。

当你跟踪可用性指标随着时间的推移,在许多不同的迭代的一个产品,您可以创建图表这类信息可以帮助您密切关注产品的用户体验,并确保它随着时间的推移而改进。

您选择的类型的可用性测试(面对面、远程节制或远程不加节制的)将会影响该方法相关的成本和困难Since the goals of quant and qual usability studies are different, the structure测试和任务 used will need to be different as well.

所有你需要运行一个基本的技能量化可用性测试研究,看到我们全天的课程衡量用户体验

网络分析(或App Analytics)

  • 用途:
    • 检测或优先排序问题
    • 监控性能
  • Cost: 
  • Difficulty of Collection: 
  • 困难的分析:
  • 类型的方法:行为(什么人)
  • Context of Use: 生活

分析数据 describe what people are doing with your live product — where they go, what they click on, what features they use, where they come from, and on which pages they decide to leave the site or app此信息可以支持各种UX活动特别是,它可以帮助您监视性能的各种内容,用户界面,或者在你的产品特性,并确定什么是行不通的。

解释的差异分析和量化的可用性测试,手表这段2分钟的视频

更多的分析特别注重这些方法如何适应用户体验,看到我们全天的课程分析和用户体验

A / B测试或多变量测试

  • 使用:比较两个manbetx官方网站手机版选项
  • Cost: 
  • Difficulty of Collection: 
  • 困难的分析:
  • 类型的方法:行为(什么人)
  • Context of Use: 生活

虽然您可以使用分析指标来监控产品的性能(如上所述),但您也可以创建实验,以检测不同的UI manbetx官方网站手机版如何通过A / B测试或多变量测试来更改这些指标。

在A / B测试中,团队为同一个UI创建两个不同的实时版本,然后将每个版本显示给不同的用户,以查看哪个版本的性能最佳For example, you might create two versions of the same call-to-action button label: 得到价格vs。Learn 更多Then you could track the number of clicks that the button receives in the two versions. 多变量测试是相似的,但涉及到测试几个manbetx官方网站手机版元素一次(例如,测试可能涉及不同的按钮标签、排版,并放置在页面上。)

这两个基于分析的实验都非常适合决定同一个manbetx官方网站手机版的不同版本 - 并且可以结束团队关于哪个版本最好的争议。

A/B testing splits your incoming site traffic (users), and directs some users to one version of the UI, and others to the other version. 

这种方法的主要缺点是它的经常被滥用Some teams fail to run the tests as long as they should, and make risky decisions based on small numbers. 

For more on A/B and multivariate testing for UX, see our full-day course 分析和用户体验

卡片分类

  • 使用:确定信息架构标签和结构
  • Cost: 
  • Difficulty of Collection: 
  • 困难的分析:介质
  • 类型的方法:态度(人们怎么说)
  • Context of Use: 不使用产品

In a 卡片分类研究参与者被给予内容项目(有时字面上写在索引卡上),并被要求以对他们有意义的方式对这些项目进行分组和标记该测试既可以亲自进行,也可以使用实体卡进行,也可以使用像OptimalSort这样的卡片分类平台进行远程测试。

当卡片排序测试是亲自进行的时,用户对实体卡进行分类和分类每张卡片都包含其所代表内容的说明。

这种方法使你有机会进入用户的心理模型信息空间What terminology do they use? How do they logically group these concepts together?

对创建类似分组的参与者的百分比进行定量分析可以帮助确定大多数用户可以理解哪种分类方法。

树测试

  • 使用:评估信息架构层次结构
  • Cost: 
  • Difficulty of Collection: 
  • 困难的分析:介质
  • 类型的方法:行为(什么人)
  • Context of Use: 基于任务的,不使用产品

In a 树的测试,参与者尝试仅使用您网站的类别结构来完成任务它本质上是一个方法来评估你的信息架构,通过隔离它远离所有UI的其他方面。

例如,想象你的产品是一个宠物用品的网站,这是你的顶级层次结构。

一个可视化的层次可能看起来像这样要求树测试的参与者在您的层次结构中找到特定项目(例如,项圈)他们首先只看到顶级类别(例如,狗,猫,鸟等)。一旦他们做出选择(狗),他们就会看到选择的子类别。

您可能会要求参与者完成一项任务,找到狗项圈定量分析tree-test结果将显示人们是否能够找到正确的道路,这一项在层次结构的信息有多少参与者选择了错误的类别?

这个方法是有用的在确定如果一个IA结构、标签和配售同意人们的期望。

For more information about how to manbetx官方网站手机版 and evaluate information architecture, see our full-day course 信息架构

调查和问卷调查

  • 使用:Gather information about your users, their attitudes, and behaviors 
  • Cost: 
  • Difficulty of Collection: 
  • 困难的分析:
  • 类型的方法:态度(人们怎么说)
  • Context of Use: 任何

调查是一种灵活的用户研究工具You can administer them in a variety of contexts — as short intercept surveys on a live website, in emails, or after a usability test. 

他们可以生产相结合的定量和定性数据,评级,比例为每个选择一个多项选择题的问题的答案,以及开放式的反应您甚至可以将对调查的定性响应转换为数值数据(请参阅以下有关编码定性注释的部分)。

与语义区别这样的等级量表,每个单选按钮代表一个数值受访者可以选择易于使用(1),难以使用(5)或两者之间的值对此问题的平均响应可衡量您的应用感知难度。

You can create your own custom surveys, or you can use one of the many 已建立的调查问卷(例如,系统可用性规模或净推荐值)其中一个调查问卷的一个优点是,您通常可以将您的结果与行业或竞争对手的分数进行比较,看看您的工作情况如何即使您创建自己的自定义调查问卷,您仍然可以跟踪您的平均分数,以监控产品改进。

For more on manbetx官方网站手机版ing surveys, as well as many qualitative user research methods, see our full-day course 用户研究方法:从战略到需求到设计

聚类定性数据

  • 使用:识别定性数据的重要主题
  • Cost: 
  • Difficulty of Collection: 介质
  • 困难的分析:介质
  • 类型的方法:态度(人们怎么说)
  • Context of Use: 任何

这种技术的数据收集方法,定性数据的分析方法它涉及根据共同主题对来自定性研究(例如,日记研究,调查,焦点小组或访谈)的观察进行分组如果您有大量观察结果,则可以计算提及特定主题时的实例数。

For example, imagine you run a 日记研究 asking participants to report every time they use your product in their daily lives for a week, with the goal of understanding in what context they use your products您可以计算人们在工作,家中或旅途中使用产品的情况。

This method can identify the prevalence or frequency of a specific theme or situation — for example, the frequency of a user complaint or of a UI problem. 

这种方法是从大量定性信息中挖掘数值数据的好方法,但它可能非常耗时。

Desirability Studies 

  • 使用:识别与您的产品或品牌相关的属性
  • Cost: 
  • Difficulty of Collection: 
  • 困难的分析:
  • 类型的方法:态度(人们怎么说)
  • Context of Use: 基于任务

定量的可取性研究 attempt to quantify and measure some quality of a product — such as aesthetic appeal, brand strength, tone of voice这些研究可以根据您的研究问题进行定制,但通常包括首先将参与者暴露给您的产品(通过向他们展示静止图像或要求他们使用实时产品或原型)Then you’ll ask them to describe the manbetx官方网站手机版 by  selecting options from a 描述性词汇列表随着大样本量代表您的人口,趋势开始出现例如,您可能,84%的受访者描述manbetx官方网站手机版是“新鲜”。

Eyetracking测试

  • 使用:确定哪些UI元素分散注意力,可查找或可发现
  • Cost: 
  • Difficulty of Collection: 
  • 困难的分析:
  • 类型的方法:行为(什么人)
  • Context of Use: 基于任务

眼球跟踪研究需要特殊的设备来跟踪用户在界面上移动时的眼睛当许多参与者(30个或更多)在同一界面上执行相同的任务时,有意义的趋势开始出现,您可以通过一定的可靠性告诉页面的哪些元素会吸引人们的注意力Eyetracking can help you identify which interface and content elements need to be emphasized or deemphasized, to enable users to reach their goals. 

Eyetracking软件可以使用聚合的凝视数据创建各种可视化(用户在界面上查看,此处由绿点表示)。

运行眼球跟踪研究的一个主要障碍是高度专业化,极其昂贵且有些不稳定的设备,需要大量的培训才能使用。

If you’re considering running an eyetracking study, check out our free report on 如何进行Eyetracking研究

选择一种方法

方法

通常用于

成本

收集困难

分析难度

类型

使用环境

定量可用性测试

随时跟踪可用性

比较竞争对手

介质

介质

介质

行为的

基于任务的

网络分析(或App Analytics)

检测或优先排序问题

Monitoring performance 

行为的

生活

A / B测试

比较两个特定manbetx官方网站手机版选项

行为的

生活

卡片分类

确定IA标签和结构

介质

态度

不使用产品

树测试

评估IA层次结构

介质

行为的

不使用产品

调查和问卷调查

收集有关您的用户,他们的态度和行为的信息

态度

任何

聚类定性评论

识别定性数据的重要主题

介质

介质

态度

任何

可取性研究

识别与您的产品或品牌相关的属性

态度

基于任务的

Eyetracking测试

确定哪些UI元素分散注意力,可查找或可发现

行为的

基于任务的

这个表提供了一个简易的方法上面所讨论的。

Start with Your Research Question

当试图确定哪些使用定量方法,使你的研究问题What do you need to know? Some of these methodologies are best suited to very 一般研究问题For example:

  • 我们的产品可用性如何随时间而变化?
  • 与竞争对手相比,我们的表现如何?
  • Which of our problems have the biggest impact? How should we prioritize?

For these types of questions, you’ll likely want to use 量化可用性测试,网站分析或调查

Other methodologies work well when you have a more specific question 你想回答For example:

  • 我们应该如何修复我们的全球导航类别?
  • 我们的大多数用户对我们的visual manbetx官方网站手机版有什么看法?
  • 我们应该在仪表板中使用这两个选项中的哪一个?

For these research questions, you’ll probably want to use A / B测试,卡片分类,树木测试,编码定性评论,可取性研究或眼球跟踪

但是,这些建议中有一些灰色地带例如,出于安全或技术原因,A / B测试可能不是贵公司的选项If that’s the case, and you can afford it, you could do an in-person quant usability study to compare two prototypes但是,这不是定量可用性测试的典型用法,所以我没有在这里讨论它。

考虑成本

在研究问题之后,选择方法的第二个最有影响力的因素是成本这些方法的成本会有很大差异,具体取决于您实施研究的方式您所使用的工具,参与者的数量,由研究人员的时间都会影响最终的成本让这个更复杂的是,许多团队有广泛不同的研究预算同样,这里的成本估算是相对的。

低预算团队将依赖数字方法 - 远程可用性测试,在线卡片分类平台,如OptimalSort,A / B测试以及网络或应用分析As a rule of thumb, the in-person methodologies (such as in-person usability testing, in-person card sorts) tend to be more expensive because they require so much more of researcher’s time此外,他们可能需要旅行和设备租赁Eyetracking is the most expensive methodology listed here, and should be employed only by teams with big budgets and research questions that warrant using it. 

此图表显示了本文中讨论的定量方法在哪些方面适用于不同级别的研究问题粒度(一般到特定)。

下一步

Once you’ve selected a method, learn about it! Do your homework to make sure you’ll be able to plan and conduct the study the way you’d like to, and to ensure you’ll get useful results我已经包括了本文的链接为每个方法你向更多的资源,以及一个资源最后一节。

Be warned: You can’t just collect metrics and start making decisions without doing any statistical analysis. 它并不足以从5用户收集评定量表的反应,取平均,然后继续前进。

For each method discussed here, there are different recommended minimum sample sizes — the number of data points you’ll likely need to collect in order to have reliable data and determine 统计学意义你需要达到最小样本量如果你不这样做,你无法保证你的发现不只是侥幸。

无论您选择哪种方法,都要考虑研究相关统计概念所需的时间,以及获得正确最小样本量的成本我保证,它不像它看起来那么难,而且你的定量数据非常值得。

资源

测量UX和ROI(全日制课程)

“理解统计学意义” (Article)

统计学意义是什么意思?” (Article)

“定量研究:有多少用户要测试?” (Article)

“如何计算置信区间在5个简单的步骤 (Article)

“可用性投资回报率” (Article)

投资回报率(ROI)的可用性,4版(报告)

“何时使用哪种用户体验研究方法” (Article)

“UX Research Cheat Sheet” (Article)

测量你的样本大小和置信区间计算器 (Tool)

定量可用性测试

“定量与定性可用性测试“ (Article)

“准确性与量化可用性的见解“ (Article)

“为定量和定性可用性研究编写任务” (Article)

“远程可用性测试:主持和不加节制的” (Article)

“远程审核可用性测试:如何以及为什么要这样做” (Article)

“成功率:最简单的可用性度量标准” (Article)

分析

分析和用户体验 (全日制课程)

“分析与定量可用性测试“ (Video)

“用户体验实践中的三种分析用途” (Article)

“针对用户体验战略家的五项基本分析报告” (Article)

A / B测试或多变量测试

分析和用户体验 (全日制课程)

“将A / B测试放在其位置” (Article)

“通过UX研究定义更强大的A / B测试变体” (Article)

“关于A / B测试需要了解的10件事” (Article)

“多变量与A / B测试:增量vs激进的变化“ (Article)

卡片分类

信息架构 (全日制课程)

“Card Sorting: Uncover Users’ Mental Models for Better Information Architecture” (Article)

“卡片排序:推动用户超越术语匹配” (Article)

“卡片分类:如何最好地组织产品” (Video)

“如何避免卡片排序中的偏见” (Video)

树测试

信息架构 (全日制课程)

“树测试:菜单标签和类别的快速,迭代评估” (Article)

“树测试第2部分:解释结果” (Article)

“使用树测试来测试信息架构” (Article)

调查和问卷调查

用户研究方法:从战略到需求到设计 (全日制课程)

“超越NPS:使用SUS,NASA-TLX测量感知可用性,以及在完成任务和可用性测试后的单一缓解问题” (Article)

“编写更好的调查问题的12个技巧”(文章)

“从调查和在线研究中清理数据” (Article)

聚类定性数据

“量化定性数据的5个例子” (Article)

“如何编码和分析逐字评论” (Article)

“日记研究:了解长期用户行为和经验” (Article)

可取性研究

“合意性研究:测量审美回应视觉设计” (Article)

“使用Microsoft Desirability Toolkit测试视觉吸引力” (Article)

“Microsoft Desirability Toolkit产品反应词” (Article)

Eyetracking测试

如何进行Eyetracking研究 (免费报道)

“Eyetracking显示任务场景如何影响人们看的地方” (Video)