菜单

量化用户体验研究在实践中

通过 凯特莫兰2018年9月2日

简介:在429名用户体验专业人员中,71%的团队报告至少有时会进行某种量化用户体验研究,几乎每个人都报告说要完成定量研究的挑战。


用户体验有时被视为“软”科学Often, that’s due to our field’s reliance on qualitative research and observations调查数字产品团队如何使用定量研究得到“硬”数据(或他们为什么不)我们调查了429名用户体验专家。

团队使用定量研究的频率

We asked respondents to roughly estimate how frequently they, or someone else on their team, perform 定量研究

大多数受访者表示,他们的团队至少偶尔进行定量研究:44%的人表示“有时”进行定量研究,27%的人表示他们根据manbetx官方网站手机版项目进行一项或多项定量研究。

When interpreting these results, bear in mind that there may be some sample bias 正在上映我们招募受访者来自Twitter和LinkedIn的推广,并提供一个免费的报告或在线研讨会的机会,以激励我们还提到,这项调查是关于量化实践作为一个结果,our sample consisted of NN/g-fan UX practitioners 谁可能对定量研究方法感兴趣或听说过我打赌那个样本(可能是你,因为你正在读这篇文章)可能比整个更广泛的UX社区进行更多的定量研究。

(Although, since you are reading this article, that likely means the results of this survey are probably fairly representative for the kinds of projects you 尽管它们可能无法代表世界上所有的manbetx官方网站手机版项目。)

We were somewhat surprised to hear that the majority of our respondents (71%) said they performed quantitative research either “sometimes” or “at least one study per project.” This result makes sense when we look at the methodologies that respondents report using.

团队使用哪种方法

We asked respondents to tell us how frequently their teams were using 11 popular UX research methodologies — 7  and 4 qualitativeFor each methodology, respondents told us if they were using it “often,” “sometimes,” “rarely,” or “never.”

 

这堆积条形图显示了比例的受访者使用每个方法经常或有时报道Analytics, qualitative usability testing, and interviews were tied for the most popular methodology, each with 67% of respondents reporting that they use it “Often” or “Sometimes.” These three were the only methods used by a majority of respondents, with everything else clocking in at 48% at the most.

我们的受访者报告的最常用的方法是按顺序:

  • 分析(定量)
  • 定性的可用性测试(试验)
  • 访谈(Qual)
  • 大样本调查(定量)
  • 小样本调查(Qual)
  • A / B或多变量测试(Quant)
  • 卡片分类(Quant / Qual)
  • 定量可用性测试(Quant)
  • 焦点小组(定性)
  • 树测试(Quant)
  • Eyetracking(Qual / Quant)

Predictably, the relatively 低成本方法 rank near the top (analytics, qualitative usability testing, interviews) while more expensive methodologies are towards the bottom (quantitative usability testing and 眼动,这可能是非常昂贵的)。

这些结果为manbetx官方网站手机版项目中令人惊讶的高频率定量研究提供了一些背景74%的受访者称使用定量研究每个项目至少一次还报道使用分析“经常”(86 117)。

Analytics data can 在UX manbetx官方网站手机版中扮演重要角色Unfortunately, in this survey, we don’t have an indication of exactly 如何respondents were using analytics in their projects. 

It’s possible that many of the analytics-heavy respondents, who reported using quantitative research at least once per project or sometimes, used that analytics data in a meaningful way to guide their manbetx官方网站手机版 projects — for example, to help them identify problem areas in the product. 

However, it’s also possible that those simply reporting that their teams were just 收集每个项目中的分析数据,而不是它对他们的工作有任何实际意义我们的受访者提供了一些开放的文本字段评论,支持这种可能性。

“我们没有资金用于更先进的定量研究方法(除了点击测试,调查等)”

“我的公司最初是作为A / B测试公司和CRO公司开始的,并没有将他们的想法超越转换率。”

“我的经理可以访问分析并衡量我们产品/网站内流量的成功,而不是解释这些数据以提取有意义的见解。”

“他们是我们获得的唯一指标我们不收集任何使用数据,因此销售和收入专门推动产品决策。“

成功的标准

用户研究(不仅仅是定量的,而且是定性的)可以帮助我们确定我们的manbetx官方网站手机版是否按照我们的要求工作,以及我们是否达到了目标。

我们在调查中询问受访者他们如何知道manbetx官方网站手机版项目何时成功在多选中,他们可以从5个选项中进行选择:

  • 基于使用指标和定量研究(如定量可用性测试,NPS和分析)的计算改进
  • 基于通过定性研究观察到的改进(如定性可用性测试和访谈)
  • As long as the leadership/executives are happy, the manbetx官方网站手机版 changes are counted as a success
  • 我们真的不知道
  • 其他
Respondents told us how they and their colleagues judge the success of their manbetx官方网站手机版 projects.Based on quant research, based on qual research, and happy stakeholders each received selections from more than 40% of the respondents(这些百分比加起来超过100%,因为人们可以选择多个选项。)

在一个理想的世界里,成功将评估由定性和定量数据,观察和测量结果。这将告诉我们如果我们达到我们的目标,让我们的用户满意,这将使领导或利益相关者开心作为一个自然结果。

不幸的是,那些没有结果,我们发现:only 24% of respondents checked of the options for looking at quant and 定性研究。虽然我们的受访者对定量和质量数据的优先级均超过40%,但高管/利益相关者也是如此Additionally, a disheartening 18% of respondents admitted that they “don’t really know” 他们的manbetx官方网站手机版是否真的有所改进。

定量研究挑战

We often hear complaints from UX teams that they want 做更多的定量研究,但太多不可逾越的障碍阻碍了为了在我们的调查中得出这一点,我们要求受访者从我们最常听到的九个问题的多选列表中选择他们的定量研究挑战,以及“其他”写入字段。

  • 定量研究太昂贵了
  • 定量研究过于耗时
  • 难以为大样本招募足够的参与者
  • 缺乏关于如何进行或分析定量研究的团队知识
  • 团队中缺乏知识关于定量研究是什么,何时使用它,或者方法是什么
  • 缺乏对定量研究价值的理解
  • 缺乏对一般研究价值的理解 - 而不仅仅是定量研究
  • 定量研究结果难以解释或报告
  • 该组织的另一个小组负责定量研究,不包括用户体验
  • 其他
  • 我不确定
受访者告诉我们他们的定量研究问题(这些百分比加起来超过100%,因为人们可以选择多个选项。)

招聘难度大样本是最受欢迎的回应(37%)一些受访者表示在努力收集大样本,因为他们的最终用户被守门例如,一位从事企业产品工作的受访者解释说:“我们依靠产品管理来决定何时能够或不能联系可能不想提供员工时间的客户。”

在招聘困难之后,其他选项的选择率非常相似(16-29%)在429名受访者中,只有2名受访者表示每个项目至少进行一次定量研究并且没有重大问题这里的主要结论似乎是almost everyone struggles with quantitative research in some way — even those who reported doing quantitative research frequently. 

无知作为障碍

值得注意的是,缺乏知识的量化方法和分析定量数据排名向这个列表的顶部。定量研究可以恐吓用户体验专家,他们的团队,或他们的利益相关者,and ignorance is a substantial roadblock. 

“[我们的挑战是],尤其是A / B测试背后的高级数学”

“缺乏数据科学家(目前1名)和定性研究人员的有限定量技能(或培训)当有更好的人纠正你时,可能会令人反感;)“

一些受访者在咨询公司或机构抱怨说,他们努力工作得到客户支持定量研究。

“我们的用户体验团队了解它的价值,以及如何/何时使用它产品团队的其他组织,然而,是一个不同的故事……”

“所有者没有看到定量研究的价值疯了,我知道。“

Despite these challenges, there’s some good news in these results: only 16% of respondents found quant UX research to be too expensive. 显然,某些东西是否被认为“昂贵”取决于三个因素:成本,成本效益比和可用预算(如果成本超过可用预算,即使是具有有利成本效益比的研究也会过于昂贵。)

A decade ago, it was the common understanding in the UX field that 定量研究是昂贵的 and reserved for extravagant, well-funded projects in big companiesWe’ve always advocated 折扣可用性而不是del web博客官网manbetx下载e可用性用户研究方法,为了得到更广泛的使用。

然而,尽管便宜的方法仍然很棒而且应该占大多数的研究manbetx官方网站手机版项目,定量方法更关心的是负担不起的l万博官网manbetx下尤里载比以前,有三个原因:

  • The cost is down, due to improvements like 远程研究 services (e.g., UserZoom) and automated data collection.
  • The cost–benefit ratio is more favorable, 不仅仅因为定量结果作为虚荣统计——相反,他们通常用于纵向跟踪,展示ROI,三角定性结果。
  • User-research budgets in general are growing, as more companies move to higher levels of 用户体验的成熟度

您的定量待办事项列表

根据这些调查结果,我们有以下建议供您考虑下一个项目。

  • You can probably afford to do some quant research, so plan for it. 即使这意味着从更便宜或更轻量级的方法(如分析)开始,也没关系让您的团队或客户从定量研究开始是重要的事情,您可以在建立专业知识时努力扩展定量方法。
  • As early as possible, consider how you can get the necessary sample size, 因为这是问题阻碍大多数团队和不应该留给最后一刻如果您难以绕过阻止您访问用户的网守,可能需要一些网络来说服他们研究的重要性如果招聘是您团队的一个持续障碍(并且您拥有资源),请考虑将一名内部兼职或全职招聘人员投入到工作中。
  • Before even starting the project, educate yourself and your team on the available quant methods, the appropriate uses for each, and how to interpret findings 并将它们变成行动项目不要让“缺乏知识”阻碍你。
  • 不要只使用最受欢迎的方法时,但考虑一些更专业的方法将更有价值的回答特定manbetx官方网站手机版的问题。
  • Combine methods特别是,使用定量和质量研究的组合来相互通知,从而提高两者的有效性。
  • Plan how you will judge the success of your manbetx官方网站手机版 在一开始优选使用定量数据和定性观察的组合通过这种方式,您将加入精英,24%的用户体验,这样做是正确的。

To learn about the value of quantitative research, quantitative methodologies, and how to choose between them, check out our full-day seminar, 测量UX和ROI