菜单 关闭

解释相互矛盾的用户体验研究结果万博官网manbetx下载

通过 凯特·莫伦1月27日二千零一十九

总结:如果你的产品从一个角度看是好的,从另一个角度看是坏的,你必须检查方法并尝试解释结果。


在介绍最近的培训时用户体验定量研究研讨会万博官网manbetx下载,请有人问我一个有趣的问题:

他说:“我正在领导一个团队,负责检修a复杂的企业产品。我们有一个高保真的原型,我们一直在进行广泛的研究,为发射做准备。风险很高,即使是微小的改进也可能导致生产率的大幅提高,但相反的,设计中的小问题可能会给我们的用户带来大问manbetx官方网站手机版题。

在我们的定量可用性测试,我们看到实质性的时间的减少与旧产品相比,人们需要在原型中完成重要的任务。但问题在于定性的访谈,我们的用户讨厌原型。反馈太消极了。我们如何调和这一矛盾?我们该怎么办?”

这个UX领导描述的情况对于许多专注于研究的数字产万博官网manbetx下载品团队来说是很常见的。

进行用户体验研究的理想方法是使用万博官网manbetx下载多元方法,请混合两种定量以及定性研究。使用多种方法来回答我们的研究问题,并以不同的方式查看我们产品的性能,这是一个复杂的过程。三角测量策略,。但是,当这些不同的研究方法讲述了不同甚至矛盾的故事时,会发生什么呢?

在这篇文章中,我会考虑一些可能的问题,解释,和解决这个用户体验领导的情况。万博官网manbetx下载不幸的是,我对她的产品和研究的细节很少,但我会根据我被问到的其他问题和与我合作过的团队得出一些理论。

检查的方法

在上述情况下,第一步是检查每个研究是如何进行的。因为用户体验万博官网manbetx下载研究涉及到研究人类,潜力是巨大的可能导致错误或误导性发现的错误。

在我们考虑这些相互矛盾的发现可能意味着什么之前,我们需要在每个研究中检查一些关键的组成部分。我们应该从四个方面寻找潜在的问题:

  • 参与者
  • 任务
  • 物流
  • 分析

参与者

谁参与了每个研究?
每项研究有多少人参与?是否存在异常情况——表现与团队其他成员非常不同的人?

同一组用户同时参与了定量研究和定性研究吗?这两项研究的参与者是如何招募的?回答这些问题可能会指出矛盾结论背后的原因。

例如,也许研究人员决定招募在使用产品方面具有不同专业水平的用户。如果新手参与定量研究,但是有经验的用户提供了定性的反馈,然后参与者组之间的差异会影响结果。

任务

定量研究包括哪些任务?

在执行公司关心的一些任务时,用户可能会更有效率。然而,如果用户经常从事广泛的任务,在产品的某个领域提高效率可能不存在于整个系统中。

在定性访谈之前有多少曝光率?
如果研究人员只是把新版本放在笔记本电脑上,指着它,并询问参与者他们的想法,而不给他们实际完成任何任务的机会,这可以解释一些负面反应。用户可能只是对UI看起来是新的和不同的这一事实作出反应,如果他们没有足够的时间来探索它的特性。

定量研究之前暴露了多少?
在测试系统之前,用户是否接受过任何实践任务?他们接受过研究人员的任何培训吗?如果定量参与者比定性参与者更多地接触新系统,他们有时间克服最初的负面反应,学会有效使用新产品。

物流

研究是如何进行的?
我们需要证实这些研究是以一种合理现实的方式进行的——这些研究确实如此外部效度

例如,想象一下这个产品总是在工厂里使用,用户暴露在大量的环境噪音和干扰下。如果研究是在一个安静的会议室进行的,用户使用新版本可能会表现得更好。但设计的某些方面可能会使它在现实条件下的性能更差。manbetx官方网站手机版

此外,我们还需要检查定量研究的运行过程中是否存在偶然的问题,这些问题可能会使研究结果产生偏差内部效度。我们可以问:谁在主持这些测试?主持人有多少经验?

即使是很小的混淆变量也可能产生无效的结果。例如,想象一下,如果所有测试新版本产品的参与者都是在周一早上测试的,所有测试旧版本的参与者在周五的晚上都这样做了。测试的时间安排很容易影响到参与者的表现。

分析

我们有统计学意义吗?
对于定量研究,这两种设计有什么不同吗manbetx官方网站手机版统计上显著?换句话说,新版本中更快的任务时间是否可靠,不太可能是因为随机变化?

任务时间是如何分析的?
在许多研究中,完成任务的时间只包括成功的尝试。新设计比旧设计快manbetx官方网站手机版,但是成功率可比性强吗?如果任务的平均时间增加了2分钟,但成功完成任务的用户比例降低了40%,这对公司和用户来说仍然是不好的!

人们会遇到什么类型的错误?
我们不应该只看时间,但是在定量研究中收集的其他指标,看看他们是否都认为新产品更好。即使新设计的错误更少,manbetx官方网站手机版他们可能比旧系统的错误更严重,并且在定性研究中影响了用户的态度。

解读研究结果:不仅用户说,但是为什么呢?

如果我们在方法中没有发现实质性的错误或解释,现在是时候考虑这两个质量标准(定量效率和定性满意度)之间的冲突可能意味着什么了。

作为用万博官网manbetx下载户体验专业人员,倾听用户的意见是我们的工作。但是任何有经验的用户体验专家都会告诉你,万博官网manbetx下载那个听起来容易做起来难。这是因为我们不能只听取用户的意见并遵循他们的逐字要求。人们通常不知道他们真正想要什么-你的用户不是系统的设计者,manbetx官方网站手机版他们看不到大局。更糟糕的是,他们的反馈经常受到其他因素的影响(错误记忆,社会压力,心理偏见,等等)。

这就是为什么三角测量策略如此必要的部分原因。我们不能只问人们想要什么,做他们告诉我们的。我们必须收集各种数据(定量,定性,自我报告的,并观察)以真正了解正在发生的事情。然后我们可以使用这些信息来解释我们的用户所说的话。

所以,在这个UX团队负万博官网manbetx下载责人的例子中,我们应该如何理解用户的反馈,哪一项似乎与量化绩效数据相矛盾?我们需要看看为什么? 这些人可能会对客观上更好的产品做出如此消极的反应,而定量研究中的任务时间似乎更好。

感知可用性可以不同于客观可用性

不幸的是,我们不知道在定量研究中这个特定的团队减少了多少时间。用户体验万博官网manbetx下载负责人说,减少是“实质性的”,但这可能意味着几秒钟或几分钟。从公司的角度来看,即使是秒数的减少也会带来巨大的好处。想象一下,在公司层面上,每年有成千上万的员工执行这项任务数千次,这些效率的提高加起来很快,而且可以节省成本。

然而,从个人用户的角度来看,这些收益可能并不重要。如果是秒级的提升,单个用户甚至可能没有意识到新系统实际上更快,因为她看不到自己的任务时间或其他参与者的时间。或者他们认识到新系统更快,但是,这些小的收获似乎不值得新的工作流的困难。

人们不喜欢改变

这个复杂企业产品的用户几乎每天都在工作中使用它。他们中的一些人多年来一直在使用基本相同的应用程序版本。即使它不是最有效的,他们已经习惯了。他们知道它是如何工作的。通过改变事情,设计团队manbetx官方网站手机版要求最终用户投入精力来精通新版本。(这是一个常见的发现用户不喜欢改变-这是在发布之前进行研究的一个原因,这样可以最小化后续的更改。)

如果定量研究中的用户在测试前接受了新系统的培训或实践(如上文“检查方法”所述),可能有一个最初的性能滞后没有被测量的任务时间捕获。当引入新接口时,有时会有一个初始生产力损失。学习复杂任务的新接口需要时间,而且效率不如简单地使用旧的接口,熟悉的界面。尽管最终新界面可能会更好,(一)首次使用时没有办法知道的;(2)开始时,这种经历可能更糟。

也有可能是对新系统的一些(可能是次要的)特征有一个负面的反应——例如,人们不喜欢的颜色变化,团队贡献在内部网中可见性的改变——这并不一定会影响UI性能,但主导了他们的反应并创造了尖峰效应

下一步

我对这个团队领导的建议是,首先考虑用户反馈背后的这些原因,然后退后一步,看看更大的图片。当然,在UX万博官网manbetx下载中,定量数据永远不应该自动地推翻定性信息或设计师的直觉(采用这种方法会导致manbetx官方网站手机版滑稽设计错误manbetx官方网站手机版)。

在权衡相互矛盾的发现时,我们必须考虑权衡。我们一直希望用户能够高效,效率,对他们使用的产品感到满意。然而,在这种情况下,潜在的效率收益对利益相关者的吸引力可能远远大于员工的幸福感。这个新版本的产品很有可能被实现,不管用户的感觉如何。这可能是一个潜在的问题,如果用户非常讨厌这个新版本,这会导致工作满意度下降或员工流失。这家公司值得花时间让它的用户既高效又高效快乐。

正如我们所讨论的,这种负面反馈可能是对改变的暂时负面反应。因为赌注很高,这个团队的研究预算也是如此,我的建议是进行更多的调查,看看这个假设是否正确。团队可以试试新员工的定性测试,他们很少接触到之前的系统,看看他们的反馈是否不同。新员工将不会像更有经验的员工那样对旧系统有同样的依恋,也不太容易受到变化的情感反应的影响。(另一方面,新员工也不像使用该系统一段时间的人那样拥有同样多的领域知识,因此,他们可能忽略了一些重要的方面。)来自新员工的积极反馈可能表明,经验丰富的员工的反应是由最初对变化的厌恶引起的。

或者,团队可以进行系统的易学性研究中,通过跟踪任务时间的多轮定量可用性测试,任务完成,以及随着时间的推移的满足感。这项研究将给出一个准确和完整的用户性能图。随着人们对新产品获得经验,满意度也会发生变化。如果新设计真的比旧设计manbetx官方网站手机版好,团队应该期望满意度和性能度量(任务时间和任务完成)随着时间的推移而增加,最终达到与当前设计相当或更好的数量。manbetx官方网站手机版这项研究将很好地说明人们为了克服最初的负面反应,需要接触多少新设计。manbetx官方网站手机版

(我们曾为一位咨询客户做过这样的研究。虽然细节必须保密,我可以说用户花了整整一年的时间才在新设计上比在旧设计上表现得更好,manbetx官方网站手机版十年来他们每天都在用。从长远来看,新的设计确实好多manbetx官方网站手机版了,但改变的决定需要管理层的长期承诺。)

如果这些研究表明,最初的负面反应将被长期的满意度和生产率提高所取代,然后团队就可以确信它正在朝着正确的方向前进。从那里,他们可以计划增量推出新系统。允许当前用户在准备好(而不是在紧迫的期限内)时选择新产品可以减少短期的挫折感。

或者,另一种可能的研究结果是新的设计基本上是好的,manbetx官方网站手机版但是旧的设计中有一些好的方面应该保留在新版本中。manbetx官方网站手机版

用户体验研究的挑战万博官网manbetx下载

理解矛盾的发现是进行用户体验研究的挑战(和乐趣)。万博官网manbetx下载每种方法都只是一条信息,从不同的角度看待用户或产品的一种方式。这些数据应该总是告知我们的决定,但在一天结束的时候,这取决于我们如何理解这些信息并做出最佳选择。

要了解更多帮助您将定量数据纳入决策过程的策略,查看我们的全天课程,测量用户体验和ROI万博官网manbetx下载

有关如何正确分析定量数据的更多信息,查看我们的全天课程,如何解释用户体验号码万博官网manbetx下载