“并非所有可以计数的一切,而不是可以计算的一切。”

–(归于)阿尔伯特·爱因斯坦

相当常见的反对意见定性UX研究(特别是在统计上识字观众)是小样本导致轶事证据或一些人的主观评估,而不是数据恰当的。许多uxers在域中工作,如医疗保健,自然科学,甚至只是“数据驱动的”组织可能会发现很难建立买入小 -N首先研究;即使他们能够进行测试,往往很难构建有关调查结果结果的建议的可信度。

常见的反对意见包括:

  • 5个或10个用户的设计选项之间的比较没有统计学意义(这是真的)。
  • 小样本大小意味着我们不能自信地概括这样的东西一项小型研究的任务或成功率的时间(也是真的)。
  • 因为我们不是测量事物,我们的解释是本质上的主观性的(确实是一个潜在的危险,而是一个适当的方法和良好的研究人员占该危险。

虽然一些这些异议是真实的(并且是我们不建议从定性研究报告数字的原因),而是一个大的跳跃,因为定性研究是轶事或缺乏严谨性。这是简单的情况定性研究是一种相当不同的模式调查的目的。

如果你是一个正面临这种挫折的UXER,请考虑向你的同事提出以下几点。

定性方法是定量测量的必要补充

有科学教育的人通常熟悉使用的实验精心控制的定量测量作为评估假设的一种方式;这通常被称为证明的研究。对于人们的背景,与少数人交谈的想法(也许每次稍微改变学习程序!)作为绘制结论的手段可能看起来本质上不可思议,容易偏向,而不太可能概括到总人口。

但定性研究的目标是不同的:我们并不试图反驳假设,但我们希望详细了解问题的性质。定性的研究不会尝试对整个目标受众概括的定量声明。仅仅因为一个10人的研究中的6人都能够在一个应用程序中轻松使用一个功能并不意味着我们可以说60%的整体人口将具有类似的经验。但是,在那项研究中,我们可以确定其他4人遇到的问题(以及那些其他6人在克服的那些克服)并理解他们背后的原因,目标是解决这些问题。(这些问题是这样的我们只能推测如果我们只看一个定量研究或分析数据......)

不同的目标需要不同的调查方法当前位置要知道有多少人有问题,需要大量的样本才能确信我们测量的数字没有问题随机扭曲,但知道问题可能发生为什么要求我们观察行为和引出用户的想法。最重要的,如何要重新设计UI以解决问题,需要这些定性的见解。

定性研究的目标是收集驱动决策的洞察力,特别是当测量是不可行或不可能的时。当然,我们可以提出某种类型的测量仪器满意情绪状态,及其他中间现象,这些工具不告诉我们为什么用户目前或那种方式感到这种方式我们如何更好地支持他们的需求

定性研究严谨和系统化

尽管如此,一个重要的问题是:我们如何知道定性研究是否严格且可靠地为我们提供对我们的用户的真实见解?

定量研究中的严谨被视为包括一些主要属性:

  1. 有效性-我们所测量的东西是否是我们所关心的东西的良好代表?我们的结论能不能推广到这个实验之外?
  2. 可靠性 - 如果我们重复研究,我们会得到类似的结果吗?
  3. 客观性——我们是否有办法确保我们的观察不被我们的偏见所蒙蔽?

这些特性对于定量研究相对简单,但不容易建立大多数采样的研究。

社会科学家yvonna林肯和egon guba创建了一套平行的定性研究特征,已成为评估严格的标准方法:

  1. 可信度:我们是否准确描述了我们所观察到的?
  2. 可转让性:我们的结论是否适用于其他环境?
  3. 可靠性:我们的结果一致和可重复吗?
  4. 可证实性:我们在分析中是否避免了偏见?

我们可以通过系统性地满足这些标准。这是使我们收集数据的因素数据,而不是偶然发生的轶事。如果首席执行官从朋友那里听说该公司的应用程序看起来过时了,那只是一个轶事——没有一个系统的过程来收集这种观察结果,它只是偶然发生的,而且只是一个人的主观意见。如果用户体验研究人员系统地招募了5名参与者,其中一些人难以理解导航中的品牌术语,那就是数据。

良好的定性研究人员采取了许多步骤,以确保他们的工作是系统的:

  • 他们将他们的工作与基于证据的理论相关联框架关于UI应该如何设计以及如何与认知心理学和人机交互——关于用户如何使用的知识体系感知世界并精神上处理它表现,并从事特定相互作用具有各种形式的技术。
  • 他们制定了具体研究问题在选择合适的方法之前。
  • 他们仔细研究了招聘参与者代表各种观点,因此他们可以了解未知的未知数。
  • 它们使用开放式提示以最小的偏见引出参与者的想法和反应,并跟踪参与者有趣的不完整陈述,而不带任何偏见无意识地向他们表示如何回应
  • 他们不只是带走用户面值的意见- 他们建立了一个理解为什么用户可以请求一个功能或配置为什么例如,有些东西看起来可能不吸引人。
  • 他们分析了我们的数据系统地编码见解(再次,绘制了高级的启发式理论框架,已知最佳实践,等等)。编码通常是使用从扎根理论方法学中借用的归纳推理技术来完成的——主题是在自下而上的分析中从数据中产生的,而不是从一系列代码开始,然后强制匹配数据。然后,他们试图在数据中编码的结果之间建立概念上的联系并寻找模式
  • 当他们遇到不寻常或不寻常的事情时,他们使用三角测量为确保支持我们的结论(即,他们通过不同的方法调查同一个方法,或者他们有其他培训的研究人员独立分析相同的数据)。毕竟,特别是索赔需要特殊的证据。

小样本尺寸很好,具体取决于您正在查看的内容

但是,你可能会说,那些小样本尺寸怎么样?他们没有固有的对异常值的敏感性还是也许你观察到的问题是真实的,但罕见,你可能夸大了它由于小型样本的重要性

这些都是真正的担忧。那么,如何定性研究人员在我们结论中防止这种罕见事件的过度陈述?

再一次,我们可以点击一个强大的理论框架我们在UX充满了基于证据的原则,了解用户如何感知,思考,表现和与技术互动。如果我们甚至观察一个人的一个问题,那么一个问题是一个例子已知的原则,我们能够合理地确信这是一个真正的问题。当然,我们仍然无法准确地说有多少人会遇到这个问题。

如果受问题影响的人数是我们需要考虑的一个真正的因素(例如,如果问题需要花费很大的代价,并且需要大量的资源),那么,我们可能需要做一些定量实验来解决这个问题。另一方面,简单地解决设计问题而不量化问题的严重程度通常更便宜(也更明智),如果我们已经确定了它在设计过程中

例如,如果我设计一个深炸锅,适合消费者使用,我将(希望在销售之前做一些安全测试。如果第一个测试员不小心烧伤了Fry篮子,因为手柄在加热元件上方,我可能不会用大型样本来测试它,以确定用户的比例也将燃烧自己并起诉我。在这种情况下,我发现了一个样本大小的主要问题。现在,这个例子显然非常简化,并且小样本大小不适合每个研究问题,但这种方法往往是资源的最佳利用,特别是当我们正在寻找重大阻拦者时。

这是我们一直存在的主要原因之一推荐的小样本研究,早期完成(和重复几个迭代设计):他们是一个相对独立的群体廉价的如果我们在没有测试的情况下发货,我们会发现和解决我们将从愤怒客户学习的主要可用性问题的方法。将浪费时间和资源,以便在许多参与者中确认设计中的主要缺陷,特别是如果我们正在使用快速移动的敏捷团队。

可能会询问合理的问题:为什么不使用简单的更大的样本大小进行定性研究,以便更有信心,例如,我们的研究参与者表达的期望和需求是普遍的,而不是不寻常的异常值?从根本上说,这取得了成本:招募更多参与者,也招募更多的学习会议。引出用户的内心思想往往需要一个熟练的辅导员他们可能需要在每次会议期间进行一些即兴创作,以适应每个研究参与者的具体情况。此外,由于每次会话协议都会略有不同,我们无法对所有会话的数据进行合理的比较和汇总,因为每个“试验”都会有所不同,定性研究人员通常根据研究结果达到饱和点所需的参与者数量确定特定的样本量(即,他们继续小批量研究,直到他们不太可能学到足够的新核心见解,从而值得项目的额外延迟)。特别是采访实地研究以及其他形式的发现导向研究,这是目标,而不是试图确定如何常见的核心调查结果如下。

同理心和人类不容易计算,但他们算数

最后,但绝对不是最不重要的,定性研究使我们能够建立一个真实的,意志理解用户作为人类。当我们通过诸如参与,反弹率或任务的时间等度量的镜头来查看与技术的人类相互作用时,我们并不是对用户的福祉。(这可能在我们的脑海中,但肯定不是主要的考虑因素。)技术行业刚刚开始估计伦理我们所做的事情并意识到我们如何设计我们的产品对许多人的生活产生了真正的影响。

适度定性研究要求我们与其他人(甚至不降额研究仍然涉及观察人)。我们通常需要构建某种形式的关系让参与者舒服地表达内心的思想过程。我们经常发现他们经历了与我们的方式不同的世界 - 以小而微妙的方式,巨大和巨大和公开。这些研究提供了机会同情他们。

我不想夸大这里的定性研究力量。它不会自动为用户生成同理心 - 我当然目睹了在观看用户斗争时笑的团队。做定性研究不会将良好的伦理问题固定到商业模式中。定性研究肯定不会取代对您的团队的公正和包容性招聘实践的关键需求,以确保人们由各种背景和生活经验所作的决定。

另一方面,我也不想抛售通过这种研究构建的同理心的价值 - 例如,通过注意到一个用户获得和听到它们的令人沮丧程度如果他们是愚蠢的话,随便提问因为他们无法弄清楚一个令人困惑的设计。(不幸的是,常见的)反应告诉我,问题是真实的,并修复它需要优先级,即使我没有巨大的示例大小。

概括

定性研究是严格和系统的,但它具有不同的目标而不是定量测量。它利用有关人类体验的数据来照亮一个问题空间 - 期望,心理模型,痛点,困惑,需求,目标和偏好。样本尺寸通常小于定量实验,因为目标不是表明我们的样本参与者将按比例代表整个人群;相反,我们希望找到问题,确定需求和改进设计。UX Research是一种混合方法学科,因为这两种方法是互补的:测量多少钱?和理解为什么两者都能帮助我们构建更好的产品,这是任何用户体验研究的主要目标

参考

Juliet Corbin和Anselm Strauss。1990.接地理论研究:程序,教规和评价标准。定性社会学,卷。13,1990年13号

yvonna林肯和egon guba。1985年。自然主义调查。圣人,纽伯里公园,加利福尼亚州。

桑德斯,B.,SIM,J.,KINGSTONE,T.等等。2018年。定性研究饱和度:探索其概念化和运作。quall.52.1893-1907。https://doi.org/10.1007/S11135-017-0574-8

迈克休斯。2011.可用性测试中的可靠性和可靠性,从:https://www.uxmatters.com/mt/ramives/2011/06/1Relibity-和--depectyability-sitability-testing.php.