菜单

在受试者之间受试者内部研究设计

通过 Raluca Budiu2018年5月13日

Summary:In user research, between-groups manbetx官方网站手机版s reduce learning effects; repeated-measures manbetx官方网站手机版s require fewer participants and minimize the random noise.


当您想要在一个研究中比较多个用户界面时,有两种方法可以将测试参与者分配到这些多个条件:

  • 间科目(要么间组)学习manbetx官方网站手机版:不同的人测试每个条件,这样每个人只能暴露在单一的用户界面中。
  • 受试者内(或重复措施)研究manbetx官方网站手机版:同一个人测试所有条件(即所有用户界面)。

(注意,这里我们用“manbetx官方网站手机版”这个词来指代manbetx官方网站手机版的实验,而不是网站manbetx官方网站手机版。)

例如,如果我们想通过查看参与者如何在每个站点上预订汽车来比较两个汽车租赁站点A和B,我们的研究可能是两种不同的方式,两者都是完全合法的:

  1. 主体间:每个参与者可以测试一个汽车租赁网站并仅在该网站上预订汽车。
  2. 受试者:每个参与者可以测试两个汽车租赁站点并在每个站点预订汽车。

涉及多个测试条件的任何类型的用户研究必须确定是在受试者之间还是受试者内然而,这种区别对于定量研究尤为重要。

定量研究中的实验设计

与定性研究不同,定量可用性研究旨在产生统计上可能推广到整个用户群的发现如何分析这些研究的数据取决于研究的方式(即研究的方法)实验性的manbetx官方网站手机版)。

通常,定量可用性研究的主要目标是比较 - 一个站点与其竞争对手,一个manbetx官方网站手机版的两个不同的迭代,或两个不同的用户组(如专家vs新手) Like in any scientific experiment in which we want to detect causal relationships, a quantitative study involves两种类型的变量

  • 自变量,由研究人员直接操纵
  • 因变量,测量(并预期由于独立变量操作而变化)

(如果研究产生统计学上显着的结果,那么我们可以说自变量的变化造成因变量的变化。)

让我们回到我们最初的汽车租赁示例如果我们想要测量两个站点A或B中哪一个更适合预订汽车的任务,我们可以选择现场(有两个可能的值或水平- A和B)作为自变量,任务的时间和预订汽车的准确性可能是因变量该研究的目标是在我们改变站点时保持因变量(时间和准确度)是否发生变化,或者它们保持不变(如果它们保持不变,那么没有一个站点比另一个站点更好。)

To plan our study, the next question that we need to answer is whether the study manbetx官方网站手机版 should be between-subjects or within-subjects — that is, whether a participant in the study should be exposed to all the different conditions for the independent variable in our study (within-subjects) or only to one condition (between-subjects)实验性manbetx官方网站手机版的选择将影响应该对您的数据使用的统计分析的类型。

实验manbetx官方网站手机版可能是受试者内部和受试者之间例如,假设在我们的汽车租赁研究中,我们也有兴趣了解年龄小于30岁的参与者与年长参与者相比的表现在这种情况下,我们将有两个独立的变量:

  • 年龄,2级:30岁以下,30岁以上
  • 现场,有2个级别:A和B.

对于该研究,我们将在每个年龄组招募相同数量的参与者我们假设我们决定每个参与者,无论是否超过30岁,都会在网站A和网站B上进行租车预订在这种情况下,该研究是关于自变量的受试者现场(因为每个人都看到了这个变量的两个级别 - 即站点A和站点B)然而,这项研究是在受试者之间进行的年龄:一个人只能在一个年龄组(30岁以下,不是两个)(从技术上讲,你可以选择一群30岁以下的老人,等到他们年满30岁才让他们再次测试这些网站,但这种设置对于大多数现实情况来说都是非常不切实际的。)

一些自变量可能会强加选择manbetx官方网站手机版。年龄如上所述,是其中之一其他人是专门知识(如果我们想比较专家和新手),用户类型(如果我们想要比较不同的用户组或角色 - 例如,商务旅行者与休闲旅行者),或性别(假设一个人不能同时成为几个性别)在可用性之外,药物试验是一个常见的案例之间的主题manbetx官方网站手机版:参与者只接受一种治疗:被测试的药物或安慰剂,而不是两者And sometimes the manipulation itself changes the state of the participant: for example, if you want to see which of two curricula is more effective for teaching reading, you could not have the same student be exposed to both, because once she’s learned how to read, she cannot unlearn it.

哪个更好:受试者之间或受试者内部?

不幸的是,这个问题没有简单的答案如上所示,有时您的自变量将决定实验性的manbetx官方网站手机版但在很多情况下,这两种情况都可能发生。

  • 受试者间可以最大限度地减少学习和跨条件的转移。在一个人在汽车租赁网站上完成一系列任务后,她对该领域的了解比以前更多例如,她现在可能知道汽车租赁网站对21岁以下的司机收取额外费用,或者碰撞损坏豁免是什么这些知识可能有助于她在第二个汽车租赁网站上变得更有效率,即使第二个网站可能与第一个网站非常不同。

    这种知识转移不是一个问题 - 参与者永远不会暴露于同一个自变量的几个层次。

  • 受试者之间的研究课程比课程内学习课程短。测试单个汽车租赁站点的参与者将比测试两个汽车租赁站点的参与者短较短的会话对用户来说不那么累人(或者很无聊),也可能更适合远程非模拟测试(特别是因为像UserZoom这样的工具通常需要相当短的会话长度)。
  • 主题间实验更容易设置,尤其是当您有多个自变量时。When the study is within-subjects, you will have to use randomization of your stimuli to make sure that there are no order effects例如,在我们的汽车租赁研究中,我们需要确保参与者并不总是从站点A开始,然后转到站点B每个参与者的网站顺序需要是随机的只需两个站点即可轻松完成:随机分配50%的用户从每个站点开始但随着您增加自变量的数量和自变量的级别,随机化在一些现有的定量可用性测试平台中变得更难实现。
  • 内部人员需要较少的参与者并且运行成本更低。要检测两个条件之间的统计上显着的差异,您通常需要在每种情况下都有相当数量的数据点(通常高于30)如果你有一个内部主题manbetx官方网站手机版,每个参与者将为每个级别的自变量提供一个数据点对于我们的汽车租赁研究,30名参与者将为这两个站点提供数据点但是,如果研究是在受试者之间,则需要两倍的数量来获得相同数量的数据点这意味着成本的两倍。
  • 内部主题manbetx官方网站手机版最小化随机噪音。也许内部主题最重要的优势在于,它们使得你的条件之间存在的真正差异不会被检测到或被随机噪声覆盖的可能性降低。

    个人参与者将测试他们自己的历史,背景知识和背景在漫长的一夜聚会之后,一个人可能会感到疲倦,另一个人可能会感到无聊,而另一个人可能在学习之前就收到了一个好消息而且很开心如果同一参与者与变量的所有级别进行交互,她将以相同的方式影响它们幸福的人会在两个网站上都很开心,疲惫的人会对两个网站感到厌倦但如果研究是在受试者之间,那么快乐的参与者将只与一个站点进行交互并可能影响最终结果你必须确保你在另一组中得到一个类似的快乐参与者来抵消她的影响。

    在实践中,研究人员将无法评估参与者之间的这种差异 - 尽管他们可能与性别,经验和群体年龄相匹配,但很难预测或检测每个参与者特有的其他因素。

随机化:两种设计都必不可少

无论你的实验性的manbetx官方网站手机版是在受试者内还是受试者之间,你都必须关注随机化,尽管方式略有不同。

上面,我们讨论了为什么随机化在主体内部的重要性:它可以抵消可能的顺序效应,并最大限度地减少跨条件的转移和学习。

对于主体之间的manbetx官方网站手机版,您必须确保参与者被随机分配到条件,因为您希望确保您的参与者分配不会影响您的学习成果Thus, if a researcher decides that all the participants that he likes should interact with site A and then he finds that site A performed better than site B, he won’t know whether he’s discovered a true difference between the sites or whether the result simply reflects his assignment (for example, because people who sense that they are liked tend to return the favor, and may be more patient or have a positive mindset during the test).

即使没有像您个人偏好那样明显的偏见,也很容易让随机化错误假设您在周六至周二的四天内进行研究您可能决定让前半部分测试用户从站点A开始,让后半部分用户从站点B开始然而,这不是一个真正的随机化,因为很可能某些类型的人更有可能在周末同意一项研究,而其他类型的人更有可能注册你的工作日测试时段。

结论

用户研究可以是受试者之间或受试者内部(或两者),取决于每个参与者是否仅暴露于一种情况或是否在研究中变化的所有条件Each of these types of experimental manbetx官方网站手机版 has its own advantages and disadvantages; within-subjects manbetx官方网站手机版 requires fewer participants and increases the chance of discovering a true difference among your conditions; between-subjects manbetx官方网站手机版s minimize the learning effects across conditions, lead to shorter sessions, and may be easier to set up and analyze.