许多UX团队依靠远程可用性测试,以有效地从用户获得设计反馈。有two types of remote user testing:

  • 适度的远程测试涉及通过远程屏幕共享软件与参与者会面的研究人员,这使得研究人员能够在实时观察用户与设计的互动,并询问特定于该参与者会话的跟踪问题。
  • 未经发出的远程测试不需要研究人员参加每个测试会议;相反,软件应用程序为用户提供指令,记录其操作,并可能会询问它们预定的后续问题。

对您的项目是未拨出的测试权吗?

未经发言的研究不包括研究人员和研究参与者之间的任何直接互动,这都是他们最大的好处和最大的缺点。

Because there’s no need to schedule an individual meeting with each participant,unmoderated testing is usually much faster而不是一个受体化的研究。可能有可能在几个小时内启动一项研究并获得结果。未经发出的研究还允许您同时收集数十几个或甚至数百用户的反馈。对于国际研究,您不必在不敬虔的时间内起床以匹配用户的时区。

However, there are important未拨出的可用性测试的限制:

  • 早期原型测试很困难without a moderator to explain and help participants recover from errors or limitations of the prototype.
  • 没有主持人,参与者往往是更少engaged and behaveless realistically in tasks这取决于想象力,决策或情绪反应。

To better understand this second limitation, think, for example, about the difference betweenshoppingand购买购物可以包括许多不同类型of research and comparison — there’s no single ‘right’ way to do it. In order to shop realistically, participants must first imagine themselves needing that product, then pay attention to details and make comparisons. A participant who just假装为了购物,并不是很动机,通常只会在一些产品上浏览并迅速选择一个似乎合理的产品。但是,在现实生活中,在他们实际需要的产品上花钱的消费者会表现得非常不同。当然,一个审核的研究也不完全逼真,而是因为参与者意识到主持人正在观察它们,他们将是社会动力的完全搞任务。Thus, this social pressure compensates for the lack of personal motivation in moderated studies- 甚至更为如此的研究。

未经发出的研究最适合评估实时网站和应用程序或高功能原型。他们适合学习不需要参与者的想象力或情感的活动。

未经发言的研究需要更细致的规划,即一个受体的研究,因为您不能依赖人类判断,以便在飞行中调整研究程序。对于未经拨出的可用性研究,您需要通过以下所有步骤进行:

列出了6个步骤,适用于未拨出的用户测试:定义研究目标,选择测试软件,写任务和问题,试验测试,招聘参与者和分析结果。

1. Define Study Goals and Participant-Recruitment Criteria

选择软件不应该是未经发出的研究的第一步。在您决定使用哪种测试软件之前,您应该清楚地了解您希望通过进行研究来实现的目标。然后,您可以选择具有最适合您的研究目标的能力的工具,而不是限制您的研究,以适应特定工具的技术限制。显然,阐明的研究目标允许您识别必须对测试软件的要求。

If the study goal is to…

The study tool must be able to:

比较您在网站上完成注册和结帐流程的长度与您的竞争对手

  • 衡量任务的时间
  • Aggregate time on task data
  • Display individual times to inspect outliers
  • 将时间数据导出为标准电子表格格式(例如,.cvs)

帮助大型团队了解为什么用户努力在移动应用程序中完成结账过程

  • 记录本机移动应用程序的屏幕和音频
  • 高质量的视频捕获,查看详细的互动
  • 轻松创建剪辑和视频汇编以与团队分享
研究目标如何影响工具选择

目标与学习的研究有所不同,并且一个非常适合一项研究的工具可能对另一个研究并不有效。了解研究目标是必不可少的,以便做好工具选择。

在这个阶段,您还需要考虑您想要在您的学习中包含的参与者类型。他们的人口应该是什么?他们需要在哪里?它们是否成为您的系统或专家的用户?他们会匹配一个特定的persona或目标受众中的用户组?这些问题通常由您的学习目标决定,也可以通知您的工具选择。

2.选择测试软件

对于未修改的研究,管理测试的软件对于获得有用的结果绝对至关重要。软件必须guide the participants through the session and record what happens.It may also control the selection of study participants.

幸运的是,有many different unmoderated testing services available,不同价格点的功能组合不同。过多的选择意味着您现在可以在选择适合项目要求的工具方面更为重要。(对于许多未修改的测试工具,频繁的功能和定价更改,因此请务必将它们与您在学习时的需求进行比较。)

It’s definitely worth your time to thoroughly investigate and pilot test tools, because migrating a study to a different system due to a technical limitation discovered after you launch a study is not fun! (Neither is trying to integrate data collected by two different tools.)

3.写下任务说明和后续问题

许多未拨出的测试服务包括具有通用示例任务的研究模板。不要盲目复制它们。您在您的网站或申请中提供参与者的任务应对您的情况非常具体。通用任务,如“本网站的目的是什么”,不太可能为您提供良好的见解:要真正评估系统的可用性,您需要编写自己的任务。

在我们的经验中培训其他公司运行自己的远程可用性测试, 写作tasks is where most researchers failin getting the results they need from their studies.

要为未修改的研究编写好的任务说明,首先阐明您希望用户完成的内容(例如:使用帮助部分回答问题,升级帐户或保存文章以稍后阅读)。然后,用特定,现实和可操作的指令描述目标withoutincluding hints that make the task too easy. You’ll need不同类型的任务指令取决于您是否正在进行定性或定量研究

In unmoderated studies, the activities that you want the participants to conduct have to be even更仔细地写道than thetasks for moderated sessions。如果他们不了解说明,参与者不能要求澄清,如果他们做错了,你就不能要求他们再试一次。如果用户误解了指令并执行错误的任务,则会浪费测试。未经发言的任务说明还应在应停止时明确地告诉用户;请记住,主持人将不会在那里要求他们移动到不同的任务。

您还应该审慎计划任何后续问题。这些可以包括定量问题,其中参与者利率对活动的主观难度或满足感。或者你可能会问open-ended questions哪个提示用户描述经验的特定部分。仔细选择你的问题是什么意思;广泛的措辞,如“你怎么形容这个品牌?”可能会领导未修改的参与者谈论他们过去的经历而不是他们刚刚使用的系统。

4. Pilot Test

A pilot test is a trial session that you run before your actual study begins, in order to discover any problems with your study design or procedure.试点测试是所有用户学习的好主意但对于未经寄存的研究尤其重要,因为在研究运行时不会有用于解决问题的主持人。即使是最彻底的试验测试也无法捕获一切,但您通常可以检测和解决问题:

  • Task instructions that people misinterpret because the wording is ambiguous
  • 丢失的任务或以错误的顺序呈现(特别是在具有许多任务的复杂研究中)
  • 缺少功能或研究所需内容的原型
  • 防止您的测试软件捕获要记录的数据的不兼容或技术限制 - 特别是如果您尝试测试Intranet或本机移动应用程序
    (If your testing software records data via a web-browser extension, then browser or website restrictions may prevent it from capturing entire pages or sites or lead to low-quality recordings that are difficult to analyze. If you’re using a testing service for the first time, do a quick test of the recording process before you even bother setting up your tasks.)

You can discover some of these problems by going through the study yourself as though you are a participant, but others will not become apparent until you have real participants using their own equipment. Make sure to analyze the data collected in your pilot study!

5. Recruit Participants

如果他们与目标受众不匹配,看着人们没有任何意义。确保通过筛选问题或通过招聘您的参与者来控制谁参与测试。

某些工具仅提供与他们面板的参与者的未修改用户测试,而其他工具则将为您提供分发的URLown pool of testers

Using a provided participant panel is fast and easy (especially if your product is something that is relevant to a broad consumer audience). Panel participants are familiar with the study software, too, and can participate in your test as soon as they have time. Almost every panel includes some basic demographic filtering, but most studies get better results if you屏幕参与者使用关于他们的行为的问题, not just about their age or gender. If the experience you’re testing is relevant only to people who meet specific criteria such as driving a car or shopping online regularly, make sure to use a tool which allows you to write your own custom-screening questions.

The downside of using panel participants is that many do these studies so frequently that they’ve learned to focus on certain aspects of the design and look for things to critique. To compensate for possible “professional testers,” recruit extra participants and exclude data from people who didn’t seem honestly engaged with the activities.

Being online means that you can test users on the other side of the globe as easily as people on the other side of the street. Many unmoderated testing services now have panels which include participants from all around the world. If your site targetsinternational customers,未经发述的测试是达到各种各样的地点的好方法。只要记住,如果您招聘参与者以其他语言完成测试,您还需要一名研究人员或翻译,以这种语言流畅,以解释结果。

综上所述:

  • B2B站点,针对精英或丰富客户的网站,以及具有狭窄目标受众的其他服务通常不能使用面板,并且必须自己招募测试参与者。
  • B2C sites and other services that target a broad audience usually get faster and cheaper results by using a panel.
  • You don’t always need the biggest panel, but if you require users from a particular region some panels may take a very long time to fulfill your study. (If you really need a specific audience, discuss your requirements with the testing service or panel manager in advance, and if they’re at all vague about whether they can do it, consider using a different service.)

6. Analyze Results

未经发出的研究可以快速积累大量数据,因此您需要一个有组织的分析方法来将这些数据转化为关于您的设计的可操作见解。

如果你收集定性数据,如视频和audio recordings of participant actions and comments, you’ll need to review each session recording.用户的口头和书面评论可能是误导性的, so you have to watch their behavior in order to understand what works or doesn’t. In a moderated study you can follow along with the participants as they conduct activities, but during unmoderated studies you need to be able to watch a recording afterwards.

屏幕录音有用,但在没有音频录音的情况下,很容易错过为什么某些行为发生。如果屏幕上没有任何事情发生,是因为参与者正在阅读,或者她正在考虑点击下一步的位置吗?音频记录参与者言语他们的行为是必不可少的。(参与者的网络摄像头捕捉他们的面部表情也很好,但不是必不可少的。招聘有网络摄像头并愿意被录制的参与者更加困难,因此使其成为次要的要求。)

在每次录像中,您需要识别对设计的问题,问题和对策和消极反应。如果您只有几个录音来审查,但对于具有数十名参与者的大型研究,视频分析变得非常耗时。如果您希望分析大型研究(或进行几种不同的较小研究),请寻找一个未经置信的测试工具,提供具有稳健功能的视频分析,特别是:

  • Tagging videos with timestamped notes as you watch them
  • Aggregating, exporting, sharing, and visualizing the notes you’ve added to your recordings
  • 在录音中产生短剪辑或突出显示重要时刻的汇编

Of course, youcan制作笔记和视频剪辑,即使此功能未构建到未拨出的测试工具 - 但包含这些功能的未拨出测试服务,这些功能并不一定花费多于缺少它们的鞍座工具。如果您将分析超过几个小时的录音,那么对加速数据分析的工具来说,值得注意的是要稍微支付。

对于极大的定性研究,考虑可以收集一些定量措施或提供自动转录的工具。These features don’t eliminate the need to carefully review your recordings, but they can certainly expedite the process by directing your attention to specific recordings that are likely to be significant (such as recordings where users had low satisfaction ratings or recordings where particular keywords were mentioned).

如果您的学习主要是quantitative,您的分析将是完全不同的。您的学习工具将自动收集成功率,任务时间和主观评级等度量。但要确保您的结论准确,您需要查看您的数据和:

  • Clean the data by identifying and excluding inaccurate values. For example, if a few task times are much shorter or longer than the others, investigate why, and排除异常值from your analysis if the values are inaccurate because the participants didn’t fully complete the task, or did the wrong task.
  • 表演统计测试评估结果的重要性(特别是当您的目标是比较多个设计或任务时)。
  • 生成数据可视化以帮助将您的发现传达给他人。

Some unmoderated testing tools can automate the process of excluding outlier data points and many have built-in data visualizations charts. But, since cookie-cutter charts don’t always show the most important results, if you plan to do quantitative analysis, make sure your tool includes the ability to export your data so you can perform your own analysis using Excel or specialized statistics software.

Summary

未经发出的研究需要比会议期间的中等检测更少的工作,但在研究开始之前需要细致的提前计划。您可以在全天内了解有关远程用户测试的更多信息和此方法和人员测试之间的关系可用性测试培训课程,包括关于写作任务,促进会话等等的实践细节。