这些天,我们在远程用户研究方面被宠坏了。许多不同价格点的大量工具可能会压倒⁠-特别是因为工具的许多描述几乎无法区分。

Every remote-research tool promises to deliver user insights, but they do so in very different ways. If you’re trying to choose a tool, this list can help you understand exactly what you’re getting and make sure the service you pick is a good fit for your research needs.

所有用户研究工具在本文中相比,您可以进行研究:

  • 远程:参与者可以位于任何地方,整个学习都在网上完成。
  • 未修改: Participants complete the study on their own, without a researcher guiding the session.
  • 任务为基础:参与者接收完成特定任务的说明。
  • Behavioral:用户的操作是由该工具录制的,以便您可以告诉人们所做的事情以及它们是否成功完成任务。
  • Interactive:参与者可以在实时站点或互动原型测试,而不是只是看到静态图像。
  • 自己做:您可以在不使用该工具的研究咨询服务的情况下计划和执行自己的研究。

这些品质在一起允许您进行类似于亲人可用性测试的研究,但如果没有主持人与每个参与者一起会面。未修改testing is often a good option when you have limited time or budgetor when users are geographically dispersed.

2种类型的数据类型中的未修改可用性测试

了解这一点非常重要different types of data可以由各种工具收集。一些工具记录录像的形式非结构化的定性数据;一些工具收集高度结构化的定量数据关于任务,有些工具可以收集both这些类型的数据。

数据类型 qual权衡 量化
它是如何收集的 录像通过测试参与者捕捉三个活动和思考 - 大声叙述 指标被记录为尺寸,例如花费,成功率,满意度和感知难度
它揭示了什么 与会者做了什么,为什么他们做到了 某些问题,行为和意见是如何参与者
挑战 Unstructured video recordings are time-consuming to watch and analyze. 指标不透露行为的原因;低参与者动机或不准确的自我报告的数据可能导致误导性指标
当你需要的时候有用......
  • Understand why a problem is happening and get ideas for how to fix it
  • 当您不知道用户可能会遇到的问题时,评估新设计
  • 在团队或组织内的用户激发同理心
  • 跟踪可用性随着时间的推移
  • 快速准确地评估问题的精确频率
  • 快速评估一大群参与者的主观参与反应
  • 说服更喜欢定量数据的利益相关者

Make sure you have a clear idea of what you hope to achieve through your research. Then you’ll be able to decide whether you need qualitative recordings, quantitative data, or both.

工具和数据类型

下图表列出了15种不同的工具,可用于进行未拨出的可用性测试。该图表中每个工具的位置指示工具收集的数据类型以及工具是否存在多长时间。一般来说,已经使用的工具更加成熟,具有更强大的功能。此外,虽然从来没有任何保证,但是更持久的服务不太可能在您的学习中间进行,并使任何已经收集的数据蒸发到云的失落角落中。

Venn图表以最古老到最新的工具,通过收集定性数据(DSCOUT,LIEKBAURE,USSBRAIN,USERBOB,USERINGS)或定量数据(KONCEPPAPP和MAZE),或两者(Userzoom,Usertesting,Userlytics,Loop11进行分组,trymyui,userfeel,playbookux,soundingbox。

上图中的图表表示结合两种类型的数据收集的若干未修题测试工具。这些工具列出的功能非常相似,因此通过读取他们的描述,难以区分工具。尽管存在这些表面相似之处,但是这些服务之间存在重要差异,这更容易理解如果您发现每个系统的历史。Userzoom和Loop11最初专注于定量度量,后来增加了定性录音;虽然Usertesting,Userlytics和Userfeel最初专注于视频录制,并延迟增加了定量度量。正如您所希望的那样,工具的原始功能往往更加强大,而新功能更有限。(这些区别在上图中由每个工具的名称放置在上面的图表中,该名称靠近其原始数据类型。)

It’s also worth noting that the metrics-only tools included in this diagram, Maze and KonceptApp, are both designed to be used for testing prototypes and are not suitable for testing live websites or applications. Although they can simulate interactions, such as letting test participants click a link and move to another screen, this behavior requires you to actually build or import an interactive prototype.

特征比较

确定您要收集的数据类型后,请查看您正在考虑的工具的精确功能。对您的研究设计可能重要的一些功能列于下表中。

招聘 研究设计和设置 定性数据 定量数据
  • 参与者委员会
  • Set quotas for multiple types of users
  • Custom screening question(s)
  • 多种语言
  • 带上自己的用户
  • 外部面板集成
  • 测试网站(桌面,移动和原型)
  • 测试本机移动应用程序
  • 测试静态线框或屏幕
  • 每个任务的单独说明
  • Persistent access to task instructions
  • Custom welcome & final screens
  • 复制过去的study
  • 分支(跳过逻辑)来个性化任务
  • 随机完成任务订单
  • 专业研究服务可用
  • Shared projects for team collaboration
  • 支持主持测试
  • 录制屏幕和音频
  • 记录面部
  • Timestamped notes
  • Export individual session notes
  • 导出所有项目笔记
  • 下载单个录音
  • 下载整个项目
  • 通过URL分享录音
  • 生成视频亮点编译
  • 自动转录
  • 浏览视频缩略图
  • 简单的评级问题
  • 定制评级和书面问题
  • 任务时间
  • 过滤速度和骗子
  • 任务遗弃率
  • 数据导出(CSV或XLS)
  • Data-visualization charts
  • URL的成功率或点击位置
  • 单击“加热线”
  • Clickpath across screens

Features that you may need to consider when selecting remote unmoderated usability-testing software

作为您比较的起点,我们已经准备了我们能够确认每个工具的工具和功能列表。这个电子表格为15个工具提供了详细的功能比较对于未拨出的用户测试。

何时不使用这些工具

这个article has focused on tools for unmoderated usability testing, but that's not always the right research method. For example, moderated usability testing (whether in-person or远程)更适合评估早期原型或识别界面或任务中的可用性问题,这是如此复杂的,即必须提供个性化方向并提出跟踪问题以完全理解用户的行为。此外,未经发票研究的所有参与者都是愿意并能够安装浏览器扩展或申请的人,并执行相当复杂的在线互动。如果您的目标受众包含许多不选择参加此类研究的用户,您需要使用其他方法来查找和观察这些人。

最后,一些研究问题最好用一种完全不同类型的研究,例如A / B测试5秒测试采访实地考察卡片排序, 要么tree test。(一些服务 - 最符合uter zoom - 支持各种这些研究方法。)您应该始终弄明白哪种研究方法最能解决您的问题在选择任何工具之前。

遥远研究的全日研讨会

有关详细的帮助计划,进行,进行和分析远程未经发出的用户测试,请查看我们的全天研讨会:远程可用性测试。