与远程审核或可用性测试研究相比,您更有可能遇到远程未经请访的研究中的问题参与者 - 特别是如果您从专用的测试服务托管的面板招聘。

重要的是要识别其行为对您的用户群体不代表的人,并从分析中排除其数据。(测试代表用户是其中之一可用性测试的核心原则,无代表性的参与者无效了研究的许多结果。)

在本文中,我们将讨论如何识别三种类型的问题参与者:异常值,骗子和专业参与者。

异常值与您的行为或性能与您的其他用户群体不同的参与者,也是因为它们不是目标用户组的一部分,或者因为它们以其他方式卓越。

骗子只有在获得报酬和继续下一项研究时才有兴趣的参与者。他们可以随机单击,甚至不尝试执行任务。

专业参与者是人们参加太多研究的人。通常,这些人不代表'普通'用户,因为他们已经看到了太多的UX研究研究,并且过于研究人员的目标。

问题参与者可以是专业的参与者,骗子或异常化。

注意骗子经常是异常化- 换句话说,人们在没有真正尝试的情况下冲过测试通常以某种方式从其他参与者中脱颖而出。

然而,并非所有的异常值都是骗子。有些用户将与您的其他人不同,因为他们不同,不是因为他们试图欺骗你的激励钱。(在过去的研究中,我们发现了6%的任务尝试罕见慢,我们解释了“运气不好”,因为我们对这些异常值没有更好的解释。)

识别问题参与者的最佳方法取决于您是否正在运行定性或定量可用性测试

定性研究:观看录音

大多数远程未经寄存的测试平台在执行任务时记录参与者屏幕的视频(有时是他们的网络摄像头)。如果你正在运行一个定性测试5-8名参与者然后,您应该计划在分析的一部分中观看所有视频。

在您观看视频时,请注意您可能有问题参与者的信号。

异常信号

观看可以告诉您的任何意见或行为参与者拥有不同的体验水平,背景或动机从您的其余用户。

例如,如果您招聘工业工程师,但一个参与者声音对UI中使用的术语非常困惑,但他实际上可能在这一领域中实际上没有背景。如果您没有在筛选器中询问正确的问题以评估知识,他可能是一个刚刚在错误的研究中最终结束的良好意图的参与者。

骗子信号

寻找参与者不要尝试任务根本有时您甚至会看到接收任务指令的参与者,不要读取它们,然后在点击前进到下一个任务之前,然后关闭并读取Facebook或其他一些网站。

但是,只是因为有人是与您的设计不耐烦不会让她成为骗子。许多用户要求并预计产品在第一次尝试时完美而轻松地工作。如果你的网站永远需要加载,他们可能会尝试做其他事情。不耐烦,苛刻的用户和一个根本没有尝试执行任务的人之间存在差异。

骗子的另一个信号是您的参与者忽略了任务指令或参数。

例如,如果任务是“访问西榆树,并找到一个带有金属框架的餐椅,”,但参与者选择了他所看到的第一个项目(一张咖啡桌)(并说他所做的),然后他可能只是努力尽快离开任务。

专业参与者信号

专业参与者是最难以识别的。这些是(大多数情况下)的人试试您的任务并为您提供大量反馈。他们往往很擅长大声思考。他们做了很多研究,他们已经了解了研究人员想要的东西。

我倾向于通过他们的意见更容易地识别专业参与者而不是他们的行为。聆听任何背叛太多知识的术语他们可能已经从参与的研究中汲取了频繁(“SEO”,“Kerning,”“心理模型”,“菜单吧”,“汉堡包”)。

(注意:这些天很多人都学到了“用户友好”,“可用性”的条款,甚至是来自广告和流行文化的“用户体验”,所以这并不总是警告标志。)

例如,在搜索非营利性网站上的信息时,我的一名学习参与者表示,“看起来,使用搜索引擎的魔法逃脱了很多人。他们无法形成查询使他们认为搜索引擎是无用的。在我的经验中,学习如何改写你的问题,以便您正在寻找的答案对他们的使用至关重要。所以它并不是很容易或困难,它更让用户对搜索功能的经历。“正确使用的术语的数量让我怀疑这个人可能是专业参与者,或者可能已经在UX相关领域工作。

定量研究:以指标开头

如果您运行定量学习,以超过30名参与者,请观看所有视频可能并不实用。您可以使用指标来帮助您确定要检查哪些视频。您还可以点击每个视频(通过每隔几分钟观看)。

大多数定量可用性研究涉及收集至少两个常见度量:任务和任务成功的时间。远程未经发出的测试工具经常在运行测试时自动收集这两个度量,因此您可能已经访问了它们。查看这些指标以识别在数据的正常范围之外的响应。检查多个度量标准为了帮助您决定个人参与者看起来可疑,然后观看视频对于那些参与者来证实,他们确实是非表现性的。

请注意,基于度量标准的方法对于识别异常值和欺骗,而且通常对于识别专业参与者通常是有用的。

任务的时间

查看各个任务的任务时间的频率分布,以及所有参与者的总会话时间,以识别这些移动更快或更慢比其他人参与者。

在不到9秒内完成任务的两个参与者比其他人更快。这些可能是骗子。在超过179秒内完成任务的四位参与者可能是骗子,不成绩的参与者,或者只是需要更多时间来完成任务的人。你必须调查才能找出答案。(直方图显示,每个时间间隔都显示,任务时间的参与者的数量在该间隔内。)

当参与者非常快速地完成任务和会话时,他们可能是骗子。当他们完成任务和会话比其他参与者慢得多,他们可能是骗子,异常值,或者既不是需要一点额外时间或遇到错误的人。

任务成功

同样,我们可以通过整个会议的每个参与者的参与者查看任务成功。低成功率结合了非常快的任务时间通常是骗子的强大指标。

在不到9秒内完成任务5的两位参与者在所有任务中都有非常低的成功率。旗帜这些参与者并通过观看视频来跟进。(直方图显示了在X轴上显示的间隔的成功率的参与者的数量。)

开放式文本响应

计划定量研究时,包括包括的好主意一个问题与开放式文本字段,参与者必须键入响应。您可以快速扫描响应列表,并识别可能发出骗子的任何“懒惰”答案。

让我们来看看对开放式问题的一些现实生活回应“如果你可以改变关于这个网站的事情,它会是什么?”

答案

描述

坏

“asiojdfoiwejfoiasjdfiasjdf”

这些废话的反应看起来像是有人刚刚抨击键盘继续进行这项研究,而不令人兴奋地阅读问题并制定回应。这是骗子的强大指标。

可疑的

“没关系”

非常短的非答案与错误或没有标点符号,如此,有时可以用信号发出骗子,但并不总是如此。在这种情况下,参与者可能已经疲惫不堪,或者只是没有任何强烈的意见。

好

“在主页上,我将更加基本的,令人信服的关于海洋的信息 - 每个人都与它有一定的联系,无论是孩子,贸易,皮划艇,游泳,游轮,船等。一如果可能的是,如果可能的令人惊叹的海洋动物/生活以及海洋是如何交易,军事,乐趣等的影响。

详细的,像这样的思考响应是一个强大的信号,这不是骗子参与者。

下一步

当您确定问题参与者时,以略微不同的方式处理每种类型。

异常值

应完全从您的分析中删除与目标受众截然不同的异常值。

回到您的招聘,并尝试确定该人在您的学习中是如何结束的。这个人究竟是什么意思,让她不适合其余的人?您的筛选器是否存在问题,使此人进入该研究?从这个错误中学习,以确保未来更好的新兵。

但是,请确保参与者真正没有代表您的用户人口。一个UX专业曾经问过我,如果他可以从他的分析中删除一个参与者的数据,因为她给了一个非常负面的反应,而其他参与者是积极的。我问道,“好吧,你有任何其他理由相信她是不知何故的吗?”他没有。对我们的设计的不利反应并不是一种足够的理由从数据中删除某人。

骗子

参与者可能会在一个或两个任务上“欺骗”的情况往往是这种情况,特别是在长期会议结束时,但实际上会尝试其他任务。通过观看参与者的完整视频,确定这是对骗子的情况。如果参与者仅在一个或两个任务上被骗,只需删除其数据的数据。如果他们在整个会议上作弊,完全删除它们。

大多数远程测试工具都知道作弊者是一个问题。如果您通过该工具的小组招聘参与者,请在您申请时免费更换骗子参与者。

如果招聘服务有办法提供有关参与者的表现的反馈,请确保您这样做,作为对其他研究人员的礼貌。

专业参与者

专业参与者有时会难以理解。在大多数情况下,他们没有做错任何事 - 他们出现并参加了参与,所以他们应该被赔偿并没有报告或审查。

最好的是,避免让这些人在第一处进入你的学习。我总是包括一个筛选者问题,询问受访者最近参加一项研究,我排除了最近(0-3个月或0-6个月)的人。但是,没有什么可以阻止参与者遵循这个问题。一些测试工具允许您自动过滤频繁参与者。但是,这些专业人员往往正在对许多不同的平台进行测试(以及那里有很多)。

如果您找到了专业的参与者,请查看视频和数据以决定是否抛出会话。有时你会发现参与者制作了“专业”的发言评论,但实际的行为和数据看起来与您的其他人非常相似。在这些情况下,您可以保留数据。只需确保您的标志,参与者在您的定性分析中,权衡事实上,因为您得出结论,从该参与者的意见和反馈中得出结论。

结论

在学习中留意异常值,骗子和专业参与者。调查多个信息来源,以帮助您彻底扫除这种情况,并决定该怎么做。如果您经常在学习中找到太多问题,您应该重新评估您如何以及在招聘参与者的地方。

有关更多帮助计划,进行,进行偏远研究,请查看我们全天的研讨会,远程可用性测试。