与远程审核或可用性测试研究相比,您更有可能遇到远程未经请访的研究中的问题参与者 - 特别是如果您从专用的测试服务托管的面板招聘。

重要的是要识别其行为对您的用户群体不代表的人,并从分析中排除其数据。(测试代表用户是其中之一core principles of usability testing,无代表性的参与者无效了研究的许多结果。)

在本文中,我们将讨论如何识别三种类型的问题参与者:异常值,骗子和专业参与者。

异常值与您的行为或性能与您的其他用户群体不同的参与者,也是因为它们不是目标用户组的一部分,或者因为它们以其他方式卓越。

骗子sare只有在获得报酬和继续下一项研究时才有兴趣的参与者。他们可以随机单击,甚至不尝试执行任务。

专业参与者are people who participate in too many studies too frequently. Often, these people are not representative of ‘regular’ users because they have seen too many UX-research studies and are too attuned to researchers’ goals.

问题参与者可以是专业的参与者,骗子或异常化。

注意骗子经常是异常化- 换句话说,人们在没有真正尝试的情况下冲过测试通常以某种方式从其他参与者中脱颖而出。

然而,并非所有的异常值都是骗子. Some users will behave differently from the rest of your participants because theyare不同,不是因为他们试图欺骗你的激励钱。(在过去的研究中,我们发现了6%的任务尝试罕见慢,我们解释了“运气不好”,因为我们对这些异常值没有更好的解释。)

The best way to identify problem participants depends on whether you’re running a定性或定量可用性测试.

定性研究:观看录音

Most remote unmoderated testing platforms record videos of the participants’ screens (and sometimes their webcams) while they perform the tasks. If you’re running a qualitative test with around5–8 participants然后,您应该计划在分析的一部分中观看所有视频。

在您观看视频时,请注意您可能有问题参与者的信号。

异常信号

观看可以告诉您的任何意见或行为参与者拥有不同的体验水平,背景或动机from the rest of your users.

例如,如果您招聘工业工程师,但一个参与者声音对UI中使用的术语非常困惑,但他实际上可能在这一领域中实际上没有背景。如果您没有在筛选器中询问正确的问题以评估知识,他可能是一个刚刚在错误的研究中最终结束的良好意图的参与者。

骗子Signals

寻找参与者不要尝试任务根本有时您甚至会看到接收任务指令的参与者,不要读取它们,然后在点击前进到下一个任务之前,然后关闭并读取Facebook或其他一些网站。

但是,只是因为有人是impatient with your design does not make her a cheater.许多用户要求并预计产品在第一次尝试时完美而轻松地工作。如果你的site takes forever to load,他们可能会尝试做其他事情。不耐烦,苛刻的用户和一个根本没有尝试执行任务的人之间存在差异。

骗子的另一个信号是您的参与者忽略了任务指令或参数。

For example, if the task is “Visit West Elm and find a dining chair with a metal frame,” but the participant picks the first item (a coffee table) he sees (and says he is done), then he may be simply trying to get out of the task as soon as possible.

专业参与者信号

专业参与者are the most difficult to identify. These are people who will (in most cases) try your tasks and give you a lot of feedback. They are often extremely good at thinking out loud. They’ve done many studies, and they’ve learned what researchers want from them.

我倾向于通过他们的意见更容易地识别专业参与者而不是他们的行为。聆听任何背叛太多知识的术语他们可能已经从参与的研究中汲取了频繁(“SEO”,“Kerning,”“心理模型”,“菜单吧”,“汉堡包”)。

(注意:这些天很多人都学到了“用户友好”,“可用性”的条款,甚至是来自广告和流行文化的“用户体验”,所以这并不总是警告标志。)

For example, while searching for information on a nonprofit website, one of my study participants said, “Look, the wizardry of using a search engine escapes a lot of people. Their inability to form queries makes them think that search engines are useless. In my experience, learning how to rephrase your question to get to the answers you’re looking for is critical to their use. So it’s not really easy or difficult, it’s more the user’s experience with the search function.” The amount of correctly used jargon made me suspect that this person might either be a professional participant or might have worked in a UX-related field.

Quantitative Studies: Start with Metrics

如果您运行定量学习,以超过30名参与者,请观看所有视频可能并不实用。您可以使用指标来帮助您确定要检查哪些视频。您还可以点击每个视频(通过每隔几分钟观看)。

大多数定量可用性研究涉及收集至少两个常见度量:任务和任务成功的时间。远程未经发出的测试工具经常在运行测试时自动收集这两个度量,因此您可能已经访问了它们。查看这些指标以识别在数据的正常范围之外的响应。检查多个度量标准为了帮助您决定个人参与者看起来可疑,然后watch the videos对于那些参与者来证实,他们确实是非表现性的。

注意metric-based methods are good for identifying outliers and cheaters, but not usually as useful for identifying professional participants.

任务的时间

查看各个任务的任务时间的频率分布,以及所有参与者的总会话时间,以识别这些移动更快或更慢比其他人参与者。

在不到9秒内完成任务的两个参与者比其他人更快。这些可能是骗子。在超过179秒内完成任务的四位参与者可能是骗子,不成绩的参与者,或者只是需要更多时间来完成任务的人。你必须调查才能找出答案。(直方图显示,每个时间间隔都显示,任务时间的参与者的数量在该间隔内。)

当参与者非常快速地完成任务和会话时,他们可能是骗子。当他们完成任务和会话比其他参与者慢得多,他们可能是骗子,异常值,或者既不是需要一点额外时间或遇到错误的人。

任务成功

Similarly, we can look at task success by participant for each individual task as well as the success rate per participant over the whole session.低成功率结合了非常快的任务时间通常是骗子的强大指标。

在不到9秒内完成任务5的两位参与者在所有任务中都有非常低的成功率。旗帜这些参与者并通过观看视频来跟进。(直方图显示了在X轴上显示的间隔的成功率的参与者的数量。)

开放式文本响应

When planning a quantitative study, it’s also always a good idea to includea question with open-ended text field,参与者必须键入响应。您可以快速扫描响应列表,并识别可能发出骗子的任何“懒惰”答案。

让我们来看看对开放式问题的一些现实生活回应“如果你可以改变关于这个网站的事情,它会是什么?”

答案

描述

坏的

“asiojdfoiwejfoiasjdfiasjdf”

这些废话的反应看起来像是有人刚刚抨击键盘继续进行这项研究,而不令人兴奋地阅读问题并制定回应。这是骗子的强大指标。

可疑的

“没关系”

非常短的非答案与错误或没有标点符号,如此,有时可以用信号发出骗子,但并不总是如此。在这种情况下,参与者可能已经疲惫不堪,或者只是没有任何强烈的意见。

好的

“在主页上,我将更加基本的,令人信服的关于海洋的信息 - 每个人都与它有一定的联系,无论是孩子,贸易,皮划艇,游泳,游轮,船等。一如果可能的是,如果可能的令人惊叹的海洋动物/生活以及海洋是如何交易,军事,乐趣等的影响。

详细的,像这样的思考响应是一个强大的信号,这不是骗子参与者。

下一步

当您确定问题参与者时,以略微不同的方式处理每种类型。

Outlier

异常值who are very different from your target audience should be removed from your analysis entirely.

回到您的招聘,并尝试确定该人在您的学习中是如何结束的。这个人究竟是什么意思,让她不适合其余的人?您的筛选器是否存在问题,使此人进入该研究?从这个错误中学习,以确保未来更好的新兵。

但是,请确保参与者真正没有代表您的用户人口。一个UX专业曾经问过我,如果他可以从他的分析中删除一个参与者的数据,因为她给了一个非常负面的反应,而其他参与者是积极的。我问道,“好吧,你有任何其他理由相信她是不知何故的吗?”他没有。对我们的设计的不利反应并不是一种足够的理由从数据中删除某人。

骗子

参与者可能会在一个或两个任务上“欺骗”的情况往往是这种情况,特别是在长期会议结束时,但实际上会尝试其他任务。通过观看参与者的完整视频,确定这是对骗子的情况。如果参与者仅在一个或两个任务上被骗,只需删除其数据的数据。如果他们在整个会议上作弊,完全删除它们。

大多数远程测试工具都知道作弊者是一个问题。如果您通过该工具的小组招聘参与者,请在您申请时免费更换骗子参与者。

If the recruiting service has a way for you to provide feedback about a participant’s performance, please ensure that you do so, as a courtesy to other researchers.

专业参与者

专业参与者有时会难以理解。在大多数情况下,他们没有做错任何事 - 他们出现并参加了参与,所以他们应该被赔偿并没有报告或审查。

最好的是,避免让这些人在第一处进入你的学习。我总是包括一个筛选者问题,询问受访者最近参加一项研究,我排除了最近(0-3个月或0-6个月)的人。但是,没有什么可以阻止参与者遵循这个问题。一些测试工具允许您自动过滤频繁参与者。但是,这些专业人员往往正在对许多不同的平台进行测试(以及那里有很多)。

If you found a professional participant, look at the video and data to decide whether to throw out the session. Sometimes you’ll find that the participant made “professional” sounding comments, but the actual behaviors and data look very similar to the rest of your participants. In those cases, you can keep the data. Just make sure you flag that participant in your qualitative analysis and weigh that fact as you draw conclusions from that participant’s comments and feedback.

结论

在学习中留意异常值,骗子和专业参与者。调查多个信息来源,以帮助您彻底扫除这种情况,并决定该怎么做。如果您经常在学习中找到太多问题,您应该重新评估您如何以及在招聘参与者的地方。

有关更多帮助计划,进行,进行偏远研究,请查看我们全天的研讨会,Remote Usability Testing.