调查问题是微妙的东西。措辞中的甚至小细节也会影响受访者如何解释和回答它们。一个不小心的书面问题可以毁了一项研究,所以值得一段额外的时间来完善你的调查。

案例研究:人们如何使用网络的调查

最近,我们决定复制一项研究21年前由Xerox Parc的研究人员进行。原始研究调查了如何在线发现的信息会影响人们的决策。该研究包括一个大规模调查,其中3,292名受访者详细描述了在线内容影响其决定或行动的情况。

Today, people rely even more heavily on information found on the web than 20 years ago. From purchasing a house to deciding where to eat for dinner, the web helps users make a huge variety of decisions. Thus,我们复制了这项研究,看看重要的在线信息寻求行为是否发生了二十年.

在the Xerox survey, the researchers asked the following single question:

请尝试回想起最近找到重要信息的实例上the World Wide Web, information that led to a significant action or decision. Please describe that incident in enough detail so that we can visualize the situation.

虽然我们想要与1998年的研究相媲美,但我们意识到我们可能需要调整问题的措辞,以确保我们收集反映当今在线服务使用的信息。通过4轮飞行员测试调查,我们能够改进这个问题。

1st一轮测试

We wanted to keep the question as close to the previous version as possible to make a valid comparison.

对于第一个版本的问题,我们只将“万维网”更改为“在线”以反映当前术语。谷歌ngram.显示在1998年,“在线”这个词只出现了谷歌书籍语料库中的“万维网”短语“网上”这个词,但在2008年,“在线”这个词的频率已经超过了超过100倍“万维网”。也,Google Trendsshowed that the related queries of the word “online” included “online films” and “online games”, while the ones of the phrase “World Wide Web” included “World Wide Web Wikipedia” and “who created World Wide Web,” suggesting that today people use the word “online” to refer to the things they can do on the World Wide Web.

因此,我们如下更改了调查问题。

请尝试回想起最近找到重要信息的实例线上,导致重大行动或决定的信息。请用足够的细节描述这一事件,以便我们可以想象这种情况。

For this phase, we recruited 11 participants who filled out a written survey and we collected their verbal feedback at the end of the survey.

这些试点参与者中的四个报告说,这个问题太过普遍,他们不确定我们想要什么。这可能不是21年前的问题,但现在它是因为互联网的普遍存在。根据USC的报告,在线花费的时间从2000年每周9.4小时增加到2016年每周23.6小时。一篇文章Clickz表明,平均而言,2019年,人们每天在网上花费6小时42分钟。在线收集信息已成为许多人努力挑选出特定的实例来报告的频繁和平凡的任务。

为了解决这个问题,我们在第二个设计中添加了一个解释性句子。

2n一轮测试

请尝试回想起最近在线找到重要信息的实例,导致了重要行动或决定的信息。请用足够的细节描述这一事件,以便我们可以想象这种情况。

一种重大action or decision can be any change in your plans, thoughts, or actions that you consider to be meaningful.

我们认为对“重大”来说有更多的解释可以缓解人们的担忧,他们的行为可能无法满足我们的标准。这个问题的这个问题是用5个用户测试的;该调查是远程和未经说明的。

在第二个飞行员中,人们受到解释性文本的限制,只会谈论变化they made because of the online information. For example, a participant wrote, “I looked at the weather on the app on my phone before I left for work in the morning. It said the temperature was colder than I expected it to be. So I put on a warmer coat and a hat”. Another job-seeking participant talked about how online information “changed her applying strategy” and made her focus on certain types of companies. Almost all the responses were related to some specific changes, but change should not be a necessary aspect of a significant decision or action. We realized that adding explanations to "significant" could bias the respondents’ answers. We decided to remove the clarifying sentence and try another approach.

3rd一轮测试

For the third round of testing, we tried adding a multiselect question before the main question about the respondents’ significant activity.

Which of the following online activities have you done in the past month? (Please select all that apply)

  • 买了一些东西
  • 看了电视节目或电影
  • 计划度假
  • Sent an email
  • Posted on social media (for example, Facebook or Instagram)
  • Researched a topic

我们希望这个问题可以帮助用户反思他们最近的在线活动,并且这个过程可能有助于他们回答以下问题。我们认真平衡了不同类型的活动 - 从娱乐到严肃的活动。我们邀请了4名用户填写了调查的修订版,并进行了一个认知演练有3名参与者可以获得对调查语言的见解。

不幸的是,本集团的所有参与者都结束了报告活动,这些活动听起来与我们的多元化反应过于相似。七个用户都在谈论他们在线做的研究,比如“研究加利福尼亚州的税基转移信息”和“查找有关减肥手术的信息”。并非所有重要的决定或行动都必须与研究有关,因此我们意识到多元化的反应是priming我们的受访者。即,这是last response optionin the first question, “researched a topic", primed the participants to come up with research-related answers in response to the second question. We decided to remove the priming question from the survey.

4th一轮测试

在这一点上,我们非常有信心,最大的问题是人们有太多的在线活动可供选择。他们需要保证,他们可以选择一个报告。That could help explain why pilot participants were confused when presented with the original question and why they were easily influenced by the changes we’d tested: people weren’t sure which decisions counted as “significant” and which ones didn’t, so they tried to find clues from other information researchers provided. This was probably not a problem during the original PARC study because, at that time, the Internet was not pervasive and didn’t impact people’s lives as much.

基于这一洞察力,我们再次修改了这个问题,包括一个澄清,如果许多实例想到,可以帮助受访者。

请尝试回想起最近在线找到重要信息的实例,导致了重要行动或决定的信息。请用足够的细节描述这一事件,以便我们可以想象这种情况。

If you can recall several such instances, please describe the one that was the most important to you.

通过这种添加,我们保证了他们可以回复问题,他们认为他们认为是最重要的问题。

我们在线试驾并收集了50个回复。

50人的试点调查进展顺利;我们有一个多样化的回复。除了研究做出决策外,参与者提到“购买我的当前电话,Google Pixel 2 XL。在Hulu看到的商业广告中,这表明广告影响了她的决定。另一个回应描述了她如何为她最喜欢的乐队音乐会之一的票是因为她在手机上收到了通知。

对我们收集的数据的细节和各种感到满意,我们决定根据此版本的主要问题进行全面研究。我们收集了700个响应,我们在定量和定性地分析,以更好地了解在线信息寻求行为的当前概况。(我们的最后一项研究的发现将在随后的文章中报告。)

Tips for Survey Design

  1. 确保您的研究问题可以通过您的调查方法进行调查。

调查无法回答所有研究问题。它们擅长帮助我们捕获态度数据,但不是行为数据。他们可以提供的细节和上下文信息也有限。在我们的情况下,我们希望确定可能导致重要决策和行动的在线信息寻求行为。一种调查可以解决这个目标。但如果我们想了解人们为什么人们选择某些类型的信息寻求行为而不是其他类型的信息,或者它们在这些行为中的何时以及在哪里,调查是不合适的。代替,user interviews要么实地研究can work better in these situations.

  1. 避免启动或提出领先的问题.

Keep the language of the survey questions neutral. People are social animals who can interpret subtle clues andtry to behaveas (they assume) researchers want them to, even subconsciously. As we saw in this case study, minor changes in phrasing the same question or adding another question before it can result in dramatically different responses.

  1. 运行试点研究.You can test several versions at the same time.

有时,您可能无法判断您的调查语言是否足够着色,直到您与真实的人一起运行它。为您的第一个飞行员,您的同事或咖啡厅的人可以充当测试人员。然而,至少从您的利益人群中与受访者进行至少一轮试点测试 - 不要依赖于你的同事。要求您的参与者在完成调查时大声思考,帮助您确定任何解释问题或潜在的领先问题。测试5-10个用户的每个版本的飞行员都应该正常工作。

  1. 注意收集回复的时间.

有时候您发送在线调查的时间可能会影响您答案的数量和质量。在我们的研究中,一半的参与者在周末和平日的一半发送了调查。我们这样做是为了避免与响应收集的时机相关的偏见结果。如果您的用户在白天可能忙碌,请在上午9点发出调查。可能会阻止您收集高质量数据。

不良的措辞,歧义或错误的问题序列很容易导致偏斜调查结果。在花钱之前熨烫任何此类问题以收集数据。与用户界面设计一样,需要测试调查。事实上,一个调查仪器设计,所以对待它。

参考资料

Morrison,J.B.,Pirolli,P.和卡,S.K.,2001年3月。分类学分析世界宽网络活动显着影响人们的决定和行动。在CHI'01 extended abstracts on Human factors in computing systems(pp. 163–164). ACM.

USC Annenberg Center for the Digital Future.2017年数字未来报告。

Clickz。互联网增长+使用统计数据2019年:在线,设备,用户。