手机应用使用多种不同的方法来吸引新用户:教程、界面导览、游戏化的内置服务、情境帮助等等。但是,这些方法有效吗?换句话说,它们是否对用户的表现和界面使用的成功有影响?接下来,设计和开发这些工具是否值得?

我们进行了一项量化的可用性测试拥有70个用户和4个移动应用使用副牌教程作为船上用户的手段。由于其在移动应用程序中的普及,因此选择了这种特殊类型的onboarding作为本研究的重点。

纸牌教程包含帮助或提示屏幕,提供如何使用界面的说明,通常在手机应用首次发布时呈现。

Movesum应用中的一副纸牌教程:注意指导内容,比如从左向右滑动可以浏览不同的食物,向上滑动可以设置卡片上的每日目标。

方法

研究是一个主客体之间远程不加节制的量化的可用性测试.我们使用Userlytics作为我们的测试平台和招募参与者。

应用程序

我们选择了以下应用程序进行测试:Movesum、Brainsparker、LaunchCenter Pro和Sketch.Book。所有的应用都是iPhone应用。这些应用程序不是高度复杂的应用程序,不需要专门的专业知识或高级培训才能使用。

之所以选择这些手机应用,是因为1)在研究期间,它们都有教程,2)它们允许用户跳过或关闭教程,3)这些应用并不广为人知(这使得招募更容易,避免了用户提前接触应用)。

参与者

参与者的年龄、地点和种族各不相同。除了参与者的多样性,我们招募参与者的最重要因素是,他们之前没有使用或下载过测试中的四个应用程序中的任何一个。所有参与者都是iOS用户。因此,这些用户应该知道手机应用使用的基本知识,但不知道研究中应用使用的具体细节。(注意:参与者报名参加了“手机应用研究”,在招募时并不知道研究的目的。)

参与者被分为两组:

  • A组总是参与辅导。
  • B组总是跳过了教程。

我们总共有70名参与者,每组35人。

任务

对于每个应用程序,用户被要求执行以下操作(按顺序):

  1. 从App Store下载应用程序,并完成或跳过教程(根据他们的组)。
  2. 如果参与者成功地完成了第一个动作(即下载应用),那么他们将面临一个应用内任务,这也是我们所衡量的主要任务。这个任务总是教程“教导”用户的。

例如,以下是Movesum应用程序的说明:

A组:扑克教程

  1. 初步说明:从App Store下载Movesum应用程序。启动应用程序并通过概述阅读。
  2. 任务:设置6500步的目标。

B组:跳过教程

  1. 初始说明:从app Store下载Movesum应用。启动应用程序并跳过概述(通过点击右上角的X)。
  2. 任务:设置6500步的目标。

在这项研究的时候,用户界没有提供随机化,因此我们手动随机地随机计算了正在测试的应用程序的顺序,以避免订单效果。这是通过将组A和组b分为6个单独的子组来手动完成,我们创建了单独的测试并手动重新排序正在测试的应用程序。(如果所有用户以相同的顺序测试了应用程序,我们可能会因为参与者的学习而在会议后稍后测试的应用中看到了更好的表现。)

过程

要求参与者大声思考,并提到他们遇到的任何事情让他们感到困惑或不确定如何继续。但是,要求用户尽可能快速准确地完成4个任务。

重要发现

我们收集了任务成功单减速问卷(SEQ), 和任务完成时间对于每个主要任务 - 这些是因变量在我们的实验中,自变量是参与或不参与教程。我们排除了那些参与者无法下载应用程序或完成初始说明的试验。我们总共删除了13个试验(占总试验的5%)。

类似的成功率

我们观察到这两种情况下的任务成功率相当.在测试的四个应用程序中的任务成功是91%对于那些阅读教程(n=35)和94%对于那些跳过教程的人(n=35)。该差异无统计学意义(p=0.443):基本上,人们是否观看了教程,他们仍然非常成功完成主要任务。

一部分高成功率的原因可能是移动应用程序中的任务往往是相当简单的。一位参与者参加了一名参与者,“对我来说,我甚至没有观看教程,但如果你需要它,我猜这是在那里。”

A组通过教程读取的A组,跳过教程的B组的平均任务成功为91%,平均任务成功为94%。

参与者跳过教程时更容易完成任务

在完成每个应用程序的第二个任务后,我们询问参与者“总的来说,任务完成了多么困难或容易?1(非常困难)到7(非常容易)。“在所有应用中,阅读教程的A组(n=35)的平均SEQ为4.92而跳过教程的B组(n=35)的平均SEQ为5.49.这种差异是统计学意义(P = 0.047)。换句话说,阅读教程的参与者认为任务(教程中有解释)比跳过教程的参与者更难。在1-7的评分标准中,0.5分是相当大的差距。

阅读教程的A组可能认为这些任务更困难,因为教程会让应用程序看起来过于复杂。我们也观察到这种效应教练标记和教学叠加在移动应用程序。用户可能希望看到复杂应用的教程,但对于移动应用,尤其是那些被贴上“简单”或“直观”标签的应用,教程可能会改变用户的看法,让他们认为应用比实际情况更复杂。

阅读教程的A组给出的平均易用性评分为4.92分,而跳过教程的B组给出的平均易用性评分为5.49分。

任务完成时间没有差异

在接下来的内容中,我们报告任务完成时间——即用户能够成功完成任务的试验时间。(我们进行了包括所有试验的分析,结果是相同的。)

遍布所有应用程序,读取教程的A组有一个平均任务完成时间93.49而跳过教程的B组的平均任务完成时间为85.17秒。这种差异没有统计学意义(p > 0.1):也就是说,阅读教程并不能让用户更快地完成教程中描述的任务。

(因为任务时间倾向于向右倾斜,而不是使用算术平均——传统的“平均”——来描述一组数据,我们使用几何平均数.下面报告的置信区间也是基于几何平均值。为了理解几何平均值是什么,什么时候应该使用它,以及如何计算以它为中心的置信区间,请参阅我们的课程UX的统计数据.)

注意,这里所报告的任务完成时间并不包括在使用应用前阅读教程的时间(例如,对于MoveSum应用,它们反映的是使用应用设置6500个步骤的目标所需的时间)。如果添加了阅读时间,那么显然阅读教程的用户的总时间要比没有阅读教程的用户高得多。由于教程阅读时间是一次性的花费,将其包含在每个任务的时间度量中是不合理的,但从总体用户负担的角度来看,这仍然是教程的一个缺点。

对于应用内部任务,读取教程的A组具有93.49秒的平均任务完成时间,而B组跳过教程,则具有85.17秒的平均任务完成时间。

研究限制

本研究主要针对4款iOS应用。因此,在技术上有可能:

  1. 它可能不适用于Android应用程序。
  2. 这可能不适用于其他iOS应用(特征可能略有不同),因为包含的应用数量较少。(换句话说,有可能这4个教程并不是特别有效。)

这些反对意见是有道理的。然而,近年来,我们观察到Android和iOS设备的ui趋于融合,所以几乎没有理由相信Android应用教程会产生不同的效果。

结论

考虑三次创建简单应用程序的教程。教程需要时间和努力来设计和发展,而且那些将更好地花费ui轻松花费使用从而减轻了对第一个教程的需求。我们已经知道,许多参与者首次下载应用程序时跳过教程。但现在我们发现,阅读教程认为任务的参与者更加困难,与跳过教程的人相比,他们不会在成功率或任务完成时间方面表现出任何优势。如果,即使人们阅读了这些教程,它们也没有产生积极的影响,那么这些教程是否值得构建

而不是一个教程表现得像抛光手册,也考虑你是否需要正式的船上,如果你这样做,请考虑这样做的交互方法,喜欢上下文相关的帮助