有几种不同的方法,移动应用程序用于船上新用户:教程,界面之旅,赌博onboarding,上下文帮助等。但是,这些方法是否有效?换句话说,他们是否对用户的性能产生影响,并使用界面的成功?随后,是否值得创建这些船上工具的设计和开发工作?

我们进行了一个quantitative usability test使用70个用户和4个移动应用程序that used牌牌教程作为船上用户的手段。由于其在移动应用程序中的普及,因此选择了这种特殊类型的onboarding作为本研究的重点。

Deck-of-cards tutorials contain help or tip screens that provide instructions for how to use an interface and are usually presented when a mobile app is first launched.

MovEsum应用程序中的甲板 - 卡片教程:注意教学内容,如滑动左右,以浏览不同的食物并滑动,以设置卡上的日常目标。

Methodology

研究是一个between-subject远程未经置业quantitative usability test。我们用了Userlyticsas our testing platform and for participant recruitment.

Applications

我们选择了以下应用程序来测试:Movesum,Brainsparker,LaunchCenter Pro和Sketch.Book .Book。所有应用程序都是iPhone应用程序。这些应用程序不是高度复杂的应用程序,不需要专业专业知识或高级培训。

选择了这些移动应用程序因为1)在研究时,他们有教程,2)他们允许用户跳过或关闭教程,3)该应用程序并不广泛(这使得更容易招募并防止招聘应用程序)。

参与者

参与者were diverse in age, location, and ethnicities. Besides participant diversity, the most significant factor for our participant recruitment was that they had not previously used or downloaded any of the four apps being tested. All participants were prior iOS users. Thus, these users could be expected to know general basics of mobile-app use, but not the specifics of using the apps in the study. (Note: participants signed up for a “Mobile App Study” and were not made aware of the purpose of the study at the time of recruitment.)

参与者were assigned to one of 2 groups:

  • A组始终与教程进行。
  • B组总是跳过了教程。

In total, we had 70 participants, 35 in each group.

任务

For each app, users were asked to do the following actions (in this order):

  1. 从App Store下载应用程序,并完成或跳过教程(根据他们的组)。
  2. If participants were successful in completing the first action (namely downloading the app), they would then be presented with an in-app task, which was the primary task we measured. This task was always something that the tutorial “taught” users.

例如,以下是MoveSum应用程序的说明:

组A: Deck-of-cards tutorial

  1. 初步说明:从App Store下载Movesum应用程序。启动应用程序并通过概述阅读。
  2. Task: Set a target of 6500 steps.

组B: Skipped tutorial

  1. Initial instruction: Download Movesum app from the App Store. Launch the app and skip the overview (by clicking the X in the top right corner).
  2. Task: Set a target of 6500 steps.

在这项研究的时候,用户界没有提供随机化,因此我们手动随机地随机计算了正在测试的应用程序的顺序,以避免订单效果。这是通过将组A和组b分为6个单独的子组来手动完成,我们创建了单独的测试并手动重新排序正在测试的应用程序。(如果所有用户以相同的顺序测试了应用程序,我们可能会因为参与者的学习而在会议后稍后测试的应用中看到了更好的表现。)

程序

要求参与者大声思考,并提到他们遇到的任何事情让他们感到困惑或不确定如何继续。但是,要求用户尽可能快速准确地完成4个任务。

Key Findings

我们收集了任务成功单减速问卷(SEQ),和任务完成时间对于每个主要任务 - 这些是因变量在我们的实验中,与独立变量是在教程中参与的行为。当参与者无法下载应用程序或完成初始说明时,我们排除了这些试验。总的来说,我们删除了13项试验(占总试验的5%)。

可比的成功率

我们观察到两种条件的可比任务成功率。在测试的四个应用程序中的任务成功是91%对于阅读教程的人(n = 35)和94%对于那些跳过教程(n =35). This difference was not statistically significant (p=0.443):基本上,人们是否观看了教程,他们仍然非常成功完成主要任务。

一部分高成功率的原因可能是移动应用程序中的任务往往是相当简单的。一位参与者参加了一名参与者,“对我来说,我甚至没有观看教程,但如果你需要它,我猜这是在那里。”

A组通过教程读取的A组,跳过教程的B组的平均任务成功为91%,平均任务成功为94%。

参与者跳过教程时更容易完成任务

在完成每个应用程序的第二个任务后,我们向参与者询问“总的来说,任务完成了多么困难或容易?1(非常困难)到7(非常容易)。“Across all the apps, group A, who read the tutorials (n=35), had an average SEQ of4.92while group B, who skipped tutorials (n=35), had an average SEQ of5.49。这种差异是统计学意义(P = 0.047)。换一种说法,participants who read tutorials perceived tasks (which were explained in the tutorials) as more difficult than those who skipped tutorials.半个点是1-7评级规模相当大的差异。

读取教程的A组可能会报告这些任务,因为教程可以使应用程序似乎过于复杂。我们也观察到这种效果教练标记和教学叠加in mobile apps. Users may expect a tutorial for complex applications, but for mobile apps, particularly those labeled as ‘easy’ or ‘intuitive’, a tutorial may shift users’ perception and make them think the app is more complicated than it really is.

组A, which read through tutorials, gave an average ease-of-use rating of 4.92 while group B, which skipped tutorials, gave an average rating of 5.49.

任务完成时间没有差异

在下面的情况下,我们报告任务完成时间 - 即在用户能够成功完成任务时,这些试验的时间是时间。(我们进行了一个分析,包括所有试验,结果是相同的。)

遍布所有应用程序,读取教程的A组有一个平均任务完成时间93.49seconds, while group B, who skipped tutorials had a mean task-completion time of85.17秒。This difference was not statistically significant(p> 0.1):换句话说,reading the tutorials did not make users faster at completing the tasks described in the tutorial.

(Because task times tend to be skewed to the right, instead of using the arithmetic mean — the traditional “average” — to describe the set of data, we used the几何平均数。下面报告的置信区间也基于几何平均值。要了解几何平均值是什么,当应该使用它,以及如何计算围绕它的置信区间,看看我们的课程UX的统计数据。)

请注意,此处报告的任务完成时间不包括在使用应用程序之前读取教程的前期时间。(例如,对于MoveSum应用程序,他们反映了使用该应用程序设置6500步的目标的时间。)如果添加了这次阅读时间,那么对于阅读教程的用户来说,总时间将多时间更高与那些没有的人相比。由于教程阅读时间是一次性费用,因此在每次任务时间度量中包含它是不合理的,但从总用户负担的角度看,这仍然是教程的缺点。

对于应用内部任务,读取教程的A组具有93.49秒的平均任务完成时间,而B组跳过教程,则具有85.17秒的平均任务完成时间。

研究限制

This study focused on 4 iOS applications. Thus, it is technically possible that:

  1. It may not generalize to Android applications.
  2. 由于包含的应用程序数量较少,它可能不会概括为其他IOS应用程序(可能具有略微不同的特征)。(换句话说,偶然,这4个选择的教程可能没有特别有效。)

该se objections are valid. However, in recent years, we’ve observed that the UIs for Android and iOS devices tend to converge, so there’s little reason to believe that tutorials on Android apps will have a different effect.

结论

考虑三次创建简单应用程序的教程。教程需要时间和努力来设计和发展,而且那些将更好地花费ui轻松花费使用从而减轻了对第一个教程的需求。我们已经知道,许多参与者首次下载应用程序时跳过教程。但现在我们发现,阅读教程认为任务的参与者更加困难,与跳过教程的人相比,他们不会在成功率或任务完成时间方面表现出任何优势。If, even when people read these tutorials, they don’t make a positive impact, are these tutorials worth building

Instead of a tutorial acting like a polished manual, consider whether you need formal onboarding and if you do, consider interactive methods of doing so, like语境帮助