菜单 关闭

可用性指标

通过 雅各布·尼尔森1月21日,二千零一

总结:虽然衡量可用性的成本是进行定性研究的四倍(这通常会产生更好的洞察力)。度量有时是值得花费的。除此之外,度量可以帮助管理者跟踪设计进度并支持有关何时发布产品的决策。manbetx官方网站手机版


可用性可以衡量,但很少是这样。原因何在?度量是昂贵的,并且很少使用通常稀缺的可用性资源。

大多数公司仍在对可用性进行投资。预算很小,你最好是通过定量的方法来达到定性方法的低效效果,这提供了更好的投资回报。一般来说,为了改进设计,manbetx官方网站手机版洞察胜于数字。

然而,这股潮流可能正在转向可用性资金。我最近做了几个项目来建立不同公司的正式可用性指标。随着组织增加可用性投资,收集实际的测量结果是下一个自然的步骤,并且确实提供了好处。一般来说,可用性指标允许您:

  • 跟踪发布之间的进度。除非你知道自己做得有多好,否则你无法调整你的方法论。
  • 评估你的竞争地位。你比其他公司好还是坏?在哪里?你是好是坏?
  • 在发射前做出停止/前进的决定。设计是否足够好manbetx官方网站手机版,可以释放到一个毫无戒心的世界?
  • 为设计经理和高层管理人员制定奖金计划。manbetx官方网站手机版例如,您可以根据在一年中生成的客户支持电话或电子邮件数量来确定开发项目负责人的奖金金额。

如何测量

很容易指定可用性指标,但很难收集到。通常情况下,可用性是相对于用户在给定测试任务集上的性能来衡量的。最基本的措施是基于可用性作为质量度量的定义

  • 成功率(用户是否可以执行任务)
  • 任务所需的时间,
  • 错误率,和
  • 用户的主观满意度。

还可以收集更具体的指标,例如,用户遵循最佳导航路径的时间百分比或他们需要回溯的次数。

您可以为两者收集可用性指标新手和有经验的用户.很少有网站拥有真正的专家用户,因为人们很少花足够的时间在任何一个特定的网站上学习细节。鉴于此,大多数网站从研究新手用户中获益最多。例外是像雅虎和亚马逊这样的网站,他们有高度忠诚的用户,可以从研究专家用户中受益。

内部网,外联网,而网络应用程序与传统的软件设计类似,有望拥有熟练的用户;manbetx官方网站手机版因此,研究有经验的用户比与通常主宰公共网站的新手用户合作更重要。

通过定性用户测试,它是足以测试3-5个用户.第五次用户测试后,你有你可能得到的所有洞察力,你最好的选择是回到画板上,改进设计,这样你就可以再次测试它了。manbetx官方网站手机版测试超过五个用户浪费资源,减少设计迭代次数,降低最终设计质量。manbetx官方网站手机版

不幸的是,当你收集可用性指标时,您必须使用五个以上的用户进行测试。为了在结果上得到一个相当紧的置信区间,我通常推荐测试20个用户每种设计。manbetx官方网站手机版因此,进行定量可用性研究的成本大约是进行定性研究的四倍。考虑到你可以从简单的学习中学到更多,我通常不推荐度量标准,除非项目资金充足。

比较两种设计manbetx官方网站手机版

为了说明定量结果,我们可以从Macromedia对Flash网站的可用性研究中看到他们最近发布的内容,旨在显示闪存不是必要地坏的。基本上,Macromedia进行了设计,manbetx官方网站手机版根据manbetx官方网站手机版一套可用性指南重新设计了它,并用一组用户测试了这两个版本。结果如下:

原创设计manbetx官方网站手机版 重新manbetx官方网站手机版设计
任务1 12秒。 6秒。
任务2 75秒。 15秒。
任务3 9秒。 8秒。
任务4 140秒。 40秒。
满意度得分* 四十四点七五 七十四点五零
*测量范围为
12(所有计数都不满意)到84(所有计数都很好)。

对于可用性研究来说,使用简单到用户可以在几秒钟内执行的任务是非常罕见的。通常,最好有用户执行更多目标导向任务这需要几分钟。在我正在做的一个项目中,这些任务通常需要半个多小时(诚然,这是一个需要许多的改进)。

考虑到重新设计在所有五项措施上都比manbetx官方网站手机版原设计得分高,毫无疑问,新设计比旧设计好。manbetx官方网站手机版唯一明智的做法是采用新设计并尽快发布。manbetx官方网站手机版然而,在许多情况下,结果不会那么清楚。在那些情况下,更详细地看一下是很重要的多少钱?设计改进manbetx官方网站手机版了。

衡量成功

在我们的示例中,有两种方法可以查看任务时间度量:

  • 将所有四个任务的时间相加会生成一个数字,该数字表示每个设计“用户完成工作需要多长时间”。manbetx官方网站手机版然后您可以轻松地计算改进。以最初的设计,manbetx官方网站手机版这组任务耗时236秒。有了新的设计,manbetx官方网站手机版这组任务耗时69秒。因此,改进是242%.如果网站访问者通常按顺序执行所有四个任务,那么这种方法是合理的。换言之,当测试任务实际上是单个任务的子任务时,更大的任务,这是用户感兴趣的单元。
  • 即使把任务时间加起来更简单,如果任务的执行频率不一样,那么这样做可能会产生误导。如果,例如,用户通常执行任务3,但很少执行其他任务,新设计只比旧设计manbetx官方网站手机版好一点;任务吞吐量不会高出242%。当任务执行不均匀时,您应该分别计算每个任务的改进:
    • 任务1:相对得分200%(提高100%)。
    • 任务2:相对得分500%(提高400%)。
    • 任务3:相对得分113%(提高13%)。
    • 任务4:相对得分350%(提高250%)。
    然后你可以取这四个分数的几何平均值,从而使150%.

为什么我建议使用几何平均数而不是更常见的算术平均数?两个原因:首先,你不需要一个大数字来扭曲结果。第二,几何平均数相当于某些度量为负(即,第二个设计得分低于第一manbetx官方网站手机版个设计的100%)。

考虑一个包含两个指标的简单示例:一个是新设计的可用性翻倍,另一个是新设计的可用性是旧设计的一半。manbetx官方网站手机版如果取两个分数的算术平均值(200%和50%),你会得出结论,新设计得分125%。manbetx官方网站手机版换言之,新设计比旧设计好manbetx官方网站手机版25%。显然,这不是一个合理的结论。

几何平均值提供了更好的答案。一般来说,的几何平均值n数字是n'数字乘积的第根。在我们的示例案例中,将2.0乘以0.5,取平方根,达到1.0(或100%),表明新设计与基线具有相同的可用性。manbetx官方网站手机版

虽然在计算几何平均值时可以为不同的任务分配不同的权重,不知道任务的相对频率或重要性,我假设这里的重量相等。

总结结果

一旦你收集了指标,您可以使用这些数字来对设计的可用性得出一个总体结论。manbetx官方网站手机版然而,您应该首先检查绩效与满意度的相对重要性。在Macromedia示例中,用户对新设计的主观满意度比旧设计高66%。manbetx官方网站手机版对于面向业务的网站或打算经常使用的网站(例如,股票行情)绩效的权重可能高于偏好。对于只使用一次的娱乐网站或网站,偏好可能会得到更高的权重。在作出一般结论之前,我也希望有错误率和一些额外的可用性属性,但是,其他一切都是平等的,我通常对所有可用性指标给予相同的权重。因此,在Macromedia示例中,几何平均数将分数集平均为:平方正交函数(2.50*1.66)=2.04。换言之,新设计得分为20manbetx官方网站手机版4%,对照组(旧设计)的基线得分为100%。

因此,新设计的可manbetx官方网站手机版用性比旧设计高104%。

这个结果并不让我惊讶:它是由于重新设计,可用性增加了一倍manbetx官方网站手机版.事实上,每当你重新设计一个没有系统可用manbetx官方网站手机版性流程的网站时,您通常可以更有效地提高可测量的可用性。然而,你应该关注的第一个数字是你预算中的数字。只有当这些数据足够大时,您才能将指标作为可用性改进策略的一部分。

更多案例研究

见满可用性投资回报(ROI)报告更多关于前-后可用性度量的例子。更深入地说,看一整天测量用户体验课程