在不发疯的情况下将可用性测试数据转化为行动

已发表: 2022-03-11

收集、整理和理解在用户研究和可用性测试期间收集的数据正在成为 UX 从业者中越来越普遍的任务——事实上，它正在成为一项关键的 UX 技能。

可用性测试将告诉您目标用户是否可以使用您的产品。 它有助于识别人们对特定 UI 的问题，并揭示难以完成的任务和令人困惑的语言。 通常，可用性测试涉及大量的准备和分析，被认为是最有价值的研究技术之一。 它能够提供定量和定性数据，帮助指导产品团队找到更好的解决方案。

然而，这不是在公园里散步。 为了发现可用性问题，用户体验研究人员和设计师经常不得不处理大量不完整、不准确和令人困惑的数据。 有五到十名参与者的常规可用性测试很容易产生超过六十个问题。 在等待可怕的分析瘫痪者抬起丑陋的脑袋时，感觉就像“从消防水管里喝水”。

如何在可用性测试中收集数据

当试图解决可用性问题时，一个相当大的风险是走上错误的轨道，试图提出不能真正解决手头问题的解决方案。 风险在于发现的问题和确定的解决方案之间可能存在脱节。 这些可能是由许多不同的因素引起的，包括决策疲劳和许多类型的认知偏差。

如何将可用性测试数据转化为可行的解决方案

为了克服上述障碍，我们需要有效的方法来处理我们的测试数据，同时确保我们为发现的问题选择最有效的解决方案。

让我们从创作过程中借鉴一些想法开始。 其中最强大的是英国设计委员会的双菱形，它反过来使用发散-收敛思维。 这是一个设计过程，具有明确定义和集成的问题和解决方案阶段。

用户研究和测试中的双钻
分为四个不同的阶段——发现、定义、开发和交付——双菱形是设计过程的简单视觉图。 （英国设计委员会，2005 年）

双菱形正是我们需要构建一个框架来处理可用性问题并找到解决它们的方法。

使上述模型适应结果的可用性测试是一个四步过程：

  1. 数据采集
  2. 问题优先级
  3. 解决方案生成
  4. 解决方案优先级

可用性研究的数据收集

让我们详细了解每个步骤，包括如何将其付诸实践。

注意：我们需要使用一些基本的数学。 不用担心，这并不算多，在本文的最后，您会发现一个电子表格可以自动完成整个过程。 如果它仍然不适合您，还有一种可视化方法，您可以在其中使用便利贴和白板。

第 1 步：可用性研究数据收集

从你的研究问题开始，第一步是收集可用性测试产生的数据。 需要设置它以便在流程后期轻松产生想法和洞察力——关键是清晰地构建和组织数据以避免混乱。 在大多数情况下，足以：

  • 拥有问题识别(ID) 系统
  • 注意它发生的位置（屏幕、模块、UI 小部件、流程等）
  • 了解用户正在从事的任务
  • 提供问题的简明描述

Lewis 和 Sauro 在Quantifying the User Experience一书中使用的一种常见的组织可用性问题的方法是如下表所示绘制数据，行中的问题和最后几列中的参与者。

你应该如何在可用性测试中收集数据：一个示例测试用例

在上面的示例中，由三个参与者进行的虚构可用性测试产生了两个问题：

  • 参与者一（P1）的第一次经历
  • 第二个由其他参与者（P2 和 P3）

第 2 步：问题优先级

由于资源有限，有必要以优化分析的方式优先考虑可用性问题。 通常，每个可用性问题都有一个严重性等级，受以下因素影响：

  • 任务关键性：根据任务未完成对业务或用户的影响进行评级。
  • 问题频率：不同参与者发生问题的次数。
  • 问题影响：它对尝试完成任务的用户的影响有多大。

要确定优先级，我们需要执行以下步骤：

  1. 设置测试中执行的每个任务的重要性分数。 简而言之，通过为其设置数值来定义任务对业务或用户的重要性。 这些值可能来自一个简单的线性序列（例如，1、2、3、4 等）或更复杂的东西，如 Fibonacci 序列（1、2、3、5、8 等），与敏捷方法，例如计划扑克。

  2. 通过为该量表中的项目分配一个值（与上述相同）来设置每个问题的影响分数：
    • 5：（阻止程序）问题阻止用户完成任务
    • 3：（主要）它会导致挫败感和/或延迟
    • 2：（次要）对任务绩效的影响较小
    • 1：（建议）这是参与者的建议

  3. 通过将出现次数除以参与者总数来找到问题的问题频率(%)。 这是一个基本的百分比计算。

  4. 最后，通过将上述三个变量相乘来计算每个问题的严重性。

让我们看看它在电子表格中是如何工作的（当然我们想要自动化，对吧？）。 我们更新后的表格如下所示：

如何分析可用性测试结果：问题优先级

在上面的示例中，我们有以下场景：

  • 三个参与者（p1、p2 和 p3）经历的三个可用性问题；
  • 任务“创建帖子”出现了两次，关键是 5，不太关键的任务（社交登录）分配了 3；
  • 鉴于其影响，每个问题都被分配了一个值：5（阻碍者）、3（主要）和 2（对任务性能的轻微影响）；
  • 每个问题的频率（例如，问题 2 出现两次，三个参与者，因此 2/3 = 0.67）；
  • 最后，严重程度是由其他因素相乘产生的（例如，3 x 5 x 0.33 = 4.95）。

现在就是这样。 我们按以下顺序发现了最重要的可用性问题： 3、2和1 。 在这个阶段，我们对可用性问题的前景也有很好的看法——帮助团队构建高层次问题并在接下来的步骤中进行优化的大图。

美国的全职自由UX设计师想要

第 3 步：解决方案生成

通常，如果没有建议（通用建议）和解决方案（具体说明）列表，可用性测试在结束时是不完整的。 有时解决方案很明显——比如更正 UI 组件的位置。 对于那些具有不明显或许多可能解决方案的问题，情况变得更加棘手。 哪种解决方案更好？ 哪一个更可行？ 进行实验以找出答案的成本/收益是什么？ 在这里，传统的定期推荐方法是不够的。

为了降低做出错误设计决策的风险，我们需要：a) 多种解决方案可供选择，以及 b) 有效的选择过程。 我们将使用与前一阶段中用于处理数据收集和问题优先级步骤的相同的发散-收敛方法。 步骤是：

  1. 对于每个问题，产生多个解决方案——解决问题的可能方法是什么？ 在这里，我们有很好的机会与团队的其他成员（开发人员、设计师、产品经理等）进行协作。

  2. 重新组织解决方案，使其保持具体——根据需要，合并或拆分解决方案以避免冗余和过多抽象。 同样，要具体，以便更容易评估想法。 例如，与其只是“避免使用汉堡菜单”，不如说明具体的解决方案，例如“使用水平导航和垂直树形菜单”。

  3. 标记解决方案可能解决的其他问题——在实践中，一个好的解决方案可以解决多个问题。 好的解决方案是多才多艺的！

按照上述步骤，结果表如下所示：

可用性研究的数据收集

在此示例中，我们有头脑风暴解决方案列表（行），以及每个解决方案解决的问题（列，表示在前面的步骤中发现的问题）。

接下来，让我们看看如何改进这个列表，并找出哪些解决方案是实施的最佳候选者，以及执行的顺序。

第 4 步：解决方案优先级

与问题优先级相似，我们需要根据一些参数对解决方案进行优先级排序。 在敏捷团队中，这个主题被非常认真地对待，通常使用业务价值和复杂性，这让我们可以计算投资回报率 (ROI)。 借用这个逻辑，我们有以下步骤：

  1. 计算每个解决方案的有效性。
    解决的问题越严重，解决方案就越好。 这可以粗略地与敏捷方法中的业务价值进行比较。 将解决方案解决的所有问题的严重性加起来。

     Effectiveness = Sum of issue severities
  2. 磨练解决方案的复杂性。
    1. 开发此解决方案需要哪些资源？
    2. 所涉及的技术有多标准？
    3. 业务/用户需求有多清晰？

    换句话说，努力和不确定性越大，解决方案就越复杂。 只需将其转换为可量化的值，例如斐波那契数列（1、2、3、5、8 等）。 如果你作为一个团队来做这件事，那么规划扑克非常适合。

  3. 计算解决方案的投资回报率。 这是成本收益关系，通过将解决方案的有效性除以其复杂性计算得出。 投资回报率越高越好。

     ROI = Effectiveness / Complexity

让我们回到我们的电子表格，现在看起来像这样：

如何在可用性测试中收集数据

在上面的例子中，我们有：

  1. 解决方案列表（行）
  2. 问题（i1 到 i3）及其严重性（4.95、6.7 和 10.05）
  3. 每当解决方案匹配（解决）问题时，指示符为 1
  4. 每个解决方案的有效性（4.95、4.95 和 16.75）
  5. 团队估计的每个解决方案（1、3 和 5）的复杂性
  6. 每个解决方案的投资回报率（4.95、1.65、3.35）

根据这个例子，我们应该按照以下顺序（从高到低 ROI）优先考虑解决方案的开发：解决方案 1，然后是解决方案 3 和 2。

总结一下这些步骤：我们从收集数据开始，然后根据具体参数对问题进行优先级排序。 之后，我们为这些问题提出了解决方案，并最终确定了它们的优先级。

使用电子表格

上述方法涉及重复多次的一些（基本）计算，因此最好使用电子表格。

如果你想遵循这种方法，这里有一个模板（谷歌表格）：https://goo.gl/RR4hEd。 它是可下载的，您可以根据自己的需要自由定制它。

我讨厌电子表格！ 更直观的东西呢？

几乎我认识的每个人（当​​然包括我自己）都喜欢使用便签纸和白板，不仅因为它通常更快、更有趣，而且还因为它促进了协作。 如果你是敏捷或设计思维的实践者，你就会明白我的意思。 我们如何应用诸如便签之类的可视化工具来使用本文中展示的方法？ 好吧，这可能值得一整篇博客文章，但让我们试着从表面上看。

一种方法是为问题（影响 x 频率）创建一个矩阵，并将其放在另一个矩阵旁边以获得解决方案（有效性 x 复杂性）。 每个矩阵分为四个象限，表示优先级。

如何分析可用性测试结果
问题矩阵和解决方案矩阵

以下是步骤：

  1. 通过根据影响和频率将便签放置在适当的象限中来创建问题矩阵。 为了简化这种方法，我们不得不省略一个参数。 在这种情况下，任务关键性。

  2. 通过根据每个解决方案的有效性和复杂性组织便签来创建解决方案矩阵：

    1. 从问题矩阵第 1 象限中的问题（具有较高严重性的问题）开始，为每个问题集思广益。

    2. 将这些解决方案放入解决方案矩阵中，从象限 1（左上角）开始。 问题越严重，解决的效果就越有效。

    3. 通过在水平轴上移动每个解决方案来调整其复杂性（越复杂，越靠右）。

    4. 对其余问题重复上述步骤（按此顺序，象限 2、3 和 4）。

在练习结束时，象限 1 中的解决方案是具有最佳 ROI（更有效且更简单）的解决方案，表示优先级最高。 结果如下图所示：

如何分析可用性测试结果

包括我们遗漏了一个参数（任务关键性）这一事实，这里的缺点是您必须依赖视觉准确性而不是电子表格中的计算。 从积极的方面来说，我们有一种促进协作的方法——这有时对于获得团队的支持至关重要。

通过“快速而肮脏”的视觉分析以可能的准确性为代价促进协作是一种潜在的权衡。 哪种方法更好？ 简短的回答：最适合您的情况并最符合您的目标的答案。

可用性测试数据分析的最终要点

使用这些方法得到了在各种项目中使用它的团队的以下观察结果：

  1. 尤其是在处理更大规模的研究时，问题优先级让团队专注于真正重要的事情，通过减少不必要的认知挑战（如信息过载、分析瘫痪和决策疲劳）来节省时间和资源；

  2. 连接的端到端工作流程使解决方案与可用性测试输出更加一致（因为问题和解决方案是配对的），从而降低了实施不太理想的解决方案的风险；

  3. 我们可以使用在线工具轻松地协作（部分或整体）应用此方法。

了解这种方法的局限性很重要。 例如，在优先级排序阶段，不包括在测试中观察到的用户的积极态度和行为。 重点是可用性问题。 一个建议是单独记录此类数据，并在此过程中根据需要使用它来补充和平衡调查结果。

最后，除了可用性测试之外，这种方法还可以扩展到其他用户体验研究技术。 应用“双菱形”方法（发散/收敛问题和解决方案），我们可以混合各种用户研究数据并在任何其他项目中使用上述方法。 你的想象力是极限！

• • •

进一步阅读 Toptal 设计博客：

  • 电子商务用户体验——最佳实践概述（附信息图）
  • 以人为本的设计在产品设计中的重要性
  • 最佳 UX 设计师作品集——鼓舞人心的案例研究和示例
  • 移动界面的启发式原则
  • 预期设计：如何创造神奇的用户体验