如何量化用户体验？试试阿里这个新出的「两章一分法」！
source link: https://www.uisdc.com/two-chapters-and-one-point
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
互联网下半场，所有的比拼都在产品体验；然而“体验”是一个非常抽象的词，我们怎么把一个抽象的概念拆解成可落地执行的策略，作用到企业中后台产品上，怎么衡量策略的有效性，这一直是我们团队面临的重大课题。
业界关于体验度量的经验
目前关于“体验度量”比较成熟的理论模型当属 Google 的 HEART 模型：
另外还有 ISO 9126 软件质量模型和Davis 的 TAM 技术接受模型。后人在此基础上进行了很多实践，譬如 SAP 的用户体验问卷（UEQ）、Oracle 的客户体验价值公式（CX）等。公司内部各个 BU 也在不断的尝试和探索，譬如新零售技术团队的 UES 模型：
技术团队研发效能的 DEVA 模型，国际 UED 语音设计的 HII 模型，阿里云的 QoUE 模型。纵观这些模型和实践，大多是主观数据和客观数据的结合。
我们团队也曾提出过 TECH 、PTECH 模型，但由于模型的操作门槛较高、对埋点数据有不少要求，难以推广到各条业务线。痛定思痛后，我们决定重新回归业务，回归“体验度量”的初心，去繁从简，提高通用性。
企业中后台产品的特点
企业级中后台产品最大的特点是任务性质非常明确；用户使用这类产品通常是为了解决某个确定的问题点，期待用新的解决方式降本增效。
桌面研究也表明：可用性问题是软件行业的普遍问题：在英国，一般商用计算机用户只有30%-40%的有效生产率；软件缺陷中，48%是可用性问题。
正是基于上述原因，我们尝试提出了“两章一分”的标准，分别从设计验收、可用性测试、易用度分数等三个维度对产品体验进行体检和把关。
什么是「两章一分」
1. 设计验收章
“设计验收章”主要有 3 个维度：产品还原度、任务流程跑通率、单页面加载时间。
产品还原度：指技术同学的最终产出与设计稿之间的差异；
汇总人工智能线、技术风险线等 5 个产品近 1 年的可用性测试结果。除功能、性能问题外，高频体验问题主要集中在“帮助引导”、“操作反馈”、“任务流程”、“概念术语”、“功能入口”这 5 个方面。同时，结合之前项目沉淀的设计经验和设计工具，我们最终将“产品还原度”的子维度定为“信息导航”、“帮助引导”、“操作反馈”、“文案名词”；每个子维度用 2-3 句描述来进行评分。
任务流程跑通率：验收确认能跑通的主干任务流程数，在所有主干任务流程数中的占比；举个例子，设计稿中枚举了 10 条主干任务流程，验收发现其中 9 条已跑通，那么任务流程跑通率就是 9/10*100%=90%。
单页面加载时间：接入雨燕性能指标数据的产品看“首次有效渲染时长 fmp”这个指标；未接入的产品直接主观判断，超过 3 秒的视为不合格。
2. 可用性测试章
“可用性测试章”也在验收阶段执行，同样有三个参评维度：最终完成率、人均求助次数和高阻碍页面。
我们没有考虑将可用性测试的常用指标——操作时长作为参评维度，主要原因是企业中后台产品类型多、使用场景复杂程度各自不同：用语雀创建企业空间只需要 5 分钟；用云凤蝶搭建一个后台页面可能需要 60 分钟，用 sofa stack 创建并发布一个应用可能需要 2-3 个小时……难以确定可以作为标准的具体操作时长。
3. 易用度分数
“易用度分数”标准为 5.5 分。
「两章一分」的实践
1. 案例实践现状
截至 2020 年 9 月，已有 58 个 产品实践过“两章一分”系列方法，基本覆盖平台设计团队支撑的重点项目及 UV 超过 100 的产品。详细数据如下图：
完整体验“两章一分”的 18 个产品，仅可用性测试就帮助发现 364 个问题，平均每个产品发现 20 个问题；其中，“九州2.0 发布部署”发现问题数多达 53 个。
2. 实操经验提炼
设计验收：共创式验收
企业中后台产品生产阶段中，由于一般没有专门的测试同学，因此设计验收都是由设计师或 PD 单独执行，没有作为必选环节，有时候甚至会因为开发周期紧张而直接略过；既没有方法论，又缺乏仪式感。
“两章一分”的实践中，我们首次践行“共创式验收”，以项目组会议的方式，邀请各个角色共同参与到验收环节中：如果产品没有什么技术门槛，那么各个角色分别独立操作核心流程；如果产品有一定的技术门槛，则由技术同学操作核心流程，同时共享屏幕，其他同学从旁观察。操作完毕后，项目组内共同讨论发现的体验问题，并将问题落地到 Aone 中进行排期管理落地。
可用性测试：引入“技术支持”+圈定最低测试人数+ 线上测试降成本
- 引入“技术支持”
企业中后台产品通常有一定的技术门槛，以 SOFAstack的测试任务为例：
使用 sofaboot 技术栈，创建 “hello world” 应用，通过“经典版”发布部署模式发布成功。
测试过程中经常会出现一些涉及到底层技术系统的问题，非设计同学能解决，因此我们建议做企业中后台产品的可用性测试时，需要配备至少一名技术支持同学，以备不时之需。
- 圈定最低测试人数
Jakob Nielsen 在 2000年提出测试 5 人就能发现 85%的可用性问题；结合我们的实际业务场景：有些产品真实客户非常难找；前期“共创式验收”已跑通核心主干流程；因此我们将最低测试人数限制为 3 人。
- 线上测试降成本
我们开始实操案例时，恰逢疫情期间，于是就引入了线上远程测试的方式；后续实践下来，发现远程测试能在观察、分析阶段显著降低执行成本。
通过钉钉或阿里郎发起视频会议，邀请参加测试和观察的同学入会，请测试用户共享操作屏幕，主持人录屏捕捉用户操作轨迹，PD、技术等项目组成员从旁观察。测试结束后，使用语音转文本工具，快速将音频转成文字。这种模式最大的好处有两点：
- 突破了距离和观察人数的限制；从实践来看，现场测试结合远程测试的模式，至少能同时对 2-3 人进行测试，执行成本减半；
- 语音转文本后，显著提升了分析效率。
执行阶段的多样化
最开始提出“两章一分”的时候，我们原本希望这套标准能被作为判断产品体验是否好用，能否上线的标准之一；但实际并未推动成功。这里面有很多原因，其中一个非常实际的问题是很多产品需要调用线上数据库才能跑通核心流程，在测试阶段没法跑通；这就导致在测试阶段做可用性测试无法真实还原用户场景。
此外，设计师或 PD 新接手某款产品时，也希望能通过可用性测试的方式来快速了解产品问题。回归到“两章一分”的初心——帮助产品发现体验问题，因此，我们拓展了方法的执行阶段，不再局限于测试或验证阶段，只要场景适合，都可以用。
3. 典型案例：LinkE 研发运维中心一期
产品简介
LinkE 研发运维中心是云通未来 Serverless 战场的重要产品；业务方希望用该产品来整合研发同学日常高频使用的研发、运维、中间件平台，大幅减少平台割裂和跳转，提供沉浸式的产品体验。
目前该产品还处于 0-1 建设的阶段。
实践过程
- 为了确保产品体验良好，设计师在验收阶段引入“两章一分”，进行共创验收和可用性测试；
- 共创验收阶段，邀请 PD、技术 等 8 名同学一起参与，最终结果为“通过”；
- 可用性测试阶段，设计师根研发通用场景，招募 6 名研发同学参与两个可用性测试任务，分别为：任务 1，基于代码变更完成研发自测联调；任务 2，基于发布完成分支的集成、预发、灰度、生产
结果用户在任务 2 遇到高阻碍页面，导致可用性测试结果为“不通过”，任务 2 的易用度分为仅 4.4 分，显著低于 5.5 分的参考标准；最终发现 30+ 问题点，并推动 PD 思考产品逻辑设置是否合理。
实践效果
- 经过两次完整实践，LinkE 设计师已能完全独立操作执行“两章一分”；
- 业务方的参与度 & 认知度提升明显：已开始习惯将“两章一分”设为项目里程碑，并全员参与进来。
4. 实践总结
在实践过程中，我们发现企业中后台产品的典型场景大致可以分为 4 个场景；不同场景面临的设计项目有所偏重；不同设计项目在体验度量方面的切入点也有所不同。譬如：云凤蝶是一个典型的沉浸式画布页面，所有操作几乎都是通过编辑器属性面板来调整，那么如何来评估编辑器的效率呢？通过一系列实践和思考，我们提出可以通过“高频属性查找、配置的步骤数和时间”、“设置相同组件属性的耗时变化”等指标进行衡量。以下是我们根据不同典型场景、设计项目提出的体验度量切入点。
「两章一分」的未来
经过 S1 长达几个月的探索：我们制定了“两章一分”的标准；对 30+ 产品进行了易用度分数的测试，捕捉分数基线；提炼实操方法技巧，并赋能给各位设计师；联合设计师和业务方跑通近 20 个案例。不管是问题发现数量，还是设计师、业务方的主观反馈，都让我们坚定“两章一分”在企业中后台产品体验优化中是一个相对有效的模式。为此，S2 我们打算继续深化。
- 落标准：在关键业务线将“两章一分”落地到业务生产环节中，不过“两章一分”就不能上线；
- 分基线：区分不同产品类型和迭代大小，制定不同的易用度分数基线；
- 升方法：针对跨产品、跨域等难以推动的横向体验项目，我们考虑升级方法，如将可用性测试升级为“用户体验日”，以便更好地推动问题落地；
- 闭案例：针对 S1 已跑通的业务，我们会在 S2 进行案例闭环测试，以验证优化效果是否真的能在“两章一分”上体现出来；
- 始运营：我们会挑选一些案例在公司内外发声，找相关业务领域的团队进行交流和探讨；并从案例中总结和提炼设计技巧，帮助业务成长。
我们团队当前支持的企业中后台产品以 0-1 阶段产品为主，PD 通常缺少用户意识和体验优化手段，这就导致了设计稿还原度较差、产品上手门槛较高。针对这一现状，我们尝试性地提出了“两章一分”这个评价标准，从设计验收、可用性测试、易用度分数 3 个维度来评价产品当前的体验现状。
通过 S1 50+ 产品的实操，我们一边不断完善评价标准和实操经验，一边总结体验度量经验；共帮助 18 个产品发现 364 个产品，并在 link 、sofa 等重点产品线中落地到业务生产环节中，在业务方层面收到良好反馈。
在这过程中，我们总结了适合不同场景、不同设计项目的体验度量切入点，验证了这种方式在当前企业中后台产品中确实有效。后续我们将尝试细化标准，闭环案例，对内对外发声等方式，更好地推动体验思维在企业中后台产品生根发芽；同时，也期待能跟对这块感兴趣的同行朋友们多多交流。
欢迎关注作者的微信公众号：「AlibabaDesign」
Recommend
-
81
原文地址：Debugging JavaScript With A Real Debugger You Did Not Know You Already Have 原文作者：Dustin Driver 译文出自：掘金翻译计划 本文永久链接：github.com/
-
49
国际惯例：项目Github地址，欢迎 Star dongsuo/vue-data-board
-
40
点击上方 “ 匠心零度 ” ，选择“
-
4
编辑导语：在搭建整体服务流程中，设计师总会遇到复杂的多方协作情景。那在复杂情景中，我们该如何打造更好的用户体验？本篇文章里，作者就对用户服务地图与服务蓝图做出介绍，提供了提升用户体验的具体思路。
-
7
如何量化/指标化用户体验？ 最近在思考一个问题，实在找不到好的答案...抛出来群力群策一下，先行感谢各位大佬！正经的问题描述：1.用户体验分为正向体验及负向体验两部分，负向好理解，可以用CPO、...
-
6
如何让家务分工更和谐？不妨试试量化分工的模式 - 少数派
-
8
用户体验的量化方法…… 浏览:1835次 出处信息 新时代的信息构建师（包括网站设计师、架构师等）应当...
-
4
编者按：本文通过实战案例，帮你掌握一个能量化设计价值的GSSM模型。 更多设...
-
7
品牌研究：如何使用NEQ指标体系，量化用户品牌心智 作者：
-
4
一、概念分析
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK