停止无效实验，产出高质量实验假设（上）

想提高AB实验的质量吗？本文将揭示如何通过深入的数据分析与用户洞察，产出高质量实验假设，停止无效的实验尝试。

一、实验想法的产生

1. 避免错误的实验出发点

很多人在做实验时，往往从自己的想法出发，觉得设计难看想做更好看的，觉得按钮应该是红色不是蓝色，或者觉得竞品的某个功能不错也想测试一下。

但正确的做法应该是从用户和业务问题出发，比如用户反馈某个流程太复杂，或者数据显示某个关键指标下降、转化率很低等。找对实验的出发点是极其重要的第一步。

2. 实验想法的来源

1）用户和业务问题出发

实验想法应该从解决用户和业务的实际问题出发，而不是主观臆测。

比如用户反馈称订单提交流程太长影响体验，数据也显示这一步骤的流失率很高，这就是一个明确的优化方向。再比如数据显示搜索准确率较低导致用户满意度下降，这也是一个亟待解决的问题。

2）关键指标分析

另一个实验想法的重要来源是关键指标的变化。

如果一直以来比较稳定的指标如激活率、留存率、转化率等突然出现了明显下滑，或者长期低于竞品水平，这很可能意味着产品设计存在问题，值得深入分析原因并设计实验进行优化。

相反，如果关键指标表现一直很好，可以考虑做一些更长期的实验，尝试引入新功能、新体验。

3）参考最佳实践

除了通过定量定性数据分析寻找洞察，参考相关领域的最佳实践也是一个重要的思路来源。

比如做注册流程优化，不妨先去看看业内卓越的产品是如何设计的，总结他们的特点，再结合自身产品特点，形成优化方案。

又比如想做品类页面重构，可以先研究其他产品的同类页面，分析哪些模块提升了用户的购买意愿，哪些模块可能分散了用户注意力，再对标找寻差距和机会点。

二、高质量实验想法的标准

1. 实验结果的显著性

高质量的实验想法，往往能带来显著的结果提升，实验成功率高。

比如测10个实验有4-5个是成功的，而不是大多数都是失败的。

2. 实验假设的数据支持

判断实验想法质量的另一个标准是，实验假设是否有充分的数据支持。

一个好的实验假设，往往建立在大量的数据分析基础之上，能够用数据解释为什么会出现当前的问题，以及为什么认为这个实验能够解决问题。

三、实验假设的形成

1. 实验类型与目标对应

1）单点转化率提升

对于提升单个页面或元素转化率的实验，主要使用定量分析计算转化率、热力图、用户分群等，定性分析包括可用性测试、问卷反馈等，最佳实践有文案、设计、用户心理学等方面的参考。

如”在行”app通过用户调研发现，较长的课时数会降低用户了解课程的欲望。于是他们尝试去掉总课时显示，最终使点击率提升了500%。这一假设的形成正是源于用户反馈的洞察。

2）全路径转化率优化

而漏斗或路径转化率的优化实验，使用的分析方法与前者类似，只是多了漏斗分析、路径设计等数据部分。

例如电商平台斗牛想提高销售额，在下单页面加了一句”平台鉴定通过再发货”，结果下单率提升46%，支付率提升70%。

他们先明确了提升下单率的目标，然后通过用户访谈发现担心假货是一大障碍，由此得出了添加品质保证有助提升下单的假设。

后来斗牛还把多步的结算流程合并，改为支付弹窗，使得支付转化率比原来提高26%。这个想法是通过定量分析发现结账漏斗流失率高，结合”漏斗步骤越少转化率越高”的最佳实践而形成的。

3）新功能或版本的测试

当要测试一个全新的功能或版本时，由于缺乏历史数据参考，需要先尽可能收集潜在用户的反馈，可以通过用户访谈、问卷调查等方式。同时可以参考同类型功能在竞品中的效果，结合自身的差异化定位，形成测试假设。

比如视频网站爱奇艺在上线弹幕功能前，可以先研究弹幕在其他视频网站的使用情况，再结合自身的清晰度、观影氛围的定位，测试弹幕的字体大小、透明度、开关等，以找到最平衡的设计。

2. 高质量假设的案例

1）Canva个人化上手实验

澳洲公司Canva的产品是在线作图软件，它做了一个新用户个人化上手的实验——给新来的用户提供了一些海报的模板，让你们去选，然后再去做你们想做的海报。

这一个非常小的实验发现这个功能本身的激活率提升了12%，同时每年给这个公司带来了上百万的美金的利润。

这样一个看上去不是很复杂的实验，为什么结果这么好？他们是如何找到这样一个高质量的实验想法？

其实就是回归刚才说的，从数据中去寻找洞察。

首先他的目标是提升新用户的激活率，他们通过很多的定量分析就发现在所有开始使用产品的用户中，使用海报功能是最多的，但是很多用户开始使用海报功能之后没有完成就流失掉了。

接下来他们又通过定性分析的方式去寻找原因，他们做了可用性测试，针对流失用户和留存用户做了问卷来进行对比。最终他们得到了一个洞察——来到 Canva使用海报功能的用户，他们做海报的类型五花八门，有的是小学老师给他们班级演唱会做海报，有的是一个教堂想要做一个海报，有的是各种各样其他的原因。如果用户没有找到一个合适的模板能够马上使用，他们马上就走掉了。

市面上很多的产品都有个人化的上手流程，根据用户的目标提供不同的服务。这样的个人化的流程最佳实践一般来说表现是很好的。

所以它结合数据和最佳实践，最终形成了它的实验假设——给用户开发个人化的这个海报模板可以提升激活率，最终实验结果证明了它的假设是正确的。

综上，Canva就通过三步骤——明确目标+定量和定性分析的方式找到问题+参考最佳实践，产生高质量的实验想法。

2）滴滴快车营销页转化率提升

滴滴想提升快车营销页的注册转化率，最终在新版本中突出了明确的价值主张”每天跑一单，油钱轻松赚”，整体设计也更加清晰，重点突出，明确引导用户下一步行动。最终使注册率提升了21%。

那滴滴是怎么产生这样一个高质量的实验想法？

滴滴去参考市面上的一些转化率优化的最佳实践——lift 模型，这是很多公司在进行转化率优化中非常用的一个模型，它强调的就是你要给用户一个清晰的价值主张，这是转化率优化最重要的一个点，之后你要想办法去提高相关性和清晰度。

相关性也就是整个用户流程，用户的针对性，整个漏斗每个步骤之间要一致，不能互相冲突。

清晰度是整个的设计文案，call to action 等等按钮，每一个元素都要非常的清晰。

这两件事儿，就是降低这个用户的焦虑和注意力分散，不要给他太多的信息，太多的选项。

四、实验设计的策略

1. 数据分析的深入

1）三要素的综合利用

定量数据能帮我们发现问题所在，如某个漏斗的转化率很低；

定性数据能帮我们了解问题发生的原因，如转化率低是因为用户觉得操作太复杂；

最佳实践则提供了优化思路，如加个进度条让用户有明确预期。

所以我们要有意识的去应用定量分析、定性分析、最佳实践这样三种数据去给我们的假设提供证据。

2）多轮数据分析提升假设质量

有时我们需要发现问题，分析数据得出初步假设，然后再进行一轮分析排除一些假设，发现质量更高的假设，多轮分析有助不断提高假设的质量。

比如先从整体数据发现问题，形成初步猜想，然后深入分析具体受众、场景，修正假设。接着通过用户调研验证假设，必要时再收集新的数据佐证。层层深入、反复论证，不断提高假设的准确性。

2. 最佳实践的应用与挑战

在应用最佳实践时，要根据自身的独特情况，灵活调整，甚至做一些创新的尝试。

比如前面提到”漏斗步骤越少转化越高”是一条最佳实践，但也要考虑步骤简化后是否影响了信息的完整性。

美国房产网站 Redfin 发现，多步注册流程问了用户很多信息，转化率反而更高，因为用户觉得提供了这么多信息，就能得到更个性化的服务。

这个案例说明了过于迷信最佳实践的风险。最佳实践来源于过去的经验总结，但未来的情况可能发生变化，用户需求可能与以往不同。盲目追求最佳实践，反而可能错失机会。

所以，深入的数据分析和深刻的用户洞察，才是提出高质量假设的核心关键。

五、提升转化率的最佳实践

最后总结一下提升转化率的最佳实践，大概可以分为四个方向：

1. 提升注意力
2. 提升用户的动力
3. 降低用户的阻力
4. 考虑特殊的场景

各种各样的最佳实践其实都是可以从这四个方向去归类思考。

1. 注意力的提升

提升用户的注意力，可以采取的最佳实践包括：重要信息放在显著位置、加大重点信息的字体、图片吸引眼球、利用留白突出重点等。

比如可以把按钮设计得更大更醒目，将折扣信息用更大的字体标出，或者在文案前加上表情符号吸引注意。总之要让用户第一眼就能看到最关键的内容。

2. 用户动力的增强

增强用户的动力，常见的最佳实践有：使用社交证明、制造稀缺感、利用返利或优惠、强调产品价值等。

比如在产品评价中展示用户的好评，在锻炼App中展示其他人的锻炼成果;或者显示”限时折扣”、”仅剩3件”等字样;再或者承诺”买二赠一”、”分享立减20元”等。目的都是激发用户的购买欲和行动力。

3. 用户阻力的降低

降低用户的阻力，可以遵循的最佳实践包括：简化流程、减少填写项、提供客服支持、提供退款保证等。

比如简化注册流程，只要求用户填写最基本的信息；或者在表单旁提供填写样例，方便用户参考；再或者在结算页提供在线客服，实时解答用户疑虑；以及承诺”7天无理由退换”，让用户放心购买。这些做法都能有效降低用户的心理和操作障碍。

4. 特殊场景的考虑

除了以上三点之外，还要考虑特殊场景下转化的最佳实践。

比如在移动端要考虑手机屏幕的限制，尽量减少输入，放大按钮；在逢年过节时要结合节日氛围，推出应景的活动;面对不同地域的用户，要考虑他们的文化习俗差异；面对老年用户，要使用更大的字号，更简单的语言。总之要根据实际情况，对最佳实践做出调整。

综上，只有真正从用户视角出发，充分挖掘定量和定性数据，并根据自身情况灵活借鉴最佳实践，才能形成高质量的实验假设，产出最符合用户需求、最有益于业务增长的优化方案。

这需要一个不断试错、持续迭代的过程。但长期坚持下去，必将带来转化率和各项关键指标的显著提升，给产品和运营带来长足进步。