一. 概述 #

「A/B 测试」为大规模在线 A/B Testing 平台，曾用名「DataTester」。

它基于先进的底层算法，提供科学分流能力，提供智能的统计引擎，实验结果可靠有效，助力业务决策。

目前，已覆盖推荐、广告、搜索、UI、产品功能等业务场景，提供从实验设计、实验创建、指标计算、统计分析到最终评估上线等贯穿整个实验生命周期的服务。可以帮助您公司业务在快速迭代的路上，大胆假设、小心求证。

二. 功能简介 #

• 全域实验 ，可以支持客户端（Android、iOS、Web、H5、WAP、微信小程序）、服务端（Java、Python、Go、Node.js）的实验。
• 流量圈选，支持灵活多样的属性规则配置，让您 精准圈选目标受众 。
• 支持互斥实验，有效避免指标干扰 。比如想在同一页面运行多个测试，但是担心用户参与多个实验而影响结果准确性。互斥组可以让实验流量避免重叠，切断实验影响相关性。
• 支持多维下钻，全面分析让决策更明智 。如果担心增加新功能按钮点击会降低收入，我们可以同时分析多重指标，衡量整体影响。报告多维下钻分析，避免以偏概全，助力发现效果显著的用户群体，让业务决策更明智。

三. 产品优势 #

1. 实验无界 ：不限制实验和版本数量，随时上新策略，持续快速迭代。
2. 集成分析 ：深度集成「用户增长分析」产品，一站式看板、指标和分群，让分析更流畅迅捷。
3. 指标丰富 ：支持pv、uv、pv/uv、sum、sum/pv、sum/uv六大类指标分析，丰富全面。
4. 灰度发布 ：自动化变更流量权重，平滑上线新版本，保证重大问题即刻回滚、及时止损。
5. 新人实验 ：针对新用户提供特型实验，持续优化拉新和留存。
6. 智能结论 ：统计引擎自动化分析实验效果，产出指示性实验结论，辅助科学决策。
7. 生态开放 ：提供丰富的OpenAPI支持定制化需求，您可以自主管理实验。

四. 应用场景 #

1. 产品#

• 产品功能迭代 ：头痛产品升级核心功能该采用哪一版本？用小部分流量进行互斥A/B测试，让您在不影响用户体验的同时，从多种方案中找到最优解。
• 用户路径设计 ：多种用户路径设计方案，哪个版本转化效果更好？建立A/B测试，重点观测转化漏斗指标，计算用户路径转化过程中各个环节的转化率，将转化最好的方案全量发布至线上。
• UI&交互优化 ：不同的页面布局、界面交互，哪个才是理想的方案？UI&交互大改版，可通过A/B测试，通过对比不同方案下点击、转化、留存等指标，找到最佳迭代版本。

2. 运营#

• 活动页面优化 ：对活动落地页的文案、图片、按钮、颜色等进行持续优化，让各要素都最大程度上地提高活动转化和付费留存，帮助运营人员提高整体投入产出比。
• 推送方案择优 ：选择推送文案/落地页，依靠经验下判断不免存在偏颇。开启推送测试，小流量先验，根据分析报告，做出科学选择。同时可设置不定时循环文案/落地页进行推送，降低单调性。
• 可视化编辑 ：想进行A/B测试却没有研发人员支持？您可利用可视化编辑，以简单的拖移操作，完成页面图片/文本的替换与编辑、元素位移等操作，生成实验方案。无需更多代码工作。

3. 研发#

• 推荐算法优化 ：优化后的算法是否可以提升相应业务的数据指标？可通过A/B实验进行小规模验证，避免负向表现带来大范围影响，适用于基于内容、协同过滤和关联规则的各类推荐算法优化。算法包括基于内容的推荐算法（根据用户的历史记录推荐相似内容）、基于协同过滤的推荐算法（根据有相似兴趣用户的行为推荐相关内容）、基于关联规则的推荐算法（根据内容本身的相关性给用户推荐），最终提高用户使用黏性。
• 灰度发布 ：发版前的功能/性能测试盲区，极有可能留下隐性问题，影响用户体验甚至导致用户流失。火山引擎A/B测试与智能运营模块打通，提供灰度发布功能，让研发者可在功能迭代时逐步放量，出现问题一键回滚，及时止损。

4. 市场营销#

• 投放落地页优化 ：广告投放消耗高，线索转化却很低，如何解决？可通过可视化A/B测试，对落地页的标题、图片、文案、表单域及整体布局等进行可视化编辑，多版本投放，择优选择，提升营销效率。
• 以单链接投放多个页面 ：多个落地页通过不同广告计划投放，流量分配不均，数据对比困难，无从择优。建立多链接测试，访问同一链接的用户可分流至不同版本落地页，从而科学地选出最佳投放页面。
• 投放流量 ：人工调配投放流量耗时耗力，效果也难达到最佳。您可开启智能化流量调优，它应用贝叶斯统计原理，可实时对比多页面指标，流量自动向表现最佳的页面倾斜，动态更新流量配置，稳定实现ROI最大化。