4

为数十亿消费者提供服务:NVIDIA Merlin 助力网络巨头获得点击量

 2 years ago
source link: https://server.51cto.com/article/702961.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
为数十亿消费者提供服务:NVIDIA Merlin 助力网络巨头获得点击量-51CTO.COM
为数十亿消费者提供服务:NVIDIA Merlin 助力网络巨头获得点击量
2022-03-02 11:13:19
NVIDIA Merlin 是推荐系统的助推器。它能够提高训练和推理速度,使各种类型的企业均能够更好地利用数据来构建由 NVIDIA GPU 加速的推荐系统。

  基于深度学习的系统可以为数十亿在线消费者提高推荐内容的相关性。

  在过去十年中,全球电子商务的价值已飙升到数万亿美元,为数十亿消费者提供服务。促进在线销售实现这种爆炸式增长的动力,是由推荐系统引擎驱动的个性化。

879066245475317fa31960301da22b8abda6a6.jpg

  推荐系统能够使购物更加个性化。在电子商务网站上搜索产品时,他们会捕捉搜索,或者单纯显示建议。互联网上之所以能提供这种令人愉悦的体验,依托的是规模日益庞大的数据集和模型。

  NVIDIA Merlin 是推荐系统的助推器。它能够提高训练和推理速度,使各种类型的企业均能够更好地利用数据来构建由 NVIDIA GPU 加速的推荐系统。

  在线交易的风险比以往更高。根据 eMarketer 发布的数据,2021 年全球在线销售额预计达到近 5 万亿美元,比上一年增加近 17%。

  在一些全球大型在线网站上,即使推荐内容的相关性仅提高 1%,其销量也会增加数十亿。

  投资于推荐系统已成为当今互联网巨头的主要竞争优势之一。

  根据 Mordor Intelligence 发布的数据,在 2026 年,推荐系统整体市场将从2020 年仅为 21.2 亿美元提升至 151.3 亿美元。而这家研究公司同时也表示,在推荐系统引擎的细分市场中,规模更庞大、发展更迅速的市场就在亚太地区。

  但是,本行业所面临的挑战是,提高相关性需要更多的数据和更高的处理能力。这些数据包含数十亿产品和消费者档案上数以万亿计的用户及产品交互(点击、浏览)。

  这种规模的数据可能需要数天时间来完成模型训练。然而,越快推出基于更多数据的新模型,其相关性也就会越高。

  Merlin 的模型、方法和库集合包括用于构建基于深度学习的系统的工具,能够处理 TB 级的数据,以便提供更精准的预测并增加点击量。

  SNAP 利用 Merlin 和 GPU 提升推理

  根据 eMarketer 发布的数据,2021 年美国数字广告收入预计达到 1911 亿美元,比上一年增长 25.5%。

  Snap 是社交媒体应用 Snapchat 的母公司,位于加利福尼亚州圣塔莫尼卡,日活跃用户量已超过 3 亿。该公司通过社交照片和视频信息服务来创造广告收入。

  Snap 首席执行官 Evan Spiegel 在其第三季度利润表中表示:“我们将继续专注于为广告合作伙伴提供强劲的业绩结果,通过创新来扩展平台功能并更好地为社区服务。”

  Snap 的技术障碍在于,力图继续开发其工作负载的高成本排名模型,并在降低成本的同时扩展到更复杂的模型。

  该公司使用 NVIDIA GPU 和 Merlin 来提升其内容排名能力。

  Snap 工程副总裁 Nima Khajehnouri 说:“Snap 使用 NVIDIA GPU 和 Merlin 软件将机器学习推理成本效益提高了 50%,且降低 2 倍的服务延迟,其能够为试验和部署更繁重、更准确的广告和内容排名模型,提供更大的计算空间。”

  腾讯借助 Merlin HugeCTR 来推动模型训练

  娱乐行业巨头腾讯是中国一家具有高额市值的大型公司,运营着广受欢迎的信息服务——微信,以及支付平台——微信支付。

  其工程师需要快速对广告推荐系统的模型进行快速迭代,这会增加对训练性能的需求。

  腾讯专家工程师孔祥挺说:“广告业务是腾讯内部比较重要的业务之一,而推荐系统则用来提高整体的广告收入。” 问题在于,广告推荐的准确性只有通过训练更多的样本数据(包括更多的样本特征)来提高,但这会延长训练时间,从而影响模型更新频率。

  他还说道:“作为一个推荐系统的训练框架,HugeCTR 已集成到广告推荐训练系统中,使得模型训练的更新频率更快,并通过训练更多的样本来提升线上广告效果。”

  他补充道,模型的训练性能得到提升后,我们就可以训练更多的数据,提高模型的准确率,从而增加广告收入。

  美团借助 NVIDIA A100 GPU 降低成本

  美团的业务涵盖 200 个服务类别,在食品、娱乐和按需服务各领域高度交织着。而这家中国互联网巨头拥有超过 6.67 亿活跃用户和 830 万活跃商家。

  美团高级技术专家黄军表示,如果他的团队要大幅提升性能,通常会更倾向于训练更多的样本和更复杂的模型。黄军也表示,美团的问题在于,随着模型变得越来越复杂,对训练框架进行深入优化就会变得困难。他说道:“我们正致力于将 NVIDIA HugeCTR 集成到基于 A100 GPU 的训练系统中, 成本也会大大降低。这还仅仅只是初步的优化结果,未来还有很大的优化空间。”

  美团最近报告说,在 2021 年第二季度的过去 12 个月中,每位交易用户的平均交易量增加到 32.8 笔,而在 2020 年第二季度的过去 12 个月中为 25.7 笔。


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK