37

探寻美团“超脑”配送系统的前世今生-InfoQ

 4 years ago
source link: https://www.infoq.cn/article/SadePhAcVQq7XbGshWZh
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

探寻美团“超脑”配送系统的前世今生

发布于:2019 年 9 月 30 日 08:10

探寻美团“超脑”配送系统的前世今生

如何落地实践?这或许是对每一名 AI 从业者的“灵魂拷问”。与温和的实验室数据相比,复杂多变的应用环境,往往会为 AI 技术在各个方面设置各种各样的“大坑”。

以美团为例,美团配送虽然是目前全球最大的即时配送网络,但其配送系统依旧需要面对落地实践过程中的各种挑战:骑手怎样做到对所在环境与场景的实时感知?配送系统如何准确理解与最优决策?物理世界数字化和智能化该怎样去做等等。

为了解美团配送系统 AI 技术落地过程中的各种经验以及遇到的各种挑战,InfoQ 采访了美团点评算法通道主席、美团配送 AI 方向负责人何仁清老师。另外,何仁清老师还将会在今年 11 月 21 日举行的 AICon 全球人工智能与机器学习技术大会(北京站)2019 上分享相关话题,欢迎关注。

从百度凤巢到美团超脑

InfoQ:请您简单地介绍一下自己,包括工作经历,以及目前在美团负责哪些工作。

何仁清:我是何仁清,2006 年哈尔滨工业大学计算机硕士毕业,曾经的研究方向是互联网信息安全,按理来说更偏向工程,但却因为机缘巧合,毕业后进入到了百度 NLP 团队,从零开始做起了算法。

在 2009 年的时候,百度商务搜索部正好组建搜索广告团队,然后就转岗到了“百度凤巢”,在凤巢时,我一直从事 NLP 的相关工作,主要包括:广告搜索、Query 理解和改写等,一路随业务和团队一起成长,时任 T9 架构师。

2016 年初,我加入到了美团点评,现在主要负责美团配送的算法策略,智能配送系统建设,以及对配送的体验、效率、成本等方面的持续优化。

InfoQ:您最初加入美团的时候,当时美团 AI 技术的情况是什么样的?

何仁清:说来也是巧合,在 2016 年 3 月我加入美团后的没几天, AlphaGo 就 4:1 战胜了世界围棋冠军李世石,然后 AI 热潮席卷世界,AI 时代大幕就此拉开。当时,美团的配送算法团队刚刚成立不久,团队也只有一个项目——“智能调度”。“智能调度”也可以被称作系统派单,它的作用是替代线下几千个站长的人工派单工作,并且做到派单效果达到站长人工派单的中上游水平。

因为当时的技术还比较初级,“智能调度”也处在证明自己价值的阶段,所以被骑手和管理者 DISS 各种策略不合理就是家常便饭,好在团队的进步很快,通过不断的技术迭代和算法升级,到 16 年底的时候,智能调度系统在专送业务方面已完成全量推广,而且在当时,这个项目还获得了美团点评公司级别的突破大奖。

刻画现实世界的 AI 技术,是什么?

InfoQ: “美团超脑”配送系统或许可以称作整个美团配送技术的核心,那么您能否简单介绍一下“美团超脑”配送系统相关的 AI 技术体系呢?

何仁清:配送系统最核心的业务目标是体验、成本和效率,其中效率最为重要。如果效率不变,体验和成本一般成正比关系,体验上升,成本也随之上升,这种情况下合理的均衡点是非常重要的;反之,如果效率提升,却同时做到了体验的提升和成本的下降。所以也可以这样说:效率在一定程度上决定了业务能力的上界。配送是一个链路很长、参与方很多、场景复杂的业务,只做一两个点的智能化是远远不够的,智能化覆盖程度对提升整体效率非常关键,就像木桶理论说的那样,最短的板决定了能装多少水。

目前,美团的配送 AI 技术体系建设已相对完整,横跨时空大数据、运筹优化、机器学习三大学科,涉及预估、地图、定价、规划、调度、IoT 等多个领域,而且还能提供各种平台能力,以及行业解决方案能力。

最近一年期间,“美图超脑”配送系统最新的技术突破有三个:

第一个是物理世界的数字化,建立数字世界的“四维时空”,主要是围绕时空大数据的数据采集、数据查询、数据挖掘、数据可视化等方面。
第二个是物理世界与数字世界的连接,对物理世界发生的事件和过程,进行实时感知和理解,并将其映射到数字世界。
第三个是第五代智能调度系统——全域柔性调度。这个属于自动化专业概念,后面会详细介绍。

前两个就是本次 AICon 大会将要分享的主题:刻画物理世界的 AI 技术。它主要是基于骑行轨迹、WIFI+ 蓝牙、传感器等多维度数据,经过感知、识别和理解过程,将物理世界数字化。它会建立数字的“四维时空”,包括三维空间:点(POI)、线(路线)、面(AOI)、高(上下楼),还有一维时间用来反应不同时间的变化。

大家可能会好奇,直接使用现有的 BAT 地图服务是否足够?从美团配送的实践来看,答案是否定的。举例来说,首先是精细度,骑手经常遇到的问题是,大黑天要去一个不熟悉的小区,找到 13 号楼 5 单元在什么地方,走哪个大门最近,当地图上找不到或者是给出一条错误的路线时,就要到处找人打听,这对效率产生了极大的影响。其次是维度,比如登上 20 层写字楼需要多长时间、不同时段差别有多大,通过了解这些,可以使订单分配时留下合理余量,既不会让骑手感觉到时间紧张,也不会让用户焦虑等待。

探寻美团“超脑”配送系统的前世今生

InfoQ: 从顾客下单时的门店推荐,到骑手接单后的配送过程,以及最后订单完成时费用的抵扣,这一整个美团外卖订单完成的过程,是如何使用相应 AI 技术的?

何仁清:外卖是一个比较复杂的业务,是一个顾客、商家、骑手三方市场(three-sided marketplace),同时涉及交易和履约两大部分,这里从顾客和骑手两个视角,做一下说明。

从用户视角看。
1. 找商家选菜品:主要是搜索、排序和推荐等技术,这些经典问题大家很熟悉。
2. 下单并支付:需要使用 ETA(预估送达时间)、配送费定价等相关技术。
3. 等待配送完成:估计你也喜欢下完单后刷一刷页面,看看骑手到哪里,还有几分钟能送达,但实际很多地方的 GPS 信号非常差,比如在室内环境,这个时候就需要 AIoT 相关技术,解决室内定位问题。

从骑手视角看,问题更复杂。
1. 单子顺不顺:这个主要是派单合理性问题,通过智能调度技术解决。
2. 定价合不合理:考虑取货 - 送达 - 交付各阶段配送难度,以及天气和供需因素,给出骑手愿意接受的价格。
3. 怎么送:在不确定条件下(出餐、天气)路径优化问题。
4. 管控:骑手身份验证、骑手违规识别。

InfoQ:一个合格的系统不可能一蹴而就,相信“美团超脑”配送系统也是一样,需要经过不断的发展,找到“偏好位置”,那么请问:在其研发过程中,“美团超脑”都经历了哪些阶段呢?

何仁清:配送 AI 技术基本战略是 AI 的“广 + 深”,“广”是围绕整体配送效率目标,通过更精准更智能的方式,不断扩大系统能力边界,让整个系统逐渐成长起来,这个过程中配送系统先后经历了:

2016 年,智能调度 +ETA,取代人工派单,使派单更顺路、更高效,配送效率更高。
2017 年,智能定价 + 智能规划,给业务一线运营赋能,业务运行效率更高。
2018 年,智能助手 +IoT 硬件,让骑手更便捷安全,APP 操作效率更高。
2019 年,智能感知 + 配送地图,更精确的室内外定位、POI+AOI 画像、骑行路线,骑手履约效率更高。

“深”就是深入研究,技术持续精进。举例来说智能调度经历了 5 次大版本迭代,从 1.0 抢派结合,2.0 单人多点,3.0 多人多点,4.0 动态决策,发展到最新的 5.0 全域柔性。

探寻美团“超脑”配送系统的前世今生

InfoQ:外卖平台层出不穷,而美团却是其中最优秀的平台之一,那么请问在与其他外卖平台竞争时,现阶段的“美团超脑”配送系统有什么样的技术优势?

何仁清:我在即时配送行业将近 4 年,作为一个工程师也有超过 10 年的经历,从我自己的经验来看,与其关注竞争优势,不如关注业务和技术本身。

外卖是一个范围广、频率高的业务,线下有几十万骑手穿梭在大街小巷,而且室内场景丰富,能够触达商家和用户,仅仅定位上报每天就有 50 亿 +。如何把这些基础数据利用好,建设成准确率高、维度丰富、覆盖率广的基础服务,并把调度、定价、规划系统做的更加强大,不断提升其精细化和智能化程度,这样才能进一步把配送成本降下来,把配送体验搞上去。

虽然现在 AI 技术比较火热,但主要还是集中在机器学习相关领域,比如 NLP、推荐、语音和图像等。与之相比,时空大数据领域、运筹优化领域的研究和突破,整体来说比较偏少,因此在这两个领域探索和研究过程中,需要持续的投入。目前,我们在这两方面都有一些研究成果,但由于这次 AICon 大会的分享时间有限,在大会上主要会谈及时空大数据相关,运筹优化领域的相关内容涉及较少,而这次访谈反倒是一个机会,可以简单介绍一下。

配送中订单分配问题是一个典型运筹优化问题,这类问题系统能够处理的数据规模越大,得出的解越趋近于全局最优,但由于这是一个 NP-Hard 问题,数据量越大搜索的空间也会随之呈指数级膨胀,而且配送订单分配对即时性要求很高,需要在几秒之内就将订单分配出去。解决这个问题的一般方法是:按照商圈将城市切割成一个一个区域,各个区域独立分段以降低计算复杂度。很显然,这里面不仅存在很大的优化空间,也有随之而来的巨大挑战。

为了解决这个问题,调度提出了建设“全域柔性”的大目标,“全域”是指一个城市所有订单和所有运力,能进行整体统一调度。“柔性”是指系统在面对恶劣天气、单量突增等变化时,能快速和智能的自动调整。这里面涉及的问题很多,比如品类、运力和模式等,但最首要的问题还是算力,而算力还涉及到工程、算法、硬件、IO 等多方面,需要长时间探索以及一步步积累才能达到目标。

“美团超脑”配送系统剖析

InfoQ: “美团超脑”配送系统的研发过程中遇到了哪些挑战?又是如何挑战成功的?

何仁清:拿全域柔性调度系统来说,研发过程中在技术难题攻坚、业务落地上都碰到了大量挑战。而面对挑战,特别是技术上的挑战时,打破思维定式,跳出固有解决问题的模式来思考,往往能够寻找到事半功倍的解决方法。

举个小例子,全域柔性调度系统需要大规模骑手与订单的匹配算法,过去的认知是无法进行并行优化的,因为骑手之间存在互相耦合,问题无法清晰分解;而且,如果沿着过去的模式来优化,很容易陷入到解决一个个具体技术问题当中,一点一点啃骨头,不但进展很慢,而且“天花板”很低。

这个时候就需要思考一下,我们对于这件事情的认知全面吗?假设、目标和约束合理吗?经过这些思考,就有可能从全新的视角去看待这个问题,进而从局部跳出来,从另外一个维度切入进去。

就上面这个例子而言,我们打破固有认知之后,发现并利用新的行之有效的解题思路,算法性能优化了 50% 以上。

InfoQ: 没有什么可以极尽完美,同样“美团超脑”配送系统还具有哪些问题是需要解决呢?

何仁清:美团外卖每天 3000 万订单的体量,即使是百分之一的配送体验优化,也会影响到 30 万用户,所以整个系统持续深耕是非常有价值的,无论是在时空大数据,还是在机器学习、运筹优化上,都需要坚持最高标准,追求极致。

另外随着外卖渗透率提升以及新零售发展,配送规模和社会价值将会越来越大,这些都是对系统的巨大挑战。具体需要解决的问题有以下几点:

首先,缺少行业最佳实践。即时配送是一种分钟级的新型物流形态,发展十分迅速,以至于在学术界和工业界的研究、经验都偏少,拿调度系统来说,算法和工程上很多技术难题,都必须通过自研的方式,边探索边实践。

其次,行业数字化水平较低。比如商家何时出餐的问题,由于很多商家没有信息化,纯靠人工上报,不但无法验证正确性,而且费时费力。这种就需要平台和商家互相协同,找到低成本的解决方案,并在行业推广。

最后,人和系统的协同问题。配送系统不是一项独立的产品,而是需要和人(骑手、管理者等)紧密配合,形成高效的“人 - 机协同系统”,才能够发挥出最大的价值。

InfoQ:您觉得,综合环境下的“美团超脑”配送系统,未来的“进化”方向是怎样的?

何仁清:即时配送行业的未来发展趋势,应该是多品类商流、多类型运力、多配送模式,在这个趋势下面,会衍生出很多种业务和玩法。而配送系统的目标,就是能够容纳这些新变化,提供数字化、自动化和智能化的配送平台。所以全域柔性调度系统的未来进化方向可以抽象为以下两点:

1)全域柔性:这个新特性前面解释过了,未来不但在调度系统中,在定价、规划、运营等其他系统,也会按照这个思路建设,让整个美团超脑越来越强。

2)5G+AIoT:随着 5G 的推广,硬件、边缘计算、AI 技术的不断成熟,物理世界的数字化程度将持续加深;配送系统的智能化水平在越来越高的同时,会通过手机、语音、智能硬件、可穿戴设备等各种终端,更全面的为骑手、商家、管理者赋能。

InfoQ: AI 技术在很多方面是共通的,美团的 AI 技术未来有没有可能应用到其他领域?比如旅游路线规划等。

何仁清:美团超脑是针对分钟级配送物流场景开发的系统,类似智能调度、路线规划这种能力,可以比较自然的应用到运筹优化相关领域,比如物流、交通、智能仓储等复杂环境。同时,物理世界数字化技术的通用型更强,像室内定位技术、AOI 画像等都具有比较高的商业价值。

目前,美团凭借外卖、配送、到店、共享单车、打车等诸多业务,拥有超大规模、超多维度和超强覆盖率的时空大数据,如果结合 AI 技术,这些数据将会在智慧城市、ToB 服务等方面发挥出更大价值。

InfoQ: 美团整体 AI 技术未来的重点会是什么?是着重于大数据处理,还是对感知系统的完善,亦或是发展其他还未关联到最新 AI 技术?

何仁清:现在 AI 技术比较火热,尤其是在深度学习方面,各种网络结构模型不断涌现,相关 paper 和技术博客层出不穷,高校毕业学生也是扎堆涌入。由于各大公司在工程方面的持续攻坚,不但使机器学习拥有了超大规模数据的处理能力,而且技术开源和平台也显著降低了使用门槛。

整体看来,这是一件好事。对国家人工智能战略规划、AI 领域技术发展、传统行业的“AI+”转型等都很有帮助。但接下来,随着 AI 在产业的不断深入,很多问题也逐渐显现。

比如数据问题中数据隐私、数据安全、信息孤岛等问题;比如边缘计算问题中低功耗计算、不同设备的互相协同等问题;再比如 AI 与产业特点如何更好结合的问题。而这以上的几个问题,或许就是 AI 技术下一阶段的主要挑战。

美团是典型的 O2O 公司,在 Offline 场景下,AI 技术应用将是它要面临的主要难题,所以美团更多的还是要考虑“5G+IoT+AI”这个技术方向;另外,O2O 是一个重运营的行业,如何结合“Bigdata + Machine Learning + Operation Research”,全面提升运营效率,实现全局最优是重点所在。而且,我认为这些也将会是美团未来需要解决的重点技术问题所在。

采访嘉宾介绍:

何仁清,美团点评算法通道主席、美团配送 AI 方向负责人。2006 年哈尔滨工业大学计算机硕士,毕业后加入百度 NLP 团队,2009 年转岗到百度凤巢团队,从事自然语言处理、数据挖掘、机器学习、检索等研究方向,离职前任百度主任架构师。2016 年初加入美团点评,整体负责美团配送的算法策略,进行智能配送系统建设,全面支持美团配送业务发展。目前工作方向横跨运筹优化、机器学习、时空大数据挖掘等多个学科,工作内容包括:智能调度、ETA、智能定价、智能规划、机器学习、AIoT、骑行地图等多个子方向。

以上就是 InfoQ 对于何老师做的简单采访,还想进一步跟何老师交流的可以来 AICon 北京 2019 大会现场面基。

AICon 大会汇集了来自Google、Facebook、Twitter、BAT、字节跳动、美团、滴滴、京东等一线互联网公司的 50+ 优秀 AI 技术案例,邀请颜水成、贾扬清、崔宝秋、吴华等 60+AI 技术大咖带来精彩的内容分享。

想了解详情的同学可以点击“阅读原文”了解详情。也可联系票务小姐姐:18514549229(同微信)

3710a7e3117c09108ca2946f92a43d5f.jpg

阅读数:1338 发布于:2019 年 9 月 30 日 08:10

文章版权归极客邦科技 InfoQ 所有,未经许可不得转载。

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK