139

我知道的吴恩达

 6 years ago
source link: http://mp.weixin.qq.com/s/FGJvbLUG6AEkk-x4H1mKEg
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

我知道的吴恩达

Original 左林大叔 左林右狸 2017-10-29 12:25 Posted on

Image

左林大叔今天八一八吴恩达。

各位邻里会问,吴恩达离开百度都是上半年的事情啰,大叔你何以今天才八啊。好吧,大叔懒癌发作中不中啊。

那邻里又会问,为何今天懒癌又神奇的治愈了呢?大叔找到的理由是因为林元庆,一个与吴恩达相生相惜,相爱相杀的男人近日宣布离职百度创业。

2015年11月,百度研究院宣布林元庆入职百度,担任深度学习实验室主任,向当时的百度首席科学家吴恩达汇报。自此,林元庆和吴恩达的名字一直联系在一起。

Image

林元庆与吴恩达私交不错,根据林元庆自己的说法,吴恩达在离开百度之前几周与林元庆有个谈话,林元庆希望吴恩达不要走,即便不做首席科学家,可以回来担任百度研究院院长,自己去做副院长。

在大叔看来,首席科学家和研究院院长这些抬头的变化和演进其实是解开吴恩达与百度三年恩怨情仇的重要线索之一。

2012年9月,百度当时的首席科学家威廉·张离职,百度在这段时间开始搜寻更能代表百度面向未来研究的首席科学家。

百度追逐过深度学习三驾马车中的Geoffrey Hinton。2012年12月,从NEC Lab回国加盟百度带领多媒体部的余凯在百度内部提议收购Hinton团队,这一收购要约在当年美国NIPS会议所在地正式向Hinton团队发出。但Google也在竞标之列,在当年NIPS会议的最后一天,Hinton接受了Google的offer。

2013年,在余凯鼓动下,百度成立深度学习IDL研究院,李彦宏任首任院长,余凯任常务副院长,为能网罗更多优秀人才加入百度IDL,余凯当时频繁往返于湾区,并与吴恩达有过多次会晤。余凯和吴恩达一直保持不错的私交,上周余凯与我雷两位硅谷同事(贵雷何以硅谷常年有人,是要搞事情吗?确实是,我雷小伙伴计划在2018年1月15日在硅谷做场千人级别的史上最干货的智能驾驶峰会,参会参展等具体事宜请阅读原文)会面提到以前他和吴恩达经常在Palo Alto的一家日料餐厅Fuki Sushi吃饭。

在明确得知吴恩达有想法要动一动的时候,余凯向李彦宏推荐了吴恩达。2014年2月末,带着李彦宏明确指令的王劲飞了一趟美国,与吴恩达谈定offer,并发出正式的邀约其到北京去见李彦宏,一周后吴恩达造访北京,与李彦宏王劲三个人吃了顿两小时的饭。

这顿饭正值当年的两会,全国政协委员李彦宏这年的提案是鼓励民营企业进入火箭、卫星发射等航天领域。国内民企进入航空航天还很遥远,而吴恩达加盟百度却很真切。在人民大会堂附近的一家餐馆吃过这顿饭后,吴恩达在之后2个月内正式加盟百度担任公司的首席科学家兼研究院院长, 负责百度研究院的领导工作,吴恩达向高级副总裁王劲汇报。

吴恩达加入百度之前,百度研究院主要在北京,最开始就是深度学习主题的研究院,也就是IDL研究院,李彦宏亲任院长,余凯系常务副院长,之后张潼加入,又以副院长的身份组建了大数据实验室。

跟着吴恩达2014年5月一起加入百度的还有吴恩达在斯坦福期间的博士生Adam Coates,以Adam为主,百度在硅谷组建了硅谷人工智能实验室。

由此,百度研究院演变成在北京的深度学习研究院IDL、大数据实验室和硅谷人工智能实验室三个分支。

人工智能虽然不能等同于深度学习+大数据,但是涵盖这两个概念的,那么,硅谷和北京怎么分工?各自的边界在哪里?又怎么合作?出现冲突听谁的?尽管吴恩达顶着首席科学家和研究院院长的帽子,但余凯、张潼等研究院副院长级别也不低,在工业界的历练更多,也更年长,在各自领域也有自己的专长和班底,中间还夹个王劲,更何况还有地理上区隔。因此,吴恩达入局之时其实就是个乱局。

Image

那么,为何不让吴恩达作为首席科学家向李彦宏汇报,这样不就一了百了吗?对此一个不为外人知晓的事实是:2012年起,在余凯的领导下,百度在当时的深度学习等前沿研究上是比较领先的,甚至在一些技术单点上比Google更超前。一个不争的事实是,百度在2012年就开始大规模采购和建立GPU运算集群,当时Google与Intel还有很深入的商业合作,Google内部并不鼓励向英伟达大规模采购GPU。对此,时任谷歌自动驾驶算法工程师朱家俊深有体会,这位在谷歌自动驾驶内部最早应用深度学习并跑出成果的华人工程师今天已经名满天下并自立门户,但当时谷歌内部对此意见并不完全统一,他几乎靠一己之力推动着。

从2012年起,百度与英伟达走得很近,百度是英伟达在中国的第二大客户(第一大自行脑补),百度由此已经开始用深度学习改善图片搜索和语音的体验。2014年,百度上马利用FPGA加速在语音识别和广告系统中的深度神经网络模型,这些研究和应用都是一度都是领业界之先的。

江湖上也有吴恩达一入职百度就获批采购一千台GPU集群的说法,但事实是,百度建立大规模GPU集群是吴恩达入百度之前的事, 用大规模GPU建立超级计算机更是前百度杰出科学家吴韧在吴恩达加入前就完成的工作, 现在被世界上大小公司所追随。

正是因为百度IDL研究院北京团队做得不错的考量在里面,以及吴恩达从学术转换到工业界可能会有的沟坎要过,百度虽然给了吴恩达首席科学家的这个高大上的虚衔,但在实际权限上,并木有一步到位,王劲的节制以及默认北京团队继续我行我素都是这种认知的体现。

众所周知,百度邀请吴恩达加入,给出了三年每年1200万美元的大合同,这个大合同的给出,各方有各自的解读,但一种倾向是,这个钱更多是希望其好好做花瓶,招募人才和PR用,所以其实也不希望其太多的介入工程化,当然,学术背景出身的吴恩达本身工程化能力一般也是事实,这两个叠加在一起,百度并不指望吴恩达在工程上推动什么。

有邻里会问,那费这么大劲请吴恩达做甚,这与李彦宏长期以来有赶超谷歌情结在里面驱动,既然深度学习以及人工智能有机会让百度超越谷歌,那么,每年花一千多万美金请个能带来PR效应的首席科学家有啥不可呢?更何况这位科学家还在谷歌大脑工作,策反过来里外里是双重价值啊。正是这种赶超思路的推动,百度在自动驾驶上一度也紧跟谷歌,是本土最激进的创新力量之一。

但对吴恩达来说,并不愿意满足李彦宏对其做一花瓶的定位,而是希望真正发挥其首席科学家的引领性,这种双方认知的错位让吴恩达在百度这三年里在纠结和Diss中度过。

这种错位让外表nice的吴恩达在百度期间落下太执拗的名声和任人唯亲的批评,Adam是吴恩达的博士生,一毕业就任命为总监领200万美金的年薪, 这是许多百度十年以上工程师都不曾有的待遇,江湖上所谓的斯坦福等名校AI博士毕业领200万美金年薪的传言就来源于此,这种非常规的用人给吴恩达招来诸多非议。吴恩达其实选择也不多,他需要迅速出成绩来服众,这种情况下自然用熟不用生,自然会任人唯亲。任人唯亲带来的问题是管理上的凌乱。吴恩达在管理上被黑得另外最多的一个点是要求在美国研究院大家开会用英语,嗯哼,百度再怎么国际化本身还是家中国人为主的公司。

2015年3月,百度IDL研究院的发起人余凯向百度提交了离职申请,到当年6月,余凯正式创立自己的公司地平线。(雷锋网将在明年1月15日在硅谷举办智能驾驶峰会,余凯与地平线都在邀请嘉宾之列,点击阅读原文有更多详情)

余凯的离开这让百度研究院尤其是北京团队的工作基本停滞下来,一时间大家都不知道该做什么。而就在余凯正式离职前夜,又发生了让吴恩达饱受非议的吴韧事件。

2015年6月,ImageNet国际计算机视觉挑战赛(简称ILSVRC)致信百度,示意其在ILSVRC中进行密集的提交,存在违规行为。

百度随后发表公开信承认了违规行为,并就此事道歉和调查。作为这个项目的负责人杰出科学家吴韧为了维护百度和自己的手下,率先提出辞职。这事本可就此结束。但很快,一封由吴恩达实名署名的百度对事件的调查结果显示将开除当时带队参赛的异构计算团队负责人吴韧,处理结果即时生效。

Image

公开信和处理结果都显示,吴韧­在挑战赛中曾指示工程师们每周进行超过2次的提交,违反了ImageNet规定。

但仅仅是违反规定而已,而且这是比赛之前测试期间发生的,并非所谓的作弊,对此大叔与吴韧餐叙也证实了这一点,吴韧更多基于GPU的高性能计算提交比赛测试结果做法比CV圈用的深度学习算法高一个维度。对于吴韧的行为仅仅违规另一位ImageNet常客香港著名教授汤晓鸥仗义执言。大叔打探过,吴韧与汤晓鸥之前并不认识,他们甚至至今尚未谋面过。

简单说,高性能计算专家吴韧带领他的团队杀到计算机视觉的圈子里,用他们从来没有听闻过的打法让CV圈内的人有不战而降的恐惧,由此表示质疑。百度更合适更妥当的做法是以官方的名义回复比赛组委会,说明为什么会这样,以及出于对比赛规则的尊重主动退出比赛,双方井水不犯河水,而不是以吴恩达的名义发表开除决定,这种落井下石的举动只能让亲者痛,仇者快。虽然当时此举让吴恩达本人在PR上加分不少,但今天回头看来吴恩达此举让其反对者戴上任人唯亲,排除异己的大帽子。

吴恩达深知PR对他和百度意味着什么,特别在人才引进方面,吴恩达表达了超出寻常的热情,从少帅计划到编程教主的引进,吴恩达都不遗余力地站台,这些牛人都很厉害,PR声誉很好,但是他们的工程和产品化能力没有得到百度TC委员会认可,定级上都不理想,原因是这些人也确实没有做出太多成绩,对此吴恩达也木有太多办法,只能不断的用掉自己手头的破格权限。从这个方面可以反映吴恩达我行我素的管理风格。由于出现诸多对外一个个都拿百度吹牛逼,然后专业评审大多过不去的情况,以至于百度现在对这种外部来的高T 现在入职考核非常严苛。

林元庆在2015年11月的进入让吴恩达有了强援和盟友,林元庆有很纯正的学术背景,在NEC Lab工作过多年,兼顾学术界和工业界,又在一线,思考问题会从怎么实现去考虑,吴恩达定战略,林元庆实施,很是完美。林元庆很快在硅谷组建起深度学习的团队,并与北京团队协同,最终接过了百度深度学习实验室主任的实职以及百度美国研究院院长,这让吴恩达所希望的研究院一体化的设想得到长足的实施。

也正是林元庆的加入,让百度将智能驾驶业务独立出来有了底气。2015年12月14日百度宣布在内部成立自动驾驶事业部,升任百度高级副总裁的王劲担任事业部总经理,百度高级总监李震宇任副总经理,百度深度学习实验室主任林元庆兼任副总经理。

各位邻里会发现,百度自动驾驶事业部成立并木有吴恩达什么事情,不是不需要深度学习等手段,不然也不会让林元庆兼任副总经理;也不存在能级问题,王劲本是吴恩达的上级。对此,多名百度内部员工都提到Drive.ai的原因让吴恩达在自动驾驶事业部参与不深,一种说法是吴恩达在自动驾驶事业部筹备会开后三天就告知他与此事无关。不过,作为当事人之一的王劲告知我雷最近一直在硅谷筹备智能驾驶峰会的吴德新,自动驾驶事业部拆分的时候大小会议他都邀请吴恩达参加。

2015年开春,在美国硅谷斯坦福大学旗下的AI实验室6个学生离职创业,拿到了一笔5万美金的种子基金,准备做的是基于深度学习搭建一套自动驾驶系统。这支团队便是Drive.ai。

斯坦福有很强的自动驾驶的传承,自从DARPA Grand Challenge,Sebastian Thrun在2005年就带领斯坦福车队拿下了DARPA挑战赛的冠军,Thrun后来成为Google无人车的发起人,被称为Google无人车之父。在斯坦福和Google时期,Thrun和吴恩达都有共事。Drive.ai的创始团队中不少都是吴恩达的学生(雷锋网将在明年1月15日在硅谷举办智能驾驶峰会,Drive.ai与DARPA挑战赛斯坦福车队主要成员都在邀请嘉宾之列,点击阅读原文有更多详情)。

而巧合的是,这家公司在创办之前还拉来了2位校外的合伙人一起加盟主导商业运作,一位是Carol Reiley,一位是Fred Rosenzweig,前者是吴恩达的妻子,后者是吴恩达在Coursera的同事。

在这个时间点上,百度内部研发自动驾驶项目已经有2年,并确定采取类谷歌的基于激光雷达+深度学习算法结合的技术路线。虽然木有直接证据指向吴恩达是这家公司的实际控制人,虽然这家公司的技术路线与谷歌百度的路线并不完全相同,但瓜田李下,吴恩达不可避免的由此在百度内部遭受非议。

自动驾驶事业部分拆、吴恩达一统研究院的大局后,主要矛盾则演变成研究院与搜索业务部门的配合问题,这种矛盾之下发生了影响深远的Diss贾磊事件。

贾磊是国内的语音技术专家,曾任百度语音首席架构师。他在2011年加入百度,只用6个月时间就为百度完成了语音搜索系统。在百度期间,先后带队完成了语音输入法、语音搜索、智能手机语音助手等多个项目。贾磊由此一战成名,之后领取了2013年的百度年度百万美金技术大奖的殊荣,2014年5月又荣膺全国劳动模范。

对于贾磊,有个评价是如果他是国内这个领域的第二的话,第一至少要想半天,绝对的本土大牛啊。

Image

不过,2016年年中,这位百万美金的最高奖得主和全国劳动模范却无声无息的离开了百度,这在百度内部以及相关技术圈子里引起不小的波澜,出门问问的李志飞以及百度杰出科学家吴韧都和大叔的餐叙里表达了惋惜甚至愤懑之情。

种种信息表明,吴恩达与贾磊曾经上演过一山不容二虎的对决,正是吴恩达在2015年底直接找了李彦宏,让李彦宏做出了吴恩达in,贾磊out的决定。

各位邻里会问,吴恩达又不是搞语音的,何以要逼着李彦宏二选一呢?

百度是在2010年开始进行智能语音及相关技术研发,并于同年 10 月在掌上百度上推出语音搜索。2012年左右,也就是贾磊加入百度之后,百度开始采用 DNN 进行语音识别的相关研究。2012 年 11 月百度上线了第一款基于 DNN 的汉语语音搜索系统,这让百度成为最早采用 DNN 技术进行商业语音服务的公司之一。根据我雷AI科技评论主编郭奕欣小姐姐的报道:百度在当时就呈现了优秀的语音识别能力,「在安静情况下,百度的普通话识别率已达到 95% 以上」。

2014年年底,吴恩达带领团队发布了第一代深度语音识别系统 Deep Speech 的研究论文,系统采用了端对端的深度学习技术,换句话说,系统不需要人工设计组件对噪声、混响或扬声器波动进行建模,而是直接从语料中进行学习。当时的实验显示,百度的语音识别效果比起谷歌、Bing 与 Apple API 而言优势明显。

也就是说,此时百度内部有两套语音方案,一套是由工程派贾磊主导的,一套是学术大牛吴恩达加入百度后交出的漂亮成绩单。结果是,李彦宏选择了漂亮的成绩单。但吴恩达的成果比起贾磊做出来的东西并木有本质提升,更重要的是,贾磊的东西已经在工程上验证过,而吴恩达的成果还只是刚发完论文的实验室阶段。这一点,百度的内部员工也证实吴恩达的东西并不落地。所以,吴恩达的这套方案并木在百度内得到大规模的应用。

如前所言,当初吴恩达加入百度,很大程度上是想把自己在学术上的研究成果应用到工业界,而不仅仅要的是首席科学家的虚名,因此面对Deep Speech在百度内推不动这件事很是光火,并迁怒贾磊,于是找个机会逼宫李彦宏,让李彦宏二选一,由此造成了贾磊的离开。

今天反思,除了吴恩达太多宏愿外,李彦宏当时还是太急了,为延揽吴恩达,既出了破坏整个百度薪酬体系的大价钱,又开了一起改变世界的空头支票,两者叠加起来让吴恩达多少有些找不到北;而站在吴恩达的角度上,木有正视学术界到工业界的沟堑,一直在处于与人斗的连续剧中,那叫一个累。所以,2017年春节后,随着陆奇的到位,百度和吴恩达分手合情合理。

2017年春节刚过,深圳,吴恩达与本土的一家医疗上市公司探讨合作,对方想当然的顺延发起咋与百度合作的具体建议,被吴恩达当场打断,说百度在医疗领域品牌不好,当场陪同吴恩达的两位度秘成员脸色都变了,不知所措,场面很是尴尬。一周后,就有吴恩达对外离职的消息。

最后一个问题:三年百度生涯吴恩达到底留下了什么?这真是一个忧伤问题。具体且听下回分解。

另外,各位邻里好奇大叔为何最近在筹备硅谷的智能驾驶峰会,好山好水好寂寞,于是开始逐步恢复更新来着。想要听什么八卦,赶紧给大叔留言告知吧~


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK