0

Llama 3拿下“赛点”?大模型角力场,开源与闭源之争仍在继续

 3 weeks ago
source link: https://www.36kr.com/p/2744153366161928
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

Llama 3拿下“赛点”?大模型角力场,开源与闭源之争仍在继续

36氪的朋友们·2024-04-22 07:39
开源与闭源并不矛盾

开源与闭源之争延续到大模型时代。在寻找“新大陆”的路上,开源与闭源的辩论,就像是一场关于AI未来的“航海策略”讨论。

开源一派认为,开源能够促进全球科研人员和开发者的协作,加速AI技术的迭代与创新。同时,开源让更多人参与到模型的改进和优化中,通过集体智慧解决复杂的技术难题。

闭源的倡导者则看重其在商业化、技术保护和产品差异化方面的优势。闭源模型使得企业能够控制产品的开发节奏和市场策略,保护其商业利益。此外,闭源也有助于企业维护其技术优势,避免竞争对手模仿或超越。

Llama 3的发布让开源大模型在与闭源的竞争中再度“扳回一城”。从测试结果来看,Llama 3的成绩大幅超越了Llama 2,也胜过了GPT-3.5。

在AI这场没有硝烟的“航海竞赛”中,大模型已然成为眼前的灯塔,未知的是,这座灯塔究竟是向所有航海者开放其光芒,还是仅为特定的船只照亮前行的航道。

Meta继续押宝开源

Meta正沿着开源路径继续前进。

近日,Meta推出开源大模型Llama 3系列,发布8B和70B两个版本。Meta CEO扎克伯格在同一天宣布,基于Llama 3,Meta的AI助手现在已经覆盖Instagram、WhatsApp、Facebook等全系应用,并单独开启了网站。

与Llama 2相比,Llama 3进行了几项关键的改进:使用具128K token词汇表的tokenizer,可以更有效地编码语言,从而显著提升模型性能;在8B和70B模型中都采用分组查询注意力(GQA),以提高Llama 3模型的推理效率;在8192个token的序列上训练模型,使用掩码来确保自注意力不会跨越文档边界。

据Meta介绍,Llama 3已经在多种行业基准测试上展现了最先进的性能,提供了包括改进的推理能力在内的新功能,是目前市场上最好的开源大模型。

此外,Llama 3发布后,微软Azure、谷歌云、百度智能云等陆续宣布其平台上线Llama 3。百度方面此前对《每日经济新闻》记者表示,百度智能云千帆大模型平台在国内首家推出针对Llama3全系列版本的训练推理方案,便于开发者进行再训练,搭建专属大模型。

工业和信息化部工业文化发展中心AI应用工作组执行组长、行行AI董事长李明顺在接受《每日经济新闻》记者采访时表示,Meta的Llama3的发布可能会带来更多AI应用落地机会和场景,它通过提供更大词汇量的Token词典、更长的输入上下文长度以及优化的模型结构,增强了模型的编码效率和推理效率。“现在,比起Llama 2,Llama3在代码能力和逻辑推理能力上有显著提升,这可能会促进相关AI应用的性能,尤其是在需要复杂逻辑和代码理解的场景中去落地。”

OpenAI在GPT-2之后调转船头走向闭源,Meta则成为开源界的引领者。

从2020年发布GPT-3,到引发轰动的GPT-3.5,以及2023年3月发布的GPT-4,都是闭源模型。此前,马斯克起诉OpenAI时曾直言:“如果OpenAI改名为ClosedAI,我就撤销诉讼。”

李明顺认为,OpenAI的转变可能与其商业战略和市场定位有关。“初期开源有助于快速吸引关注和社区参与,但随着公司的发展,我估计奥特曼的野心和商业梦想越来越膨胀了,闭源可以更好地让它融资,包括和微软的合作,保护领先的技术优势。”他表示,从OpenAI的转变中也可以看出,开源与闭源的选择并非固定不变,而是需要根据公司战略目标、市场环境和产品发展阶段灵活调整。“天下没什么事情是绝对的,很多开源公司也是拿着次优代码开源,独家秘方闭源。”

在追逐AGI(人工通用智能)这颗明珠的道路上,迄今为止,Meta依旧持续沿着开源的路径前行。

2024年初,扎克伯格在Meta第四季度及2023全年财报电话会议上表示:“长期以来,我们的策略是构建并开放源代码通用基础设施,同时保留我们的具体产品实现为专有技术。”

他认为,开源带来了几个战略好处。首先,开源软件通常更加安全可靠,并且因为社区的持续反馈、审查和开发,更加高效。其次,开源软件经常成为行业标准,“当企业开始基于我们的技术栈建立标准时,这使得将新创新融入我们的产品变得更加容易。这种微妙的优势,能够迅速学习和改进,是巨大的竞争优势,而成为行业标准正是这一能力的关键”。第三,开源在开发者和研究人员中极受欢迎。

开源与闭源并不矛盾

开源还是闭源,也许是全球人工智能信徒长久的辩题。在Llama 3诞生前几天,国内同样在进行一场“辩论”。

4月11日,百度董事长兼首席执行官李彦宏在其内部讲话中直言,大模型开源的意义不大,闭源模型在能力上会持续领先,而不是一时领先,做模型的创业公司既做模型又做应用的“双轮驱动”不是一个好的模式。在一周后的Create 2024百度AI开发者大会上,李彦宏再度提到,“大家以前用开源觉得开源便宜,其实在大模型场景下,开源是最贵的,所以开源模型会越来越落后”。

interlace,1

图片来源:企业供图 

360公司创始人周鸿祎则持不同的观点。“网上有些名人胡说八道,大家也别被他们忽悠,说开源不如闭源好。一句话,今天没有开源就没有Linux(操作系统内核),没有Linux就没有互联网,就连说这话的公司自己都借助了开源的力量才成长到今天。”

这段发言被解读为对李彦宏观点的回怼,周鸿祎随后澄清道:“我一直是开源的信徒,但是我说开源好,是(4月)13号在哈佛讲的,李厂长(指李彦宏)说闭源好,是(4月)16号在北京讲的。”

生数科技联合创始人兼CEO唐家渝站在闭源的一边。在4月18日举行的“2024中国生成式AI大会”上,唐家渝谈到,开源带来的最大价值是生态的价值,基于技术不断突破,开源界人人都可以去贡献力量。而大模型需要大规模数据、大规模的算力去训练、迭代,参数量越大效果越好,是偏中心化的事情。“原来开源界非常有益的模式到这里割裂了。在我们看来,开源、闭源商业生态上都有各自可以做的商业生态,但是从模型能力的提升来说,或者持续走到前列来说,闭源还是会走到开源的前面。”

昆仑万维董事长方汉的观点是,开源模型与闭源模型之间的差距正在不断缩小。4月16日,方汉在接受《每日经济新闻》记者在内的媒体采访时表示:“闭源模型的确(是)第一,但是开源大模型的接近程度在2023年到今年这一年间,从落后两年以上,已经进化到落后4—6个月以上。”

此外,方汉认为,在应用侧,闭源对于产品特性和长尾需求的满足都落后于开源大模型,开源大模型是一种生态构建器,更利于满足用户的长尾需求。“我个人认为开源大模型和商业大模型是一个生态的组成部分,不是谁压倒谁,大家都有自己的生存空间,也都有更好的明天。”

不过,从商业化上来讲,闭源和开源也许并不矛盾。启明创投合伙人周志峰就认为,“开源闭源在过去几个大浪潮当中没有很大的冲突,我不太理解为什么很多人愿意把闭源、开源在AI时代看成对立”。但他也提到,从技术角度,开源模型及背后的公司更容易统一资源训练出符合“Scaling Laws”的模型。

李明顺的观点则是,在当前强应用导向的背景下,开源模式具有显著优势,能够吸引全球范围内最广泛的人参与,从而使其创新性保持在较高水平。相较之下,尽管一些闭源大型模型在技术上具有领先地位,但其成本太高。不过他也强调,开源与闭源在不同公司和应用场景中可以相互转换。一些基于开源的产品在发掘到独特优势后,可能会通过闭源策略建立竞争壁垒。同时,一些闭源公司也会不断将其部分产品开源。“这两个应该都是共存的,未来开源可能用户量级上更大,但是行业内,商业化做得比较好的公司,往往还是闭源的多一点。”

在开源与闭源的辩论中,也许答案并非非此即彼。AI的未来可能既不是完全开放的“自由港”,也不是彻底封闭的“孤岛”,而是一个既包含开放协作也包含封闭竞争的“混合生态”。在这个生态系统中,开放与封闭不是对立的两极,而是一枚硬币的两面。

本文来自微信公众号“每日经济新闻”(ID:nbdnews),作者:可杨,36氪经授权发布。

该文观点仅代表作者本人,36氪平台仅提供信息存储空间服务。


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK