1

火山引擎发布"火山方舟"，加速大模型应用落地 | 量子位

 1 year ago
source link: https://www.qbitai.com/2023/06/64596.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

火山引擎发布“火山方舟”，加速大模型应用落地

量子位的朋友们量子位的朋友们 2023-06-28 15:59:22 来源：量子位

首创大模型安全互信计算

6月28日，在火山引擎主办、英伟达合作举办的“V-Tech体验创新科技峰会”上，火山引擎发布大模型服务平台“火山方舟”，面向企业提供模型精调、评测、推理等全方位的平台服务（MaaS，即Model-as-a-Service）。目前，“火山方舟”集成了百川智能、出门问问、复旦大学MOSS、IDEA研究院、澜舟科技、MiniMax、智谱AI（以拼音首字母排序）等多家AI科技公司及科研院所的大模型，并已启动邀测。

“企业使用大模型，首先要解决安全与信任问题”，火山引擎总裁谭待表示，“火山方舟”实现了大模型安全互信计算，为企业客户确保数据资产安全。基于“火山方舟”独特的多模型架构，企业可同步试用多个大模型，选用更适合自身业务需要的模型组合。

“火山方舟”启动邀测：集成七款大模型，抖音等业务团队已试用

图：火山引擎总裁谭待公布“火山方舟”首批大模型合作伙伴

首创安全互信计算

与小模型“自产自用”不同的是，大模型的生产门槛很高，数据安全成为大模型时代的新命题。据网络安全公司Cyberhaven的调查，至少有 4%的员工将企业敏感数据输入 ChatGPT，敏感数据占输入内容的比例高达 11%。2023 年初，三星公司在使用 ChatGPT不到20天时，就发现其半导体设备相关机密数据被泄露，并连续发生3起类似事故。

谭待认为，企业使用大模型，最担心的是数据泄露；如果将大模型私有化部署，企业将承担更高的成本，模型生产方也会担心知识资产安全。“火山方舟”的首要任务，就是做好大模型使用者、提供者和云平台可以互相信任的安全保障。

据火山引擎智能算法负责人吴迪介绍，“火山方舟”已上线了基于安全沙箱的大模型安全互信计算方案，利用计算隔离、存储隔离、网络隔离、流量审计等方式，实现了模型的机密性、完整性和可用性保证，适用于对训练和推理延时要求较低的客户。

“火山方舟”启动邀测：集成七款大模型，抖音等业务团队已试用

图：火山引擎智能算法负责人吴迪介绍“安全互信计算”

吴迪表示，“火山方舟”还在探索基于NVIDIA新一代硬件支持的可信计算环境、基于联邦学习的数据资产分离等多种方式的安全互信计算方案，更全面地满足大模型在不同业务场景的数据安全要求。

会上，NVIDIA 开发与技术部亚太区总经理李曦鹏表示，NVIDIA 与火山引擎过往合作成果丰硕，包括共同合作的 GPU 推理库 ByteTransformer 在 IEEE 国际并行和分布式处理大会（IPDPS 2023）上获得最佳论文奖，双方还联合开源了高性能图像处理加速库 CV-CUDA，并在大规模稳定训练、多模型混合部署等方面的技术合作上取得成效。

未来 NVIDIA 和火山引擎团队将继续深化合作，包含在 NVIDIA Hopper 架构进行适配与优化、机密计算、重点模型合作优化、共同为重点客户提供支持，以及 NeMo Framework 适配等，携手助力大模型产业繁荣。

降低大模型使用成本

中国科学技术信息研究所等机构发布的《中国人工智能大模型地图研究报告》显示，截至今年5月，国内已公开披露的大模型数量达到79个。

大模型密集涌现，企业面临“选择困难”。在吴迪看来，技术发展日新月异，国内大模型正在快速迭代，不同大模型在特定任务上各有千秋，企业不必急于绑定一家大模型，而是应该结合自身业务场景，综合评估使用效果和成本，在不同场景选用更具性价比的模型。

吴迪称，训练大模型很昂贵，但是从长期来看，模型的推理开销会超过训练开销。效果和成本的矛盾永远存在，降低推理成本会是大模型应用落地的重要因素，“一个经过良好精调的中小规格模型，在特定工作上的表现可能不亚于通用的、巨大的基座模型，而推理成本可以降低到原来的十分之一。”

资料显示，微软以医学文章数据精调了生物领域的BioGPT-Large模型，仅有15亿参数，其在 PubMedQA 基准测试中的准确率却优于有着上千亿乃至数千亿参数的大型通用语言模型。

“火山方舟”提供了丰富的模型精调和评测支持。吴迪介绍，企业可以用统一的工作流对接多家大模型，对于复杂需求可设置高级参数、验证集、测试集等功能，再通过自动化和人工评估直观对比模型精调效果，在不同业务场景里还可灵活切换不同的模型，实现最具性价比的模型组合。这些自定义指标和评估数据的积累，将成为企业在大模型时代宝贵的数据资产。

据吴迪透露，抖音集团内部已有十多个业务团队试用“火山方舟”，在代码纠错等研发提效场景，文本分类、总结摘要等知识管理场景，以及数据标注、归因分析等方面探索，利用大模型能力促进降本增效。这些内部实践在快速打磨“火山方舟”，推动平台能力的进一步完善。

“火山方舟”的首批邀测企业，还包括金融、汽车、消费等众多行业的客户。北京银行CIO龚伟华表示，大模型与客户营销、办公协同、数据智能的结合，在金融应用场景有巨大潜力。北京银行将与“火山方舟”合作，在算力优化、模型精调等方面展开研究，共同推动金融风控、营销等模型应用落地。

助力大模型“跑完最后一公里”

集成多个大模型，供客户直接对比，“火山方舟”的多模型架构不仅为企业提供了丰富选择，也得到众多大模型生产方的积极响应。

ChatGLM是智谱AI推出的千亿基座认知模型，其开源版本在大模型开源领域极具影响力，近期智谱AI还对ChatGLM做了新升级，大幅提升了模型能力。在“火山方舟”上，智谱AI提供具有竞争力的大模型，火山引擎提供高性价比资源、针对不同行业的精调能力及综合解决方案，共建安全可靠的第三方MaaS服务，合力推动各行业的智能化发展。据智谱AI CEO张鹏介绍，智谱AI在火山引擎平台上解决了千亿模型训练的稳定性、性能优化等挑战。

baichuan-7B发布后在MMLU、C-Eval等中英文权威榜单中均表现优异。百川智能联合创始人焦可表示，作为一款授权后可免费商用的开源大模型，开发者们可以通过baichuan-7B低成本部署模型，并根据自身需求灵活拓展模型能力，而本次与“火山方舟”的合作也将有效降低企业用户的大模型接入门槛和使用成本，帮助更多企业轻松获取专业服务。

MiniMax等大模型企业代表也亮相参加“火山方舟”的发布仪式。此前，MiniMax联合创始人杨斌公开分享了与火山引擎的合作成果：MiniMax在火山引擎上实现了从月至周级别的大模型迭代速度，和指数级的用户交互增长，“或许是国内第一家在公有云上实现数千卡并行训练的公司”。MiniMax还自研了超大规模的推理平台，稳定支撑着每天上亿次的大模型推理调用。MiniMax的文本、语音、视觉三个模态大模型登陆“火山方舟”，是双方合作的进一步深化。

科研机构同样是推动大模型技术发展的重要力量，复旦大学自然语言处理实验室开发的MOSS大模型、IDEA研究院开发的姜子牙系列大模型，均是该领域的代表作。IDEA研究院认知计算与自然语言研究中心讲席科学家张家兴表示，大模型生产方会不断提升基础模型能力，为大模型应用完成90%-99%的工作，“火山方舟”为代表的云平台要帮助客户为不同场景精调模型，“跑完最后一公里”。张家兴认为，“在技术驱动和需求拉动的作用下，大模型的世界必然百花齐放”。

谭待判断，企业使用大模型，未来可能会呈现“1+N”的模式：“1”是通过自研或深度合作，形成1个主力模型；由于成本和场景复杂多元等原因，在这个主力模型之外，还会有N个模型同时应用。

“每一次技术的大变革，都会带来体验创新的新机会”，谭待坦言，“火山方舟”还在起步阶段，工具链和下游应用插件需要持续完善。平台还将接入更多大模型，并逐步扩大邀测范围，与企业客户共建开放合作的多模型生态，加速大模型在各行各业的应用落地。

版权所有，未经授权不得以任何形式转载及使用，违者必究。

report

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK