1

「天工2.0」MoE大模型发布,「天工AI」国内首个MoE架构免费向C端用户开放的大语言模型...

 3 months ago
source link: https://www.qbitai.com/2024/02/119339.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

「天工2.0」MoE大模型发布,「天工AI」国内首个MoE架构免费向C端用户开放的大语言模型应用全新问世

量子位的朋友们量子位的朋友们 2024-02-06 10:20:33 来源:量子位

模型响应速度更快、训练及推理效率更高、可扩展性更强

2月6日,昆仑万维正式发布新版MoE大语言模型「天工2.0」与新版「天工AI智能助手」APP,这是国内首个搭载MoE架构并面向全体C端用户免费开放的千亿级参数大语言模型AI应用。用户即日起可在各手机应用市场下载「天工AI智能助手」APP,体验昆仑万维「天工2.0」MoE大模型的卓越性能。

「天工2.0」是昆仑万维自去年4月发布双千亿级大语言模型「天工」以来的最大规模版本升级,其采用业内顶尖的MoE专家混合模型架构,应对复杂任务能力更强、模型响应速度更快、训练及推理效率更高、可扩展性更强。

此次更新全面升级了AI搜索、对话、阅读、创作的回答质量与响应速度,搭载强大的多模态能力,支持图文对话、文生图等多模态应用,支持最高100K的超长上下文窗口(超过15万个汉字),并新增了AI绘画、数据分析、AI伴侣、AI算命、热梗百科等多项新兴玩法,让AI更聪明、更实用、更有趣,成为每个人日常生活中的全能AI小助手。

「天工2.0」MoE大模型发布,「天工AI」国内首个MoE架构免费向C端用户开放的大语言模型应用全新问世

昆仑万维致力于人工智能模型算法的创新与开拓,不断探索通用人工智能技术前沿。除了双千亿级大语言模型「天工」、MoE专家混合大模型「天工2.0」外,昆仑万维还围绕「天工」系列大模型,推出了百亿级开源大语言模型系列「天工Skywork-13B」、AI Agent开发平台「天工SkyAgents」、多模态大语言模型「天工Skywork-MM」等前沿AI产品,并已逐步构建起AI大模型、AI搜索、AI音乐、AI Story、AI游戏等AI业务矩阵,是国内模型技术与工程能力最强、布局最全面的人工智能大模型企业之一。

MoE:全球顶尖的大模型核心技术路径

MoE(Mixture-of-Experts,专家混合模型)是当前大语言模型赛道技术最顶尖、研发最前沿的底层架构,是全球最领先的大模型核心技术路径之一。

自2023年6月以来,昆仑万维不断针对MoE架构技术最前沿进行研发探索,并成功发布国内首个搭载MoE架构并面向全体C端用户免费开放的千亿级参数大语言模型AI应用——「天工AI智能助手」APP。

「天工AI智能助手」以昆仑万维「天工2.0」MoE大模型为核心技术引擎,其技术原理是将复杂的大模型任务拆解为多个更小、更细分的子任务,每个子任务都由垂直领域的专家模型处理,从而使得昆仑万维「天工2.0」不仅大幅提高了模型训练与推理的性能和效率,更能实现多个垂直领域的知识融合,使模型能够更好地理解和处理不同应用场景下的复杂问题,为用户提供更准确、更全面的回答方案。

同时,昆仑万维技术团队更是通过一系列针对性的MoE技术攻关,在投入大量研发训练资源后,最终解决了困扰整个MoE产业的模型不收敛、特定任务泛化效果较差等核心性能问题,使「天工2.0」的模型性能得到显著提升。

模型性能更强、速度更快、架构更灵活

「天工2.0」的技术领先性体现在其核心MoE架构的卓越优势。MoE架构主要由门控模型/路由器(Gating Model/Router)和一组专家模型(Experts Models)构成,当数据输入门控模型/路由器时,系统会根据任务类型将每个token分配给一个或多个专家模型,使得每个专家模型可以专注于处理该部分数据,从而获得模型性能的整体提升。

较之传统大模型架构,「天工2.0」具有以下优势:

1. 应对复杂任务能力更强:「天工2.0」MoE模型集成了多个专家模型,每个专家模型都能针对不同的数据分布和构建模式进行搭建,从而显著提升大模型在各个细分领域的专业能力,整体模型通过整合各自专家模型的输出结果,使得「天工2.0」在处理复杂任务、多模态任务时拥有显著性能提升。

2. 速度更快、效率更高:由于MoE模型推理计算过程中只有少数特定专家模型被激活,相较于同等参数规模的稠密模型,「天工2.0」MoE模型呈现出极高的稀疏性,使其拥有更高的推理计算效率,从而让用户获得更快的AI响应速度。

3. 灵活、多样、可扩展性更强:一方面,模型稀疏性使得「天工2.0」能够在不增加计算量的前提下显著扩张模型规模,在同等计算资源下获得更强的模型性能;另一方面,通过增加专家模型数量、调整专家模型的权重配比,「天工2.0」能够极大丰富模型的可扩展性,构建更为灵活、多样、可扩展性更强的新时代大模型。

「天工AI智能助手」APP全面升级

「天工AI智能助手」APP基于昆仑万维自研「天工」系列大模型打造,是一款能搜、能聊、能写、能画的AI智能助手,其拥有强大的自然语言处理和智能交互能力,能够实现个性化AI搜索、智能问答、AI绘画、聊天互动、文本生成、编写代码、语言翻译等多种应用场景,并且具有丰富的知识储备。

伴随着「天工2.0」大模型的重磅升级,「天工AI智能助手」也迎来了版本的全面更新。

1. 强大的多模态能力:「天工AI智能助手」所采用的多模态大模型基于一体化的开发策略,在底座模型的基础上进行深入开发与优化,引入多分辨率的视觉编码器和强大的语言基座模型,使其能够支持任意尺寸的图片输入和复杂的用户指令。

在强大的多模态大模型能力加持下,新版「天工AI智能助手」具备优秀的视觉理解、推理和指令遵循能力,能够满足图文对话、图文创作、知识问答等多种用户需求。同时,得益于模型杰出的理解能力,新版「天工AI智能助手」生成的图像在内容丰富度、精细度和图像质量上均表现卓越。

「天工2.0」MoE大模型发布,「天工AI」国内首个MoE架构免费向C端用户开放的大语言模型应用全新问世

与此同时,在强大的多模态能力加持下,「天工AI智能助手」还能生成图文并茂的答案内容,让用户问出“螺蛳粉怎么做?”“怎么用吉他弹《稻香》?”“2024春节放假安排?”这类问题时能够得到图像/视频辅助呈现,使得AI回答的结果更直观,内容更丰富。

「天工2.0」MoE大模型发布,「天工AI」国内首个MoE架构免费向C端用户开放的大语言模型应用全新问世

2. 支持100K超长上下文窗口:「天工AI智能助手」的超长上下文窗口技术基于100K原生文本进行训练,能够支持最高100K(超过15万汉字)的文本对话,并能够通过扩展技术可以支持200K超长文档理解。在InfiniteBench评测中,「天工」系列大模型多项指标全球第一,10项指标平均分47.5分,超过Claude2,接近GPT4-128k的52.6分。

在针对超长上下文模型的“大海捞针”测试中,研究人员会在海量的文档集里面插入特定信息,然后对文档集进行提问,期待模型能从“茫茫文海”中找出正确的关键信息,以验证模型的长上下信息提取能力。在“大海捞针”测试中,「天工」模型取得了100%正确结果

「天工2.0」MoE大模型发布,「天工AI」国内首个MoE架构免费向C端用户开放的大语言模型应用全新问世

3. 搜得更准、写得更好、读得更快:新版「天工AI智能助手」拥有更强大的关键词与语义分析能力更精准识别用户任务需求,在AI搜索、对话、阅读、创作等不同应用场景中,都能针对用户的不同需求提供更准确、更具体的回答与追问建议。同时,新版「天工AI智能助手」AI搜索质量、安全能力、答案丰富程度都进一步提高。

例如,在「天工AI智能助手」中,用户可使用“AI阅读”功能快速提炼总结文献内容,并针对文献内容细节进行追问,得到快速、准确、具体的答案内容。

「天工2.0」MoE大模型发布,「天工AI」国内首个MoE架构免费向C端用户开放的大语言模型应用全新问世
「天工2.0」MoE大模型发布,「天工AI」国内首个MoE架构免费向C端用户开放的大语言模型应用全新问世

4. 丰富有趣的AI Agent:新版「天工AI智能助手」新增了如AI绘画、数据分析、AI伴侣、AI算命、热梗百科等多款官方AI Agent,让「天工AI智能助手」在能搜、能聊、能写之余,新增更多有趣而实用新兴玩法,不断探索AIGC技术的应用边界,成为每个人日常生活中必不可少的全能AI小助手。

从2月8日开始,由昆仑万维主办的“巧绘龙年”AI绘画大赛也将在「天工AI智能助手」APP内开启,用户使用APP内“AI绘画”功能绘制图画作品并投稿至活动专区,即可有机会获得最高10万元人民币的现金大奖。

这是国内首个面向全体C端用户免费开放、奖金规模达到数十万量级的AI绘画大赛。得益于「天工」系列大模型卓越的多模态技术能力,高水准的文字意图识别确保用户能够尽情发挥创意,绘制出内容丰富、细节精致、审美高级的个性化AIGC图像。

一直以来,昆仑万维始终秉承着“实现通用人工智能,让每个人更好地塑造和表达自我”的公司使命,不断降低大模型技术在各行各业的应用和学习门槛,携手探索未知世界、共创科技未来。

版权所有,未经授权不得以任何形式转载及使用,违者必究。

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK