OPPO小布助手自研技术入选信通院首批大规模优秀应用案例-品玩

OPPO小布助手自研技术入选信通院首批大规模优秀应用案例-品玩

OPPO小布助手自研技术入选信通院首批大规模优秀应用案例

17小时前

近日,由中国信息通信研究院、深度学习技术及应用国家工程研究中心、人工智能关键技术和应用评测工信部重点实验室共同发起的2022可信AI峰会圆满落下帷幕,峰会发布了大规模预训练模型技术与应用评测标准体系,并公布了2022大模型优秀应用案例名单。

作为OPPOAI技术落地的关键承载,OPPO小布助手与其他大模型头部企业、高校院所、互联网企业、电信运营商及金融机构等组织合作,共同参与大模型开发、模型能力等标准的制定,加速技术应用落地。在大规模技术的应用实践中,小布助手团队凭借NLP大模型的应用实践入选“2022大规模预训练模型优秀应用案例”,技术创新与应用实践再获行业认可。

大规模预训练模型是当前人工智能发展的重点,通过提升技术能力加速AI工程化落地进程。然而,如何在利用大模型加速技术创新与应用实践之余,充分提升计算资源的利用效率,仍是大模型技术在工业化落地中面临的关键挑战。

具体地说,大模型的使用能够有效降低语义理解模型在新业务冷启动场景中的数据需求量,适用更多的智能交互场景,并大大提升语义理解能力。但在工程部署上,由于语音助手的多个独立NLU服务分开部署分别推理,面临着巨大的GPU计算压力的挑战。

自2020年起,小布助手团队便从“可大规模工业化”的角度出发,着力探索预训练大模型的技术创新和应用落地。小布助手团队通过引入统一表征方案,在在线推理时拆解为2个网络,即统一表征的骨干网络(12层transformer)和任务相关的下游微调网络(层数往往小于3的transformer),从而解决了多NLU的GPU计算资源问题。相比传统深度学习模型效果提升2%以上,相比单独Fine-Tuning在全局计算量上减少了2/3,为NLP大模型技术在行业其他领域的拓展及未来工业化应用奠定了坚实基础。

基于对NLP技术的深刻洞察与持续投入,小布助手在NLP技术领域达到了行业领先水平,并在多个权威榜单中获得了亮眼的成绩。今年7月,小布助手十亿参数模型“OBERT”跃居中文语言理解测评基准CLUE1.1总榜第五名、大规模知识图谱问答KgCLUE1.0排行榜第一名、命名实体任务CLUE-NER排行榜第一名,在十亿级模型上进入第一梯队。

未来,小布助手团队将结合智能助手场景特点持续优化预训练技术,基于小布助手已有的海量数据,以开放的成长型心态深耕NLP技术领域,包括利用检索增强范式优化短文本表征、挖掘和利用反馈信息构建无监督预训练任务以及探索模型轻量化技术加速大模型的落地等,重点聚焦模型优化与工程性能,深化预训练模型计算资源与算法效果平衡的落地实践,致力于在万物互融时代为用户提供更友好自然的人机交互体验。

在专注技术创新的同时,小布助手还将积极参与大模型技术产业生态合作交流,紧跟学术前沿成果,把握业界向预训练模型迁移的工程化趋势,拥抱端云协同发展的大模型生态,合力与更多业界伙伴一同突破大模型实践的应用障碍,助力大模型技术在行业应用中实现落地赋能与商业变现的双赢。