5

加速3.47倍！火山引擎助力AIGC突破性能瓶颈-品玩

 2 years ago
source link: https://www.pingwest.com/a/275041
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

加速3.47倍！火山引擎助力AIGC突破性能瓶颈-品玩业界动态

加速3.47倍！火山引擎助力AIGC突破性能瓶颈

article-thumb-lg

AIGC（AI-Generated Content 人工智能生成内容）一经推出火爆全网，各种画风和产品形态频频出现且快速演进。以Stable Diffusion模型为例，一次完整的预训练大约需要在128张A100计算卡上运行25天，用户付费上百万，高额的研发费用是用户的痛点之一。同时，AIGC产品演进快速，对性能和资源提出更高要求。

火山引擎云服务，为此类问题提供了解决方案，推动AIGC产业的发展。火山引擎打造同时支持训练加速与推理加速的自主研发高性能算子库，在全面提升AI计算性能的基础上，不断追求节省显存、简单适配，同时支持多款GPU卡，为客户带来更多低成本、便捷的部署方案。

在推理场景下，基于Stable Diffusion模型的端到端推理速度达到66.14 it/s，是PyTorch推理速度的3.47倍，运行时GPU显存占用量降低60%。在客户AI视频创作的AIGC推理业务实践中，火山引擎高性能算子库搭载客户的推理模型帮助其推理性能提升一倍，GPU资源使用量减少一半，可为客户节省50%成本。

article-body

在训练场景下，使用该高性能算子库可将上文Stable Diffusion模型在128张A100的训练时间从25天减少到15天，训练性能提升40%。同时，由于AIGC模型在训练时占用GPU显存容量非常大，未经优化时的模型只能运行在最高端的A100 80GB GPU卡上。火山引擎高性能算子库通过大量消减中间操作，将运行时GPU显存占用量降低50%，使得大多数模型可从A100迁移到成本更低的V100或A30等GPU卡上运行，摆脱特定计算卡的限制，而且不需要做额外的模型转换工作。

以此，以AIGC场景为代表，无论是迭代速度，还是单次的训练成本，都有了显著的性能提升和成本节省。未来，火山引擎云服务将持续在机器学习、科学计算、图形处理等领域深耕，不断追求极致性能。（作者：刘仁新）


report

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK