51

英伟达开源数据增强和数据解码库,解决计算机视觉性能瓶颈

 5 years ago
source link: http://www.10tiao.com/html/511/201806/2652020681/5.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.




  新智元编译  

来源:NVIDIA

编辑:肖琴


【新智元导读】在CVPR 2018大会上,英伟达开源了数据增强库DALI和数据解码库nvJPEG。



在CVPR 2018大会上,英伟达开源了数据增强和数据解码的两个新的库:


  • NVIDIA DALI:一个GPU加速的数据增强和图像加载库,用于优化深度学习框架的数据pipeline

  • NVIDIA nvJPEG:一个高性能的GPU加速的图像解码库


由深度学习驱动的计算机视觉应用程序包括复杂的、多阶段的预处理数据pipeline,包括计算密集型的步骤,例如从磁盘加载和提取数据、解码、裁剪和调整大小、颜色和空间变换以及格式转换。


通过使用GPU加速数据增强,NVIDIA DALI解决了当今计算机视觉深度学习应用程序中的性能瓶颈问题,这些应用程序包括复杂的多阶段数据增强步骤。借助DALI,深度学习研究人员可以通过MXNet、TensorFlow和PyTorch在AWS P3 8 GPU实例或Volta GPU的DGX-1系统上提高图像分类模型(比如ResNet-50)的训练性能。由于可以跨框架实现高性能的数据加载和增强,框架用户将能够减少代码重复。


DALI依赖于新的NVIDIA nvJPEG库进行高性能的GPU加速解码。


DALI的优势包括:

  • 能与MxNet,TensorFlow和PyTorch的框架直接集成

  • 具有支持多种数据格式(如JPEG,原始格式,LMDB,RecordIO和TFRecord)的便携式训练工作流

  • 具有可配置图形和自定义操作符的自定义数据pipeline

  • 使用nvJPEG进行高性能的单图像解码和批量JPEG解码


nvJPEG是一个用于JPEG解码的高性能GPU加速库。nvJPEG支持同时使用CPU和GPU对单个图像和批量图像进行解码、颜色空间转换、多相位解码,以及混合解码。与只使用CPU解码相比,使用nvJPEG进行解码的应用程序具有更高的吞吐量和更低的延迟。


nvJPEG为计算机视觉应用中常用的JPEG格式提供低延迟解码器,如图像分类、物体检测和图像分割等应用。对于深度学习训练应用,nvJPEG可以加速数据加载和预处理,如平移、缩小,放大,翻转等。对于需要低延迟深度学习推理的应用,nvJPEG可用于实时地进行JPEG解码和调整大小。



nvJPEG的优势包括:

  • 使用CPU和GPU进行混合解码

  • 可以进行单个图像解码和批量图像解码

  • 色彩空间可以转换为RGB,BGR,RGBI,BGRI和YUV

  • 单相位解码和多相位解码


DALI已经开源,可以从GitHub获取:

https://github.com/NVIDIA/dali


nvJPEG预发行版也已经可以免费下载,用于收集反馈和测试,今年晚些时候会作为CUDA工具包的一部分提供。

https://developer.nvidia.com/nvjpeg




【加入社群】


新智元 AI 技术 + 产业社群招募中,欢迎对 AI 技术 + 产业落地感兴趣的同学,加小助手微信号: aiera2015_3  入群;通过审核后我们将邀请进群,加入社群后务必修改群备注(姓名 - 公司 - 职位;专业群审核较严,敬请谅解)。



About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK