11

CPU 算法训练深度神经网络比 GPU 快 15 倍

 3 years ago
source link: https://www.solidot.org/story?sid=67458
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

CPU 算法训练深度神经网络比 GPU 快 15 倍

WinterIsComing (31822)发表于 2021年04月11日 20时18分 星期日 新浪微博分享 豆瓣分享 人人分享 来自部门
AI 的一大瓶颈是训练成本，深度神经网络（DNN）的训练通常是一系列矩阵乘法操作，这是 GPU 非常擅长的工作，但 GPU 尤其是专业级显卡要比 CPU 昂贵得多。Rice 大学的计算机科学家和英特尔的研究人员从 2019 年就开始探讨使用 CPU 训练深度神经网络，他们采取的方法是将 DNN 训练转变成能用哈希表解决的搜索问题，他们的 "sub-linear deep learning engine" (SLIDE) 设计运行在商业 CPU 上。2019 年的研究显示，SLIDE  训练所需时间为 GPU 的 2/7。现在，研究人员利用现代 CPU 的向量化和内存优化加速器改进了 SLIDE 的性能，用 CPU 算法训练深度神经网络比 GPU 快 15 倍。他们的代码发布在 GitHub 上。

report

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK