训练Transformer排放284公吨二氧化碳，相当41次往返纽约悉尼航班排放量
source link: https://www.mittrchina.com/news/detail/12342
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
麻省理工科技评论-训练Transformer排放284公吨二氧化碳，相当41次往返纽约悉尼航班排放量
伴随着人工智能的巨大进步，我们正在目睹其推动的历史性的全球范式转变。随着人工智能的能力从预测向生成发展，越来越多的企业开始注意到这一点，自 2017 年以来，企业对人工智能的采用增加了一倍多。根据麦肯锡的调查，63% 的受访者预计他们的组织在未来三年内会增加对人工智能的投资。
在前所未有地采用人工智能的同时，计算量也在以惊人的速度增长。自 2012 年以来，最大的人工智能训练运行中使用的计算量增长了 30 多万倍。然而，随着大规模计算需求的增长，随之而来的是无法视而不见的环境影响。
更多的计算导致更大的电力消耗，随之而来的是大量的碳排放。美国马萨诸塞大学阿默斯特分校的研究人员在 2019 年进行的一项研究估计，训练 Transformer 深度学习算法所消耗的电力可以排放超过 284 公吨的二氧化碳，相当于美国纽约和澳大利亚悉尼之间 41 次往返航班的二氧化碳排放量，而且这只是在训练模型。
目前这种伴随着不断增长的环境足迹而强化人工智能的轨迹是不可持续的。我们需要重新思考现状，改变我们的策略和行为。
利用人工智能推动可持续发展
虽然人工智能的发展和应用无疑会带来严重的碳排放影响，但也存在巨大的机会。与人工智能相结合的实时数据收集，实际上可以帮助企业快速识别在运营过程中可以改进的领域，从而帮助大规模减少碳排放。
例如，人工智能模型可以识别影响建筑效率的因素，并提供实时改进机会，包括提供供暖、通风和空调的一体化系统（暖通空调，HVAC）。作为一个复杂的、数据丰富的、多变量的系统，暖通空调非常适合自动化优化，改进措施可以在短短几个月内节省能源。虽然这种机会几乎适用于任何建筑物中，但它在数据中心尤其有用。几年前，谷歌分享了如何利用人工智能来改善数据中心的冷却系统，从而将其能耗降低了 40%。
人工智能在实现碳感知计算方面也被证明是有效的。基于可再生能源的可用性，自动切换计算任务可以降低活动的碳足迹。
同样，人工智能可以帮助减少前面提到的不断膨胀的数据存储问题。为了解决大规模数据存储的可持续性问题，加里·麦卡文（Gerry McGovern）在他的《World Wide Waste》一书中认识到，高达 90% 的数据没有被使用，只是被存储了起来。人工智能可以帮助确定哪些数据是有价值的、必要的，并且具有足够高的质量来保证存储。多余的数据可以被直接丢弃，既节省储存成本又节省能源。
如何设计更可持续的人工智能项目
为了负责任地实施人工智能倡议，我们都需要重新思考一些事情，并采取更积极主动的方法来设计人工智能项目。
首先对你试图解决的业务问题进行批判性的检查，并提出一系列的问题。例如，我真的需要人工智能来解决这个问题吗？计算量和能量消耗较低的传统概率方法是不是足以胜任？深度学习并不是所有问题的解决方案，所以在做出决定时，要有取舍。
一旦你搞清楚了你的商业问题或用例，那么在构建解决方案和模型时，还需要仔细考虑以下几点:
重视数据质量而不是数量。较小的数据集需要更少的能量进行训练，并且具有更小的持续计算和存储需求，从而带来更少的碳排放。研究表明，经过训练的神经网络中的许多参数可以被修剪，这一比例甚至高达 99%，从而产生更小、更稀疏的网络。
考虑用例真正需要的精准度。例如，如果要对模型进行微调，以获得较低精度的计算，而不是计算密集型的 FP32 计算，则可以显著节省能源。
利用适用于某个领域的专有模型，不要重新发明轮子。从现有的、经过训练的数据集中编排一组模型，可以给你带来更好的结果。例如，如果你已经训练了一个大模型来理解语言语义，那么就可以根据需要构建一个较小的、特定于某个领域的模型，该模型可以利用大模型的知识库，从而以更高的效率产生类似的输出。
平衡从边缘到云的硬件和软件。一个更加异构的人工智能基础设施，结合满足特定应用需求的人工智能计算芯片组，将确保从存储到网络再到计算，全面节省能源。虽然由于边缘设备的尺寸、重量和功率限制，我们需要更小、更高效的人工智能模型，但人工智能计算更接近数据生成的位置，可以使用更低功耗的设备和更小的网络和数据存储需求实现更低碳的计算。
而且，对于专用的人工智能硬件，使用内置加速器技术来提高每瓦性能可以节省大量能源。测试表明，在相同工作负载的前提下，与没有加速器相比，内置加速器可以将目标工作负载的平均每瓦性能效率提高 3.9 倍。
考虑带有优化库的开源解决方案，以帮助确保从硬件和框架中获得最佳性能。除了开源之外，采用开放标准还有助于实现可重复性和可扩展性。
例如，为了避免能源密集的初始模型训练，可以考虑使用预训练的模型，以获得更高的效率和共享/联邦学习的潜力，并随着时间推移进行改进。类似地，开放 API 支持更有效的跨体系结构解决方案，允许一次性构建工具、框架和模型，并以更优的性能部署到任何地方。
与许多以可持续发展为导向的决策一样，从人工智能项目设计的角度减少对环境的影响并不容易。减少能源消耗和碳足迹，需要努力、意愿和妥协来做出最负责任的选择。但正如我们在其他以可持续发展为导向的商业选择中所看到的那样，即使看似很小的调整也能产生巨大的改善，以减少碳排放，并帮助减缓气候变化的影响。
支持：Ren
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK