本文翻译转载自《HPCWire》

原文：《The Role and Potential of CPUs in Deep Learning》

（全文共1476字，阅读需要5分钟）

作者/ Sparsh Mittal

Sparsh Mittal博士目前在印度IIT Roorkee担任助理教授。他获得了印度鲁尔基理工学院的理学学士学位和美国爱荷华州立大学（ISU）的博士学位。他曾在美国橡树岭国家实验室（ORNL）担任博士后助理研究员，并在海得拉巴理工学院担任助理教授。他是理工学士毕业时的佼佼者，他的BTech项目获得了最佳项目奖。他获得了ISU的奖学金和ORNL的表演奖。他在顶级场馆发表了90多篇论文。他是爱思唯尔系统架构杂志的副主编。他曾应邀在德国、纽约大学、密歇根大学和希林克斯（海得拉巴）举行的ISC会议上发表演讲。

深度学习(DL)中CPU的优势

深度学习（DL）应用程序具有独特的架构特征和效率要求。因此，计算系统的选择对用户最终可以享受多大的DL饼图有着深远的影响。尽管加速器可以提供比通用计算系统（CPU）更高的吞吐量，但是在其他一些度量标准和使用方案中，CPU是首选还是更好的选择。我与Poonam Rajput和Sreenivas Subramoney（《 A Survey of Deep Learning on CPUs: Opportunities and Co-optimizations》）合著的最新调查论文强调了DL中CPU的优势，并确定了进一步优化的机会。

CPU有其长处，加速器不是万能药

稀疏DNN(深度神经网络)在大规模并行处理器上效率低下，因为它们对内存的访问不规则，并且无法利用诸如缓存切片和矢量化之类的优化方法。此外，由于步骤之间的依赖性，RNN(循环神经网络）难以并行化。类似地，诸如InceptionNet变体之类的DNN的过滤器形状为1×1、3×3、1×3、3×1等，这会导致不规则的内存访问和跨层的可变数量的并行性。由于CPU具有先进的内存管理技术，因此它们更适合于并行性受限的此类应用。例如，莱斯大学的研究人员展示了对于基于稀疏数据集（例如Amazon-670K和Delicious-200K）的完全连接的网络，可以将DL训练问题建模为搜索问题。这允许用哈希表代替矩阵乘法运算。与在GPU上基于TensorFlow的实现相比，他们在CPU上的技术提供了更高的性能。

具有批量大小的3D CNN(卷积神经网络)甚至2D CNN都需要大量的内存。由于云和数据中心场景中由CPU管理的主机具有比加速器大得多的内存容量，因此在CPU上运行需要大量内存的操作不仅很有吸引力，而且经常势在必行。加速器（例如TPU）可为大批量生产提供高吞吐量；但是，对于需要实时推理的应用程序，不建议使用大批量。在小批量时，CPU通常提供有竞争力的延迟。有许多技术可用于进一步调整CPU上的DL应用程序，例如，硬件感知的修剪，矢量化，缓存切片和近似计算。我们的调查报告总结了许多此类技术。

全面：从小型可穿戴设备到大型数据中心

物联网设备和可穿戴设备的电源和区域预算都很紧张，因此可以避免过度专业化。例如，智能手表芯片无法托管用于语音/音频/图像/视频处理的单独加速器。在运行Android的智能手机中，对移动GPU或DSP的编程支持尚未完全成熟。实际上，在典型的移动SoC上，移动CPU的理论峰值性能等于移动GPU的理论峰值性能。此外，支持Web服务（例如社交网络）的数据中心随着时间的推移在计算需求方面出现了明显的波动。由于CPU对DL和非DL任务的高可用性和高效率，因此它们可以满足这种需求的变化。最后，在要求安全性认证的极端环境（例如国防和医疗）中，CPU有时是唯一的选择平台。

显而易见：经济和易用性

加速器需要较长的设计周期和大量的投资。将它们整合到现有的生态系统中需要很高的成本和工程工作。相比之下，CPU的硬件/软件堆栈已经很好地建立和理解了。它们可以在广泛的应用程序中提供合理的加速。大型公司拥有构建和维护其自定义加速器的资源，而CPU（或GPU）仍然是其他公司最可行的平台。

未来前景：比您想象的要光明

展望未来，仅提高峰值性能是不够的。为了增强广泛的DL应用程序（例如强化学习和生成对抗网络）的性能，还需要进行更多革命性的改进。最近的CPU已经开始为低精度计算提供硬件支持。一旦内存计算成熟，大量的CPU缓存将变成大量的计算单元。诸如RISC-V之类的开源ISA的开发将进一步打破加速器的可移植性和专有障碍。

度量标准众多且各不相同，最新的DL模型也是如此。我们相信，未来将不再是“通用处理器与加速器”的辩论，而是将CPU加速器的异构计算方法集于一身。