TensorFlow 中的计算图

作者丨stephenDC

编辑 丨 zandy

这是作者的第 19 篇文章

什幺是计算图？

一个机器学习任务的核心是模型的定义以及模型的参数求解方式，对这两者进行抽象之后，可以确定一个唯一的计算逻辑，将这个逻辑用图表示，称之为计算图。 计算图表现为有向无环图，定义了数据的流转方式，数据的计算方式，以及各种计算之间的相互依赖关系等。

计算图的基本组成

TensorFlow的计算图粒度比较细，由节点和有向边组成（后来也加入了层）。相比之下，腾讯的开源机器学习平台Angel，其计算图的粒度较粗，由层（Layer）组成。很明显，粒度越细，灵活性越好；粒度越粗，开发效率越高。用Angel手动搭建模型，层层堆叠，几行代码就够了（事实上，Angel借鉴了Caffe的方式，可以直接读取Json文件，生成深度网络）；但限制在于，只能使用官方已经实现的Layer，因此诸如RNN和DNN，Angel目前是不支持的，开发者也无法自己实现。因此，开发者可以根据自己的不同需求，选择相应的平台。

下面，我们简要介绍一下TensorFlow的基本组成，即节点和有向边。

2.1

节点

基于梯度下降求解的机器学习问题，一般分为前向求值和后向求梯度两个过程。其中，前向过程由用户指定，包括模型定义，目标函数、损失函数、激活函数的选取等；后向的计算过程，包括计算梯度，更新梯度等，在优化器中已经由TensorFlow实现，用户不必关心。

前向图中的节点，根据功能主要分为 计算节点（Operation） 、 存储节点（Variable） 和 数据节点（Placeholder） 3类。

Operation： 对应无状态的计算或控制操作，主要负责算法逻辑表达或者流程控制。

Variable： 对应有状态的变量操作，通常用来存储模型参数。

Placeholder： 用于定义输入数据的类型和形状等属性，是对数据的统一抽象。

后向图中的节点，也可以分为3类，如下：

梯度： 迭代过程中，模型参数的梯度。

参数更新操作： 根据优化器的优化算法，结合梯度更新相应的模型参数。

更新后的参数： 更新后的模型参数，用于模型的下一轮训练。

2.2

边

计算图中的边是有向边，定义了操作之间的关系，分为两类：一类用来传输数据，称为数据边；另一类用来定义依赖关系，称为控制边。

所有的节点都通过数据边或者控制边连接，其中入度为0的节点没有前置依赖，可以立即执行；入度大于0的节点，要等待其依赖的所有节点执行结束之后，才可以执行。

计算图的运行

TensorFlow中可以定义多个计算图，不同计算图上的张量和运算相互独立，因此每一个计算图都是一个独立的计算逻辑。

3.1

图的启动

启动计算图的第一步是创建一个会话（Session）对象，如果没有任何的创建参数，会话构造器将启动默认图。一个Session可以运行多个计算图，一个计算图也可以在多个Session中运行。

3.2

运行方式

简单来说，计算图的运行参考了拓扑排序的思想，可以分为如下4个步骤：

以节点名称作为关键字、入度作为值，创建一张哈希表，并将此计算图中的所有节点放入哈希表中。

为此计算图创建一个可执行节点队列，将哈希表中入度为0的节点加入该队列，并从节点哈希表中删除这些节点。

依次执行队列中的每一个节点，执行成功之后将此节点输出指向的节点的入度减1，更新哈希表中对应节点的入度。

重复 （2） 和 （3） ，直至可执行队列为空。

对于步骤（3）来说，可执行队列中的节点在资源允许的情况下，是可以并行执行。 TensorFlow有灵活的硬件调度机制，来高效利用资源。

3.3

硬件调度

在实现上，TensorFlow 将图形定义转换成分布式执行的操作，以充分利用可用的计算资源(如CPU或GPU)。 一般你不需要显式指定使用CPU还是GPU，TensorFlow 能自动检测。 如果检测到 GPU，TensorFlow 会尽可能地利用找到的第一个 GPU 来执行操作。

如果机器上有超过一个可用的 GPU，除第一个外的其它GPU默认是不参与计算的。 为了让TensorFlow使用这些 GPU，开发者可以用with tf.device()语句将Operation明确指派给特定的CPU或GPU 来执行。

参考文献：

《深入理解TensorFlow架构设计与实现原理》 彭靖田、林健、白小龙

http://www.tensorfly.cn/tfdoc/get_started/basic_usage.html

https://blog.csdn.net/dcrmg/article/details/79028032