码迷,mamicode.com
首页 > 其他好文 > 详细

TensorFlow 从入门到精通(七):TensorFlow 运行原理

时间:2016-06-12 02:41:44      阅读:445      评论:0      收藏:0      [点我收藏+]

标签:

通过几个例程,我们逐渐对 TensorFlow 建立了感性认识。本文将进一步从内在原理进行深入理解,进而为阅读源码打好基础。


1. 图(Graph)

TensorFlow 计算被抽象为包括若干节点的有向图。如下图所示例子:

技术分享

对应的 TensorFlow Python 代码如下:

import tensorflow as tf
b = tf.Variable(tf.zeros([100]))                   # 100-d vector, init to zeroes
W = tf.Variable(tf.random_uniform([784,100],-1,1)) # 784x100 matrix w/rnd vals
x = tf.placeholder(name="x")
relu = tf.nn.relu(tf.matmul(W, x) + b)
C = [...]
s = tf.Session()
for step in xrange(0, 10):
  input = ...construct 100-D input array ...
  result = s.run(C, feed_dict={x: input})
  print step, result

在 TensorFlow 有向图中,每个节点表示运算符,可以有零个或多个输入,零个或多个输出。

在有向图的普通棱边(从一个节点输出到另一个节点输入)流动的数值称为张量(Tensor),本质为任意维度数组。张量的元素数据类型可以显式指定或在构建有向图时推断得到。

有关图及张量的实现源码均位于 tensorflow/tensorflow/python/framework/ops.py,我们后面会细讲。


2. 运算(Operations)与核函数(Kernels)

TensorFlow 支持多种常用运算,如矩阵乘、加法。

核函数是运算的特定实现,可以运行在特定类型设备上(如 CPU 或 GPU )。

TensorFlow 二进制通过注册机制来确定支持的运算集合和核函数,可以进一步扩展。

表1 展示了 TensorFlow 内置的一些运算种类

技术分享

运算相关的代码位于:tensorflow/tensorflow/python/ops/ 目录下。以数学运算为例,代码为上述目录下的 math_ops.py,间接地调用了 gen_math_ops.py,又调用了 tensorflow/tensorflow/core/kernels/ 下面的核函数实现。这些我们会在后面细讲。


3. 会话(Sessions)

客户端程序通过创建会话同 TensorFlow 系统交互。

为了创建一个计算图,会话接口支持扩展方法来补充当前图。

Run 接口允许指定将某个张量 Tensor 作为入口参数馈入计算图,得到一组计算输出。

会话相关源码位于 tensorflow/tensorflow/python/client/session.py,具体我们会在后面细讲。



4. 变量(Variables)

大多数计算中,有向图会执行多次。

大多数张量生命周期都不会超过有向图的一次执行。

变量是特殊运算,返回一个持续可更改的张量句柄,生命周期横亘有向图的多次执行。

变量句柄可以传递给大量特殊操作,如 Assign(=),AssignAdd(+=)。

对于机器学习应用,模型权值一般都会存放在变量中,更新操作会作为训练有向图 Run 的一部分。

变量相关源码位于 tensorflow/tensorflow/python/ops/variables.py,是一类特殊的运算。后面我们会细讲。

TensorFlow 从入门到精通(七):TensorFlow 运行原理

标签:

原文地址:http://blog.csdn.net/kkk584520/article/details/51553823

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!