标签:line eth 大小 tutorial eval image 占用 function 节点
目录:
1) 可以在多个计算机上分布式训练么?
可以!TensorFlow从版本0.8开始就支持分布式计算了。TensorFlow现在在一个或多个计算机上支持多个设备(CPUs或者GPUs)。
2) TensorFlow支持Python3么?
0.6.0版本后的TensorFlow,支持Python3.3+。
可以查看建立图的API文档(https://www.tensorflow.org/versions/master/api_guides/python/framework)。
1) 为什么 c = tf.matmul(a, b)不会立即执行矩阵乘法?
在TensorFlow的Python API中,a,b和c都是tf.Tensor
对象。一个Tensor对象是一个运算操作结果的符号句柄(a symbolic handle to the result of an operation),但是实际上并没有保存运算操作结果的值。反而,TensorFlow鼓励用户去建立一个复杂的表达式(比如整个神经网络和它的梯度)来作为一个数据流的图。然后你可以将整个数据流的图(或者其中的一个子图)给一个TensorFlow的tf.Session
,它比起一个一个地执行运算操作,可以更有效地执行整个计算图。
2) 设备是怎么命名的?
对CPU设备来说,支持的设备名字是"/device:CPU:0"或"/cpu:0",对GPU来说,是"/device:GPU:i"
(或者 "/gpu:i"
),其中i表示第i个GPU设备。
3) 我如何将一个运算操作在指定的设备上运行?
将一组运算操作放置在指定设备上,可以将这些运算操作创建在 with tf.device(name):
下。TensorFlow如何将运算操作绑定在设备的详细情况可以查看文档 using GPUs with TensorFlow。CIFAR-10 tutorial 是如何使用多GPU的一个例子。
1) feeding和placeholder之间是怎么处理的?
Feeding是TensorFlow Session API中的一种机制,它可以允许你在运行时给一个或者多个tensor替换不同的值。tf.Session.run
中feed_dict的参数一个映射tf.Tensor
对象到numpy数组(或者其他一些类型)的字典,作为这些tensor每执行一步时的值。
一般地,你有某些特定的tensor,比如说输出,需要不停地提供数据。tf.placeholder
操作符允许你定义一个必须被fed的tensor,其中你可以选择是否限制这些tensor的形状。可以查看 beginners‘ MNIST tutorial ,这是一个介绍placeholders和feeding如何为一个神经网络提供训练数据的例子。
2) Session.run() and Tensor.eval()的区别是什么?
如果t是一个tf.Tensor
对象,tf.Tensor.eval
是tf.Session.run
的速写方法。下面两个代码是等价的:
# Using `Session.run()`. sess = tf.Session() c = tf.constant(5.0) print(sess.run(c)) # Using `Tensor.eval()`. c = tf.constant(5.0) with tf.Session(): print(c.eval())
在第二个例子中,session是一个上下文管理器( context manager),在with tf.Session():生命周期里面,默认的都是该session的。这个上下文管理器对一些简单的应用(如单元测试)有更简洁的代码。如果你的代码同时处理多个图(graph)和session,那么最好还是使用Session.run()来使程序变得更明确。
3) Session有生命周期么?中间过程产生的tensor呢?
Session可以拥有资源,比如说 tf.Variable
, tf.QueueBase
,和tf.ReaderBase
,这些资源占用了大量的内存空间。当session被关闭时(通过 tf.Session.close
调用),这些资源(还有其对应的内存)将被释放。
作为调用Session.run()
产生一部分中间tensor,会在调用该语句结束的时候或者之前被释放。
4) 运行时是否将计算图执行的部分并行化?
在多个不同的维度上,TensorFlow运行时并行化图形的执行:
(1) 单个运算操作有并行实现,使用一个CPU的多个核心,或者一个GPU的多个线程
(2) 在TensorFlow计算图中独立的节点可以在不同的设备上并行运行,因此可以使训练时使用多个GPU加速。可以查看这个例子: CIFAR-10 training using multiple GPUs。
(3)
Session API允许多个并行的步骤(比如并行调用 tf.Session.run
)。这可以使运行时获得更高的吞吐量,如果单个步骤没有使用完你计算机上所有的资源的话。
5) TensorFlow支持什么语言调用?
TensorFlow被设计支持多种不同的语言调用。目前,Python是支持最好的语言。C++、Java和Go也支持执行和构造计算图。
TensorFlow也有一个基于C语言的API,来支持更多其他语言。
6) TensorFlow会充分利用计算机上所有可用的设备(CPU和GPU)么?
TensorFlow支持多CPU和GPU。TensorFlow如何将运算操作分配到设备上的细节可用去看文档 using GPUs with TensorFlow; CIFAR-10 tutorial是一个使用多GPU模型的例子。
注意:TensorFlow仅仅支持计算能力大于3.5的GPU设备。
7) 当使用一个reader 或者一个queue时,Session.run()为什么会暂停/终止?
tf.ReaderBase
和 tf.QueueBase
两个类提供了特殊的操作,会使系统阻塞,直到可以使用输入(或者有界列队中有空余空间)。这些操作允许你建立更为精细的输出管道( input pipelines),当然另一方面会使TensorFlow计算变得更加复杂。可以查看 using QueueRunner
objects to drive queues and readers 来获取更多如何使用它们的知识。
有关变量的知识可以查看 the API documentation for variables.。
1) 变量的生命周期是什么?
当你在一个会话(session)中运行tf.Variable.initializer
操作时,一个变量将会被创建;当那个session被关闭时,该变量将被销毁。
2) 当变量同时被访问时,它们是怎么运作的?
变量允许并行读取和写入操作。当一个变量被并行地更新时,如果这时候读取这个变量,那么读取的值可能会改变。默认的情况下,对一个变量并行分配操作是允许在没有互斥锁的情况下运行。当操作一个变量时,为了可以对tf.Variable.assign
传递use_locking=True来获取一个锁。
也可以查看tf.TensorShape
。
1) 在Python中我们如何确定tensor的形状?
在TensorFlow中,一个tensor同时拥有一个静态(inferred)的形状和一个动态(true)的形状。静态的形状可以使用tf.Tensor.get_shape
方法读取,这个读取的形状是创建tensor操作中推断出来的,可能是部分正确的。如果静态的形状没有完全被定义,那么一个Tensor类型的t的动态的形状可以使用 tf.shape(t)
获得。
2) x.set_shape()和x=tf.reshape(x)之间的区别是什么?
tf.Tensor.set_shape
方法更新一个Tensor对象的静态形状,这一般用于当不能被直接推断出来时,提供额外的形状信息。这个并不会改变tensor的动态形状。
_, image_data = tf.TFRecordReader(...).read(...) image = tf.image.decode_png(image_data, channels=3) # The height and width dimensions of `image` are data dependent, and # cannot be computed without executing the op. print(image.shape) ==> TensorShape([Dimension(None), Dimension(None), Dimension(3)]) # We know that each image in this dataset is 28 x 28 pixels. image.set_shape([28, 28, 3]) print(image.shape) ==> TensorShape([Dimension(28), Dimension(28), Dimension(3)])
tf.reshape
操作创建了一个新的、动态形状不同的tensor。
# tensor ‘t‘ is [1, 2, 3, 4, 5, 6, 7, 8, 9] # tensor ‘t‘ has shape [9] reshape(t, [3, 3]) ==> [[1, 2, 3], [4, 5, 6], [7, 8, 9]] # tensor ‘t‘ is [[[1, 1], [2, 2]], # [[3, 3], [4, 4]]] # tensor ‘t‘ has shape [2, 2, 2] reshape(t, [2, 4]) ==> [[1, 1, 2, 2], [3, 3, 4, 4]]
3) 如何建立一个batch size可变的计算图?
建立一个batch size可变的计算图一般都是很有用的,比如相同的代码可以用于(mini-)batch training,single-instance inference。最后结果的计算图可以保存为一个protocol buffer( saved as a protocol buffer),导入进另外一个程序中( imported into another program)。
当建立一个可以大小的计算图时,最重要的事情是记住不要将batch size编码为Python的常量,而是要使用一个Tensor来表示它。下面两个说明可能是有用的:
(1) 使用batch_size = tf.shape(input)[0]
从一个称为input的Tensor提取batch的维度,并且保存为名字叫batch_size的Tensor 。
(2) 使用tf.reduce_mean
而不是tf.reduce_sum(...) / batch_size。
1) 如何可视化TensorFlow计算图?
查看教程graph visualization tutorial。
2) 把数据送到TensorBoard的最简单的方式是什么?
将summary ops加入到你的TensorFlow graph中,然后将这些summaries写到一个log目录下。接下来就可以使用如下命名启动TensorBoard:
python tensorflow/tensorboard/tensorboard.py --logdir=path/to/log-directory
更多细节,可以查看 Summaries and TensorBoard tutorial。
3) 每次启动启动TensorBoard,就会弹出一个网络安全警告
你可以通过flag --host=localhost,来改变TensorBoard浏览器中的地址为localhost,而不是‘0.0.0.0’。
1) 我的数据是自定义的格式,我如何使用TensorFlow读取该数据?
有3种主要的方法来处理自定义格式的数据。
最简单的方式是再Python中写一个解析代码,将该数据转换为一个numpy array。然后使用 tf.contrib.data.Dataset.from_tensor_slices
从内存数据中创建一个输入管道(pipeline)。
2) 如果你的数据在内存中不合适(原话是:If your data doesn‘t fit in memory),那么尝试在Dataset pipeline中做解析。从一个合适的file reader开始,比如tf.contrib.data.TextLineDataset
。然后通过映射(mapping)合适的操作转换数据集。更倾向于使用已经定义好的TensorFlow Operations,比如tf.decode_raw
, tf.decode_csv
, tf.parse_example
, or tf.image.decode_png
。
3) 如果你的数据在使用TensorFlow自带函数不容易解析的情况下,可以考虑线下将其转换为可以容易解析的数据,比如${tf.python_io.TFRecordWriter$TFRecord
} 格式。
还有一个更加有效的解析数据的方法就是增加一个用C++写的新的op,一个可以解析你数据的op。可以参考 guide to handling new data formats。
1) TensorFlow的编码风格是什么?
TensorFlow Python API遵守 PEP8编码风格。我们对类使用CamelCase风格,对函数、方法、属性(functions, methods, and properties)使用snake_case风格。我们也遵守 Google Python style guide。
TensorFlow C++代码遵守Google C++ style guide。
原文链接:https://www.tensorflow.org/versions/master/programmers_guide/faq
[翻译] TensorFlow Programmer's Guide之Frequently Asked Questions(问得频率最多的几个问题)
标签:line eth 大小 tutorial eval image 占用 function 节点
原文地址:http://www.cnblogs.com/hejunlin1992/p/7617572.html