码迷,mamicode.com
首页 > 其他好文 > 详细

tf中slim的使用

时间:2019-05-16 12:43:19      阅读:124      评论:0      收藏:0      [点我收藏+]

标签:scope   detail   网络   group   step   原来   不可   占位符   测试   

https://blog.csdn.net/Cyiano/article/details/75006883

https://blog.csdn.net/transMaple/article/details/78273560

 

slim库是tensorflow中的一个高层封装,它将原来很多tf中复杂的函数进一步封装,省去了很多重复的参数,以及平时不会考虑到的参数。可以理解为tensorflow的升级版。

导入方式:

import tensorflow as tf
import tensorflow.contrib.slim as slim

Layers:

技术图片

参数:

# 所有的参数如下
@add_arg_scope
def convolution2d_in_plane(
    inputs,
    kernel_size,
    stride=1,
    padding=SAME,
    activation_fn=nn.relu,
    normalizer_fn=None,
    normalizer_params=None,
    weights_initializer=initializers.xavier_initializer(),
    weights_regularizer=None,
    biases_initializer=init_ops.zeros_initializer(),
    biases_regularizer=None,
    reuse=None,
    variables_collections=None,
    outputs_collections=None,
    trainable=True,
    scope=None):

 

input = ...
net = slim.conv2d(input, 128, [3, 3], scope=conv1_1)
net = slim.max_pool2d(net, kernel_size=[2,2], stride=2, scope=pool1)
# 一般为 (inputs=?, kernel_size=?, stride=?, padding=?, ....)
net = slim.repeat(net, 3, slim.conv2d, 256, [3, 3], scope=conv3)
# repeat操作即为重复创建某个layer

 

slim.conv2d

slim.conv2d是基于tf.conv2d的进一步封装,省去了很多参数,一般调用方法如下:

net = slim.conv2d(inputs, 256, [3, 3], stride=1, scope=‘conv1_1‘)

前三个参数依次为网络的输入输出的通道卷积核大小,stride是做卷积时的步长。除此之外,还有几个经常被用到的参数:

padding : 补零的方式,例如‘SAME‘
activation_fn : 激活函数,默认是nn.relu
normalizer_fn : 正则化函数,默认为None,这里可以设置为batch normalization,函数用slim.batch_norm
normalizer_params : slim.batch_norm中的参数,以字典形式表示
weights_initializer : 权重的初始化器,initializers.xavier_initializer()
weights_regularizer : 权重的正则化器,一般不怎么用到
biases_initializer : 如果之前有batch norm,那么这个及下面一个就不用管了
biases_regularizer :
trainable : 参数是否可训练,默认为True

 

slim.max_pool2d

这个函数更简单了,用法如下:

net = slim.max_pool2d(net, [2, 2], scope=pool1)

 

slim.fully_connected

slim.fully_connected(x, 128, scope=fc1)

 

slim.arg_scope

slim.arg_scope可以定义一些函数的默认参数值,在scope内,我们重复用到这些函数时可以不用把所有参数都写一遍。

with slim.arg_scope([slim.conv2d, slim.fully_connected], 
                    trainable=True,
                    activation_fn=tf.nn.relu, 
                    weights_initializer=tf.truncated_normal_initializer(stddev=0.01), 
                    weights_regularizer=slim.l2_regularizer(0.0001)):
    with slim.arg_scope([slim.conv2d], 
                        kernel_size=[3, 3], 
                        padding=SAME,
                        normalizer_fn=slim.batch_norm):
        net = slim.conv2d(net, 64, scope=conv1))
        net = slim.conv2d(net, 128, scope=conv2))
        net = slim.conv2d(net, 256, [5, 5], scope=conv3))

 

batch normalization的问题

接下来说我在用slim.batch_norm时踩到的坑。slim.batch_norm里有moving_mean和moving_variance两个量,分别表示每个批次的均值和方差。在训练时还好理解,但在测试时,moving_mean和moving_variance的含义变了。在训练时,有一些语句是必不可少的:

# 定义占位符,X表示网络的输入,Y表示真实值label
X = tf.placeholder("float", [None, 224, 224, 3])
Y = tf.placeholder("float", [None, 100])

#调用含batch_norm的resnet网络,其中记得is_training=True
logits = model.resnet(X, 100, is_training=True)
cross_entropy = -tf.reduce_sum(Y*tf.log(logits))

#训练的op一定要用slim的slim.learning.create_train_op,只用tf.train.MomentumOptimizer.minimize()是不行的
opt = tf.train.MomentumOptimizer(lr_rate, 0.9)
train_op = slim.learning.create_train_op(cross_entropy, opt, global_step=global_step)

#更新操作,具体含义不是很明白,直接套用即可
update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)
if update_ops:
    updates = tf.group(*update_ops)
    cross_entropy = control_flow_ops.with_dependencies([updates], cross_entropy)

 

之后的训练都和往常一样了,导出模型后,在测试阶段调用相同的网络,参数is_training一定要设置成False。

logits = model.resnet(X, 100, is_training=False)

否则,可能会出现这种情况:所有的单个图像分类,最后几乎全被归为同一类。这可能就是训练模式设置反了的问题。

 

tf中slim的使用

标签:scope   detail   网络   group   step   原来   不可   占位符   测试   

原文地址:https://www.cnblogs.com/fighting929/p/10874868.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!