码迷,mamicode.com
首页 > 其他好文 > 详细

tensorflow 基础学习三:损失函数讲解

时间:2017-12-16 23:17:08      阅读:363      评论:0      收藏:0      [点我收藏+]

标签:img   代码实现   sla   cross   函数实现   dom   预测   错误   images   

交叉熵损失:

给定两个概率分布p和q,通过q来表示p的交叉熵为:
技术分享图片

从上述公式可以看出交叉熵函数是不对称的,即H(p,q)不等于H(q,p)。

交叉熵刻画的是两个概率分布之间的距离,它表示通过概率分布q来表示概率分布p的困难程度。所以使用交叉熵作为

神经网络的损失函数时,p代表的是正确答案,q代表的是预测值。当两个概率分布越接近时,它们的交叉熵也就越小。

由于神经网络的输出并不是一个概率分布,所以需要先使用softmax将网络输出变成一个概率分布,再计算交叉熵。

比如,原始的神经网络输出为y1,y2,……,yn,那么经过softmax处理后的输出为:

技术分享图片

小例子:

以一个三分类为例,比如某个样本正确答案为(1,0,0)。某模型经过softmax回归后的预测答案为(0.5,0.4,0.1),则这个预测值和正确答案之间的交叉熵为:

 H((1,0,0),(0.5,0.4,0.1))=-(1*log0.5+0*log0.4+0*log0.1))=0.3

假设另外一个模型的预测值是(0.8,0.1,0.1),则该预测值和真实值之间的交叉熵为:

H((1,0,0),(0.8,0.1,0.1))=-(1*log0.8+0*log0.1+0*log0.1)=0.1

从上述结果可以看出第二个预测答案要由于第一个。

tensorflow中实现交叉熵,如下所示:

cross_entropy=-tf.reduce_mean(y_*tf.log(tf.clip_by_value(y,1e-10,1.0)))

其中y_代表正确结果,y代表预测结果。tf.clip_by_value函数可以将一个张量中的数值限制在一个范围内,这样可以避免

一些运算错误(比如log0是无效的)。下面讲解使用tf.clip_by_value函数的简单样例。

v=tf.constant([[1.0,2.0,3.0],[4.0,5.0,6.0]])
with tf.Session() as sess:
    print(tf.clip_by_value(v,2.5,4.5).eval())
‘‘‘
输出为
[[ 2.5  2.5  3. ]
 [ 4.   4.5  4.5]]
‘‘‘
# tensorflow中提供的直接计算交叉熵损失的函数,y代表神经网络的输出结果,y_表示真实类别
cross_entropy=tf.nn.softmax_cross_entropy_with_logits(logits=y,y_)

均方误差(MSE,mean squared error):

常用于回归问题中。它的具体定义如下:

$MES(y,y^{‘})=\frac{\sum _{i=1}^{n}(y_{i}-y_{i}^{‘})^{2}}{n}$

   其中,yi表示一个batch中第i个样本的真实类别,yi为神经网络输出的预测值。tensorflow代码实现如下:

mse=tf.reduce_mean(tf.square(y_-y))

 

自定义损失函数:

tensorlfow支持自定义损失函数,以下演示一个简单的示例:

首先定义一个分段损失函数,然后提供它的代码实现:

$Loss(y,y^{‘})=\sum_{i=1}^{n}f(y_{i},y_{i}^{‘}), f(x,y)=\left\{\begin{matrix}a(x-y)
 & x>y \\
 b(y-x) & x\leqslant y
\end{matrix}\right. $

loss=tf.recue_sum(tf.where(tf.greater(v1,v2),(v1-v2)*a,(v2-v1)*b))

tf.where和tf.greater函数用法如下:

# tf.where和tf.greater函数的用法
v1=tf.constant([1.0,2.0,3.0,4.0])
v2=tf.constant([4.0,3.0,2.0,1.0])

with tf.Session() as sess:
    print(tf.greater(v1,v2).eval())
    # 输出 [False False  True  True]
    print(.where(tf.greater(v1,v2),v1,v2).eval())
    # 输出 [ 4.  3.  3.  4.]

 使用自定义损失函数实现一个简单的神经网络

该网络只有两个输入节点和一个输出节点,相当于实现了一个回归。

import tensorflow as tf
from numpy.random import RandomState

batch_size=8

# 定义两个输入节点
x=tf.placeholder(tf.float32,shape=(None,2),name=x-input)
# 回归问题一般只有一个输出节点
y_=tf.placeholder(tf.float32,shape=(None,1),name=y-input)

# 定义一个单层的神经网络
w1=tf.Variable(tf.random_normal([2,1],stddev=1,seed=1))
y=tf.matmul(x,w1)

# 使用上述自己定义的损失函数
a=1;b=10
loss=tf.reduce_sum(tf.where(tf.greater(y,y_),(y-y_)*a,(y_-y)*b))

train_step=tf.train.AdamOptimizer(0.001).minimize(loss)

# 随机生成一个模拟数据集
rdm=RandomState(1)
dataset_size=128
X=rdm.rand(dataset_size,2)
# 设置随机噪声,范围在-0.05~0.05
Y = [[x1+x2+rdm.rand()/10.0-0.05] for (x1,x2) in X]

# 训练神经网路
with tf.Session() as sess:
    init_op = tf.global_variables_initializer()
    sess.run(init_op)
    STEPS=5000
    for i in range(STEPS):
        start=(i*batch_size) % dataset_size
        end = min(start+batch_size,dataset_size)
        sess.run(train_step,feed_dict={x:X[start:end],y_:Y[start:end]})
    print(sess.run(w1))

 

tensorflow 基础学习三:损失函数讲解

标签:img   代码实现   sla   cross   函数实现   dom   预测   错误   images   

原文地址:http://www.cnblogs.com/hypnus-ly/p/8047214.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!