码迷,mamicode.com
首页 > 其他好文 > 详细

Theano学习笔记(二)——逻辑回归函数解析

时间:2015-12-03 00:38:42      阅读:216      评论:0      收藏:0      [点我收藏+]

标签:

有了前面的准备,可以用Theano实现一个逻辑回归程序,逻辑回归是典型的有监督学习。

为了形象,这里我们假设分类任务是区分人与狗的照片。

 

首先是生成随机数对象

[python] view plaincopy
 
  1. importnumpy  
  2. importtheano  
  3. importtheano.tensor as T  
  4. rng= numpy.random  

 

 

数据初始化

有400张照片,这些照片不是人的就是狗的。

每张照片是28*28=784的维度。

D[0]是训练集,是个400*784的矩阵,每一行都是一张照片。

D[1]是每张照片对应的标签,用来记录这张照片是人还是狗。

training_steps是迭代上限。

 

[python] view plaincopy
 
  1. N= 400  
  2. feats= 784  
  3. D= (rng.randn(N, feats), rng.randint(size=N, low=0, high=2))  
  4. training_steps= 10000  

 

 

 

[python] view plaincopy
 
  1. #Declare Theano symbolic variables  
  2. x= T.matrix("x")  
  3. y= T.vector("y")  
  4. w= theano.shared(rng.randn(feats), name="w")  
  5. b= theano.shared(0., name="b")  
  6. print"Initial model:"  
  7. printw.get_value(), b.get_value()  

 

x是输入的训练集,是个矩阵,把D[0]赋值给它。

y是标签,是个列向量,400个样本所以有400维。把D[1]赋给它。

w是权重列向量,维数为图像的尺寸784维。

b是偏倚项向量,初始值都是0,这里没写成向量是因为之后要广播形式。

 

 

[python] view plaincopy
 
  1. #Construct Theano expression graph  
  2. p_1= 1 / (1 + T.exp(-T.dot(x, w) - b))   #Probability that target = 1  
  3. prediction= p_1 > 0.5                    # Theprediction thresholded  
  4. xent= -y * T.log(p_1) - (1-y) * T.log(1-p_1) # Cross-entropy loss function  
  5. cost= xent.mean() + 0.01 * (w ** 2).sum()# The cost to minimize  
  6. gw,gb = T.grad(cost, [w, b])             #Compute the gradient of the cost  
  7.                                           # (we shall return to this in a  
  8.                                           #following section of this tutorial)  

 

这里是函数的主干部分,涉及到3个公式

1.判定函数

技术分享

 

2.代价函数

技术分享

 

3.总目标函数

技术分享

 

第二项是权重衰减项,减小权重的幅度,用来防止过拟合的。

 

[python] view plaincopy
 
  1. #Compile  
  2. train= theano.function(  
  3.           inputs=[x,y],  
  4.           outputs=[prediction, xent],  
  5.           updates=((w, w - 0.1 * gw), (b, b -0.1 * gb)))  
  6. predict= theano.function(inputs=[x], outputs=prediction)  

 

构造预测和训练函数。

 

 

[python] view plaincopy
 
  1. #Train  
  2. fori in range(training_steps):  
  3.     pred,err = train(D[0], D[1])  
  4. print"Final model:"  
  5. printw.get_value(), b.get_value()  
  6. print"target values for D:", D[1]  
  7. print"prediction on D:", predict(D[0])  

 

这里算过之后发现,经过10000次训练,预测结果与标签已经完全相同了。 

Theano学习笔记(二)——逻辑回归函数解析

Theano学习笔记(二)——逻辑回归函数解析

标签:

原文地址:http://www.cnblogs.com/anyview/p/5014642.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!