码迷,mamicode.com
首页 > 其他好文 > 详细

深度学习Keras框架笔记之激活函数详解

时间:2018-03-17 17:53:47      阅读:1377      评论:0      收藏:0      [点我收藏+]

标签:div   log   AC   复杂   https   分享   模板   gpo   自己的   

    激活函数也是神经网络中一个很重的部分。每一层的网络输出都要经过激活函数。比较常用的有linear,sigmoid,tanh,softmax等。Keras内置提供了很全的激活函数,包括像LeakyReLU和PReLU这种比较新的激活函数。

     一、激活函数的使用

     常用的方法在Activation层中可以找到。看代码。 

from keras.layers.core import Activation, Dense  
model.add(Dense(64))  
model.add(Activation(‘tanh‘))  

    等价于:  

model.add(Dense(64, activation=‘tanh‘)) #此处’tanh’是一个字符串 

  我们也可以将一个Theano function作为激活函数传递给activation,如下:

    

deftanh(x):  
    return theano.tensor.tanh(x)     
model.add(Dense(64, activation=tanh)) #此处tanh是函数  
model.add(Activation(tanh))  

  二、常用的激活函数

  • softmax: 在多分类中常用的激活函数,是基于逻辑回归的。
  • Softplus:softplus(x)=log(1+e^x),近似生物神经激活函数,最近出现的。
  • Relu:近似生物神经激活函数,最近出现的。
  • tanh:双曲正切激活函数,也是很常用的。
  • sigmoid:S型曲线激活函数,最常用的。
  • hard_sigmoid:基于S型激活函数。
  • linear:线性激活函数,最简单的。

      三、复杂的激活函数

        更复杂的激活函数,可以在keras.layers.advanced_activations中找到。就是开始提到的PReLU和LeakyReLU。这两个函数都是在ReLU的基础之上进行改进的。从相关实验来看,这些函数具有更好的准确度,但是训练时间需要更长,因为计算更复杂。

     Keras框架官方文档:https://keras.io/activations/

     顺便再分享下自己的网站:圆柱模板,欢迎广大爱好者一起访问探讨!

深度学习Keras框架笔记之激活函数详解

标签:div   log   AC   复杂   https   分享   模板   gpo   自己的   

原文地址:https://www.cnblogs.com/68xi/p/8590930.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!