码迷,mamicode.com
首页 > Web开发 > 详细

机器学习技法-神经网路(NNet)

时间:2016-04-01 23:29:15      阅读:773      评论:0      收藏:0      [点我收藏+]

标签:

课程地址:https://class.coursera.org/ntumltwo-002

1.神经网络(NNet)的动机?

单个感知机(perceptron)模型简单,能力有限,只能线性分割。通过组合感知机模型很容易实现逻辑与、或、非,以及凸集合,但不能实现异或运算,能力有限。多层次的感知机(perceptrons)模型,不仅能实现异或,功能更为强大。

技术分享

技术分享

2.神经网络的输出,可以是分类、回归、逻辑回归的任意一种。

技术分享

3.神经网络中神经元的激活函数(转换函数),课件中介绍的tanh(s)

技术分享

4.最终的神经网络模型,神经网络的结构、输入、输出、连接权、阀值、转换函数。

技术分享

5.如何求连接权Wij。

技术分享

技术分享

6.BP算法步骤:

技术分享

7.神经网络的优化。当有多个隐藏层时,Ein基本上不是凸函数(non-convex),BP算法很可能获得局部最优解,而不是全局最优解。下面三种经验做法在一定程度上能帮助解决问题:

  • GD/SGD的初始点选择权值比较大的
  • 正规化(Regularization)

      技术分享

  • 迭代次数不要太多

机器学习技法-神经网路(NNet)

标签:

原文地址:http://www.cnblogs.com/wxquare/p/5346558.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!