码迷,mamicode.com
首页 > 其他好文 > 详细

a brief introduction of deep learning

时间:2020-02-19 20:39:14      阅读:77      评论:0      收藏:0      [点我收藏+]

标签:机器   info   提取   机器学习   alt   人工神经网络   方向   需要   github   

技术图片

 

 three steps for deep learning

 

技术图片

 

 

  • Step1:神经网络(Neural network)
  • Step2:模型评估(Goodness of function)
  • Step3:选择最优函数(Pick best function)

  neural network

技术图片

 

 

手动连接神经元

技术图片

 

 如: 1*1+(-1)*(-2)+1=4   1/(1+e^(-4))=0.98

 

技术图片

 

 

不同的参数,就是一个function

 

 

 

技术图片

 

不同模型的层数

技术图片

 

 

技术图片

 

 矩阵运算表示网络结构

技术图片

 

 

技术图片

 

 

 

最后一组x是由输入x经过复杂运算抽出的feature

本质:通过隐藏层进行特征转换

 

技术图片

 

 

 

一个手写数字识别的例子

技术图片

 

 技术图片

 

你可能要问的问题

 技术图片

 

 

接下来有几个问题:
多少层? 每层有多少神经元? 
我们需要用尝试加上直觉的方法来进行调试。对于有些机器学习相关的问题,我们一般用特征工程来提取特征,但是对于深度学习,
我们只需要设计神经网络模型来进行就可以了。对于语音识别和影像识别,深度学习是个好的方法,因为特征工程提取特征并不容易。 结构可以自动确定吗?
有很多设计方法可以让机器自动找到神经网络的结构的,比如进化人工神经网络(Evolutionary Artificial Neural Networks)但是这些方法并不是很普及 。 我们可以设计网络结构吗?
可以的,比如 CNN卷积神经网络(Convolutional Neural Network )

 

对于模型的评估,我们一般采用损失函数来反应模型的好差,所以对于神经网络来说,我们采用交叉熵(cross entropy)函数来对y?y^??的损失进行计算,

接下来我们就是调整参数,让交叉熵越小越好。

技术图片

 

 

 对于所有训练数据的loss

技术图片

 

 

利用梯度下降来最小化total loss

技术图片

 

 方向传播进行梯度下降

技术图片

 

 越深越好?

技术图片

 

 普遍性定理

技术图片

 

a brief introduction of deep learning

标签:机器   info   提取   机器学习   alt   人工神经网络   方向   需要   github   

原文地址:https://www.cnblogs.com/tingtin/p/12332725.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!