码迷,mamicode.com
首页 > 其他好文 > 详细

01. 深度学习基本概念

时间:2018-03-01 21:55:07      阅读:155      评论:0      收藏:0      [点我收藏+]

标签:有监督   tps   .sh   深度   log   向量   方向   技术   更新   

一、神经网络
二、激活函数
三、评价神经网络的效果
四、梯度下降算法
五、参数与超参数区别
六、习题

一、神经网络 neural network
技术分享图片
技术分享图片

w11a1+w12a2+w13a3 + bias1=b1
w21
a1+w22a2+w23a3 + bias2=b2

从网络层1到网络层2,可能是线性运算,可能是非线性运算。

二、激活函数
经典激活函数:Sigmoid函数
技术分享图片

技术分享图片

激活函数引入非线性,使得原本不可分变为可分,且可以被作为概率看待。

三、评价神经网络的效果
(1)使用随机值初始化神经网络参数 随机设定权重w和偏移量bias
(2)损失函数 评价神经网络效果的函数
损失函数
技术分享图片

四、梯度下降算法
一次求导,朝着梯度最大的方向前进。 https://www.cnblogs.com/pinard/p/5970503.html
技术分享图片

五、参数与超参数区别
超参数 α = 学习速率 learning rate。【调参点】

六、习题
1、“手工编程计算圆的面积”中,3.14是“参数”还是“超参数”? 参数
2、一个如本次实验所描述的神经网络有两层,第一层有10个神经元,第二层有20个神经元,请问这两层神经元之间有多少条连接?第一层到第二层之间由这些连接所表示的线性变换矩阵尺寸是多少? 200个
3、“使用深度学习预测股票走势曲线”是分类问题还是回归问题? 回归问题
4、“根据人脸图片识别人的性别”是分类问题还是回归问题? 分类问题
5、如果说,有监督学习的训练数据data由输入X和正确答案Y组成,那无监督学习的训练数据应该是什么样的? 输入数据集长度m,聚类得到X1,X2,Xn 个聚类
6、[选做题]sigmoid函数对x求导结果是什么?
7、[选做题]2.6.1小节中的图片里,为什么“学习速率适中”图中每次更新的“步子”越来越短,而“学习速率过大”图中每次更新的“步子”越来越长?
学习速率是比率,合适的学习速率,越接近极值,下降越慢,基数越小,步子越短。
过大的学习速率,越学越超出范围,自然增长快,步子大。

8、[选做题]你能自己想出一种求损失函数梯度的方法吗
梯度:偏导向量。对损失函数求偏导,得到梯度,梯度最大的地方就是下降最快的地方。

参考:
https://www.shiyanlou.com/courses/814

01. 深度学习基本概念

标签:有监督   tps   .sh   深度   log   向量   方向   技术   更新   

原文地址:https://www.cnblogs.com/Years4Nancy/p/8490061.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!