第十九节逻辑回归之优化点(4) 上一节中我们讲解了逻辑回归导函数求解的问题，一步步推导出交叉熵损失函数的梯度。很是不容易，这节中我们一起看下逻辑回归的优化有哪些点？ 第一点关于逻辑回归优化：和多元性回归是一模一样。要不要设置w0？比如下图： ? 之前说多元性回归是做拟合，假如现在要分类的话，我们知道 ...
分类：
其他好文 时间：
2019-05-01 12:06:11
阅读次数：
150
计算如下\begin{array}{l}{x_{1}=w_{1} * \text { input }} \\ {x_{2}=w_{2} * x_{1}} \\ {x_{3}=w_{3} * x_{2}}\end{array} 其中$w_{1}$，$w_{2}$，$w_{3}$是权重参数，是需要梯度的 ...
分类：
其他好文 时间：
2019-04-30 21:27:56
阅读次数：
200
第十八节逻辑回归之交叉熵损失函数梯度求解过程(3) 上一节中，我们讲解了交叉熵损失函数的概念，目标是要找到使得损失函数最小的那组θ，也就是l(θ)最大，即预测出来的结果在训练集上全部正确的概率最大。那我们怎么样找到我们的最优解呢？上节中提出用梯度下降法求解，本节的话我们对其具体细节展开。 先来看下我 ...
分类：
其他好文 时间：
2019-04-30 19:51:12
阅读次数：
121
很久没写博了，先同步下动向。 两年多前来了目前这家算是二线里面最前梯度的公司。 漂泊了快3年，最近终于决定回家乡了。 所幸家乡最近几年互联网发展迅猛，各大厂基本都有研发中心落地。 刚好也符合个人职业规划方向。 年后进行了一波面试，顺利的稍稍出乎了个人的预料，基本上接到的面试都面到了最后的hr轮。 在 ...
分类：
其他好文 时间：
2019-04-26 11:28:52
阅读次数：
149
4月24日，云原生行业顶级盛会——2019年云原生产业大会于北京召开。会上揭晓的容器解决方案评估结果中，梯度科技自主研发的梯度智能云，顺利通过可信云容器解决方案权威认证，并获得中国信息通信研究院、云计算开源产业联盟颁发的可信云认证证书。 云计算领域唯一权威认证，梯度智能云获认可 可信云认证是由工信部 ...
分类：
其他好文 时间：
2019-04-24 19:13:09
阅读次数：
114
在机器学习领域中，有一个重要的假设：独立同分布假设，也就是假设训练数据和测试数据是满足相同分布的，否则在训练集上学习到的模型在测试集上的表现会比较差。而在深层神经网络的训练中，当中间神经层的前一层参数发生改变时，该层的输入分布也会发生改变，也就是存在内部协变量偏移问题（Internal Covari ...
分类：
其他好文 时间：
2019-04-23 20:35:05
阅读次数：
139
目前最流行的5中优化器：Momentum(动量优化)、NAG(Nesterov梯度加速)、AdaGrad、RMSProp、Adam，所有的优化算法都是对梯度下降算法进行不断的优化，对原始梯度下降算法增加惯性和环境感知因素 Momentum优化 momentum优化的一个简单思想：考虑物体运动惯性，想 ...
分类：
其他好文 时间：
2019-04-23 14:24:30
阅读次数：
433
序言：在训练一个神经网络时，梯度的计算是一个关键的步骤，它为神经网络的优化提供了关键数据。但是在面临复杂神经网络的时候导数的计算就成为一个难题，要求人们解出复杂、高维的方程是不现实的。这就是自动微分出现的原因，当前最流行的深度学习框架如PyTorch、Tensorflow等都提供了自动微分的支持，让 ...
分类：
其他好文 时间：
2019-04-21 19:55:02
阅读次数：
257
为了求得参数θ，也可以不用迭代的方法（比如梯度下降法），可以采用标准方程法一次性就算出了θ。 标准方程法介绍： （1） 这里面，X的第一列是人为添加的，为了方便运算的，都置为1，后面才是真正的特征。 （2） 下面是样本对应的输出： （3） 设拟合函数为： h(x) = θ0 * x0 + θ1 * ...
分类：
其他好文 时间：
2019-04-21 13:02:47
阅读次数：
1096
SGD神经网络以及python中实现 1、SGD（stochastic gradient descend）：<1>数据抽取；<2>计算梯度;<3>参数更新；<4>循环 2、三层SGD网络组件：隐藏层（1），隐藏层（2），输出层，损失函数 2.1隐藏层： <1>激活函数/激励函数:sigmoid函数和 ...
分类：
其他好文 时间：
2019-04-17 09:51:55
阅读次数：
209
