应该是去年的这个时候，我开始接触机器学习的相关知识，当时的入门书籍是《数据挖掘导论》。囫囵吞枣般看完了各个知名的分类器：决策树、朴素贝叶斯、SVM、神经网络、随机森林等等；另外较为认真地复习了统计学，学习了线性回归，也得以通过orange、spss、R做一些分类预测工作。可是对外说自己是搞机器学习的...
分类：
编程语言 时间：
2015-07-16 16:18:12
阅读次数：
461
1.梯度下降1.1批梯度下降eg1：用梯度下降法确定h(x)=x^2-t*x-t中参数t的值注意迭代因子的选择很重要QAQ，如果程序结果成了发散的就要看看是不是迭代因子选的不好。【最后那个-0.01是无意中试出来的QwQ 1 def hypo(t,x): #precise answ...
分类：
编程语言 时间：
2015-06-11 22:29:39
阅读次数：
145
机器学习算法中如何选取超参数：学习速率、正则项系数、minibatch size本文是《Neural networks and deep learning》概览中第三章的一部分，讲机器学习算法中，如何选取初始的超参数的值。（本文会不断补充）学习速率（learning rate，η）运用梯度下降算法进...
分类：
编程语言 时间：
2015-05-19 22:23:04
阅读次数：
167
首先定义几个符号：Xivector[X]：input dataYivector[Y]：output datah(X)hypothesis function对于输入的数据给出预测值Y is continous variation？regression problem（回归问题）Y is discret...
分类：
编程语言 时间：
2015-05-04 01:15:00
阅读次数：
270
Logistic回归的理论内容上篇文章已经讲述过，在求解参数时可以用牛顿迭代，可以发现这种方法貌似太复杂，今天我们介绍另一种方法，叫梯度下降。当然求最小值就是梯度下降，而求最大值相对就是梯度上升。由于，如果，那么得到现在我们要找一组，使得所有的最接近，设现在我们要找一组，使得最小。这就是今天要介绍的...
分类：
编程语言 时间：
2015-04-25 11:56:04
阅读次数：
253
此处仅给出代码实现，具体原理及过程请看前面的博文
注：本测试题本机测试通过，但不知为何在OJ上老是出现运行时错误提示，有大神看出问题请指教～～
测试文件输入格式如下：
2 10 0.01 10
2104 3 399900
1600 3 329900
2400 3 369000
1416 2 232000
3000 4 539900
1985 4 299900
1534 3 31490...
分类：
编程语言 时间：
2015-04-24 16:23:04
阅读次数：
150
上一章中我们简单介绍了机器学习的大概情况，今天我们开始循序渐进地学习机器学习中相关的算法。在接触经典算法之前，我们先来了解下“梯度下降”算法。一、算法背景
作为一个算法演示的背景，我们还是采用上一章中提到的房屋价格和房屋大小的关系问题，不同大小的房屋对应不同..
分类：
编程语言 时间：
2015-04-15 15:04:33
阅读次数：
133
本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习算法中，如何选取初始的超参数的值。（本文会不断补充）学习速率（learning rate，η）运用梯度下降算法进行优化时，权重的更新规则中，在梯度项前会乘以一个系数，这个系数就叫学习速率η。下面讨论在训练时选取η的策略。
固定的学习速率。如果学习速率太小，则会使收敛过慢，如果学习速率太大，则...
分类：
编程语言 时间：
2015-03-15 00:52:06
阅读次数：
1015
matlab可以用-Conjugate gradient-BFGS-L-BFGS等优化后的梯度方法来求解优化问题。当feature过多时，最小二乘计算复杂度过高（O(n**3)），此时这一些列优化版梯度下降算法就成为了解优化问题的更优选择。它们的优点为：不需要像对原始梯度下降那样手动选择学习速率α一...
分类：
其他好文 时间：
2014-11-14 22:45:17
阅读次数：
785
Logistic回归的理论内容上篇文章已经讲述过，在求解参数时可以用牛顿迭代，可以发现这种方法貌似太复杂，今天我们介绍另一种方法，叫梯度下降。当然求最小值就是梯度下降，而求最大值相对就是梯度上升。由于，如果，那么得到现在我们要找一组，使得所有的最接近，设现在我们要找一组，使得最小。这就是今天要介绍的...
分类：
编程语言 时间：
2014-10-15 22:52:11
阅读次数：
960
