梯度下降是最优化最基本的方法之一，在优化代价函数的时常常需要求函数的最小值，一种直接的方法是求函数在在定义域范围内的极值。但有些函数的极值点并不能简单解出来，这就需要一个逼近的方法，就是梯度法。函数f在某个点处的梯度方法就是函数上升最快的方向。当求f的最小值时，在逼近最小值的过程中就需要参数沿着梯度...
分类：
其他好文 时间：
2014-09-18 23:27:44
阅读次数：
263
利用了快一周时间浏览到了java界面编程以及algorithm算法分析今日的topcoder习题没有做出来，总结是想的太多，太复杂，总想最优解。软件的第一要务是做出来，然后才是效率问题。需要谨记。遇见算法问题，第一步想法拆分，第二步直接去解或联系之前做过的题目。第三步统筹规划得出答案。大量读书必须总...
分类：
其他好文 时间：
2014-09-18 05:24:03
阅读次数：
232
问题：如何在无限大的数据流中随机选取K个数据，保证当前遍历过的i个元素中每一个元素被选中的概率均为 k/i？从而对于n个元素，每个元素被选中的概率均为 k/n。
解：对于前k个元素，我们直接选中放入一个虚拟的蓄水池中，对于第 k+1 个元素，我们用 k/(k+1) 的概率选中它，一旦选中了，就随机替换掉蓄水池中的某一个元素，这样前 k 个被选中的元素在第 k+1 个元素到来时依然被选中的概率即为...
分类：
其他好文 时间：
2014-09-17 23:25:42
阅读次数：
392
AVL树是最先发明的自平衡二叉查找树, 其增删查时间复杂度都是 O(logn), 是一种相当高效的数据结构。当面对需要频繁查找又经常增删这种情景时，AVL树就非常的适用。
对比红黑树：
红黑树对于数值随机插入性能更好，这种场景实际更常见，故应用更广泛；
AVL 树对于顺序数据插入更有优势；
红黑树部分平衡，降低了旋转的要求；
AVL 树高度平衡，查询操作更具优势；
AVL 树代码更为简单易实现；...
分类：
其他好文 时间：
2014-09-14 20:45:47
阅读次数：
242
K近邻很简单。简而言之，对于未知类的样本，按照某种计算距离找出它在训练集中的k个最近邻，如果k个近邻中多数样本属于哪个类别，就将它判决为那一个类别。由于采用k投票机制，所以能够减小噪声的影响。由于KNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较...
分类：
其他好文 时间：
2014-09-13 20:04:05
阅读次数：
241
“归并”的含义是将两个或两个以上的有序表组合成一个新的有序表。无论是顺序存储还是链表存储结构，都可在O(m+n)的时间量级上实现。
归并排序又是一类不同的排序方法。假设初始序列含有n个记录，则可看成是n个有序的子序列，每个子序列的长度为1，然后两两归并，得到n/2个为2或1的有序子序列；再两两归并，....... ，如此重复，直至得到一个长度为n的有序序列为止。
初始关...
分类：
其他好文 时间：
2014-09-13 09:23:54
阅读次数：
185
选择排序：每一趟在n-i+1(i=1,2,...,n-1)个记录中选取关键字最小的记录作为有序序列中第i个记录。
一、简单选择排序
一趟选择排序操作：
通过n-i次关键字间的比较，从n-i+1个记录中选出关键字最小的记录，并和第i(1
对L[1...n]中记录进行简单选择排序的算法为：令i从1至...
分类：
其他好文 时间：
2014-09-12 07:48:23
阅读次数：
155
选择排序：每一趟在n-i+1(i=1,2,...,n-1)个记录中选取关键字最小的记录作为有序序列中第i个记录。
一、简单选择排序
一趟选择排序操作：
通过n-i次关键字间的比较，从n-i+1个记录中选出关键字最小的记录，并和第i(1
对L[1...n]中记录进行简单选择排序的算法为：令i从1至n-1，进行n-1趟选择操作...
分类：
其他好文 时间：
2014-09-11 20:59:22
阅读次数：
127
快速排序：快速排序是对冒泡排序的一种改进。它的基本思想是，通过一趟排序将待排记录分割成独立的两部分，其中一部分记录的关键字均比另一部分记录的关键字小，则可分别对这两部分记录继续进行排序，以达到整个序列有序。
一趟快速排序的具体做法：
1、附设两个指针low和high，它们的初值分别为low和high，设枢轴记录的关键字为pivotkey。
2、首先从high所指位置起向前搜索找到第一...
分类：
其他好文 时间：
2014-09-11 09:39:51
阅读次数：
216
冒泡排序（Bubble Sort，台湾译为：泡沫排序或气泡排序）是一种简单的排序算法。 它反复地走訪过要排序的数列，一次比較两个元素，假设他们的顺序错误就把他们交换过来。走訪数列的工作是反复地进行直到没有再须要交换，也就是说该数列已经排序完毕。这个算法的名字由来是由于越小的元素会经由交换慢慢“浮”....
分类：
其他好文 时间：
2014-09-10 13:54:30
阅读次数：
217
