theta是个未知的常量，X是随机变量， MLE最大似然估计 MAE最大后验概率 统计机器学习，优化问题 1）建立模型、概率 2）定义损失函数 3）梯度下降/牛顿法求解 概率图模型 求积分（用蒙特卡洛方法取样） ...
分类：
其他好文 时间：
2019-01-15 16:59:51
阅读次数：
314
二项逻辑回归模型是如下的条件概率分布： 其中x∈是输入，y∈{0，1}是输出。 为了方便，将权值向量和输入向量进行扩充，此时w = ,x = ,回归模型表示如下： 参数w未知，采用统计学中的极大似然估计来由样本估计参数w。对于0-1分布x ~ B(1 , p)，x的概率密度函数可以表示为： 其中k ...
分类：
其他好文 时间：
2019-01-14 20:08:47
阅读次数：
191
2019年01月05日 15:48:32 IT界的小小小学生 阅读数：31 标签： xgb gbdt 梯度下降法 牛顿法 xgboost原理 更多 个人分类： data mining 深度学习 2019年01月05日 15:48:32 IT界的小小小学生 阅读数：31 标签： xgb gbdt 梯度 ...
分类：
其他好文 时间：
2019-01-06 18:13:57
阅读次数：
188
实现 int sqrt(int x) 函数。 计算并返回 x 的平方根，其中 x 是非负整数。 由于返回类型是整数，结果只保留整数的部分，小数部分将被舍去。 首先遇到这种题目肯定要想到使用内置得api来解答： 牛顿法：（以本题为例子） 计算平方根，其实就是计算 x^2 =n x^2 =n 的解 令f ...
分类：
其他好文 时间：
2018-12-05 00:08:19
阅读次数：
163
本文是LDA主题模型的第三篇，读这一篇之前建议先读文本主题模型之LDA(一) LDA基础，同时由于使用了EM算法，如果你对EM算法不熟悉，建议先熟悉EM算法的主要思想。LDA的变分推断EM算法求解，应用于Spark MLlib和Scikit-learn的LDA算法实现，因此值得好好理解。 1. 变分 ...
分类：
编程语言 时间：
2018-12-04 13:15:02
阅读次数：
186
简介 牛顿法又叫做牛顿-拉裴森（Newton-Raphson）方法，是一维求根方法中最著名的一种。其特点是在计算时需要同时计算函数值与其一阶导数值，从几何上解释，牛顿法是将当前点处的切线延长，使之与横轴相交，然后把交点处值作为下一估值点。 图1 从数学上解释，牛顿法可以从函数的泰勒展开得到。\(f( ...
分类：
编程语言 时间：
2018-10-31 00:03:41
阅读次数：
185
1. 前言 今天我们介绍机器学习里面大名鼎鼎的逻辑回归。不要看他的名字里面有“回归”，但是它其实是个分类算法。它取名逻辑回归主要是因为是从线性回归转变而来的。 2.逻辑回归原理 2.1 逻辑回归的由来 不知道读者还记不记得在线性回归中有一节 "广义线性回归" 介绍了在$Y=Xθ$的基础上对$Y$进行 ...
分类：
其他好文 时间：
2018-10-19 02:11:58
阅读次数：
195
sqrt函数的实现主要有三种方式： 1. 二分法 2. 牛顿法 3. 卡马克方法 这里主要介绍高效的卡马克方法。卡马克方法起源于《雷神之锤III竞技场》中使用的平方根倒数速算法，下列代码是平方根倒数速算法在《雷神之锤III竞技场》源代码中的应用实例。示例剥离了C语言预处理器的指令，但附上了原有的注释 ...
分类：
其他好文 时间：
2018-09-15 01:18:37
阅读次数：
176
```C++ double sqrt_bin(double n){ if(n 0.000001){ if(mid*mid 0.0000001){ x1 = 0.5 * (x0 + n / x0); x0 = x1; } return x0; } ``` ...
分类：
其他好文 时间：
2018-09-04 00:17:14
阅读次数：
224
