四十一、请简要说说EM算法

有时候因为样本的产生和隐含变量有关（隐含变量是不能观察的），而求模型的参数时一般采用最大似然估计，由于含有了隐含变量，所以对似然函数参数求导是求不出来的，这时可以采用EM算法来求模型的参数的（对应模型参数个数可能有多个），EM算法一般分为2步： 　　E步：选取一组参数，求出在该参数下隐含变量的条件概率值； 　　M步：结合E步求出的隐含变量条件概率，求出似然函数下界函数（本质上是某个期望函数）的最大值。 　　重复上面2步直至收敛。作者：史兴

链接：https://www.zhihu.com/question/27976634/answer/39132183

理论：

简版：猜（E-step）,反思（M-step）,重复；

啰嗦版：

你知道一些东西（观察的到的数据）， 你不知道一些东西（观察不到的），你很好奇，想知道点那些不了解的东西。怎么办呢，你就根据一些假设（parameter）先猜（E-step），把那些不知道的东西都猜出来，假装你全都知道了; 然后有了这些猜出来的数据，你反思一下，更新一下你的假设（parameter）, 让你观察到的数据更加可能(Maximize likelihood; M-stemp); 然后再猜，在反思，最后，你就得到了一个可以解释整个数据的假设了。

1. 注意，你猜的时候，要尽可能的猜遍所有情况，然后求期望（Expected）；就是你不能仅仅猜一个个例，而是要猜出来整个宇宙；

2. 为什么要猜，因为反思的时候，知道全部的东西比较好。（就是P(X,Z)要比P(X)好优化一些。Z是hidden states）

3. 最后你得到什么了？你得到了一个可以解释数据的假设，可能有好多假设都能解释数据，可能别的假设更好。不过没关系，有总比没有强，知足吧。（你陷入到local minimum了）

====

实践：

背景：公司有很多领导=[A总，刘总，C总]，同时有很多漂亮的女职员=[小甲，小章，小乙]。（请勿对号入座）你迫切的怀疑这些老总跟这些女职员有问题。为了科学的验证你的猜想，你进行了细致的观察。于是，

观察数据：

1）A总，小甲，小乙一起出门了；

2）刘总，小甲，小章一起出门了；

3）刘总，小章，小乙一起出门了；

4）C总，小乙一起出门了；

收集到了数据，你开始了神秘的EM计算：

初始化，你觉得三个老总一样帅，一样有钱，三个美女一样漂亮，每个人都可能跟每个人有关系。所以，每个老总跟每个女职员“有问题”的概率都是1/3;

这样，（E step）借用我之前看到的一个例子来讲一下EM算法吧。

现在一个班里有50个男生，50个女生，且男生站左，女生站右。我们假定男生的身高服从正态分布

，女生的身高则服从另一个正态分布：

。这时候我们可以用极大似然法（MLE），分别通过这50个男生和50个女生的样本来估计这两个正态分布的参数。

但现在我们让情况复杂一点，就是这50个男生和50个女生混在一起了。我们拥有100个人的身高数据，却不知道这100个人每一个是男生还是女生。

这时候情况就有点尴尬，因为通常来说，我们只有知道了精确的男女身高的正态分布参数我们才能知道每一个人更有可能是男生还是女生。但从另一方面去考量，我们只有知道了每个人是男生还是女生才能尽可能准确地估计男女各自身高的正态分布的参数。

这个时候有人就想到我们必须从某一点开始，并用迭代的办法去解决这个问题：我们先设定男生身高和女生身高分布的几个参数（初始值），然后根据这些参数去判断每一个样本（人）是男生还是女生，之后根据标注后的样本再反过来重新估计参数。之后再多次重复这个过程，直至稳定。这个算法也就是EM算法。

作者：文兄

来源：https://www.zhihu.com/question/27976634/answer/154998358

1） A总跟小甲出去过了 1/2 * 1/3 = 1/6 次，跟小乙也出去了1/6次；（所谓的fractional count）

2）刘总跟小甲，小章也都出去了1/6次

3）刘总跟小乙，小章又出去了1/6次

4）C总跟小乙出去了1/3次

总计，A总跟小甲出去了1/6次，跟小乙也出去了1/6次 ; 刘总跟小甲，小乙出去了1/6次，跟小章出去了1/3次；C总跟小章出去了1/3次；

你开始跟新你的八卦了(M step),

A总跟小甲，小乙有问题的概率都是1/6 / (1/6 + 1/6) = 1/2；

刘总跟小甲，小乙有问题的概率是1/6 / (1/6+1/6+1/6+1/6) = 1/4; 跟小章有问题的概率是(1/6+1/6)/(1/6 * 4) = 1/2;

C总跟小乙有问题的概率是 1。

然后，你有开始根据最新的概率计算了；（E-step）

1）A总跟小甲出去了 1/2 * 1/2 = 1/4 次，跟小乙也出去 1/4 次；

2）刘总跟小甲出去了1/2 * 1/4 = 1/12 次， 跟小章出去了 1/2 * 1/2 = 1/4 次；

3）刘总跟小乙出去了1/2 * 1/4 = 1/12 次， 跟小章又出去了 1/2 * 1/2 = 1/4 次；

4）C总跟小乙出去了1次；

重新反思你的八卦（M-step）:

A总跟小甲，小乙有问题的概率都是1/4/ (1/4 + 1/4) = 1/2；

B总跟小甲，小乙是 1/12 / (1/12 + 1/4 + 1/4 + 1/12) = 1/8 ; 跟小章是 3/4 ;

C总跟小乙的概率是1。

你继续计算，反思，总之，最后，你得到了真相！（马总表示我早就知道真相了）

你知道了这些老总的真相，可以开始学习机器翻译了。

四十二、密度聚类

来源：https://www.cnblogs.com/pinard/p/6208966.html

DBSCAN的聚类定义很简单：由密度可达关系导出的最大密度相连的样本集合，即为我们最终聚类的一个类别，或者说一个簇。

这个DBSCAN的簇里面可以有一个或者多个核心对象。如果只有一个核心对象，则簇里其他的非核心对象样本都在这个核心对象的?-邻域里；如果有多个核心对象，则簇里的任意一个核心对象的?-邻域中一定有一个其他的核心对象，否则这两个核心对象无法密度可达。这些核心对象的?-邻域里所有的样本的集合组成的一个DBSCAN聚类簇。

那么怎么才能找到这样的簇样本集合呢？DBSCAN使用的方法很简单，它任意选择一个没有类别的核心对象作为种子，然后找到所有这个核心对象能够密度可达的样本集合，即为一个聚类簇。接着继续选择另一个没有类别的核心对象去寻找密度可达的样本集合，这样就得到另一个聚类簇。一直运行到所有核心对象都有类别为止。

四十三、决策树计算样例

注意信息增益率的计算：https://www.cnblogs.com/hermione1985/p/6750209.html

四十四、聚类数量的确定

https://blog.csdn.net/qq_15738501/article/details/79036255

确定聚类数k的方法有以下两类。

1.手肘法

1.1 理论

手肘法的核心指标是SSE(sum of the squared errors，误差平方和)，

其中，Ci是第i个簇，p是Ci中的样本点，mi是Ci的质心（Ci中所有样本的均值），SSE是所有样本的聚类误差，代表了聚类效果的好坏。

       手肘法的核心思想是：随着聚类数k的增大，样本划分会更加精细，每个簇的聚合程度会逐渐提高，那么误差平方和SSE自然会逐渐变小。并且，当k小于真实聚类数时，由于k的增大会大幅增加每个簇的聚合程度，故SSE的下降幅度会很大，而当k到达真实聚类数时，再增加k所得到的聚合程度回报会迅速变小，所以SSE的下降幅度会骤减，然后随着k值的继续增大而趋于平缓，也就是说SSE和k的关系图是一个手肘的形状，而这个肘部对应的k值就是数据的真实聚类数。当然，这也是该方法被称为手肘法的原因。

1.2 实践

我们对预处理后数据.csv 中的数据利用手肘法选取最佳聚类数k。具体做法是让k从1开始取值直到取到你认为合适的上限(一般来说这个上限不会太大，这里我们选取上限为8)，对每一个k值进行聚类并且记下对于的SSE，然后画出k和SSE的关系图（毫无疑问是手肘形），最后选取肘部对应的k作为我们的最佳聚类数。python实现如下：

[python] view plain copy

1. import pandas as pd  
2. from sklearn.cluster import KMeans  
3. import matplotlib.pyplot as plt  
4.   
5. df_features = pd.read_csv(r‘C:\预处理后数据.csv‘,encoding=‘gbk‘) # 读入数据  
6. ‘利用SSE选择k‘  
7. SSE = []  # 存放每次结果的误差平方和  
8. for k in range(1,9):  
9.     estimator = KMeans(n_clusters=k)  # 构造聚类器  
10.     estimator.fit(df_features[[‘R‘,‘F‘,‘M‘]])  
11.     SSE.append(estimator.inertia_)  
12. X = range(1,9)  
13. plt.xlabel(‘k‘)  
14. plt.ylabel(‘SSE‘)  
15. plt.plot(X,SSE,‘o-‘)  
16. plt.show()  

画出的k与SSE的关系图如下：

显然，肘部对于的k值为4，故对于这个数据集的聚类而言，最佳聚类数应该选4

2. 轮廓系数法

2.1 理论

该方法的核心指标是轮廓系数（Silhouette Coefficient），某个样本点Xi的轮廓系数定义如下：

其中，a是Xi与同簇的其他样本的平均距离，称为凝聚度，b是Xi与最近簇中所有样本的平均距离，称为分离度。而最近簇的定义是

其中p是某个簇Ck中的样本。事实上，简单点讲，就是用Xi到某个簇所有样本平均距离作为衡量该点到该簇的距离后，选择离Xi最近的一个簇作为最近簇。

       求出所有样本的轮廓系数后再求平均值就得到了平均轮廓系数。平均轮廓系数的取值范围为[-1,1]，且簇内样本的距离越近，簇间样本距离越远，平均轮廓系数越大，聚类效果越好。那么，很自然地，平均轮廓系数最大的k便是最佳聚类数。

2.2 实践

我们同样使用2.1中的数据集，同样考虑k等于1到8的情况，对于每个k值进行聚类并且求出相应的轮廓系数，然后做出k和轮廓系数的关系图，选取轮廓系数取值最大的k作为我们最佳聚类系数，python实现如下：

[python] view plain copy

1. import pandas as pd  
2. from sklearn.cluster import KMeans  
3. from sklearn.metrics import silhouette_score  
4. import matplotlib.pyplot as plt  
5.   
6. df_features = pd.read_csv(r‘C:\Users\61087\Desktop\项目\爬虫数据\预处理后数据.csv‘,encoding=‘gbk‘)  
7. Scores = []  # 存放轮廓系数  
8. for k in range(2,9):  
9.     estimator = KMeans(n_clusters=k)  # 构造聚类器  
10.     estimator.fit(df_features[[‘R‘,‘F‘,‘M‘]])  
11.     Scores.append(silhouette_score(df_features[[‘R‘,‘F‘,‘M‘]],estimator.labels_,metric=‘euclidean‘))  
12. X = range(2,9)  
13. plt.xlabel(‘k‘)  
14. plt.ylabel(‘轮廓系数‘)  
15. plt.plot(X,Scores,‘o-‘)  
16. plt.show()  

得到聚类数k与轮廓系数的关系图：

可以看到，轮廓系数最大的k值是2，这表示我们的最佳聚类数为2。但是，值得注意的是，从k和SSE的手肘图可以看出，当k取2时，SSE还非常大，所以这是一个不太合理的聚类数，我们退而求其次，考虑轮廓系数第二大的k值4，这时候SSE已经处于一个较低的水平，因此最佳聚类系数应该取4而不是2。

       但是，讲道理，k=2时轮廓系数最大，聚类效果应该非常好，那为什么SSE会这么大呢？在我看来，原因在于轮廓系数考虑了分离度b，也就是样本与最近簇中所有样本的平均距离。为什么这么说，因为从定义上看，轮廓系数大，不一定是凝聚度a（样本与同簇的其他样本的平均距离）小，而可能是b和a都很大的情况下b相对a大得多，这么一来，a是有可能取得比较大的。a一大，样本与同簇的其他样本的平均距离就大，簇的紧凑程度就弱，那么簇内样本离质心的距离也大，从而导致SSE较大。所以，虽然轮廓系数引入了分离度b而限制了聚类划分的程度，但是同样会引来最优结果的SSE比较大的问题，这一点也是值得注意的。

总结

从以上两个例子可以看出，轮廓系数法确定出的最优k值不一定是最优的，有时候还需要根据SSE去辅助选取，这样一来相对手肘法就显得有点累赘。因此，如果没有特殊情况的话，我还是建议首先考虑用手肘法。

四十五、解决lr非线性问题

1. 分箱+one-hot+交叉相乘

2. 特征项加平方

3. gbdt+lr

四十六、集成决策树与神经网络

四十七、更多聚类算法

http://blog.chinaunix.net/uid-10289334-id-3758310.html

基于划分聚类算法（partition clustering)

基于层次聚类算法：

基于密度聚类算法：

基于网格的聚类算法：

基于神经网络的聚类算法：

基于统计学的聚类算法：

---------------------------------------------------------

几种常用的聚类算法从可伸缩性、适合的数据类型、高维性（处理高维数据的能力）、异常数据的抗干扰度、聚类形状和算法效率6个方面进行了综合性能评价，评价结果如表1所示：

四十八、负采样

负采样

训练一个神经网络意味着使用一个训练样本就要稍微调整一下所有的神经网络权重，这样才能够确保预测训练样本更加精确。换句话说，每个训练样本都会改变神经网络中的权重。

正如我们上面讨论的，单词表的大小意味着我们的skip-gram神经网络拥有非常庞大的权重数，所有权重都会被十亿个样本中的一个稍微地进行更新！

负采样通过使每一个训练样本仅仅改变一小部分的权重而不是所有权重，从而解决这个问题。下面介绍它是如何进行工作的。

当通过（”fox”, “quick”)词对来训练神经网络时，我们回想起这个神经网络的“标签”或者是“正确的输出”是一个one-hot向量。也就是说，对于神经网络中对应于”quick”这个单词的神经元对应为1，而其他上千个的输出神经元则对应为0。

使用负采样，我们通过随机选择一个较少数目（比如说5个）的“负”样本来更新对应的权重。(在这个条件下，“负”单词就是我们希望神经网络输出为0的神经元对应的单词）。并且我们仍然为我们的“正”单词更新对应的权重（也就是当前样本下”quick”对应的神经元）。

论文说选择5~20个单词对于较小的样本比较合适，而对于大样本，我们可以悬着2~5个单词。

回想一下，我们模型的输出层有大约300 x 10,000维度的权重矩阵。所以我们只需要更新正确的输出单词”quick”的权重，加上额外的5个其他应该输出为0的单词的权重。也就是总共6个输出神经元，和总共1800个的权重值。这些总共仅仅是输出层中3百万个权重中的0.06%。

在隐藏层中，只更新了输入单词对应的权重（不论你是否使用了复采样）。

选择负采样样本

“复采样样本”（也就是我们需要训练的五个输出为0单词）使用“一元分部”(“unigram distribution”)来进行选取。

从本质上来说，选择一个单词来作为负样本的概率取决于它出现频率，对于更经常出现的单词，我们将更倾向于选择它为负样本。

在使用C语言实现的词转向量(word2vec)中，你可以看到这个概率公式。每个单词都被给予一个等于它频率的权重（单词出现的数目）的3/4次方。选择某个单词的概率就是它的权重除以所有单词权重之和。

使用频率的3/4次方显然是根据经验来的；在他们的文章中，他们说到这个公式比其他函数的表现更为优秀。你可以通过在谷歌中输入: plot y = x^(3/4) and y = x并且调整焦距为x = [0, 1]范围。当我们增加数值一点点的时候它的图像有一点小弯曲。

使用C语言来实现这个样本选择的实现很有意思。他们有一个1亿元素大小的数组（每一个都相当于一个一元模型的表格）。表格中通过索引来多次记录每一个在单词表中出现的单词，在这里单词指标大小通过 P(wi) * table_size 来表达。其次，为了切实选择一个负样本，你仅仅只需要创造一个0到1亿的随机整数样本，并且使用这个数字在表格中索引的单词。由于更高概率的单词在表格中出现的次数会更多，所以你将更倾向于选择到它们。

四十九、防止过拟合的方法

1. 正则l1l2

2. dropout（或者subsample）

3. 特征选择、特征降维

4. 增加数据

5. 早停

6. 调参（剪枝、增加分类平面等）

7. ensemble

五十、sigmoid的导数