在机器学习中，经常要用到距离和相似性的计算公式，我么要常计算个体之间的差异大小，继而评价个人之间的差异性和相似性，最常见的就是数据分析中的相关分析，数据挖掘中的分类和聚类算法。如利用k-means进行聚类时，判断个体所属的类别，要利用距离计算公式计算个体到簇心的距离，如利用KNN进行分类时，计算个体 ...
分类：
编程语言 时间：
2017-07-17 22:03:18
阅读次数：
558
K-means是一种聚类算法： 这里运用k-means进行31个城市的分类 城市的数据保存在city.txt文件中，内容如下： BJ,2959.19,730.79,749.41,513.34,467.87,1141.82,478.42,457.64TianJin,2459.77,495.47,697 ...
分类：
编程语言 时间：
2017-07-16 18:29:23
阅读次数：
193
我接触过的大数据有： 1.美国棱镜计划 2.前几天新闻报道的，苹果公司窃取用户隐私 3.百度的用户搜素习惯统计分析 4.淘宝的用户购物习惯分析，智能推荐宝贝 5.浏览器的智能标签页 ... 最想了解的大数据架构与算法： 1.著名的Google 网页排名算法：PageRank 2.著名的聚类算法：K- ...
分类：
其他好文 时间：
2017-07-05 19:54:03
阅读次数：
114
在从事电商做频道运营时，每到关键时间节点，大促前，季度末等等，我们要做的一件事情就是品牌池打分，更新所有店铺的等级。例如，所以的商户分入SKA,KA,普通店铺,新店铺这4个级别，对于不同级别的商户，会给予不同程度的流量扶持或广告策略。通常来讲，在一定时间段内，评估的维度可以有：UV，收订金额，好评率 ...
分类：
编程语言 时间：
2017-07-05 18:04:06
阅读次数：
369
Mahout 模糊KMeans 一、算法流程 模糊 C 均值聚类(FCM),即众所周知的模糊 ISODATA,是用隶属度确定每一个数据点属于某个聚类的程度的一种聚类算法。1973 年,Bezdek 提出了该算法,作为早期硬 C 均值聚类(HCM)方法的一种改进。 FCM 把 n 个向量 xi(i=1 ...
分类：
其他好文 时间：
2017-07-02 19:03:13
阅读次数：
199
一、算法思想： DBSCAN(Density-Based Spatial Clustering of Applications with Noise)是一个比较有代表性的基于密度的聚类算法。与划分和层次聚类方法不同，它将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在噪声的 ...
分类：
数据库 时间：
2017-06-20 11:36:44
阅读次数：
236
EM的算法流程： 初始化分布参数θ； 重复以下步骤直到收敛： E步骤：根据参数初始值或上一次迭代的模型参数来计算出隐性变量的后验概率，其实就是隐性变量的期望。作为隐藏变量的现估计值： M步骤：将似然函数最大化以获得新的参数值： 这个不断的迭代，就可以得到使似然函数L(θ)最大化的参数θ了。那就得回答 ...
分类：
编程语言 时间：
2017-06-19 23:23:23
阅读次数：
320
初始目的 将样本分成K个类，其实说白了就是求一个样本例的隐含类别y，然后利用隐含类别将x归类。由于我们事先不知道类别y，那么我们首先可以对每个样例假定一个y吧，但是怎么知道假定的对不对呢？怎样评价假定的好不好呢？ 我们使用样本的极大似然估计来度量，这里就是x和y的联合分布P（x,y）了。如果找到的y ...
分类：
编程语言 时间：
2017-06-19 22:15:35
阅读次数：
239
有监督的分类算法的评价指标通常是accuracy, precision, recall, etc；由于聚类算法是无监督的学习算法，评价指标则没有那么简单了。因为聚类算法得到的类别实际上不能说明任何问题，除非这些类别的分布和样本的真实类别分布相似，或者聚类的结果满足某种假设，即同一类别中样本间的相似性 ...
分类：
其他好文 时间：
2017-06-19 19:48:19
阅读次数：
456
最近在学习论文的时候发现了在science上发表的关于新型的基于密度的聚类算法 Kmean算法有很多不足的地方，比如k值的确定，初始结点选择，而且还不能检测费球面类别的数据分布，对于第二个问题，提出了Kmean++，而其他不足还没有解决，dbscan虽然可以对任意形状分布的进行聚类，但是必须指定一个 ...
分类：
编程语言 时间：
2017-06-08 22:30:36
阅读次数：
307
