简介 前面介绍的线性回归，SVM等模型都是基于数据有标签的监督学习方法，本文介绍的聚类方法是属于无标签的无监督学习方法。其他常见的无监督学习还有密度估计，异常检测等。 聚类就是对大量未知标注的数据集，按照数据的内在相似性将数据集划分为多个类别（在聚类算法中称为簇），使类别内的数据相似度高，二类别间的 ...
分类：
其他好文 时间：
2018-10-20 16:15:10
阅读次数：
140
一个非常常见的问题就是遇到的数据是多维度数据，维度过高会导致模型极度的复杂，折衷的法案就是降维，然后再Q聚类、分类、回归。降维强调在不损失准确性的前提下来降低维度（选出最优特征） PCA是最常见降维算法，它寻找线性不相关的特征子集（主要因子），另外还有LDA（Linear Discriminant ...
分类：
其他好文 时间：
2018-10-19 16:07:30
阅读次数：
296
聚类是机器学习中一种方法，常用用于处理数据分组的问题。给定一组数据，利用聚类算法将每一个数据点分批到一个特定的组。这就要求 对于同一组的数据点，应该具有相同的性质（特征）；对于不同组的数据点，在性质（特征）上应该有显著的区别 。聚类算法数据无监督学习（unsupervised learning），常 ...
分类：
编程语言 时间：
2018-10-19 13:57:22
阅读次数：
227
文章提出了一种分布式聚类的算法,这是第一个有理论保障的考虑离群点的分布式聚类算法(文章里自己说的).与之前的算法对比有以下四个优点: 1.耗时短O(max{k,logn}*n), 2.传递信息规模小:对抗分区O(klogn+t),随机分区O(klogn+t/s) 3.算法有良好的近似保证, 4.能够 ...
分类：
其他好文 时间：
2018-10-17 12:19:30
阅读次数：
220
很多人都在谈论数据的指数增长，我们很快就会得到比我们知道要做的更多的数据。然而，没有那么多人在谈论数据库这方面-但他们应该！随着数据的增长，数据库需要能够跟上。这就是为什么不仅要了解如何分析不断增长的数据量，还要了解如何拥有能够处理数据的数据库，这一点变得越来越重要。这就是为什么Dzone编辑团队聚 ...
分类：
数据库 时间：
2018-10-16 17:46:02
阅读次数：
205
前段时间需要对一些客服对话记录做聚类分析，于是抽时间测试了一下常见聚类算法的效果。之前了解过的聚类算法大多在sklearn中都有现成的实现可以直接用，不过optics算法倒没找到，于是就看着论文做了个简易版的。下面是算法源码，关于原理请参考原始论文： C. Ding, X. He, and H. D ...
分类：
编程语言 时间：
2018-10-15 23:22:31
阅读次数：
635
原理 给定样本集，k-means算法得到聚类，使得下面平方误差最小 其中表示聚类的中心点。 实现 上式最小化是一个NP难问题，实际上采用EM算法可以求得近似解。算法伪代码如下 输入：，聚类数量k 从D中随机选择k个样本点作为k个聚类的中心repeat 循环所有样本点，把样本点划分到最近的聚类中：ar ...
分类：
编程语言 时间：
2018-10-14 01:54:12
阅读次数：
175
一. 引子——高维空间与西瓜 这学期选课有一门“网络数据挖掘”，原来特别担心与本学期选的一门“模式识别与数据挖掘”在一定程度上相重复，不过还好，这个老师讲课不是照本宣科，讲得更多的是个人的理解还有从业经验。 今天讲得挺有意思的一点是，在讲到聚类的时候，老师有些嗤之以鼻，说在高维空间内，聚类算法可能并 ...
分类：
其他好文 时间：
2018-10-12 23:55:52
阅读次数：
224
基本概念：（Density-Based Spatial Clustering of Applications with Noise）基于密度的噪声应用空间聚类 核心对象：若某个点的密度达到算法设定的阈值则其为核心点。（即r 邻域内点的数量不小于minPoints） ?-邻域的距离阈值：设定的半径r ...
分类：
数据库 时间：
2018-10-11 15:47:01
阅读次数：
336
