概述在许多实际应用中，需要对许多数据点进行分组，划分成一个个簇（cluster），并计算出每一个簇的中心。这就是著名的k-means算法。k-means算法的输入是N个d维数据点：x_1, …, x_N，以及需要划分的簇的数目k。算法运行的结果是每个簇的中心点m_1, …, m_k，也可以输出每个簇中有哪些数据点。算法先通过随机，或启发式搜索，确定初始的中心点位置。再通过如下两个步骤的交替，进行数据...
分类：
编程语言 时间：
2016-05-27 12:02:52
阅读次数：
242
《浪潮之巅》读书笔记 本书通过介绍AT&T、IBM、微软、苹果、google等IT公司的发展历史，揭示科技工业的胜败规律，说明这些公司是如何在每一次科技革命浪潮到来时站在浪尖，实现跨越式发展的。 没有看到《浪潮之巅》前，对硅谷的只有一些很大众化、缥缈遥远、高科技聚集点之类的传说。读过书中详细的硅谷生 ...
分类：
其他好文 时间：
2016-05-21 14:22:08
阅读次数：
143
1、Task运行过程概述
在MapReduce计算框架中，一个应用程序被划分成Map和Reduce两个计算阶段，它们分别由一个或者多个Map Task和Reduce Task组成。其中，每个Map Task处理输入数据集合中的一片数据（InputSplit），并将产生的若干个数据片段写到本地磁盘上，而Reduce Task则从每个Map Task上远程拷贝相应的数据片段，经分组聚集和归约后，将结果...
分类：
其他好文 时间：
2016-05-18 19:21:14
阅读次数：
233
聚类与分类聚类(clustering)是指根据“物以类聚”的原理，将本身没有类别的样本聚集成不同的组，这样的一组数据对象的集合叫做簇，并且对每一个这样的簇进行描述的过程。
在分类（ classification ）中，对于目标数据库中存在哪些类是知道的，要做的就是将每一条记录分别属于哪一类标记出来。
聚类分析也称无监督学习， 因为和分类学习相比，聚类的样本没有标记，需要由聚类学习算法来自动确定。...
分类：
其他好文 时间：
2016-05-18 19:18:17
阅读次数：
291
Kaggle 是目前最大的
Data Scientist 聚集地。很多公司会拿出自家的数据并提供奖金，在 Kaggle 上组织数据竞赛。我最近完成了第一次比赛，在 2125 个参赛队伍中排名第 98 位（~ 5%）。因为是第一次参赛，所以对这个成绩我已经很满意了。在 Kaggle 上一次比赛的结果除了排名以外，还会显示的就是 Prize Winner，10% 或是 25% 这三档。所以刚刚接触...
分类：
其他好文 时间：
2016-05-18 19:17:28
阅读次数：
272
架构：数据收集：spark stareming从Azure Queue收集数据，通过自定义的spark stareming receiver，源源不断的消费流式数据。
数据处理: spark stareming分析用户行为日志数据，通过实时的聚集，统计报表现有的应用的运营信息，，也可以通过离线的训练模型，对实现数据进行预测和标注。
结果输出：hdfs
数据收集用到了这个东西，miner是个j...
分类：
其他好文 时间：
2016-05-18 18:47:30
阅读次数：
222
【0】README
0.1）本文部分文字描述转自“MySQL 必知必会”，旨在review
“MySQL创建字段+数据处理函数+汇总数据（聚集函数）+分组数据” 的基础知识；
【1】创建计算字段
1）problem+solution
1.1）problem：存储在表中的数据都不是应用程序所需要的。我们需要直接从数据库中检索出转换，计算或格式化过的数据；
1.2）solu...
分类：
数据库 时间：
2016-05-18 18:34:41
阅读次数：
291
SQL索引在数据库优化中占有一个非常大的比例， 一个好的索引的设计，可以让你的效率提高几十甚至几百倍，在这里将带你一步步揭开他的神秘面纱。 1.1 什么是索引？ SQL索引有两种，聚集索引和非聚集索引，索引主要目的是提高了SQL Server系统的性能，加快数据的查询速度与减少系统的响应时间 下面举 ...
分类：
数据库 时间：
2016-05-18 14:13:56
阅读次数：
265
选自《JAVA语言程序设计-基础篇（原书第8版）》 定义：一个对象可以包含另一个对象。这两个对象之间的关系称为组合（composition）。 组合实际上是聚集关系的一种特殊形式。聚集模拟了具有（has-a）关系，表示两个对象之间的归属关系。归属关系中的所有者对象称为聚集对象（aggregation ...
分类：
编程语言 时间：
2016-05-16 12:54:36
阅读次数：
203
1..如何设计数据库 答：存储信息的大小，每次扩容的大小，冗余 2.SQL Server的两种索引是何形式？索引的作用？索引的优缺点？ 答：集聚索引，非聚集索引。提高查询速度。但是会过多的占用磁盘空间。 6.触发器的作用 答：保证数据库操作变更能接到通知 3.SQL server事务处理机制 答：在 ...
分类：
数据库 时间：
2016-05-15 02:26:47
阅读次数：
202
