为什么需要Kylin？ Hadoop帮助我们解决了海量数据的存储。 早期使用Hadoop的MapReduce计算模型，太慢了，只能做离线计算，无法做实时计算与迭代式计算。 Spark应运而生，并带动了Scala语言的发展，Spark的MapReduce计算模型比Hadoop的MapReduce计算模 ...
分类：
其他好文 时间：
2019-08-23 19:19:15
阅读次数：
115
MapReduce主要用于面向大规模数据集的并行计算，需要重点了解MapReduce的并行编程模型和运行机制。MapReduce计算模型主要由三个阶段构成：Map、shuffle、Reduce。Map和Reduce操作需要我们自己定义相应Map类和Reduce类。而shuffle则是系统自动帮我们实... ...
分类：
其他好文 时间：
2019-07-10 10:41:13
阅读次数：
134
聚类算法中最简单高效的。 利用邻近的信息来标注样本的类别。 重点：初始k个质心，重复迭代直到收敛。 欧式空间的样本，使用平方误差和作为目标函数。 1、优点 快，简单，效果还可以，适合高维 2、缺点 受初始质心的影响，k的选取也很关键 3、距离度量 曼哈顿，欧氏距离 4、k的选取 手肘：k越来越接近真 ...
分类：
其他好文 时间：
2019-07-07 12:45:04
阅读次数：
64
1.Spark概述 Spark 是一个用来实现快速而通用的集群计算的平台。 在速度方面， Spark 扩展了广泛使用的 MapReduce 计算模型，而且高效地支持更多计算模式，包括交互式查询和流处理。 在处理大规模数据集时，速度是非常重要的。速度快就意味着我们可以进行交互式的数据操作， 否则我们每 ...
分类：
其他好文 时间：
2019-07-01 10:25:19
阅读次数：
138
Hadoop简介 Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括ZooKeeper，Pig，Chukwa，Hive，Hbase，Mahout，flume等. ...
分类：
其他好文 时间：
2019-06-30 16:00:41
阅读次数：
116
讨论QQ：1586558083 目录 一、引言 二、图存储模式 2.1 边分割（Edge-Cut） 2.2 点分割（Vertex-Cut） 2.3 对比 三、图计算模式 3.1 超步 3.2 Pregel模型——像顶点一样思考 3.3 GAS模型——邻居更新模型 正文 回到顶部 一、引言 在了解Gr ...
分类：
其他好文 时间：
2019-06-11 13:16:04
阅读次数：
120
https://help.aliyun.com/product/27797.htmlmaxCompute(大数据计算服务，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全MaxCompute主要服务于批量结构化数据的存储和计算，可以
分类：
其他好文 时间：
2019-05-29 16:19:25
阅读次数：
169
一、Spark是什么？ 快速且通用的集群计算平台 二、Spark的特点： 1. 快速：Spark扩充流行的Mapreduce计算模型，是基于内存的计算 2. 通用：Spark的设计容纳了其它分布式系统拥有的功能，批处理、迭代式计算、交互查询和流处理等，降低了维护成本 3. 高度开放：Spark提供P ...
分类：
其他好文 时间：
2019-05-09 21:33:25
阅读次数：
135
关于三维模型搜索引擎项目相关度排序算法是怎么做的: 以文字搜模型: 基于Lucene文本搜索引擎，查找最匹配的； 以图片搜模型: 计算图片特征，对图片特征计算HashCode, 搜索的时候匹配HashCode; 以模型搜模型： 计算模型的特征得到n维特征矩阵， 对特征矩阵计算HashCode, 搜索 ...
分类：
其他好文 时间：
2019-03-20 01:05:11
阅读次数：
240
