大数据由一系列技术组成，那他们之间的关系是怎么组成的ne，请看下图： hadoop主要做了文件存储系统和提供了一个相对比较弱的mr处理数据的方案 hive是在mr和文件存储系统上面做的升级。 sprak+hbase+hadoop主要解决的是hadoop实时处理数据比较弱的问题 ...
分类：
Web程序 时间：
2019-12-08 10:27:19
阅读次数：
116
9.3 关系的表示 关系的一般表示方法： 将所有关系列出； 用一个到{T, F}的映射 关系的特殊表示方法 用0 1矩阵(zero one matrix)来表示； 用有向图(directed graph)来表示 用邻接矩阵表示关系 称0 1矩阵MR为R的邻接矩阵, 定义如下： 1. 通过以下观察0 ...
分类：
其他好文 时间：
2019-11-15 18:53:40
阅读次数：
103
本文链接：https://blog.csdn.net/mr_hui_/article/details/86498509 我们编写一些接口函数的时候，经常需要给调用者返回json格式的数据，那么如何返回可直接解析的json格式的数据呢？ 首先先来第一种方式： 访问一下 text/html 通过访问结果 ...
分类：
Web程序 时间：
2019-11-13 11:14:08
阅读次数：
94
1、Partitioner 组件通过让 Map 对 Key 进行分区，从而将不同分区的 Key 交由不同的 Reduce 处理。Partition属于map端 2、分区的总数与任务的reduce任务数相同 partitioner定义： partitioner的作用是将mapper 输出的key/va ...
分类：
其他好文 时间：
2019-11-12 20:05:55
阅读次数：
96
列表 name = ['Lisa', 'Mike', 'Jone', 'Lucy'] name.sort() # 排序，根据对应的ASCII码值，可以排各种类型的字符 name.append('Ms Li') # 尾部附加 name.insert(3, 'Mr Wang') # 在目标位置附加 my ...
分类：
其他好文 时间：
2019-11-12 13:32:32
阅读次数：
115
print、import 使用逗号输出多个表达式 >>> name="Gumby" >>> salutation="Mr." >>> greeting="Hello," ##同时输出三个变量 >>> print greeting + salutation + name Hello,Mr.Gumby ...
分类：
其他好文 时间：
2019-11-10 13:52:55
阅读次数：
74
先求一下原图的最小生成树，把不在最小生成树里的边全部删掉。 Mr.Greedy 的边会替换掉若干最小生成树上的边。 一个暴力做法是，先 $2 ^ k$ 枚举哪些边一定在最小生成树中，把他们加入最小生成树。然后从小到达枚举原图上的边。如果能加入就直接加入，否则就会出现一个环，那么这个环上所有 Mr.G ...
样本数据 PassengerId,Survived,Pclass,Name,Sex,Age,SibSp,Parch,Ticket,Fare,Cabin,Embarked 1,0,3,"Braund, Mr. Owen Harris",male,22,1,0,A/5 21171,7.25,,S 2,1 ...
分类：
其他好文 时间：
2019-11-06 18:14:51
阅读次数：
83
Spark是用于大规模数据处理的快速通用的计算引擎。 相较MR快的原因：其任务中间结果存在内存中，在迭代运算中尤为明显，DAG的设置。 架构说明： Dirver：负责节点通讯，task分发，结果回收 Worker：资源管理的从节点 Master：资源调度的主节点 Dirver：负责节点通讯，task ...
分类：
其他好文 时间：
2019-11-01 10:00:23
阅读次数：
98
1、工作机制详述 （1）MR程序提交到客户端所在的节点。 （2）YarnRunner向ResourceManager申请一个Application。 （3）RM将该应用程序的资源路径返回给YarnRunner。 （4）该程序将运行所需资源提交到HDFS上。 （5）程序资源提交完毕后，申请运行mrAp ...
分类：
其他好文 时间：
2019-10-28 19:13:11
阅读次数：
86
