1、Partitioner 组件通过让 Map 对 Key 进行分区，从而将不同分区的 Key 交由不同的 Reduce 处理。Partition属于map端 2、分区的总数与任务的reduce任务数相同 partitioner定义： partitioner的作用是将mapper 输出的key/va ...
分类：
其他好文 时间：
2019-11-12 20:05:55
阅读次数：
96
列表 name = ['Lisa', 'Mike', 'Jone', 'Lucy'] name.sort() # 排序，根据对应的ASCII码值，可以排各种类型的字符 name.append('Ms Li') # 尾部附加 name.insert(3, 'Mr Wang') # 在目标位置附加 my ...
分类：
其他好文 时间：
2019-11-12 13:32:32
阅读次数：
115
print、import 使用逗号输出多个表达式 >>> name="Gumby" >>> salutation="Mr." >>> greeting="Hello," ##同时输出三个变量 >>> print greeting + salutation + name Hello,Mr.Gumby ...
分类：
其他好文 时间：
2019-11-10 13:52:55
阅读次数：
74
先求一下原图的最小生成树，把不在最小生成树里的边全部删掉。 Mr.Greedy 的边会替换掉若干最小生成树上的边。 一个暴力做法是，先 $2 ^ k$ 枚举哪些边一定在最小生成树中，把他们加入最小生成树。然后从小到达枚举原图上的边。如果能加入就直接加入，否则就会出现一个环，那么这个环上所有 Mr.G ...
样本数据 PassengerId,Survived,Pclass,Name,Sex,Age,SibSp,Parch,Ticket,Fare,Cabin,Embarked 1,0,3,"Braund, Mr. Owen Harris",male,22,1,0,A/5 21171,7.25,,S 2,1 ...
分类：
其他好文 时间：
2019-11-06 18:14:51
阅读次数：
83
Spark是用于大规模数据处理的快速通用的计算引擎。 相较MR快的原因：其任务中间结果存在内存中，在迭代运算中尤为明显，DAG的设置。 架构说明： Dirver：负责节点通讯，task分发，结果回收 Worker：资源管理的从节点 Master：资源调度的主节点 Dirver：负责节点通讯，task ...
分类：
其他好文 时间：
2019-11-01 10:00:23
阅读次数：
98
1、工作机制详述 （1）MR程序提交到客户端所在的节点。 （2）YarnRunner向ResourceManager申请一个Application。 （3）RM将该应用程序的资源路径返回给YarnRunner。 （4）该程序将运行所需资源提交到HDFS上。 （5）程序资源提交完毕后，申请运行mrAp ...
分类：
其他好文 时间：
2019-10-28 19:13:11
阅读次数：
86
简介 iOS下内存管理的基本思想就是引用计数，通过对象的引用计数来对内存对象的生命周期进行控制。具体到编程时间方面，主要有两种方式： 1：MRR（manual retain-release），人工引用计数，对象的生成、销毁、引用计数的变化都是由开发人员来完成。 2：ARC（Automatic Ref ...
分类：
移动开发 时间：
2019-10-21 20:41:54
阅读次数：
149
以前一直用的kolxo，免费好用，功能不错。 下一个服务器准备试试这个kloxo-mr,他是在kloxo的基础上升级的版本：meaning 'Kloxo fork by Mustafa Ramadhan' 很期待 大家可以关注一下。 相关地址：https://github.com/mustafara ...
分类：
系统相关 时间：
2019-10-19 13:26:22
阅读次数：
116
原因： 开发过程中，某个功能做完后，产品说不需要了，后面又提交了很多次commit，需要撤销这个功能的代码，也就是撤销中间的一次commit 公司的代码合并需要提mr，然后review后进行rebase合并，在这个前提下，撤销代码就变的很简单 操作： 直接找到对应的提交码：18dc7e9c036d5 ...
分类：
其他好文 时间：
2019-10-18 12:16:41
阅读次数：
123
