一、MRv1 Master - Slave 模式 主要包含4部分：JobTracker，TaskTracker，Task，Client JobTracker：负责整个MR集群的资源监控和作业调度，集群的Master。它把任务进度 和 资源使用量告诉调度器TaskScheduler，由调度器来计划如何 ...
分类：
其他好文 时间：
2017-06-26 10:12:08
阅读次数：
168
MapReduce的核心是：分而治之，并行处理；以及其自动化的调度和处理。 主要是Map和Reduce两个阶段 基本流程是： mr的数据处理单位是一个split，每个split对应一个map任务； 当map从HDFS上读取一个split时，这里会有“移动计算，不移动数据”的机制来减少网络的数据传输来 ...
分类：
其他好文 时间：
2017-06-25 23:12:09
阅读次数：
351
本文继成上一篇通过hive分析nginx日志文章，详情参考下面链接： http://www.cnblogs.com/wcwen1990/p/7066230.html 接着来： 创建业务子表： drop table if exists chavin.nginx_access_log_comm; cre ...
分类：
其他好文 时间：
2017-06-24 20:52:00
阅读次数：
780
直接上代码：models.pyfromdjango.formsimportModelForm
fromdjango.dbimportmodels
TITLE_CHOICES=(
("MR","Mr.‘),
("MRS","Mrs."),
("MS",‘Ms."),
)
classAuthor(models.Model):
name=models.CharField(max_length=100)
title=models.CharField(max_length=3,choices=TITLE..
分类：
其他好文 时间：
2017-06-23 20:54:48
阅读次数：
141
主要是订阅了playbag发布的scan话题和odom话题 其类型分别为 //cache the static tf from base to laser getBaseToLaserTf(scan_msg->header.frame_id); ...
分类：
其他好文 时间：
2017-06-22 20:50:45
阅读次数：
221
1.参数服务器 ROS参数服务器能保存数据类型包括：strings, integers, floats, booleans, lists, dictionaries, iso8601 dates, and base64-encoded data。Dictionaries则必需有字符串key值。 ro ...
分类：
其他好文 时间：
2017-06-22 17:02:00
阅读次数：
135
?? Knight Moves Time Limit: 1000MS Memory Limit: 30000K Total Submissions: 20913 Accepted: 9702 Description Background Mr Somurolov, fabulous chess-ga ...
分类：
其他好文 时间：
2017-06-20 14:52:56
阅读次数：
126
【申明：本文仅限于自我归纳总结和相互交流，有纰漏还望各位指出。 联系邮箱：Mr_chenping@163.com】 题目： 函数将字符串中的字符'*'移到串的前部分。前面的非'*'字符后移。但不能改变非'*'字符的先后顺序,函数返回串中字符'*'的数量。 题目分析： 1、须要保持非'*'字符的顺序 ...
分类：
编程语言 时间：
2017-06-18 16:51:52
阅读次数：
185
Oozie使用教程 一． Oozie简介 Apache Oozie是用于Hadoop平台的一种工作流调度引擎。 - 统一调度hadoop系统中常见的mr任务启动hdfs操作、shell调度、hive操作等。 - 使得复杂的依赖关系时间触发事件触发使用xml语言进行表达开发效率提高。 - 一组任务使用 ...
分类：
其他好文 时间：
2017-06-18 13:28:29
阅读次数：
11802
