Pig
pig 是基于hadoop的一个数据处理框架.
MapReduce是使用java开发的。Pig有一套自己的数据处理语言。Pig的数据处理过程要转化为MR 来运行。
Pig的数据处理语言是数据流方式，类似于初中的数学题，需要一步一步解，最终得到结果。
Pig基本数据类型：int、long、float、double、chararray、bytearray
复合数据类型：Map、Tuple(类似...
分类：
其他好文 时间：
2015-06-05 12:19:49
阅读次数：
116
安装pythonhttp://pydev.org/updates加载python.exejython 加载jython 包 ， 加载Hier包 chilm包》》》》》》》》》》》》》》》》》》》》》》》》》》monkeyrunner 录制回放脚本，保存为mr_rocorder.pyfrom com....
分类：
编程语言 时间：
2015-06-03 17:10:54
阅读次数：
150
问题描述：在开发MR程序中会遇一些问题需要通过Debug调式，那么本文将介绍描述配置eclipse如何在Windows或者Linux下启动Debug调式。 ????MR程序的Debug调式换言之就是MR程序的运行模式，MR程序有三种运行模式...
分类：
其他好文 时间：
2015-06-03 08:30:08
阅读次数：
291
貌似是道水题。TLE了几次。把所有的输入输出改成scanf 和 printf ，有吧队列改成了数组模拟。然后就AC 了。2333333....Description:MR.DOG 在找工作的过程中呢。遇见了这样一个问题。有n个城市，m条小道。然后要从入度为0的点出发，出度为0的点结束，中途经过的城市...
分类：
编程语言 时间：
2015-06-02 19:32:44
阅读次数：
126
前言：Hadoop 2.0之后，原先的MapReduce不在是简单的离线批处理MR任务的框架，升级为MapReduceV2（Yarn）版本，也就是把资源调度和任务分发两块分离开来。而在最新的CDH版本中，同时集成了MapReduceV1和MapReduceV2（Yarn）两个版本，如果集群中需要使用Yarn做统一的资源调度，建议使用Yarn。
CDH对Yarn的部分参数做了少了修改，并且添加了相...
分类：
其他好文 时间：
2015-05-29 23:18:43
阅读次数：
198
CDH集群中YARN的参数配置前言：Hadoop 2.0之后，原先的MapReduce不在是简单的离线批处理MR任务的框架，升级为MapReduceV2（Yarn）版本，也就是把资源调度和任务分发两块分离开来。而在最新的CDH版本中，同时集成了MapReduceV1和MapReduceV2（Yarn...
分类：
其他好文 时间：
2015-05-29 19:47:51
阅读次数：
197
CDH集群中YARN的参数配置 前言：Hadoop 2.0之后，原先的MapReduce不在是简单的离线批处理MR任务的框架，升级为MapReduceV2（Yarn）版本，也就是把资源调度和任务分发两块分离开来。而在最新的CDH版本中，同时集成...
分类：
其他好文 时间：
2015-05-29 18:38:55
阅读次数：
239
CDH集群中YARN的参数配置前言：Hadoop2.0之后，原先的MapReduce不在是简单的离线批处理MR任务的框架，升级为MapReduceV2（Yarn）版本，也就是把资源调度和任务分发两块分离开来。而在最新的CDH版本中，同时集成了MapReduceV1和MapReduceV2（Yarn）两个版本，如果集群中需要使用..
分类：
其他好文 时间：
2015-05-29 18:21:09
阅读次数：
162
一：起因
（0）Python的基本语法，对于一个学过其他语言的人来说，比较容易；但是要是熟练的应用 和 掌握Python的进阶语法还是有一段路要走的。
（1）With语句代替try……finally语句；yield语法之生成器generator，序列生成器；函数式编程（Map/Reduce/Filter等 ps:这里的Map/Reduce不是Hadoop的MR）
二：With基本语法
（1...
分类：
编程语言 时间：
2015-05-29 18:16:19
阅读次数：
155
DescriptionMr. Young wishes to take a picture of his class. The students will stand in rows with each row no longer than the row behind it and the lef...
分类：
其他好文 时间：
2015-05-28 17:47:11
阅读次数：
366
