码迷,mamicode.com
首页 >  
搜索关键字:hadoop map reduce 分区 分组    ( 64817个结果
HDU 1484 Basic wall maze (dfs + 记忆化)
题意:给定一张地图,并且给定起点和终点,求起点到终点的最短距离,地图上有墙,与以往的题目不同的是,以往的题目障碍物都是在格子上,但是本题的障碍物墙是在格子与格子的边界线上,所以在输入的时候就要进行预处理下,将墙的位置转化为相邻格子的东西南北方向墙的状态,所以使用了一个3为数组来记录地图的信息map[x][y][0]-map[x][y][3] 分别表示坐标为x,y的格子的四个方向墙的情况,0为没墙,1为有墙,然后一个dfs找到最短路,以及每个点的前驱节点,最后打印路径。代码中的注释很详细。题目本身很简单,就是...
分类:其他好文   时间:2014-05-09 02:19:55    阅读次数:454
Spork: Pig on Spark实现分析
介绍 Spork是Pig on Spark的highly experimental版本,依赖的版本也比较久,如之前文章里所说,目前我把Spork维护在自己的github上:flare-spork。 本文分析的是Spork的实现方式和具体内容。 Spark Launcher 在hadoop executionengine包路径下,写了一个Spark启动器,同MapReduceLauncher类似,会在launchPig的时候,把传入的物理执行计划进行翻译。 MR启动器翻译的是MR的操作,以及进一步的MR...
分类:其他好文   时间:2014-05-09 02:08:17    阅读次数:358
hadoop 启动的时候datanode报错 Problem connecting to server
hadoop 启动的时候datanode报错 Problem connecting to server 解决方案...
分类:其他好文   时间:2014-05-09 02:07:46    阅读次数:313
leetcode第一刷_Construct Binary Tree from Inorder and Postorder Traversal
这道题是为数不多的感觉在读本科的时候见过的问题。人工构造的过程是怎样呢,后续遍历最后一个节点一定是整棵树的根节点,从中序遍历中查找到这个元素,就可以把树分为两颗子树,这个元素左侧的递归构造左子树,右侧的递归构造右子树,元素本身分配空间,作为根节点。 于set和map容器不同的是,vector容器不含find的成员函数,应该用stl的库函数,好在返回的也是迭代器,而vector的迭代器之间是可以做...
分类:其他好文   时间:2014-05-09 01:23:38    阅读次数:275
如何从服务器获取图片
今天写了安卓程序与服务器通信,其中需要从服务器获取图片。本来以为下载流、处理文件流很复杂,结果几句话就轻松搞定了。现在记在这里。 // (2014.5.1第一种方法)通过服务器返回的图片url,再次向服务器请求,添加动态新闻图片 // 读取Bitmap图片 try { Bitmap bm; URL url; url = new URL(map.get("activity...
分类:其他好文   时间:2014-05-09 01:18:18    阅读次数:365
hadoop2.0 配置yarn成功
很久不写 BO-KE 了,来一篇吧,记住这个成功的一刻,把几个主要文件贴出来: core-site.xml:               fs.defaultFS          hdfs://fc20:9000                      hadoop.tmp.dir          /home/ljq/hadoop/tm...
分类:其他好文   时间:2014-05-09 00:35:27    阅读次数:342
hbase0.96数据导入以及Kettle操作hbase问题
版本:cdh5.0.0+hadoop2.3.0+hbase0.96.1.1+Spoon5.0.1一、HBase数据导入HBase数据导入使用org.apache.hadoop.hbase.mapreduce.ImportTsv 的两种方式,一种是直接导入,一种是转换为HFile,然后再次导入。1. HDFS数据为(部分):[root@node33 data]# hadoop fs -ls /inp...
分类:其他好文   时间:2014-05-09 00:25:48    阅读次数:515
Hadoop之MapReduce
http://blog.csdn.net/wangloveall/article/details/21407531摘要:MapReduce是Hadoop的又一核心模块,从MapReduce是什么,MapReduce能做什么以及MapReduce的工作机制三方面认识MapReduce。关键词:Hado...
分类:其他好文   时间:2014-05-08 23:03:55    阅读次数:270
hadoop知识点记录
浅谈在shell脚本中使用HQL访问hive
分类:其他好文   时间:2014-05-08 22:57:09    阅读次数:262
JobTracker启动流程源码级分析
org.apache.hadoop.mapred.JobTracker类是个独立的进程,有自己的main函数。JobTracker是在网络环境中提交及运行MR任务的核心位置。 main方法主要代码有两句:1 //创建jobTracker对象2 JobTracker t...
分类:其他好文   时间:2014-05-08 22:51:48    阅读次数:368
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!