./pdsh -R ssh -w node-10-0[0-5] hostname-R：指定传输方式，默认为rsh，本例为ssh，如果希望ssh传输需要另行安装pdsh-rcmd-ssh，如果希望ssh无密码访问需要提前配置好。-w：指定待执行命令host，也可以这样配置，node_[1-9, 35,...
分类：
其他好文 时间：
2014-07-16 21:42:57
阅读次数：
275
前言: 添加linux用户帐号,这个相对简单, 在面对集群, 许多机器的时候, 我们该如何去做和实现? 这篇短文, 简单讲解一些思路, 尽可能地涉及周边的一些知识点. 不光是运维人员会面临这个问题, 对一个基于linux平台的集群服务或软件(比如hadoop集群), 有时也会涉及到这块.应用场景:....
分类：
系统相关 时间：
2014-07-16 21:39:15
阅读次数：
360
共同点：1.hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储区别：2.Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统，HBase是为了支持弥补Hadoop对实时操作的缺陷的项目 。3.想象你在操作RMDB数据库，如果是全表扫描...
分类：
其他好文 时间：
2014-07-16 21:30:18
阅读次数：
167
spark jdbc分支源码下载地址 https://github.com/apache/spark/tree/branch-1.0-jdbc编译spark jdbc ./make-distribution.sh --hadoop 2.3.0-cdh5.0.0 --with-yarn --wit.....
分类：
数据库 时间：
2014-07-16 21:04:35
阅读次数：
306
一、笔记本触摸板关闭方法 1、在windows下有官方驱动。 2、ubuntu下没有 操作方法如下： １，终端操作sudo rmmod psmouse 这个是禁用的sudo modprobe psmouse 这个是启用 此操作把左右键也关了。如果不想， 那就用第二种。 ２，在软件中心中搜索"poi....
分类：
其他好文 时间：
2014-07-16 20:47:01
阅读次数：
232
今天查看hadoop源代码， 发现有个Unsafe.java稍微总结下优势 1 减少线程调度开销， Unsafe.java 通过采用非堵塞原子方式来减少线程调度开销 2 传统线程通信通过wait,notify方法实现(会有信号量的堵塞队列)，而Unsafe使用操作系统调度命令park,unpark，...
分类：
编程语言 时间：
2014-07-16 20:37:03
阅读次数：
273
在Hadoop中，有一种处理过程叫Combiner，与Mapper和Reducer在处于同等地位，但其执行的时间介于Mapper和Reducer之间，其实就是Mapper和Reducer的中间处理过程，Mapper的输出是Combiner的输入，Combiner的输出是Reducer的输入。例如.....
分类：
其他好文 时间：
2014-07-16 20:36:31
阅读次数：
185
4.3 Map类 创建Map类和map函数，map函数是org.apache.hadoop.mapreduce.Mapper类中的定义的，当处理每一个键值对的时候，都要调用一次map方法，用户需要覆写此方法。此外还有setup方法和cleanup方法。map方法是当map任务开始运行的时候调用一次，...
分类：
其他好文 时间：
2014-07-16 20:22:00
阅读次数：
216
紧跟之前Hadoop 开源调度系统zeus(一)本节主要介绍一下zeus的架构：先给一个zeus的架构图无论Master还是Worker都有一套WEB UI，无论从哪个上面去看，看到的结果都是一样的，实际上一般仅仅看主Master：调度内核，在启动时启动一个TCP服务，同一时候将全部任务读到内存中，...
分类：
其他好文 时间：
2014-07-13 12:23:58
阅读次数：
371
课程主要涉及Hadoop Sqoop、Flume、Avro重要子项目的技术实战
课程针对人群
1、本课程适合于有一定java基础知识，对数据库和sql语句有一定了解，熟练使用linux系统的技术人员，特别适合于想换工作或寻求高薪职业的人士
2、最好有Greenplum Hadoop、Hadoop2.0、YARN、Sqoop、FlumeAvro等大数据基础，学习过北风课程《Gree...
分类：
其他好文 时间：
2014-07-12 20:58:37
阅读次数：
220
