spark jdbc分支源码下载地址 https://github.com/apache/spark/tree/branch-1.0-jdbc编译spark jdbc ./make-distribution.sh --hadoop 2.3.0-cdh5.0.0 --with-yarn --wit.....
分类：
数据库 时间：
2014-07-16 21:04:35
阅读次数：
306
一、笔记本触摸板关闭方法 1、在windows下有官方驱动。 2、ubuntu下没有 操作方法如下： １，终端操作sudo rmmod psmouse 这个是禁用的sudo modprobe psmouse 这个是启用 此操作把左右键也关了。如果不想， 那就用第二种。 ２，在软件中心中搜索"poi....
分类：
其他好文 时间：
2014-07-16 20:47:01
阅读次数：
232
今天查看hadoop源代码， 发现有个Unsafe.java稍微总结下优势 1 减少线程调度开销， Unsafe.java 通过采用非堵塞原子方式来减少线程调度开销 2 传统线程通信通过wait,notify方法实现(会有信号量的堵塞队列)，而Unsafe使用操作系统调度命令park,unpark，...
分类：
编程语言 时间：
2014-07-16 20:37:03
阅读次数：
273
在Hadoop中，有一种处理过程叫Combiner，与Mapper和Reducer在处于同等地位，但其执行的时间介于Mapper和Reducer之间，其实就是Mapper和Reducer的中间处理过程，Mapper的输出是Combiner的输入，Combiner的输出是Reducer的输入。例如.....
分类：
其他好文 时间：
2014-07-16 20:36:31
阅读次数：
185
4.3 Map类 创建Map类和map函数，map函数是org.apache.hadoop.mapreduce.Mapper类中的定义的，当处理每一个键值对的时候，都要调用一次map方法，用户需要覆写此方法。此外还有setup方法和cleanup方法。map方法是当map任务开始运行的时候调用一次，...
分类：
其他好文 时间：
2014-07-16 20:22:00
阅读次数：
216
紧跟之前Hadoop 开源调度系统zeus(一)本节主要介绍一下zeus的架构：先给一个zeus的架构图无论Master还是Worker都有一套WEB UI，无论从哪个上面去看，看到的结果都是一样的，实际上一般仅仅看主Master：调度内核，在启动时启动一个TCP服务，同一时候将全部任务读到内存中，...
分类：
其他好文 时间：
2014-07-13 12:23:58
阅读次数：
371
课程主要涉及Hadoop Sqoop、Flume、Avro重要子项目的技术实战
课程针对人群
1、本课程适合于有一定java基础知识，对数据库和sql语句有一定了解，熟练使用linux系统的技术人员，特别适合于想换工作或寻求高薪职业的人士
2、最好有Greenplum Hadoop、Hadoop2.0、YARN、Sqoop、FlumeAvro等大数据基础，学习过北风课程《Gree...
分类：
其他好文 时间：
2014-07-12 20:58:37
阅读次数：
220
使用命令行工具来标记一些改变，Ansible显示出了他的优势。但是，它真正强大的地方在于它的脚本能力。当我们配置机器的时候，通常需要在同一时间内做许多操作，Anisble提供了一个工具叫playbooks。使用playbooks，我们就可以一次性、对多台机器进行多个操作动作。这种部署方法，可以确保配置的一致性，或者用来执行一些常见的任务。...
分类：
其他好文 时间：
2014-07-12 20:25:29
阅读次数：
403
hadoop出现namenode running as process 18472. Stop it first.等等，类似的出现了好几个。
解决办法：说明你没有启动起来，所以在启动之前你需要 在重新启动hadoop之前要先stop掉所有的hadoop服务。
然后恢复正常启动。...
分类：
其他好文 时间：
2014-07-12 19:54:29
阅读次数：
364
第一章：开始使用Ansible
和其他配置管理工具不同的是，Ansible着重于使配置管理工作变的更加简单，通过简单的英语配置语法，这很容易做到。你不再需要编写自定义的配置和部署脚本，让你的工作变的更加简单。
Ansible只需要安装管理机器上，不需要安装在被管理机器上安装Ansible。他也不需要在我们在管理机器上做很多基础设施的建设、配置，在安装完Ansible仅仅几分钟后就可以使用，本章将展示这一过程。
我们把通过命令行控制其他设备的机器称为控制机器，其他的设备我们称之为受管机器。Ansible对控...
分类：
其他好文 时间：
2014-07-12 19:43:41
阅读次数：
229
