问题： 在Hadoop中，新建一个目录，报错了，提示mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory，该如何解决呢？...
分类：
其他好文 时间：
2014-05-22 11:31:11
阅读次数：
304
简介
此文档描述了一个超级用户如何在安全的方式下以另一用户的名义提交作业或访问hdfs。
Use Case
下一部分描述的的代码示例对此用户用例是可用的。
一个用户名为'super'的超级用户想要以另一用户joe的名义提交作业或访问hdfs。超级用户有kerberos证书但是用户joe并没有。任务要求以用户joe的角色运行并且namenode上的文件访问也需要由joe完成。需要用户...
分类：
其他好文 时间：
2014-05-22 10:40:41
阅读次数：
255
第一部分：
学习Mahout必须要知道的资料查找技能：
学会查官方帮助文档：
解压用于安装文件（mahout-distribution-0.6.tar.gz），找到如下位置，我将该文件解压到win7的G盘mahout文件夹下，路径如下所示：
G:\mahout\mahout-distribution-0.6\docs
学会查源代码的注释文档：
方案一：用ma...
分类：
其他好文 时间：
2014-05-22 10:37:07
阅读次数：
388
批处理，可以大幅度提升大量增、删、改的速度，就是对大数据操作有很大的效率提升。
与上篇文章中提到的“连接池”相似。其实就是先将多次操作（增删改）打包，然后再一次发送执行
主要用到两个方法：
Ø 打包：PreparedStatement.addBatch();
Ø 发送、执行：PreparedStatement.executeBatch();
下面看做同一...
分类：
编程语言 时间：
2014-05-22 10:35:51
阅读次数：
302
这篇文章不提原理，讲讲hadoop及其周边项目的作用。
hadoop这个词已经流行好多年了，一提到大数据就会想到hadoop，那么hadoop的作用是什么呢？
官方定义：hadoop是一个开发和运行处理大规模数据的软件平台。核心词语是平台，也就是说我们有大量的数据，又有好几个电脑，我们知道应该把处理数据的任务分解到各个电脑上，但是不知道怎样分配任务，怎样回收结果，hadoop大概就帮助我们做了...
分类：
其他好文 时间：
2014-05-22 10:34:39
阅读次数：
288
大数据的热门使得很多人都想往这个方向发展，做一些像数据挖掘，数据分析之类的工作。但是该从何开始呢？要怎样才能快速学到一些有用的知识，技能呢？我觉得有三个切入点，依照个人特点可以自行选择顺序切入。...
分类：
其他好文 时间：
2014-05-22 10:33:54
阅读次数：
232
C/C++大文件/数据网络传输方法总结
在C/C++网络编程中不免会遇到需要传输大数据、大文件的情况，而由于socket本身缓冲区的限制，大概一次只能发送4K左右的数据，所以在传输大数据时客户端就需要进行分包，在目的地重新组包。而实际上已有一些消息/通讯中间件对此进行了封装，提供了直接发送大数据/文件的接口；除此之外，利用共享目录，ftp，ssh等系统命令来实现大文件/数据也不失...
分类：
编程语言 时间：
2014-05-22 09:14:45
阅读次数：
435
hadoop有种简化机制来管理job和control的非线性作业之间的依赖，job对象时mapreduce的表现形式。job对象的实例化可通过传递一个jobconf对象到作业的构造函数中来实现。
x.addDeopendingJob(y)意味着x在y完成之前不会启动。
鉴于job对象存储着配置和依赖信息，jobcontrol对象会负责监管作业的执行，通过addjob（），你可以为jobcont...
分类：
其他好文 时间：
2014-05-22 07:27:41
阅读次数：
287
版本：CDH5.0.0 （hdfs:2.3，mapreduce：2.3，yarn：2.3）hadoop多文件格式输入，一般可以使用MultipleInputs类指定不同的输入文件路径以及输入文件格式。比如现在有如下的需求：现有两份数据：phone：123,good number
124,common number
125,bad numberuser：zhangsan,123
lisi,124
w...
分类：
其他好文 时间：
2014-05-22 06:23:52
阅读次数：
391
因为用的hadoop2.20所以下载sqoop-1.99.3-bin-hadoop200使用随便找一个hadoopnode节点做sqoopserver:1.下载安装[hadoop@slave1~]$wgethttp://mirror.bit.edu.cn/apache/sqoop/1.99.3/sqoop-1.99.3-bin-hadoop200.tar.gz[hadoop@slave1~]$tarxvfsqoop-1.99.3-bin-hadoop200.tar...
分类：
其他好文 时间：
2014-05-21 00:01:45
阅读次数：
439
