问题： 在Hadoop中，新建一个目录，报错了，提示mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory，该如何解决呢？...
分类：
其他好文 时间：
2014-05-22 11:31:11
阅读次数：
304
大数据的热门使得很多人都想往这个方向发展，做一些像数据挖掘，数据分析之类的工作。但是该从何开始呢？要怎样才能快速学到一些有用的知识，技能呢？我觉得有三个切入点，依照个人特点可以自行选择顺序切入。...
分类：
其他好文 时间：
2014-05-22 10:33:54
阅读次数：
232
C/C++大文件/数据网络传输方法总结
在C/C++网络编程中不免会遇到需要传输大数据、大文件的情况，而由于socket本身缓冲区的限制，大概一次只能发送4K左右的数据，所以在传输大数据时客户端就需要进行分包，在目的地重新组包。而实际上已有一些消息/通讯中间件对此进行了封装，提供了直接发送大数据/文件的接口；除此之外，利用共享目录，ftp，ssh等系统命令来实现大文件/数据也不失...
分类：
编程语言 时间：
2014-05-22 09:14:45
阅读次数：
435
hadoop有种简化机制来管理job和control的非线性作业之间的依赖，job对象时mapreduce的表现形式。job对象的实例化可通过传递一个jobconf对象到作业的构造函数中来实现。
x.addDeopendingJob(y)意味着x在y完成之前不会启动。
鉴于job对象存储着配置和依赖信息，jobcontrol对象会负责监管作业的执行，通过addjob（），你可以为jobcont...
分类：
其他好文 时间：
2014-05-22 07:27:41
阅读次数：
287
本人最近在用ujmp包写一些程序，ujmp包是针对于超大数据量计算的矩阵的运算包，并且有图形显示的功能且支持多种文件格式的读取和输出，还支持连接数据库，matlab数据类型和weka数据类型，总体来说非常好用，但是有一个很大的缺陷就是基本没有相关的示例和文档，官网上的示例有基本全都过时不能用了，本人...
分类：
编程语言 时间：
2014-05-22 01:35:09
阅读次数：
525
import java.io.IOException;import
java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import
org.apache.hadoop.fs.Path;import org.ap...
分类：
其他好文 时间：
2014-05-22 01:11:55
阅读次数：
337
在centOS系统中，我添加了一个用户，但是在我执行su时，终端告诉我以上的错误，下面是我的解决过程：首先切换到root用户：给
etc/hosts读写的权限：使用vi功能打开sudoers文件，在root ALL=(ALL) ALL后面加入本用户的信息：hadoop ALL=(ALL)
ALL重新...
分类：
其他好文 时间：
2014-05-21 23:35:26
阅读次数：
347
WindowsAzure目前在全球有八大数据中心(美国西部，美国东部，美国中北部，美国中南部，北欧，西欧，东亚，南亚)。还有中国南北两个数据中心。每个数据中心都由若干个"容器"组成，"容器"的内部是集群(cluster)和机架(rack)。每一个容器都有特定的服务，比如计算和存储，SQLDatab..
因为用的hadoop2.20所以下载sqoop-1.99.3-bin-hadoop200使用随便找一个hadoopnode节点做sqoopserver:1.下载安装[hadoop@slave1~]$wgethttp://mirror.bit.edu.cn/apache/sqoop/1.99.3/sqoop-1.99.3-bin-hadoop200.tar.gz[hadoop@slave1~]$tarxvfsqoop-1.99.3-bin-hadoop200.tar...
分类：
其他好文 时间：
2014-05-21 00:01:45
阅读次数：
439
前段时间遇到了一个很诡异的发生的Map阶段的OOM异常，花了些时间才找到原因，这个简要记录一下。先看log。节点一的TaskTracker的log：节点二的TaskTracker的log：节点三的TaskTracker的log：其他节点的TaskTracker中的log都和slave4的一样的：故障分析：OOM是一个比较常见的故..
分类：
其他好文 时间：
2014-05-20 22:15:47
阅读次数：
422
