【转自:】http://blog.csdn.net/hitwengqi/article/details/8008203最近一直在自学Hadoop,今天花点时间搭建一个开发环境,并整理成文。首先要了解一下Hadoop的运行模式:单机模式(standalone)
单机模式是Hadoop的默认模式。当.....
分类:
其他好文 时间:
2014-05-29 01:45:43
阅读次数:
374
Eclipse开发过程连接Hadoop集群环境,需要安装Hadoop插件。Hadoop源码包中有Eclipse插件源代码,需要自己动手编译。环境:Hadoop
1.2.1 & EclipseKepler & Windows 7 & JAVA
71、生成插件源码解压Hadoop安装包,找到src\co...
分类:
系统相关 时间:
2014-05-28 00:39:47
阅读次数:
542
hadoop 中
的Text类与java中的String类感觉上用法是相似的,但两者在编码格式和访问方式上还是有些差别的,要说明这个问题,首先得了解几个概念;字符集:
是一个系统支持的所有抽象字符的集合。字符是各种文字和符号的总称,包括各国家文字、标点符号、图形符号、数字等。例如 unicode就是...
分类:
编程语言 时间:
2014-05-26 16:46:37
阅读次数:
398
package com.kane.hdfs;
import java.io.InputStream;
import java.net.URL;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;
public class Test {...
今天在win32下通过navicat
远程登录Mysql时出现如下错误:想都不用想,肯定是Mysql的访问权限问题。首先,通过终端(我用的是SSH)远程登录到Linux服务器,为了安全起见,先改一下Mysql数据的root用户密码:?1234567891011[plain]
[hadoop@h1 ~...
分类:
数据库 时间:
2014-05-26 02:00:26
阅读次数:
346
进入安全模式,卸载影子系统,删除所有影子系统的安装目录,在c盘/windows/system32下,找到shadow,直接删除,然后需要在注册表中删除:HKEY_LOCAL_MACHINE/SYSTEM/CURRENT.controlset/services/snpshot这个键值,重启即可。如果还...
分类:
其他好文 时间:
2014-05-26 01:53:24
阅读次数:
305
概述这个时代被称之为大数据时代,各行各业生产的数据量呈现爆发性增长,并且基于这些爆发性增长的数据做深层次的数据挖掘、分析。因此,我们可以很容易的感觉到,在这样一个大数据的时代,我们很多做事情的方法正在发生了改变。例如,基于大数据分析可以做疾病预测控制;基于..
分类:
其他好文 时间:
2014-05-25 08:25:49
阅读次数:
620
由于在eclipse下开发hadoop程序需要插件支持,而且hadoop报下已经没有插件了,所以需要我们自己编译,操作步骤如下1.进入D:\hadoop-1.2.1\src\contrib目录,找到build-contrib.xml文件,将hadoop.root改为hadoop解压目录。<propertyname="hadoop.root"location="D:\hadoop-1..
分类:
系统相关 时间:
2014-05-25 04:58:25
阅读次数:
298
点击browserFilesystem,和命令查看结果一样
当我们查看hadoop源码时,我们看到hdfs下的hdfs-default.xml文件信息
我们查找${hadoop.tmp.dir}这是引用变量,肯定在其他文件有定义,在core-default.xml中查看到,这两个配置文件有个共同点:
就是不要修改此文件,但可以复制信息到core-site.xml和hdfs-sit...
分类:
Web程序 时间:
2014-05-25 02:02:13
阅读次数:
388
配置haoop全路径:gedit.profileexportPATH=/home/hadoop/hadoop/bin:$PATH自定义命令gedit.bashrcaliasfs=‘hadoopfs‘
分类:
其他好文 时间:
2014-05-24 15:25:19
阅读次数:
254