对于刚接触大数据的用户来说，要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度来进行分析，以作抛砖引玉之用。Hive是什么？Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库，注意这里不是数据库。Hive可以看作是用户编程...
分类：
其他好文 时间：
2014-07-22 22:45:54
阅读次数：
257
PathhdfsPath=newPath(args[0]);Configurationconf=newConfiguration();FileSystemfs=FileSystem.get(hdfsPath.toUri(),conf);CompressionCodecFactoryfactory=n...
分类：
其他好文 时间：
2014-07-22 22:41:55
阅读次数：
192
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据...
分类：
其他好文 时间：
2014-07-22 00:20:35
阅读次数：
252
重新格式化hdfs系统的方法：（1）查看hdfs-ste.xmldfs.name.dir/home/hadoop/hdfs/namenamenode上存储hdfs名字空间元数据dfs.data.dir/home/hadoop/hdsf/datadatanode上数据块的物理存储位置将dfs.name...
分类：
其他好文 时间：
2014-07-22 00:10:37
阅读次数：
263
?一、下载须知 软件准备： spark-1.0.0-bin-hadoop1.tgz? ?下载地址：spark1.0.0 scala-2.10.4.tgz ? ?下载下载：Scala 2.10.4 hadoop-1.2.1-bin.tar.gz ? 下载地址：hadoop-1.2.1-bin.tar.gz jdk-7u60-li...
分类：
其他好文 时间：
2014-07-21 23:30:01
阅读次数：
525
Mahout0.9+Hadoop-2.2.0贝叶斯分类纯java实战代码，希望能给搞大数据数据挖掘的java粉们有所帮助，也希望大家提出建议。也希望Mahout社区大牛，帮忙看看我遇到的问题，先在这里谢过了。。...
分类：
其他好文 时间：
2014-07-21 22:47:27
阅读次数：
365
虽然我们在虚拟机客户端上能很快通过shell命令，进行执行一些已经封装好实例程序，但是在应用中还是是自己写程序，然后部署到服务器中去，下面，我通过程序进行浅谈一个程序的部署过程。
在启动Hadoop之后，然后把程序达成可执行的jar包，并把相应的第三方jar包 包含进去。执行hadoop jar XXX. +驱动名称。package com.mapred;
import java.i...
分类：
其他好文 时间：
2014-07-21 22:33:08
阅读次数：
239
Hadoop任务提交分析
分析工具和环境
下载一份hadoop的源码，这里以hadoop-1.1.2为例。本地IDE环境为eclipse，导入整个目录，然后可以在IDE里面看到目录结构了，要分析任务提交过程，需要找到入口代码，很明显，对于熟悉Hadoop应用程序开发的同学来说很容易的知道任务的提交是从job的配置开始的，所以需要这样一份提交Job的代码，在src/examples里...
分类：
其他好文 时间：
2014-07-21 22:21:28
阅读次数：
302
core-site.xml<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://qlserver03:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/grid/hadoop/tmp</..
分类：
其他好文 时间：
2014-07-21 19:34:42
阅读次数：
247
Exception in thread "main" java.lang.NoClassDefFoundError: org/codehaus/jackson/map/JsonMappingException
at org.apache.hadoop.mapreduce.Job$1.run(Job.java:563)
at java.security.AccessC...
分类：
移动开发 时间：
2014-07-21 16:36:54
阅读次数：
251
