在一些 Teiid 的一些文章和示例上都会有关于 JBoss Data Virtualization (Teiid) 通过 Hive 使用 Hadoop 作为数据源的信息。当使用 Hadoop 环境创建 Data Virtualization 示例时，比如 Hortonworks Data Pla...
分类：
其他好文 时间：
2015-08-09 11:01:44
阅读次数：
239
大家都知道Maven的优点是依赖管理，特别是前期使用ANT的开发者都有很多感触。最近要开发一个java工程，定的要使用maven，会使用hadoop和hbase的客户端，而引入一个hadoop-client的jar或者hbase的jar包，会依赖十几个其他的jar包，而这些jar包的功能我又用不上，所以这种依赖反倒成了工程瘦身的负担。关键我还有强迫症，见到这些对工程无用的包，我就抓狂。所以在网上百...
分类：
其他好文 时间：
2015-08-05 16:30:36
阅读次数：
119
JEE版本的Eclipse：Version:LunaRelease(4.4.0)Hadoop：2.6.0Hadoop-plugin：hadoop-eclipse-plugin-2.2.0.jar1、插件安装2、环境配置3、运行wordcount
分类：
系统相关 时间：
2015-07-19 22:00:31
阅读次数：
174
spark的序列化主要使用了hadoop的writable和java的Serializable。说到底就是使用hadoop的writable替换了java的默认序列化实现方式。class SerializableWritable[T <: Writable](@transient var t: T)...
分类：
其他好文 时间：
2015-07-01 20:13:06
阅读次数：
353
程序源码import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import or...
分类：
其他好文 时间：
2015-06-27 22:35:57
阅读次数：
259
Struts2是一套非常优秀的Web应用框架，实现优雅、功能强大、使用简洁。可以说是Struts2是一款非常成熟的MVC架构。
在我们学习Struts2时，最好是先学习它的运行流程、核心概念，从中得到启发，提升自己，而不仅仅是学习怎么怎么使用它。
在网上看到这样一句话：
你千万不要成为一个只会熟练使用框架的程序员，那样，你会疲于奔命，你也许永远只会使用 Hadoop ，而写不出一个 Hado...
分类：
其他好文 时间：
2015-06-05 12:30:04
阅读次数：
129
使用Hadoop ACL 控制访问权限
一、HDFS访问控制
hdfs-site.xml设置启动acl
dfs.permissions.enabled
true
dfs.namenode.acls.enabled
true
core-site.xml设置用户组默认权限.
fs.permissions.umask-m...
分类：
其他好文 时间：
2015-06-03 21:44:16
阅读次数：
192
1.通过远程工具登陆到linux后，所在的位置是当前登录用户的家目录(home directory)。
2.家目录的符号用~表示。
3.linux的文件系统是一个树结构。
linux文件系统的树根成为根目录，使用符号"/"表示。
linux文件系统中使用符号".."表示上级目录。
linux文件系统中使用符号"."表示当前目录。
linux文件系统中，如果文件使用“.”...
分类：
系统相关 时间：
2015-05-16 18:24:32
阅读次数：
161
目前的分词器大部分都是单机服务器进行分词，或者使用hadoop mapreduce对存储在hdfs中大量的数据文本进行分词。由于mapreduce的速度较慢，相对spark来说代码书写较繁琐。本文使用spark + ansj对存储在hdfs中的中文文本数据进行分词。...
分类：
其他好文 时间：
2015-05-14 16:43:27
阅读次数：
350
Hadoop家族项目图谱各子项目介绍（1）PigHadoop客户端，解决非Java程序员使用Hadoop难题使用类似于SQL的面向数据流的语言PigLatinPigLatin可以完成排序，过滤，求和，聚组，关联等操作，可以支持自定义函数Pig自动把PigLatin映射为Map-Reduce作业上传到集群运行，减少用户编写J..
分类：
其他好文 时间：
2015-05-09 13:33:33
阅读次数：
112
