Hadoop是云计算的事实标准软件框架，是云计算理念、机制和商业化的具体实现，是整个云计算技术学习中公认的核心和最具有价值内容。如何从企业级开发实战的角度开始，在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心。云计算学习者的心声：如何从企业级开发的角度，不断动手实际操作，循序...
分类：
移动开发 时间：
2014-09-13 18:34:35
阅读次数：
300
Hadoop是云计算的事实标准软件框架，是云计算理念、机制和商业化的具体实现，是整个云计算技术学习中公认的核心和最具有价值内容。如何从企业级开发实战的角度开始，在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心。云计算学习者的心声：如何从企业级开发的角度，不断动手实际操作，循序...
分类：
移动开发 时间：
2014-09-13 17:05:15
阅读次数：
333
一、压缩格式1.压缩格式包括以下几种格式：gz，bz2，xz，zip，z2.压缩工具以及对应的压缩对象备注：①xz是主流的压缩方式，压缩比高，速度稍微慢些；②zip是一个既归档又压缩的工具，使用archive命令归档，归档本身并不意味着压缩；③tar为专门的归档工具，归档后文件.tar结尾..
分类：
系统相关 时间：
2014-09-13 10:44:45
阅读次数：
256
Hadoop系列之hdfs(分布式文件系统)安装配置环境介绍:ip节点192.168.3.10hdfs-master192.168.3.11hdfs-slave1192.168.3.12hdfs-slave21.在所有机器添加hosts192.168.3.10hdfs-master192.168.3.11hdfs-slave1192.168.3.12hdfs-slave2#说明//主机名不能带有下划线及一些特殊符号，..
分类：
其他好文 时间：
2014-09-13 03:03:35
阅读次数：
335
来自：http://blog.csdn.net/dandingyy/article/details/7490046众所周知，Hadoop对处理单个大文件比处理多个小文件更有效率，另外单个文件也非常占用HDFS的存储空间。所以往往要将其合并起来。1，getmergehadoop有一个命令行工具getm...
分类：
其他好文 时间：
2014-09-12 17:06:13
阅读次数：
279
一个分布式系统基础架构，由Apache基金会所开发。
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
[1] Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高吞吐量（high throughput）来访问应用程...
分类：
其他好文 时间：
2014-09-12 13:33:03
阅读次数：
284
1、运行spark报出如下错误： org.apache.hadoop.security.AccessControlException: Permission denied: 解决方法，添加用户：如下 sudo -u hdfs hadoop fs -mkdir /user/stat sudo -u hdfs hadoop fs -chown roo...
分类：
其他好文 时间：
2014-09-12 12:08:13
阅读次数：
205
Spark Streaming can receive streaming data from any arbitrary data source beyond the one’s for which it has in-built support (that is, beyond Flume, K...
分类：
其他好文 时间：
2014-09-12 11:26:13
阅读次数：
279
有多种接口可以访问HDFS，其中命令行接口是最简单，也是程序员最熟悉的方式。
在本例中，将采用pseusodistributed mode的HDFS，用一台机器来模拟分布式的文件系统。pseudodistributed mode的配置参见：http://blog.csdn.net/norriszhang/article/details/38659321
这里再重新说一下两处配置的含义：...
分类：
其他好文 时间：
2014-09-11 19:29:02
阅读次数：
190
错误 1:/bin/sh: 1: lzop: not foundmake[2]: *** [arch/arm/boot/compressed/piggy.lzo] 错误 1make[2]: *** 正在等待未完成的任务....make[1]: *** [arch/arm/boot/compresse...
分类：
系统相关 时间：
2014-09-11 16:57:52
阅读次数：
545
