1.部署环境系统:CentOS6.3JDK和hadoop的下载直接参考分布式安装...2.伪分布式环境不需要配置/etc/hosts本机也需要免密码ssh登录sshlocalhost3.配置修改1.conf/core-site.xml<configuration>
<property>
<name>fs.default.name</name>
<value>hdf..
分类：
其他好文 时间：
2014-11-26 06:52:24
阅读次数：
154
HDF是一种常用的科学数据格式，本文对HDF的数据特性和数据格式进行了较详细的说明。...
分类：
其他好文 时间：
2014-11-12 16:42:24
阅读次数：
258
副本机制1、副本摆放策略第一副本：放置在上传文件的DataNode上；如果是集群外提交，则随机挑选一台磁盘不太慢、CPU不太忙的节点上；第二副本：放置在于第一个副本不同的机架的节点上；第三副本：与第二个副本相同机架的不同节点上；如果还有更多的副本：随机放在节点中；2、副本系数1）对于上传文件到HDF...
分类：
其他好文 时间：
2014-10-24 23:29:26
阅读次数：
412
HDFS是Hadoop Distributed Filesystem，Hadoop分布式文件系统。
当数据大到一台机器无法存储时，就要把它分散到多台机器上去，通过网络管理多台计算机上的存储空间的文件系统，就称为分布式文件系统。网络程序的复杂性使得分布式文件系统比普通的磁盘文件系统复杂得多，例如其中最大的挑战之一就是要容错，要在其中一个或几个节点死掉后，仍能保证数据完整。
HDF...
分类：
其他好文 时间：
2014-09-05 18:13:41
阅读次数：
219
1.准备数据employee.txt1001,Gong Shaocheng,11002,Li Dachao,11003,Qiu Xin,11004,Cheng Jiangzhong,21005,Wo Binggang,3将数据放入hdfs[root@jfp3-1 spark-studio]# hdf...
分类：
数据库 时间：
2014-06-29 00:17:54
阅读次数：
415
最近从事三维地形开发，从HDF、tif、img文件里解析数据，读取出高程值，在OSG的场景中做三维的地形，这之间最困难的是数据的获取，比如你要从几十个G的tif或者img读取数据，推荐一个很优秀的GIS库，GDAL，C++和C#均可用，特别是C#中，调用九个dll即可获取该库的所有功能，这几个库.....
分类：
其他好文 时间：
2014-05-15 15:42:30
阅读次数：
248
