由于从官网下载的hadoop中依赖包native hadoop
library是基于32位版本的,在64位机器上安装,会出现以下错误:2014-05-30 19:47:49,703 INFO
org.apache.hadoop.hdfs.server.datanode.DataNode: regis...
分类:
其他好文 时间:
2014-06-06 23:38:29
阅读次数:
494
这里介绍一下hadoop的组成,
hadoop主要由两部分组成,,一个是hdfs,还有一个是mapreduce这两个部分在hadoop
2.2.0中分别用start-dfs.sh和start-yarn.sh启动。mapreduce 在2.0版本号中有了一个新名字yarn.dfs 主要用来启动
nam...
分类:
其他好文 时间:
2014-06-06 19:27:24
阅读次数:
322
Windows性能监视器前端时间在做动态目标监控,应用程序需要考虑大数据量和多用户并发的操作,系统的性能是解决方案实施性的重要度量。这里简单的记录下Windows中性能监视查看和简单分析。一般操作系统性能主要涉及到的问题主要有:处理器使用情况、内存占有量、磁盘I/0操作以及网络流量等。查看Windo...
Ubuntu12.04-x64编译安装Hadoop2.2.0集群、Hadoop-Eclipse插件
分类:
其他好文 时间:
2014-06-06 14:08:15
阅读次数:
421
问题由来在很多机器学习任务中,特征并不总是连续值,而有可能是分类值。例如,考虑一下的三个特征:["male","female"]["from
Europe","from US","from Asia"]["uses Firefox","uses Chrome","uses
Safari","uses...
分类:
其他好文 时间:
2014-06-04 17:03:02
阅读次数:
344
core-site.xml:fs.default.name:hdfs://hadoop:9000fs.tmp.dir:/usr/local/hadoop/tmphdfs-site.xml:dfs.name.dir:dfs.name.edits.dir:eidtsdfs.replication
分类:
其他好文 时间:
2014-06-04 14:40:40
阅读次数:
254
11.2.4 大数据量网络图片列表的异步加载和内存优化 虚拟化技术可以让Windows
Phone上的大数据量列表不必担心会一次性加载所有的数据,保证了UI的流程性。对于虚拟化的技术,我们不仅仅只是依赖其来给列表加载数据,还可以利用虚拟化的特性去做更多的事情。虚拟化技术有一个很重要的特性就是,它可以...
在本月20—23日我代表山东大学(威海)参加了在北京国家会议中心隆重召开的第六届云计算大会。在本次汇集了国内外众多专家学者的高端峰会中感触良多,也收获颇丰!
当下,在IT学术界和产业界以及广大普通用户的共同努力下,云计算在中国已经有了显著的进步和提高,业内对云计算的认识更加的准确到位,云计算的运用规模也在不断的加大和扩展,专用云也在各个领域得到广泛应用和拓展。与其相辅相成的大数据也带给了大...
分类:
其他好文 时间:
2014-06-02 15:33:28
阅读次数:
234
用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面 的 hql查询.hive也即 做数据仓库
1. 基于Hadoop+Hive架构对海量数据进行查询:http://blog.csdn.net/kunshan_shenbin/article/details/7105319
2. HBase...
分类:
其他好文 时间:
2014-06-02 10:33:40
阅读次数:
277
http://zhangsa.net/baike/hulianwangsiwei.html互联网思维精髓大总结:1、用户思维;2、简约思维;3、极致思维;4、迭代思维;5、流量思维;6、社会化思维;7、大数据思维;8、平台思维;9、跨界思维。课前秀:三个段子第一个段子:一个毫无餐饮行业经验的人开了一...
分类:
其他好文 时间:
2014-06-02 07:55:24
阅读次数:
278