HDFS小文件问题及解决方案:http://dongxicheng.org/mapreduce/hdfs-small-files-solution/Hadoop升级方案(一):Hadoop
1.0内部版本升级(初稿):http://dongxicheng.org/mapreduce-nextgen/...
分类:
其他好文 时间:
2014-05-10 02:08:24
阅读次数:
327
单词计数是最简单也是最能体现MapReduce思想的程序之一,可以称为MapReduce版"Hello
World",该程序的完整代码可以在Hadoop安装包的"src/examples"目录下找到。单词计数主要完成功能是:统计一系列文本文件中每个单词出现的次数,如下图所示。现在我们以"hadoop...
分类:
其他好文 时间:
2014-05-10 01:54:48
阅读次数:
445
多传感器信息融合的意义:可有效的解决单传感器的模糊点更精确的观察和解释环境。多传感器信息融合的方法(算法):
经典推理法、加权平均法、卡尔曼滤波、贝叶斯估计、D-S证据理论、统计决策理论、聚类分析、参数模板、熵法、品质因数法、估计理论法、专家系统法、产生式规则、人工神经网络、模糊推理、粗糙集理论.....
分类:
移动开发 时间:
2014-05-10 01:19:12
阅读次数:
365
Hadoop
MapReduce开发最佳实践(上篇)本文是Hadoop最佳实践系列第二篇,上一篇为《Hadoop管理员的十个最佳实践》。MapRuduce开发对于大多数程序员都会觉得略显复杂,运行一个WordCount(Hadoop中hello
word程序)不仅要熟悉MapRuduce模型,还要了...
分类:
其他好文 时间:
2014-05-08 21:45:46
阅读次数:
640
dataguru访问地址:http://f.dataguru.cn/?fromuid=99611课程优惠码:C4B6这段时间一直在dataguru(炼数成金)上学习《hadoop数据分析平台(第十四期)》,说说我对炼数成金的印象。最开始听说dataguru是通过它的广告邮件中的链接,发送的对象是it...
分类:
其他好文 时间:
2014-05-08 21:19:30
阅读次数:
727
AP聚类算法是目前十分火的一种聚类算法,它解决了传统的聚类算法的很多问题。不仅简单,而且聚类效果还不错。这里,把前两天学习的AP算法在R语言上面的模拟,将个人笔记拿出来与大家分享一下,不谈AP算法的原理,只初步的讲一下应用,更多请关注下期。APClusting
in R相似矩阵的计算negDi...
分类:
其他好文 时间:
2014-05-05 10:36:46
阅读次数:
500
1.核心 HDFS 分布式文件系统 主从结构,一个namenoe和多个datanode,
分别对应独立的物理机器
1)NameNode是主服务器,管理文件系统的命名空间和客户端对文件的访问操作。NameNode执行文件系统的命名空间操作,比如打开关闭重命名文件或者目录等,它也负责...
分类:
其他好文 时间:
2014-05-05 10:35:14
阅读次数:
432
转自:http://blog.csdn.net/bluesky8640/article/details/6945776之前装python、jdk、hadoop都是用的root账户,这是一个绝对的失策,linux对用户访问权限很严格,新创的hod账户根本无法启动hadoop,而root在hod模式下使...
分类:
系统相关 时间:
2014-05-05 10:09:20
阅读次数:
753
记住,大数据的本质在于数据,大只是它在整个宏观社会整体上的一个体现
分类:
其他好文 时间:
2014-05-05 09:31:32
阅读次数:
517
原文:SQL Server
大数据搬迁之文件组备份还原实战一.本文所涉及的内容(Contents)本文所涉及的内容(Contents)背景(Contexts)解决方案(Solution)搬迁步骤(Procedure)搬迁脚本(SQL
Codes)注意事项(Attention)疑问(Questions...
分类:
数据库 时间:
2014-05-04 19:06:55
阅读次数:
751