使用hadoop mapreduce分析mongodb数据 （现在很多互联网爬虫将数据存入mongdb中，所以研究了一下，写此文档） 版权声明：本文为yunshuxueyuan原创文章。如需转载请标明出处： http://www.cnblogs.com/sxt-zkys/QQ技术交流群：299142 ...
分类：
数据库 时间：
2017-07-27 16:35:37
阅读次数：
205
HDFS文件权限 1、与linux文件权限类型 r:read w:write x:execute权限x对于文件忽略，对于文件夹表示是否允许访问其内容 2、如果linux系统用户sanglp使用hadoop命令创建一个文件，那么这个文件在HDFS中owner就是sanglp 3、HDFS的权限目的：阻 ...
分类：
其他好文 时间：
2017-07-15 19:55:48
阅读次数：
223
Spark MLlib介绍 Spark之所以在机器学习方面具有得天独厚的优势，有以下几点原因： （1）机器学习算法一般都有很多个步骤迭代计算的过程，机器学习的计算需要在多次迭代后获得足够小的误差或者足够收敛才会停止，迭代时如果使用Hadoop的MapReduce计算框架，每次计算都要读/写磁盘以及任 ...
分类：
其他好文 时间：
2017-07-06 13:26:57
阅读次数：
254
使用hadoop进行MapReduce编程的时候。我们都希望使用IDE进行开发。本文主要介绍怎样使用Eclipse进行hadoop编程。 假设你的集群还没搭好，能够參考我的前一篇文章Ubuntu下用hadoop2.4搭建集群（伪分布式） 一、安装Eclipse 方法一：直接在Ubuntu的软件中心进 ...
分类：
系统相关 时间：
2017-06-28 19:00:38
阅读次数：
334
学习和使用hadoop有一年了，这里主要分享一下对hadoop整体上的理解，分门别类的介绍一下相关组件，最后提供了建议的学习路线，希望对hadoop的初学者有参考作用。1.Hadoop核心件组有哪些?广义hadoop指什么?核心组件有：Hdfs、Yarn、MapReduce;广义上指一个生态圈，泛指大数据技..
分类：
其他好文 时间：
2017-06-26 10:09:18
阅读次数：
701
1-HBase的安装HBase是什么？HBase是Apache Hadoop中的一个子项目，Hbase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作，如右侧... ...
分类：
其他好文 时间：
2017-06-22 12:06:28
阅读次数：
195
客户端与服务端都要实现同一个接口Bizable，客户端得到服务端实例代码对象的方法。 服务端需要绑定相关的IP地址、端口。 1.在这里，我们使用Hadoop提供的工具类RPC.Builder，下面就是服务端相关代码 public class RPCServer implements Bizable{ ...
分类：
其他好文 时间：
2017-06-10 15:16:04
阅读次数：
258
《Hadoop金融大数据分析》 Hadoop for Finance Essentials使用Hadoop，是因为数据量大数据量如此之多，以至于无法用传统的数据处理工具和应用来处理的数据称主大数据3V定义：即“大量Volume,多样Variety,高速Velocity是与大数据相关的三个属性或维度。 ...
分类：
其他好文 时间：
2017-06-07 10:14:02
阅读次数：
167
原始Liunx 的python版本不带numpy ，安装了anaconda 之后，使用hadoop streaming 时无法调用anaconda python ， 后来发现是参数没设置好。。。 进入正题： 环境： 4台服务器：master slave1 slave2 slave3。 全部安装ana ...
分类：
编程语言 时间：
2017-06-05 22:15:29
阅读次数：
362
使用Hadoop ACL 控制訪问权限 一、HDFS訪问控制 hdfs-site.xml设置启动acl <property> <name>dfs.permissions.enabled</name> <value>true</value> </property> <property> <name>d ...
分类：
其他好文 时间：
2017-06-04 22:53:05
阅读次数：
310
