码迷,mamicode.com
首页 > 数据库 > 详细

使用hadoop mapreduce分析mongodb数据

时间:2017-07-27 16:35:37      阅读:205      评论:0      收藏:0      [点我收藏+]

标签:mapred   log   images   reduce   str   添加   技术分享   image   1.7   

使用hadoop mapreduce分析mongodb数据

(现在很多互联网爬虫将数据存入mongdb中,所以研究了一下,写此文档)

版权声明:本文为yunshuxueyuan原创文章。
如需转载请标明出处: http://www.cnblogs.com/sxt-zkys/
QQ技术交流群:299142667

一、 mongdb的安装和使用

1、 官网下载mongodb-linux-x86_64-rhel70-3.2.9.tgz

 技术分享

2、 解压 (可以配置一下环境变量)

3、 启动服务端

./mongod  --dbpath=/opt/local/mongodb/data --logpath=/opt/local/mongodb/logs  --logappend  --fork(后台启动)

第一种:不带auth认证的

 技术分享

第二种:需要带auth认证的(即需要用户名和密码的)

 技术分享

当指定用户名和密码在查看数据,发现就可以看得到了

 技术分享

4、 启动客户端

./mongo

 技术分享

5、客户端shell命令

show dbs    显示mongodb中有哪些数据库

 技术分享

db    显示当前正在用的数据库

 技术分享

use db    你要使用的数据库名

 技术分享

(注:若database不存在,则会创建一个,此时若不做任何操作直接退出,则MongoDB会删除该数据库)

db.auth(username,password)  username为用户名,password为密码 登陆你要使用的数据库

db.getCollectionNames()  查看当前数据库有哪些表

 技术分享

db.[collectionName].insert({...})  给指定数据库添加文档记录

 技术分享

db.[collectionName].findOne()   查找文档的第一条数据

db.[collectionName].find()   查找文档的全部记录

技术分享 

db.[collection].update({查询条件},{$set:{更新内容}})   更新一条文档记录

 技术分享

db.[collection].drop()   删除数据库中的集合

 技术分享

db.dropDatabase()   删除数据库

 技术分享

二、 Mapreduce 分析mongodb的数据实例

 

1、 编写mapreduce的代码前,需要另外添加两个jar包,还有需(jdk1.7以上)

 技术分享 技术分享

2、 需求介绍与实现

原数据:

 技术分享

结果数据:

 技术分享

代码编写:

Job:

 技术分享

Mapper:

 技术分享

Reduce:

 技术分享

最终的结果数据:

 技术分享

 

三、 最后给大家推荐一个mongodb数据库的管理工具,挺好用的

    技术分享

版权声明:本文为yunshuxueyuan原创文章。
如需转载请标明出处: http://www.cnblogs.com/sxt-zkys/
QQ技术交流群:299142667

使用hadoop mapreduce分析mongodb数据

标签:mapred   log   images   reduce   str   添加   技术分享   image   1.7   

原文地址:http://www.cnblogs.com/sxt-zkys/p/7245484.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!