MongoDB 是目前炙手可热的 NoSQL 文档型数据库,它提供的一些特性很棒:如自动 failover 机制,自动 sharding,无模式 schemaless,大部分情况下性能也很棒。但是薄荷在深入使用 MongoDB 过程中,遇到了不少问题,下面总结几个我们遇到的坑。特别申明:我们目前用的...
分类:
数据库 时间:
2014-11-08 19:35:58
阅读次数:
195
(1)以怎样的方式从分片中读取一条记录,每读取一条记录都会调用RecordReader类;(2)系统默认的RecordReader是LineRecordReader,如TextInputFormat;而SequenceFileInputFormat的RecordReader是SequenceFile...
分类:
其他好文 时间:
2014-11-07 23:27:35
阅读次数:
263
#本次配置时间为2014-11-06软件版本为:mongodb-linux-x86_64-2.4.3.tgzlinux:centos5.964bit##############################################################本次部署分片的方式,只为测试环境:#10.8.10.23410.8.10.23510.8.10.236#shard1分片masterslaverarbiterOnly#shard..
分类:
数据库 时间:
2014-11-07 06:27:49
阅读次数:
321
课程目录:01-mongodb文档型数据库特点介绍02-mongodb安装过程03-mongo库表操作语句04-CURD操作详解05-深入查询表达式06-游标操作07-索引08-用户管理09-mongoDB备份与恢复10-replication复制集11-shard分片12-手动预先分片13-replcation与shard分片结合使用14-PHP-Mongo扩展编..
分类:
数据库 时间:
2014-11-06 15:11:48
阅读次数:
268
python基本数据结构序列 ,六种内建序列类型:列表 元组字符串 Unicode字符串 buff对象和xrange对象 序列通用操作: 索引:元素的编号是从 0开始的 到索引号为负数时 查找方式是从右到左的 索引写在[]中分片:类似索引的操作可以指定范围,当为一个对象创造副本时可以用 b = a[...
分类:
编程语言 时间:
2014-11-05 19:31:20
阅读次数:
193
MongoDB之整库备份还原单表collection备份还原cd D:\MongoDB\bin 1整库备份:mongodump -h dbhost -d dbname -o dbdirectory-h:MongDB所在服务器地址,例如:127.0.0.1:27017-d:需要备份的数据库实例,例如:wlwdb-o:备份的数据存放位置,例如:D:\MongoDB\data\dump,当然该目录需要提...
分类:
数据库 时间:
2014-10-28 21:47:51
阅读次数:
365
大数据日知录:架构与算法
跳转至:
导航、
搜索
目录
1
当谈论大数据时我们在谈论什么2
数据分片与路由3
数据复制与一致性4
大数据常用算法与数据结构5
集群资源管理与调度6
分布式协调系统7
分布式通信8
数据通道9
分布式文件系统10
内存KV11
列式数据库12
大规模批处理13
流式计算14
交互式数据分...
分类:
编程语言 时间:
2014-10-27 21:24:29
阅读次数:
341
Mongodb的开启默认启动:$ ./mongodb默认数据保存路径:/data/db/默认端口:27017修改默认路径:--dbpath$ ./mongdb --dbpath /mongodb/把数据存储位置指向一个自己的目录/mongodb/修改默认端口:--port$ ./mongdb --p...
分类:
数据库 时间:
2014-10-24 10:28:09
阅读次数:
233
(1)key-value到map端比较容易,每个分片都会交由一个MapTask,而每个分片由InputFormat(一般是FileInputFormat)决定(一般是64M), 每个MapTask会调用N次map函数,具体是多少次map函数呢? 由job.setInputForm...
分类:
其他好文 时间:
2014-10-22 23:30:18
阅读次数:
371