课程目录:01-mongodb文档型数据库特点介绍02-mongodb安装过程03-mongo库表操作语句04-CURD操作详解05-深入查询表达式06-游标操作07-索引08-用户管理09-mongoDB备份与恢复10-replication复制集11-shard分片12-手动预先分片13-replcation与shard分片结合使用14-PHP-Mongo扩展编..
分类:
数据库 时间:
2014-11-06 15:11:48
阅读次数:
268
python基本数据结构序列 ,六种内建序列类型:列表 元组字符串 Unicode字符串 buff对象和xrange对象 序列通用操作: 索引:元素的编号是从 0开始的 到索引号为负数时 查找方式是从右到左的 索引写在[]中分片:类似索引的操作可以指定范围,当为一个对象创造副本时可以用 b = a[...
分类:
编程语言 时间:
2014-11-05 19:31:20
阅读次数:
193
大数据日知录:架构与算法
跳转至:
导航、
搜索
目录
1
当谈论大数据时我们在谈论什么2
数据分片与路由3
数据复制与一致性4
大数据常用算法与数据结构5
集群资源管理与调度6
分布式协调系统7
分布式通信8
数据通道9
分布式文件系统10
内存KV11
列式数据库12
大规模批处理13
流式计算14
交互式数据分...
分类:
编程语言 时间:
2014-10-27 21:24:29
阅读次数:
341
(1)key-value到map端比较容易,每个分片都会交由一个MapTask,而每个分片由InputFormat(一般是FileInputFormat)决定(一般是64M), 每个MapTask会调用N次map函数,具体是多少次map函数呢? 由job.setInputForm...
分类:
其他好文 时间:
2014-10-22 23:30:18
阅读次数:
371
报表开发过程中经常要在报表中完成数据关联计算,有的为了降低报表制作复杂度将关联关系放到可视的报表模板中完成;有的则必须在报表中完成关联,如多数据源、异构数据源的情况。而在报表中做关联往往导致报表效率不高,计算过慢,引发性能问题。润乾集算报表提供了特殊的数据关联方式,可以提升报表性能。这里通过一个常见的多源关联分片报表实例来看一下集算报表的实现过程:...
分类:
其他好文 时间:
2014-10-20 15:13:29
阅读次数:
201
总结: 不仅tcp协议能对数据段进行分割,ip协议也具备这个功能,之所以会这样是两者都受到底层MTU的限制(虽说tcp是根据MSS限制来分割数据包,由于MTU=tcp包头+ip包头+MSS,所以其实也算是受MTU的制约。)。但是尽量别让ip协议来负责数据包的分包工作,因为虽然ip协议会对数据包进行分...
分类:
其他好文 时间:
2014-10-19 14:14:19
阅读次数:
170
《python基础教程(第二版)》学习笔记 字符串(第3章)所有的基本的序列操作(索引,分片,乘法,判断成员资格,求长度,求最大最小值)对字符串也适用。字符串是不可以改变的;%左侧是格式字符串,右侧是需要格式化的值print '%s=%d' % ('x',100) ==> x=100%% 格式字符串...
分类:
编程语言 时间:
2014-10-18 08:34:09
阅读次数:
204
通常情况下,我们会建立多个redis实例来缓解单个redis实例的压力。但是,随着缓存数量的增加,对redis进行扩容是一件非做不可的事情。对redis进行扩容可以有多种办法,比如增加每个redis实例的最大内存。这只是解决办法之一,而且缺乏灵活性和可扩展性。在redis官网上,提到了预分片技术。本文将对预分片技术进行讲解,同时讲解jedis对分片是如何支持的。
一、redis预分片技术...
分类:
其他好文 时间:
2014-10-17 21:59:54
阅读次数:
407