系统CentOs7,最小安装，使用 Ext4，/ ,/boot,/swap 使用标准分区，另一个分区做为数据分区，使用 LVM.安装后，没有启用网卡：http://www.cnblogs.com/hwd-cnblogs/p/4003607.html添加用户： adduser dev设置密码： pas...
分类：
其他好文 时间：
2015-08-19 10:37:58
阅读次数：
188
mysql分区：
mysql分区是根据某个分区键（区间值，特定值列表，或者hash函数值）执行数据的聚集，让数据根据规则分布在不同的分区中，让一些大对象变成小对象。
mysql分区适用于一个表中的所有数据和索引，不能只对表数据分区而不对索引分区，反过来也是一样的，不能只对索引分区而不对表分区，同时也不能只对表的一部分数据进行分区。mysql分区表上创建的索引一定是本地local索引。
...
分类：
数据库 时间：
2015-08-04 19:22:10
阅读次数：
152
大数据扫盲 目录 大数据扫盲1 0.1.大数据处理流程1 0.2.大数据处理技术架构2 1.数据分区与路由2 1.1.二级映射机制3 1.1.1.哈希分区3 1.1.2.虚拟桶(virtual bucket)3 1.1.3.一致性哈希(consiste...
分类：
其他好文 时间：
2015-07-29 00:49:34
阅读次数：
248
大数据扫盲 目录 大数据扫盲1 0.1.大数据处理流程1 0.2.大数据处理技术架构2 1.数据分区与路由2 1.1.二级映射机制3 1.1.1.哈希分区3 1.1.2.虚拟桶(virtual bucket)3 1.1.3.一致性哈希(consiste...
分类：
其他好文 时间：
2015-07-29 00:34:37
阅读次数：
230
大数据扫盲 目录 大数据扫盲1 0.1.大数据处理流程1 0.2.大数据处理技术架构2 1.数据分区与路由2 1.1.二级映射机制3 1.1.1.哈希分区3 1.1.2.虚拟桶(virtual bucket)3 1.1.3.一致性哈希(consiste...
分类：
其他好文 时间：
2015-07-29 00:33:59
阅读次数：
216
Spark专用名词
RDD —- resillient distributed dataset 弹性分布式数据集
Operation —- 作用于RDD的各种操作分为transformation和action
Job —- 作业，一个JOB包含多个RDD及作用于相应RDD上的各种operation
Stage —- 一个作业分为多个阶段
Partition —- 数据分区， 一个RDD中的数据可以分...
分类：
其他好文 时间：
2015-07-08 16:41:59
阅读次数：
138
一、Linux可执行文件结构
在 Linux 下，程序是一个普通的可执行文件，以下列出一个二进制可执行文件的基本情况：
可以看出，此可执行文件在存储时（没有调入到内容）分为代码区（text）、数据区（data）和未初始化数据区（bss）3 个部分。各段基本内容说明如下：
代码区：
存放 CPU 执行的机器指令。通常代码区是可共享的（即...
分类：
系统相关 时间：
2015-06-24 16:37:39
阅读次数：
188
数据分区存储
在topic内设置了多个分区，使kafka的消费者进程池能得到有序性保证和负载均衡，使得topic对应的消费组里的消费者们各自可以独享一个分区。如此的话，每个消费者是其消费的分区的唯一reader，在单个reader下当然保证了有序这件事。而且多个分区也使得负载可以比较平衡。
具体流程：
1. Producer根据指定的partition方法，将消息发布到指定topic的par...
分类：
其他好文 时间：
2015-06-02 23:27:07
阅读次数：
147
数据分区Redis集群将数据分区后存储在多个节点上，即不同的分区存储在不同的节点上，每个节点可以存储多个分区。每个分区在Redis中也被称为“hash slot”，Redis集群中总共规划了16384个分区。例如：当集群中有3个节点时，节点A将包含0-5460分区，节点B将包含5461-10922分区，节点C将包含10923-16383分区。每个key将会存储到一个唯一的分区中，每个分区其实就是一...
分类：
编程语言 时间：
2015-05-11 16:15:05
阅读次数：
307
1. 手动格式化各个磁盘，比如/dev/sdb1为数据分区，/dev/sdb2为日志分区。 2.?mkallxfs 3. 修改/etc/ceph/ceph.conf文件： [global]
auth?supported?=?none
osd?pool?default?size?=?2
osd?crush?c...
分类：
其他好文 时间：
2015-04-07 20:19:46
阅读次数：
256
