twemproxy又叫netcracker，是一个高性能的协议路由器（代理服务器），可用于memcached/redis集群，支持数据分片。在国外兜了一圈也没发现有人对其进行rpm打包，估计大家都在等redis3.0cluster吧。于是研究了一下，顺手写了个spec文件。编译安装对autoconf和m4有版本要求，所以..
分类：
其他好文 时间：
2014-12-14 10:45:41
阅读次数：
492
前言数据在分片时，典型的是分库分表，就有一个全局ID生成的问题。单纯的生成全局ID并不是什么难题，但是生成的ID通常要满足分片的一些要求：不能有单点故障。以时间为序，或者ID里包含时间。这样一是可以少一个索引，二是冷热数据容易分离。可以控制ShardingId。比如某一个用户的文章要放在同一个分片内...
分类：
其他好文 时间：
2014-12-13 06:07:09
阅读次数：
174
第二部分片头动画
首先在visula studio 下创建新工程
工具类ConstUtil.h，该文件主要定义了一些图片资源、字符串、字体等
#ifndef __CONSTUTIL_H__
#define __CONSTUTIL_H__
//定义了诚迈科技四张图片资源，由于在诚迈科技，就用公司名称做动画吧
#define CHENG_IMAGE "ch...
分类：
其他好文 时间：
2014-12-12 22:12:45
阅读次数：
337
1.压缩和输入分片 Hadoop中文件是以块的形式存储在各个DataNode节点中，假如有一个文件A要做为输入数据，给MapReduce处理，系统要做的，首先从NameNode中找到文件A存储在哪些DataNode中，然后，在这些DataNode中，找到相应的数据块，作为一个单独的数据分块，作为ma...
分类：
其他好文 时间：
2014-12-11 15:22:37
阅读次数：
185
作业十二：互联网架构实践：插件式框架P3+dubbo+redis+tbschedule+zookpeer框架和环境搭建（采用京东架构讲解，读写分离，多数据源，分库分表，基础架构spring+velicity+mybatis+p3）
作业十三：centos互联网服务器虚拟机环境搭建实践（nagix、redis、zookper、dubbo、tbschedule）（模拟真实互联网环境服务器环境配置）
作业十四：mysql数据库分库分表分片设计...
分类：
其他好文 时间：
2014-12-10 18:04:27
阅读次数：
238
用法：split [选项]... [输入 [前缀]] 将输入内容拆分为固定大小的分片并输出到"前缀aa"、"前缀ab",...； 默认以 1000 行为拆分单位，默认前缀为"x"。如果不指定文件，或 者文件为"-"，则从标准输入读取数据。 长...
分类：
系统相关 时间：
2014-12-10 12:46:30
阅读次数：
334
摘自：《MongoDB管理与开发精要》 性能优化 创建索引 限定返回结果条数 只查询使用到的字段，而不查询所有字段 采用capped collection 采用Server Side Code Execution Hint 采用Profiling Sharding 分片 Replica...
分类：
数据库 时间：
2014-12-09 17:26:53
阅读次数：
272
输入数据概要 输入数据通常驻留在较大的文件中，通常几十或者数百GB，甚至更大。MapReduce处理的基本原则之一是将输入数据分割成块。这些块可以在多台计算机上并行处理，在Hadoop的术语中这些块被称为输入分片(In...
分类：
其他好文 时间：
2014-12-08 19:52:51
阅读次数：
230
MODULE 10 Threads 多线程--------------------------------进程： 计算机在运行过程中的任务单元，CPU在一个时间点上只能执行一个进程，但在一个时间段上采用时间分片原则。特点： 每个进程执行时需要独立的数据空间，独立分配内存，多个进程间的资源互不共...
分类：
编程语言 时间：
2014-12-06 12:46:24
阅读次数：
240
前言：在具体执行Hadoop程序的时候，我们要根据不同的情况来设置Map的个数。除了设置固定的每个节点上可运行的最大map个数外，我们还需要控制真正执行Map操作的任务个数。 ?1.如何控制实际运行的map任务个数 ?我...
分类：
其他好文 时间：
2014-12-05 17:38:14
阅读次数：
163
