因为最近要处理一些 JSON 数据格式，所以在经过一番搜索后 最终找到了 jq 这个很棒的工具。jq 允许你直接在命令行下对 JSON 进行操作，包括分片、过滤、转换等等。
让我们通过几个例子来说明 jq 的功能：
一、输出格式化，漂亮的打印效果
如果我们用文本编辑器打开 JSON，有时候可能看起来会一团糟，但是通过 jq 的 .（点）过滤器就可以立马让 JSON 的格式规整起来。
1.用...
分类：
Web程序 时间：
2014-08-05 09:40:29
阅读次数：
247
#include
#include
#include
/*
避免错误:
size 进行判断后在进行动态分配。
为什么?
malloc在不同编译器上有不同的实现，有的申请0大小返回NULL，
有的就可以返回一个地址，似乎后者较为常见。
当malloc分配内存时它除了分配我们指定SIZE的内存块，还会分配额
外的内存来存储我们的内存块信息，用于维护该内存块。
其实内存是分片的， 比喻说你malloc（10）； 不是真的给你10个字节，...
分类：
其他好文 时间：
2014-08-04 17:54:47
阅读次数：
180
1.启动Config Server的数据库实例
2.启动Mongos实例
3.添加分片到集群中
4.对数据库启用分片
5.对集合启用分片...
分类：
数据库 时间：
2014-08-01 16:13:01
阅读次数：
377
开源数据库 Sharding 技术 (Share Nothing)介绍。
分类：
数据库 时间：
2014-07-31 15:57:36
阅读次数：
416
话说在虚拟机中会报各种错误，在真实的环境中就不会那么痛苦了。
想了一下虚拟机中报错的原因有。机器卡，处理的时间长就会抛出错误
还有虚拟机如果给的空间太小，也会报异常。
此处讲讲我的大致思路。
第一，选择三台服务器，最好不是虚拟的
第二，设计三台服务器的IP，端口，和各自的角色
第三，检查防火墙有没有关闭，时间是不是同步
如果上面都可以了，那你就可以操作了。
当然，mongodb版本...
分类：
其他好文 时间：
2014-07-30 10:06:43
阅读次数：
403
转载请注明出处： jiq?钦's technical Blog - 季义钦
一、开篇
淘宝之前使用的存储层架构一直是MySQL数据库，配合以MongDB，Tair等存储。
MySQL由于开源，并且生态系统良好，本身拥有分库分表等多种解决方案，因此很长一段时间内都满足淘宝大量业务的需求。但是由于业务的多样化发展，有越来越多的业务系统的需求开始发生了变化。一般来说有以下几类变化：
(1)...
分类：
数据库 时间：
2014-07-27 11:22:22
阅读次数：
446
IP首部内有三个字段实现分片和重装：标识字段（ip_id）、标志字段（ip_off的3个高位比特）和偏移字段（ip_off的13个低位
比特）。标志字段由3个1bit标志组成。比特0是保留的必须为0,；比特1是“不分片”（DF）标志；比特2是“更多分片”（MF）标志。
Net/3中，标志和偏移字段结合起来，由ip_off访问，如下图所示：
ip_off的其他13bit指出在原始数据报...
分类：
其他好文 时间：
2014-07-23 22:33:38
阅读次数：
505
代码测试环境：Hadoop2.4应用场景：当需要处理很多小数据文件的时候，可以应用此技巧来达到高效处理数据的目的。原理：应用CombineFileInputFormat，可以把多个小数据文件在进行分片的时候合并。由于每个分片会产生一个Mapper，当一个Mapper处理的数据比较小的时候，其效率较低。而一般使用Hadoop处理数据时，即默认方式，会把一个输入数据文件当做一个分片，这样当输入文件较小...
分类：
其他好文 时间：
2014-07-23 13:09:36
阅读次数：
281
互联网网站应用大多采用mysql作为DB存储，限于mysql单机性能的瓶颈，为了支撑更大容量和更大的访问量，dba一般通过建立分布式集群，让多个mysql共同提供服务。所谓的mysql分布式集群，实质就是将原有的数据拆成多份，放在多个mysql数据库上存储，应用通过中间层路由到对应的数据库分片...
分类：
数据库 时间：
2014-07-22 22:44:34
阅读次数：
304
###开启auth认证的mongodb的复制集###注意点-服务器节点之前时间要同步-开启防火墙的一定要允许通过-开启selinux的也要进行设置-建立双击互信模式最好不过###提前要做的事情生产高端大气上档次的keyFile文件[root@redisjournal]#opensslrand-base64753
3LC/EZGPOLXdVBQInqeKVgl..
分类：
数据库 时间：
2014-07-21 22:25:17
阅读次数：
321
