本篇博客将结合手机上网流量业务来详细介绍Hadoop的二次排序机制、分区机制，先介绍一下业务场景：
先介绍一下业务场景：统计每个用户的上行流量和，下行流量和，以及总流量和。
本次描述所用数据：
日志格式描述：
日志flowdata.txt中的具体数据：
首先我们先通过mapreduce程序实现上面的业务逻辑：
代码实现：package FlowSum;import jav...
分类：
移动开发 时间：
2016-07-08 11:52:48
阅读次数：
330
经常有这样一个业务场景，我们在同一张表中有重复的记录，我们要删除重复的记录，这篇文章就是用来解决这个问题的，用的方法是我目前遇到的效率最高的方法（如果有更好的方法欢迎网友提供）。这个方法会用到了rowid，下面简单介绍一下rowid的定义 1、ROWID定义 ROWID：数据库中行的全局唯一地址 对 ...
分类：
数据库 时间：
2016-07-08 10:09:10
阅读次数：
274
大家都知道，Hadoop中为Key的数据类型必须实现WritableComparable接口，而Value的数据类型只需要实现Writable接口即可；能做Key的一定可以做Value，能做Value的未必能做Key.但是具体应该怎么应用呢？—-本篇文章将结合手机上网流量业务进行分析。
先介绍一下业务场景：统计每个用户的上行流量和，下行流量和，以及总流量和。
本次描述所用数据：
日志格式描述：...
分类：
移动开发 时间：
2016-07-08 00:17:51
阅读次数：
382
19.session产生方式业务场景：如何保持service调用多个dao时，统一事务。session的产生方式不考虑分布式环境分布式调用不同java虚拟机直接的对象调用1.sessionFactory.openSession()每次创建新session2.sessionFactory.getCurrentSession();（1）查看当前线程中的session是否存..
分类：
Web程序 时间：
2016-07-06 21:56:53
阅读次数：
240
转：http://www.infoq.com/cn/articles/solution-of-distributed-system-transaction-consistency 开篇 在OLTP系统领域，我们在很多业务场景下都会面临事务一致性方面的需求，例如最经典的Bob给Smith转账的案例。传 ...
分类：
其他好文 时间：
2016-07-06 20:00:30
阅读次数：
148
原理：RGB颜色根据计算'灰度'的公式，可以转化为黑白2种颜色，实现二值化。 业务场景的应用：可以根据背景颜色，取一个黑色或白色的颜色，作为背景色上的文案字体颜色 具体代码： ...
分类：
其他好文 时间：
2016-07-05 17:12:12
阅读次数：
3107
企业级大数据处理方案有三种业务场景： 1.离线处理；（mapreduce（第一代）、sparksql（第二代）） 2.实时处理；（数据库操作、storm） 3.准实时处理。（spark Streaming） mapreduce与spark对比 mr与spark优缺点对比：（一） a.mapreduc ...
分类：
其他好文 时间：
2016-07-05 10:10:17
阅读次数：
119
最近在看 memcached 的公共课，发现memcache的确是个好东西，可以显著地减小数据库负载，当然我们要搞清楚，任何一样技术都有它的优缺点， 在使用它的时候，搞清楚它的适用场景，才能扬长避短，发挥最大的作用。 适用memcached的业务场景： 1）如果网站包含了访问量很大的动态网页，因而数 ...
分类：
系统相关 时间：
2016-07-05 08:47:08
阅读次数：
172
在分布式系统中，同时满足“一致性”、“可用性”和“分区容错性”三者是不可能的。分布式系统的事务一致性是一个技术难题，各种解决方案孰优孰劣？
在OLTP系统领域，我们在很多业务场景下都会面临事务一致性方面的需求，例如最经典的Bob给Smith转账的案例。传统的企业开发，系统往往是以单体应用形式存在的，也没有横跨多个数据库。
我们通常只需借助开发平台中特有数据访问技术和框架（例如Spring、JDB...
分类：
其他好文 时间：
2016-07-03 19:21:01
阅读次数：
209
概要：MQ框架非常之多，比较流行的有RabbitMq、ActiveMq、ZeroMq、kafka。这几种MQ到底应该选择哪个？要根据自己项目的业务场景和需求。下面我列出这些MQ之间的对比数据和资料。详细内容请看我的csdn博客：RabbitMq、ActiveMq、ZeroMq、kafka之间的比较,资料汇总
分类：
其他好文 时间：
2016-06-29 13:36:53
阅读次数：
263
