mavenspringmvcshiromybatisrestwebservicebootstrap整合，模拟大型互联网架构，高并发，大数据处理，mavenspringmvcshiromybatisrestwebservicebootstrap整合使用定制化服务思想，提供原子化、模块化的方案，将功能模块进行拆分，可以公用到所有的项目中（手机appoaerp电子商..
分类：
编程语言 时间：
2015-05-01 12:11:21
阅读次数：
626
由于Hadoop生态链基本都是java开发的，所以在很多有关大数据处理的开源项目中，经常会看到log4j这个jar包。
本文旨在对它的用法做基本说明。
1. log4j是什么
从log4j的命名（log for java）不难看出，它是为java提供的日志库。具体而言，它是Apache基金会下的开源项目，它可在不修改应用程序代码的前提下，在程序运行时提供灵活的日志打印功能（当然，应用程序还是...
分类：
编程语言 时间：
2015-04-30 18:09:59
阅读次数：
219
百度面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。
IP 是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的 IP（可以采用hash_map进行频率统计，然后再找出频率最大的几个）及相应的频率。然后再在这1000个最大的IP中，找出那个频率最大的IP，即 为所求。
百度面试题2、搜...
分类：
编程语言 时间：
2015-04-29 19:53:53
阅读次数：
192
腾讯面试题：给20亿个不重复的unsigned int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中并且所耗内存尽可能的少？ ?解析:bitmap算法就好办多了 ?所谓bitmap，就是用每一位来存...
分类：
编程语言 时间：
2015-04-29 17:40:15
阅读次数：
190
腾讯面试题：给20亿个不重复的unsigned int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中并且所耗内存尽可能的少？
解析:bitmap算法就好办多了
所谓bitmap，就是用每一位来存放某种状态，适用于大规模数据，但数据状态又不是很多的情况。通常是用来判断某个数据存不存在的。
例如，要判断一千万个人的状态，每个人只有两种状态：男人，女人，可以...
分类：
编程语言 时间：
2015-04-29 11:50:09
阅读次数：
131
百度面试题：给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？
Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合，但是并不严格要求100%正确的场合。
一. 实例
为了说明Bloom Filter存在的重要意义，举一个实例...
分类：
编程语言 时间：
2015-04-29 11:36:59
阅读次数：
177
阿里电子商务迄今是中国最大的电商网站，各个厂商都在去模仿。就像google的大数据处理，hadoop的思想等等，只有做出了一些成绩，起了带头羊，那么将会是非常吃香的。从今天开始简单学习了解一下阿里的各种云服务。今天先看一下OSS。 OSS（Open Storage Service）开放云存储服务，是阿里云对外的提供的海量，安全和高可靠的云存储服务。目前阿里的所有云服务都是收费，大家...
分类：
其他好文 时间：
2015-04-26 18:20:41
阅读次数：
229
许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。Apache Storm 在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（ma...
分类：
其他好文 时间：
2015-04-17 07:05:30
阅读次数：
152
我打算写的这些东西，非框架，非业务，也不是高大上的大数据处理，或者流行的用户体验、交互设计，仅仅是关于一些系统设计的细节，比如为什么要做联机程序和批量程序，以及如何设计联机/批量？数据一致性保证，并行处理、参数的生命周期，存储过程该不该用、跨系统传输文件以什么方式来同步等等。也会有一些业务实现上的细...
分类：
其他好文 时间：
2015-04-15 18:40:04
阅读次数：
108
SpringMVC+Mybatis+SpringSecurity(权限控制到方法按钮)+Rest(服务)+Webservice（服务）+Quartz（定时调度）+Lucene(搜索引擎)+HTML5bootstrap+Maven项目构建绝对开源平台项目Mave构建，模拟大型互联网架构，做到高并发，大数据处理，整个项目使用定制化服务思想，提供原子化、..
分类：
编程语言 时间：
2015-04-11 06:40:31
阅读次数：
266
