SpringMVC+Mybatis+SpringSecurity(权限控制到方法按钮)+Rest(服务)+Webservice（服务）+Quartz（定时调度）+Lucene(搜索引擎)+HTML5bootstrap+Maven项目构建绝对开源平台项目Mave构建，模拟大型互联网架构，做到高并发，大数据处理，整个项目使用定制化服务思想，提供原子化、..
分类：
编程语言 时间：
2015-04-11 06:39:25
阅读次数：
123
现代社会早已进入读图微时代，而谷歌识图应用和百度识图应用的推出预示着全民读图时代的来临。在读图时代，因为图表直观展示信息、对比和趋势的优势，图表表现数据也就成为一种必然。图表功能成了各大数据处理软件必须做好的功能之一，同时图表控件也能实现数据的图表化，那么..
分类：
其他好文 时间：
2015-04-09 20:06:13
阅读次数：
142
在使用一个工具之前，应该先对它的机制、组成等有深入的了解，以后才会更好的使用它。下面来介绍一下什么是HDFS，以及他的构架是什么样的。1.什么是HDFS？ Hadoop主要是用于进行大数据处理，那么如何有效的存储大规模的数据呢？显然，集中式的物理服务器保存数据是不现实的，其容量、数据传输速度等...
分类：
其他好文 时间：
2015-04-08 12:43:15
阅读次数：
110
前言：前段时间在网上看到腾讯后台开发总监bison分享的一篇文章《浅谈过载保护》，读来受益匪浅。刚好自己也在处理系统请求过载的问题，把自己的一些心得体会总结出来拿来与大家一起探讨。在bison的文章中谈到：对于延时敏感的服务，当外部请求超过系统处理能力，如果系统没有做相应保护，可能导致历史累计的超时...
分类：
其他好文 时间：
2015-04-03 13:22:04
阅读次数：
111
前言：最近在做分布式海量数据处理项目，使用到了java的线程池，所以搜集了一些资料对它的使用做了一下总结和探究，前面介绍的东西大多都是从网上搜集整理而来。文中最核心的东西在于后面两节无界队列线程池和有界队列线程池的实例使用以及线上问题处理方案。1. 为什么要用线程池？在Java中，如果每当一个请求到...
分类：
编程语言 时间：
2015-04-03 12:52:38
阅读次数：
237
1，什么是大数据简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。2，大数据最核心的价值 大数据最核心的价值就是在于对于海量数据进行存储和分析。相比起现有的其他技术而言，大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。3，大数据处理分析的六大最好工具 Apac...
分类：
其他好文 时间：
2015-03-31 23:47:47
阅读次数：
161
布嵘过滤器为一种空间效率很高的随机数据结构, 它的实现方法主要包括一个位数组, 可用c++中的bitset来实现和k个哈希函数. 算法原理为: 当向某一个集合中添加一个元素的时候, 该元素会分别作为K个哈希函数的输入, 将该元素映射到位数组的k个点, 将这些点置为1. 当要查找某个元素是否在该集.....
分类：
其他好文 时间：
2015-03-30 18:17:08
阅读次数：
116
1. 给A,B两个文件，各存放50亿条URL，每条URL占用64字节，内存限制是4G，让你找出A,B文件共同的URL。分析：1MB = 2^20 = 10^6 = 100万1GB = 2^30 = 10^9 = 1亿50亿url = 5G*64 Byte整理方法如下：方法一：分别扫描A,B文件，根据...
分类：
其他好文 时间：
2015-03-20 17:56:10
阅读次数：
98
这两天，由于我的必修课概率论里经常要用到排列组合的计算，感觉很麻烦，加上现代智能手机的计算器是没有这方面功能的。所以，就自己动手写了个安卓的 排列组合 计算器，用了一天，发现有很大的问题，阶乘达百亿级别的数，程序将不再运行。我这里举个例子，30的阶乘，30！=1x2x3x4x5....x30，这个明...
分类：
编程语言 时间：
2015-03-16 23:03:16
阅读次数：
286
什么是大数据“大数据”一词已经无处不在，然而其概念仍然存在混淆。有人从数量大、速度快、种类多等特征定义大数据；有人把大数据看作一项新技术，例如大数据处理技术Hadoop和非关系型数据库NoSQL；有人从大数据与数据的区别角度提出，大数据不仅包括人们过去搜集、存储和分析的交易数据，更包括人们从点击网页...
分类：
其他好文 时间：
2015-03-14 18:25:46
阅读次数：
186
