如果你对项目管理、系统架构有兴趣，请加微信订阅号“softjg”，加入这个PM、架构师的大家庭
随着BIG
DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间...
分类：
其他好文 时间：
2014-05-12 17:06:14
阅读次数：
396
使用hbase的目的是为了海量数据的随机读写，但是在实际使用中却发现针对随机读的优化和gc是一个很大的问题，而且hbase的数据是存储在Hdfs，而Hdfs是面向流失数据访问进行设计的，就难免带来效率的下降。下面介绍一下Facebook
Message系统在HBase online storage场...
分类：
其他好文 时间：
2014-05-04 11:08:29
阅读次数：
337
本文将介绍Hadoop中的重点MapReduce的入门知识。(1)MapReduce概述MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。MR由两个阶段组成：Map和Reduce，在Hadoop中用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单..
分类：
其他好文 时间：
2014-05-03 01:53:48
阅读次数：
519
一
统计学习方法概述统计学习对象：数据-->数据特征-->数据模型-->知识-->预测统计学习关于数据的假设：
具有一定统计规律性的同类数据。统计学习目的： 对数据进行预测与分析，尤其是对未知新数据进行分析预测。通过构建概率统计模型实现。统计学习方法：
监督学习，非监督学习，半监督学习，强化学习监督...
分类：
其他好文 时间：
2014-04-28 01:04:26
阅读次数：
583
