作者：大数据女神-诺蓝（微信公号：dashujunvshen）。本文是36大数据专稿，转载必须标明来源36大数据。 接上一部分：一共81个，开源大数据处理工具汇总（上），第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大....
分类：
其他好文 时间：
2015-10-13 12:09:51
阅读次数：
305
随笔说明：由于参加了上海交大组织的飞谷云项目，而且报名第三组：基于Spark的机器学习。于是打算先花时间把Spark的基础学习学习。这次学习的参考书选择的是Spark的官方文档（这个肯定是最权威的）和机械工业的《Spark大数据处理 技术、应用与性能优化》；届时肯定还有项目组提供的学习资料。1.S....
分类：
其他好文 时间：
2015-10-07 20:19:49
阅读次数：
305
而对于一些场景，比如虚拟机活动镜像的存储，或者说虚拟机硬盘文件的存储，还有大数据处理等场景，对象存储就显得捉襟见肘了。而文件系统在这些领域有突出的表现，比如Nutanix的NDFS（Nutanix Distributed Filesystem）和VMware的VMFS（VMware Filesystem）在虚拟机镜像存储方面表现很出色，Google文件系统GFS及其开源实现HDFS被广泛用于支撑基...
分类：
其他好文 时间：
2015-09-29 14:50:35
阅读次数：
298
前言: 前段时间自己参考网上的文章，梳理了一下基于分布式环境部署的业务系统在解决数据一致性问题上的方案，其中有一个方案是使用ZooKeeper，加之在大数据处理中，ZooKeeper确实起到协调服务的作用，所以利用周末休息时间，自己在虚拟机上简单搭建了一个ZooKeeper集群，学习了解一下。=.....
分类：
其他好文 时间：
2015-09-20 17:34:57
阅读次数：
396
现在各大网站预售中，估计9月底就能到货发售！京东：http://item.jd.com/11770787.html当当：http://product.dangdang.com/23776595.html亚马逊：http://www.amazon.cn/SparkInternals前言和目录附上，以便有需要了解的同学：诞生于2005年的Hadoop解决了大数据的存储和计算问题，已经成为大数据处理的事...
分类：
其他好文 时间：
2015-09-20 10:34:19
阅读次数：
223
转：http://blog.csdn.net/v_july_v/article/details/7382693作者：July出处：结构之法算法之道blog前言 一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文，却无任何收获，那...
分类：
编程语言 时间：
2015-09-12 12:06:37
阅读次数：
274
一、nutch简介 nutch是大名鼎鼎的Doug Cutting发起的爬虫项目，nutch孵化了现在大数据处理框架Hadoop。在nutch V 0.8.0 版本之前，Hadoop是nutch的一部分，从nutch V0.8.0开始，HDFS和MapReduce从nutch中剥离出成为Hadoop...
分类：
其他好文 时间：
2015-09-07 21:12:46
阅读次数：
369
大数据处理方面的 7 个开源搜索引擎大数据是一个包括一切的术语,指的是数据集很大很复杂,他们需要特别设计的硬件和软件工具。数据集通常是 T 或者更大级别。这些数据集从各种各样的来源创建，包括传感器,收集气象信息,公开可用的信息,如杂志、报纸、文章。还包括购买交易记录、网络日志、医疗记 录、军事侦察、...
分类：
其他好文 时间：
2015-09-06 01:06:56
阅读次数：
192
原文地址：http://www.parallellabs.com/2013/08/25/impala-big-data-analytics/文/耿益锋陈冠诚大数据处理是云计算中非常重要的问题，自Google公司提出MapReduce分布式处理框架以来，以Hadoop为代表的开源软件受到越来越多公司的...
分类：
其他好文 时间：
2015-08-31 21:25:56
阅读次数：
198
由于做数据处理时，经常遇到maven 下载依赖包错误，下面我将自己下载好的repository 分享下 里边包含：Hadoop ，storm ,sprk ,kafka ,等 压缩后500多M。 http://pan.baidu.com/s/1pJN2ScV 如有问题请联系: chaoren399@1...
分类：
其他好文 时间：
2015-08-28 00:36:13
阅读次数：
113
