发布Apache Hadoop 2.6.0——异构存储，长时间运行的服务与滚动升级支持
我很高兴地宣布，在Apache的Hadoop社区已经发布的Apache Hadoop的2.6.0:http://markmail.org/message/gv75qf3orlimn6kt！
特别是，我们很高兴在此版本中相关的三个主要片：异构存储在HDFS使用SSD和内存层，支持长时间运行在YARN服务和滚动升级，将升级您的集群软件，然后重新启动升级的节点而无需关闭群集或丢失正在进行的工作。YARN作为其架构中心，Hado...
分类：
Web程序 时间：
2014-12-08 12:28:20
阅读次数：
224
本文描述将一个简单的HelloWorld，提交到JStorm中运行。
1. 创建Maven工程
在Eclipse中创建Maven工程，默认方式创建即可。修改pom.xml文件：
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xs...
分类：
Web程序 时间：
2014-12-08 09:23:11
阅读次数：
577
出自：http://my.oschina.net/jinp/blog/350293一些常用命令：storm相关：storm nimbus >/dev/null 2>&1 &storm supervisor >/dev/null 2>&1 &storm ui >/dev/null 2>&1 &关闭st...
分类：
Web程序 时间：
2014-12-08 00:45:15
阅读次数：
346
最近看了比较多的关于大数据处理方面的知识，但是例如Hadoop，Spark，Storm等平台大都是对于数据的存储和管理操作，并不是对于数据进行分析和处理的。所以这里就衍生出了另外一种对于数据的处理，数据挖掘。学习数据挖掘也非常偶然，首先毕竟本人一直在做的是数据方面的工作，数据挖掘相当于是对数据处理后的下一步操作，学习一下数据挖掘的基本知识，了解了解常用的一些数据挖掘算法，对我来说也是一件不错的事。...
分类：
其他好文 时间：
2014-12-05 17:27:05
阅读次数：
151
先整体介绍一下搭建storm集群的步骤：
设置zookeeper集群安装依赖到所有nimbus和worker节点下载并解压storm发布版本到所有nimbus和worker节点配置storm.yaml启动相关后台进程
1 首先配置zookeeper集群
我们知道storm通过zookeeper来协调整个集群。zookeeper不是用来做消息传递，因此storm不会给zo...
分类：
其他好文 时间：
2014-12-05 17:26:26
阅读次数：
206
本文主要分析storm的worker进程间消息传递机制，消息的接收和处理的大概流程见下图在Storm中，worker进程内部的thread通信与worker进程间的通信有一些差别，worker间的通信经常需要通过网络跨节点进行，Storm使用ZeroMQ或Netty(0.9以后默认使用)作为进程间通信的消息框架。work..
分类：
系统相关 时间：
2014-12-04 15:57:44
阅读次数：
202
本文翻译自：?https://github.com/nathanmarz/storm/wiki/Tutorial Storm是一个分布式的、高容错的实时计算系统。 Storm对于实时计算的的意义相当于Hadoop对于批处理的意义。Hadoop为...
分类：
其他好文 时间：
2014-12-04 01:13:02
阅读次数：
467
第五章 一致性事务 Storm是一个分布式的流处理系统，利用anchor和ack机制保证所有tuple都被成功处理。如果tuple出错，则可以被重传，但是如何保证出错的tuple只被处理一次呢？Storm提供了一套事务性组件Transacti...
分类：
其他好文 时间：
2014-12-03 12:39:05
阅读次数：
219
源地址：http://storm.apache.org/documentation/Setting-up-a-Storm-cluster.html
本文叙述了storm集群搭建和运行步骤。如果你打算在AWS上进行的话，可以使用storm-deploy项目。storm-deploy在EC2上完全自动进行下载、配置、以及storm集群的安装等步骤。它也为你配置了Ganglia，用以监控CPU、...
分类：
其他好文 时间：
2014-12-03 00:34:03
阅读次数：
190
