本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，博主为石山园，博客地址为 http://www.cnblogs.com/shishanyuan 。该系列课程是应邀实验楼整理编写的，这里需要赞一下实验楼提供了学习的新方式，可以边看博客边上机实验，...
分类：
Web程序 时间：
2015-07-23 09:29:35
阅读次数：
263
saltstack的深入-highstate试用
配置测试用途的salt-master服务，并在其他的测试机上配置salt-minion
一、基础环境
1、在tvm-rpm的基础上，更新hostname=tvm-saltmaster，配置salt-master服务。
2、网络：
eth0：host-only（用于虚拟内网，手动固定IP，这样从宿主机可以直接..
分类：
其他好文 时间：
2015-07-23 00:54:10
阅读次数：
5016
最近在搞kafak+storm+flume实时处理，但是kafka与storm总是会自己莫名死掉，查看日志就是下面的内容： 2015-07-22T03:15:31.808+0800?b.s.event?[INFO]?Event?manager?interrupted 2015-07-22T03:15:31.808...
分类：
其他好文 时间：
2015-07-22 16:44:13
阅读次数：
134
1、所有主机需要安装JDK，并配置JDK环境变量 2、所有主机安装SSH，并相互间实现无密访问 3、修改主机hosts :文件/etc/hosts，保证各机器通过机器名可以互访 4、安装python 2.6及以上（storm用） 5、ZeroMQ Java代...
分类：
Web程序 时间：
2015-07-20 17:06:59
阅读次数：
170
本文是作者研究Flume的一些内容摘要，包括Flume最新的版本及flume的相关组件介绍。...
分类：
Web程序 时间：
2015-07-16 00:54:03
阅读次数：
524
如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字（如Oozie，ZooKeeper、Flume）。
Hadoop带来了廉价的处理大数据（大数据的数据容量通常是10-100GB或更多，同时数据种类多种多样，包括结构化、非结构化等）的能力。但这与之前有什么不同？
现今企业数据仓库和关系型数据库擅长处理结...
分类：
其他好文 时间：
2015-07-12 09:47:21
阅读次数：
149
各种组件，比如tomcat、storm、flume，我们都可以通过JMX方式开启远程调试，主要可以用来跟踪源码，了解程序内部的运行机制，其次，也有利于你修改源码。首先，本质上是要修改flume本身启动的配置文件的jvm配置部分。找到flume目录下的bin文件夹，下面会有个flume-ng文件，这便...
分类：
Web程序 时间：
2015-07-11 00:54:09
阅读次数：
819
目前有一个需求，就是Flume可以作为一个类似于tomcat的服务器，可以通过post请求进行访问，并且路径需要：ip:port/contextPath格式。经过一些资料获悉，httpSource只是httpSource的一个玩具工具，可以说毛坯版，目前仅仅支持的是按照ip:port访问，并不具备s...
分类：
Web程序 时间：
2015-07-10 00:03:28
阅读次数：
353
1.概述 在《Kafka实战－Flume到Kafka》一文中给大家分享了Kafka的数据源生产，今天为大家介绍如何去实时消费Kafka中的数据。这里使用实时计算的模型——Storm。下面是今天分享的主要内容，如下所示：数据消费Storm计算预览截图 接下来，我们开始分享今天的内容。2.数据消费 .....
分类：
其他好文 时间：
2015-07-09 12:59:06
阅读次数：
172
1、源码下载：我用的是1.6版，因为加了kafka-sink，下载地址http://www.apache.org/dyn/closer.cgi/flume/1.6.0/apache-flume-1.6.0-src.tar.gz2、解压缩至C盘根目录下建议放到这个目录下，其他目录并不能保证通过。3、运...
分类：
Web程序 时间：
2015-07-09 00:29:49
阅读次数：
192
