如图所示,新建一个JAVA工程,编辑pom文件,pom文件内容如下【这里取出了parent】:
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http:/...
分类:
移动开发 时间:
2015-01-07 13:13:02
阅读次数:
759
本文将详细分析Kafka SocketServer的相关源码。...
分类:
其他好文 时间:
2015-01-04 23:07:13
阅读次数:
253
原文:http://blog.csdn.net/jingshuigg/article/details/25001979一、对于服务器端的搭建可以参考上一篇文章:kafka单机版环境搭建与测试服务器端IP :10.0.30.221运行环境的目录如下:需要改动config文件夹下的server.prop...
原文地址:http://blog.csdn.net/lizhitao/article/details/39499283kafka开发与管理:1)apache kafka消息服务2)kafak安装与使用3)apache kafka中server.properties配置文件参数说明4)apache k...
分类:
Web程序 时间:
2014-12-31 17:50:23
阅读次数:
228
1,tomcat设置jvm参数设置方法:在tomcat bin 目录增加配置:setenv.sh#add tomcat pid
CATALINA_PID="$CATALINA_BASE/conf/tomcat.pid"
#add java opts
JAVA_OPTS=" -Djava.awt.headless=true -Djava.net.preferIPv4Stack=true -s...
分类:
其他好文 时间:
2014-12-30 11:51:03
阅读次数:
218
折腾了一晚,终于在Scala IDE(Eclipse加Sacla插件了)下可以看Apache Kafka工程的源代码了。
我的环境是:win7 32位,Scala IDE:4.0.0,Apache Kafka:0.8.1.1(加了一个0.8.2版本里的gradlew.bat文件)
Scala IDE下载好后,我就开始找Apache Kafka的源代码。刚开始一直用...
分类:
其他好文 时间:
2014-12-30 07:04:16
阅读次数:
1157
如何在分布式集群中,充分利用多节点,对大数据进行拆分,实现并行计算,“parallel computing by kafka-storm ” 提供了一种很好的思路。...
分类:
其他好文 时间:
2014-12-29 23:03:01
阅读次数:
208
1 应用背景: 需要实时统计用户的登陆数,在线人数,活跃时间,下载等指标的数据,或者清洗后移到hdfs上。
2 设计架构:
1) 客户端产生数据---
2) kafka-生产者实时采集数据(保留7天)-----
3) storm实时消费数据,处理数据
4)把实时数据统计结果缓存到memcached 中...
分类:
其他好文 时间:
2014-12-29 23:01:45
阅读次数:
235
1.topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 Schema: { ? ? "version": "版本编号目前固定为数字1", ? ? "partitions": { ? ? ? ? "partitionId编号": [ ? ? ?...
分类:
Web程序 时间:
2014-12-24 16:28:20
阅读次数:
165
原文地址:http://www.aboutyun.com/thread-9938-1-1.html问题导读1.Kafka提供了Producer类作为java producer的api,此类有几种发送方式?2.总结调用producer.send方法包含哪些流程?3.Producer难以理解的在什么地方...
分类:
Web程序 时间:
2014-12-24 13:08:58
阅读次数:
189