目前中央库中 org.apache.kafka 是用jdk1.7编译的, 故跑在1.6的jvm中会报错解决方案:1. 下载kafka源码, 本地sbt进行install, 编译前 java -version确认classpath中的jdk版本是1.62. 编译打包成功后, 进入当前kafka目录的 ...
分类：
编程语言 时间：
2014-09-14 22:06:27
阅读次数：
1889
Hadoop是云计算的事实标准软件框架，是云计算理念、机制和商业化的具体实现，是整个云计算技术学习中公认的核心和最具有价值内容。如何从企业级开发实战的角度开始，在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心。云计算学习者的心声：如何从企业级开发的角度，不断动手实际操作，循序...
分类：
移动开发 时间：
2014-09-13 18:34:35
阅读次数：
300
Hadoop是云计算的事实标准软件框架，是云计算理念、机制和商业化的具体实现，是整个云计算技术学习中公认的核心和最具有价值内容。如何从企业级开发实战的角度开始，在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心。云计算学习者的心声：如何从企业级开发的角度，不断动手实际操作，循序...
分类：
移动开发 时间：
2014-09-13 17:05:15
阅读次数：
333
通常而言我们的kafka的配置如下所示： broker.id=0
num.network.threads=2
num.io.threads=8
socket.send.buffer.bytes=1048576
socket.receive.buffer.bytes=1048576
socket.request.max.bytes=1...
分类：
其他好文 时间：
2014-09-12 17:29:24
阅读次数：
215
Spark Streaming can receive streaming data from any arbitrary data source beyond the one’s for which it has in-built support (that is, beyond Flume, K...
分类：
其他好文 时间：
2014-09-12 11:26:13
阅读次数：
279
spark自带的example中就有streaming结合kafka使用的案例：$SPARK_HOME/examples/src/main/scala/org/apache/spark/examples/streaming/KafkaWordCount.scala使用方法参见代码描述：Usage: ...
分类：
其他好文 时间：
2014-09-10 17:29:50
阅读次数：
219
使用版本：kafka_2.10-0.8.1.1安装：tar -zxvf kafka_2.10-0.8.1.1.tgz -C ~/app/添加环境变量：.bash_profileexport KAFKA_HOME=/home/spark/app/kafka_2.10-0.8.1.1export PAT...
分类：
其他好文 时间：
2014-09-10 17:18:30
阅读次数：
231
阅读前提： ????????1 ： 您可能需要对 ?logback 日志系统有所了解 ???? ? ?2 ：您可能需要对于?kafka 有初步的了解 ???? ? ?3：请代码查看之前，请您仔细参考系统的业务图解 ? ? ? ? ...
分类：
其他好文 时间：
2014-09-10 16:01:21
阅读次数：
258
翻译自：http://flume.apache.org/FlumeUserGuide.html#data-flow-model 通过翻译学习Flume，不喜勿喷。 简介 Apache Flume是一个分布式的，高可靠，高可用的系统，主要用于高效从各种数据源的收集、聚合、移动大量的日志数据 并对收集到...
分类：
其他好文 时间：
2014-09-10 14:10:40
阅读次数：
222
一、什么是kafka?kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上）MQ。Kafka仅仅由7000行Scala编写，据了解，Kafka每秒可以生产约25万消息（50MB），每秒处理55万消息（11..
分类：
其他好文 时间：
2014-09-10 02:50:40
阅读次数：
342
