1、实时处理框架 即从上面的架构中我们可以看出，其由下面的几部分构成： Flume集群 Kafka集群 Storm集群 从构建实时处理系统的角度出发，我们需要做的是，如何让数据在各个不同的集群系统之间打通（从上面的图示中也能很好地说明这一点），即需要做各个系统之前的整合，包括Flume与Kafka的 ...
分类：
Web程序 时间：
2019-05-20 21:21:03
阅读次数：
275
1：安装JDK、 2：安装Zookeeper 下载地址：https://zookeeper.apache.org/releases.html 下载后，解压放在目录D:\bigdata（本文所用的目录）下，关于zookeeper以及kafka的目录，路径中最好不要出现空格，比如D:\Program F ...
一、Zookeeper是什么？ Zookeeper是一种高效可靠的协同工作系统，它是一个基础组件，是一种服务组件，可以应用于各种场景。它可以提供的功能主要包括两个： 1、为Zookeeper的客户端（即任意使用zk的用户）管理少量数据，它存储的数据是<key, value>形式，key的格式类似目录 ...
分类：
其他好文 时间：
2019-05-20 17:03:24
阅读次数：
111
实战部署zookeeper+kafka环境，详细步骤点击链接：http://note.youdao.com/noteshare?id=5f929ec920e36edf2c0cf359cc186a40&sub=9EA72FA47E90450B81FE868E71FAE9E0
分类：
其他好文 时间：
2019-05-15 14:39:38
阅读次数：
123
1、持久性 kafka使用文件存储消息，这就直接决定kafka在性能上严重依赖文件系统的本身特性。且无论任何OS下，对文件系统本身的优化几乎没有可能。因为kafka是对日志进行append操作，因此磁盘检索的开支是较小的；同时为了减少磁盘写入的次数，broker会将消息暂时buffer起来，当消息的 ...
分类：
其他好文 时间：
2019-04-24 00:23:31
阅读次数：
184
Java基础 JVM Spring zookeeper redis dubbo 多线程 Mysql 设计模式 队列 网络协议 RPC MQ 算法 工具 项目设计 Linux 分布式 ...
分类：
其他好文 时间：
2019-04-23 09:32:06
阅读次数：
133
原因：当时楼主自己编码过程中，水杯掉落 扎了一下电脑 结果电脑花屏重启 之后虚拟机的ip地址就变化 解决： 重新设置一下虚拟机的网卡id地址，我当时用的是 eth4 的网卡 ，当我取设置的时候 发现虚拟机使用一个新增的eth5网卡，重新设置一下id地址 为项目中所需的。然后重启一下zookeeper ...
分类：
其他好文 时间：
2019-04-20 11:22:29
阅读次数：
133
Kafka集群部署 1）解压安装包 [ip101]$ tar zxvf kafka_2.11 0.11.0.0.tgz C /opt/app/ 2）修改解压后的文件名称 [ip101]$ mv kafka_2.11 0.11.0.0/ kafka 3）在/opt/app/kafka目录下创建logs ...
分类：
其他好文 时间：
2019-04-15 16:06:39
阅读次数：
122
