定制avro schema: 创建producer发送对象： 读取schema文件为Schema对象： 解析schema文件 使用Schema对象生成record存储器，并对存储进行序列化： 通过producer发送数据到topic: 打印结果： ...
分类：
其他好文 时间：
2018-07-04 01:03:26
阅读次数：
289
如何搭建配置centos虚拟机请参考《Kafka：ZK+Kafka+Spark Streaming集群环境搭建（一）VMW安装四台CentOS，并实现本机与它们能交互，虚拟机内部实现可以上网。》 如何安装hadoop2.9.0请参考《Kafka：ZK+Kafka+Spark Streaming集群环 ...
分类：
其他好文 时间：
2018-06-30 23:03:43
阅读次数：
208
如何搭建配置centos虚拟机请参考《Kafka：ZK+Kafka+Spark Streaming集群环境搭建（一）VMW安装四台CentOS，并实现本机与它们能交互，虚拟机内部实现可以上网。》 如何安装hadoop2.9.0请参考《Kafka：ZK+Kafka+Spark Streaming集群环 ...
分类：
其他好文 时间：
2018-06-30 21:23:42
阅读次数：
207
DataManager启动失败 启动过程中发现一个问题：slave1,slave2,slave3都是只启动了DataNode，而DataManager并没有启动： 这里一个错误原因可以从： slaves各自的nodemanager日志查看。 查看slave1虚拟机的/opt/hadoop-2.9.0 ...
分类：
其他好文 时间：
2018-06-30 17:01:41
阅读次数：
208
集群数量：3、5、7这样的奇数。当然偶数也可以组成集群只是3台与4台组成的集群其实允许的故障数量是一样的，所以4台组成的集群不划算。多机房问题：如果每个机房之间的网络状况良好可以在每个机房都部署ZK服务器来组成一个大的Zookeeper集群。首先确定你的集群规模比如是N台。然后分别计算每个机房的点数。第一个机房N1=（n-1）/2 ，第二个机房N2的取值范围是 1~（N-N1）/2，第三个机房N3
分类：
其他好文 时间：
2018-06-30 15:27:16
阅读次数：
149
如何配置centos虚拟机请参考《Kafka：ZK+Kafka+Spark Streaming集群环境搭建（一）VMW安装四台CentOS，并实现本机与它们能交互，虚拟机内部实现可以上网。》 如何安装hadoop2.9.0请参考《Kafka：ZK+Kafka+Spark Streaming集群环境搭 ...
分类：
其他好文 时间：
2018-06-30 11:05:15
阅读次数：
273
看这里, http://www.cnblogs.com/lihaoyang/p/8358153.html 1，先使用可视化客户端软件 ZooInspector 连接上集群中的一个节点，看下zk的结构： 2，命令：Zookeeper 操作shell bin/zkClient.sh 进入zookeepe ...
分类：
其他好文 时间：
2018-06-25 19:00:58
阅读次数：
217
一、 [zk: localhost:2181(CONNECTED) 1] rmr /zkTestPaths_92018-06-25 11:18:30,189 [myid:] - WARN [main-SendThread(localhost:2181):ClientCnxn$SendThread@1 ...
分类：
其他好文 时间：
2018-06-25 12:47:40
阅读次数：
232
Zookeeper是一个发布/订阅模式的分布式数据管理与协调框架，结合Watcher事件通知，可以搭建分布式框架中的很多核心功能。数据发布和订阅也就是常用的配置管理，将数据信息发布到一个或者多个ZK节点上，应用程序监听这些节点当有数据变化时就获取这些变化并应用到程序中，实现动态更新配置的功能。发布订阅中通常有推拉两种模式，ZK采用推拉结合，客户端注册感兴趣的节点，一旦节点发生变化服务器会发出Wat
分类：
其他好文 时间：
2018-06-23 13:17:46
阅读次数：
163
1. 在 dubbo 管理控制台配置服务降级 上图的配置含义是：consumer 调用 com.zhang.HelloService 的方法时，直接返回 null，不发起远程调用。 实际操作是：在 zk 的 /dubbo/com.zhang.HelloService/configurators 节点 ...
分类：
其他好文 时间：
2018-06-19 14:03:37
阅读次数：
182
