最近项目上因为遇到数据量过大导致查询统计性能问题（oracle数据库、单表每月1亿多条车辆定位记录，由一个windows环境下的链路服务程序来接收车辆上传的定位数据写入oracle），急需使用大数据架构来解决。前期同事已经提出整体解决思路（修改链路服务程序，在写oracle的基础上同时写入kafka ...
kafka安装机器初始化参考ES安装，安装java，关闭防火墙，selinux等安装zookeeperyuminstall-ywgetwgethttps://downloads.apache.org/kafka/2.6.0/kafka_2.13-2.6.0.tgz#下载zookeepermkdir/usr/share/kafkatarzxvfkafka_2.13-2.6.0.tgz-C/usr/s
分类：
其他好文 时间：
2020-12-22 11:49:19
阅读次数：
0
搭建kafka集群 一.要先搭建zookeeper集群 搭建伪集群来熟悉搭建步骤，也就是采用一台电脑和多台电脑的区别。 1.步骤 下载 zookeeper下载：https://downloads.apache.org/zookeeper/ 这里选用的是 我这里下载的是zookeeper-3.5.7, ...
建议在用Scala编写相关功能实现时，边学习、边应用、边摸索以加深对Scala的理解和应用 ...
分类：
其他好文 时间：
2020-12-21 11:32:22
阅读次数：
0
Scala是以JVM为运行环境的面向对象的函数式编程语言，它可以直接访问Java类库并且与Java框架进行交互操作 ...
分类：
其他好文 时间：
2020-12-19 13:14:39
阅读次数：
1
https://www.cnblogs.com/importbigdata/p/10765558.html 1.kfkstreaming只能接kfk，而sparkstreaming比较通用 2.两种读取方法：1.director 效率高 2.receiver 3.写入方法：包装成可序列化类，再广播到 ...
分类：
其他好文 时间：
2020-12-19 13:02:39
阅读次数：
2
Java最新常见面试题+答案汇总1、面试题模块汇总面试题包括以下十九个模块：Java基础、容器、多线程、反射、对象拷贝、JavaWeb模块、异常、网络、设计模式、Spring/SpringMVC、SpringBoot/SpringCloud、Hibernate、Mybatis、RabbitMQ、Kafka、Zookeeper、MySql、Redis、JVM。如下图所示：可能对于初学者不需要后面的框
分类：
编程语言 时间：
2020-12-17 13:06:40
阅读次数：
7
在安装Kafka-eagle的时候遇见几个坑，在这里分享一下： 注意：版本问题，若按本文章不能解决，则着重查看版本的问题；这里只是提供解决针对问题的思路 Kafka版本：kafka_2.11-0.11.0.2 Kafka-eagle版本：kafka-eagle-bin-1.3.7 MySQL版本：5 ...
分类：
其他好文 时间：
2020-12-16 12:58:42
阅读次数：
5
本篇文章主要是记录整体调整Python数据统计分析项目规范性的过程，以及自己的一些思考。 为什么要调整？ 主要是为了解决数据类程序不容易测试发现错误的现状。调整公共模块出错时抛出错误到业务层，便于报警模块上传错误信息到kafka，最后能主动发出报警邮件。以及方便加入报警之外的其他程序埋点。 调整所有 ...
分类：
编程语言 时间：
2020-12-16 12:32:52
阅读次数：
3
前言之前写过一篇《从源码分析如何优雅的使用Kafka生产者》，有生产者自然也就有消费者。建议对Kakfa还比较陌生的朋友可以先看看。就我的使用经验来说，大部分情况都是处于数据下游的消费者角色。也用Kafka消费过日均过亿的消息（不得不佩服Kakfa的设计），本文将借助我使用Kakfa消费数据的经验来聊聊如何高效的消费数据。单线程消费以之前生产者中的代码为例，事先准备好了一个Topic:data-p
分类：
其他好文 时间：
2020-12-16 12:08:05
阅读次数：
2
