最近项目上因为遇到数据量过大导致查询统计性能问题（oracle数据库、单表每月1亿多条车辆定位记录，由一个windows环境下的链路服务程序来接收车辆上传的定位数据写入oracle），急需使用大数据架构来解决。前期同事已经提出整体解决思路（修改链路服务程序，在写oracle的基础上同时写入kafka ...
ELK ELK是有Elastic（https://www.elastic.co/cn/）公司的三个组件配合进行日志收集，分别是： ElasticSearch:用于存储日志信息。 Logstash:用于收集、处理和转发日志信息。 Kibana:提供可搜索的Web可视化界面。 上面3个组件的关系，项目日 ...
分类：
编程语言 时间：
2020-12-22 12:09:59
阅读次数：
0
kafka安装机器初始化参考ES安装，安装java，关闭防火墙，selinux等安装zookeeperyuminstall-ywgetwgethttps://downloads.apache.org/kafka/2.6.0/kafka_2.13-2.6.0.tgz#下载zookeepermkdir/usr/share/kafkatarzxvfkafka_2.13-2.6.0.tgz-C/usr/s
分类：
其他好文 时间：
2020-12-22 11:49:19
阅读次数：
0
搭建kafka集群 一.要先搭建zookeeper集群 搭建伪集群来熟悉搭建步骤，也就是采用一台电脑和多台电脑的区别。 1.步骤 下载 zookeeper下载：https://downloads.apache.org/zookeeper/ 这里选用的是 我这里下载的是zookeeper-3.5.7, ...
建议在用Scala编写相关功能实现时，边学习、边应用、边摸索以加深对Scala的理解和应用 ...
分类：
其他好文 时间：
2020-12-21 11:32:22
阅读次数：
0
Scala是以JVM为运行环境的面向对象的函数式编程语言，它可以直接访问Java类库并且与Java框架进行交互操作 ...
分类：
其他好文 时间：
2020-12-19 13:14:39
阅读次数：
1
https://www.cnblogs.com/importbigdata/p/10765558.html 1.kfkstreaming只能接kfk，而sparkstreaming比较通用 2.两种读取方法：1.director 效率高 2.receiver 3.写入方法：包装成可序列化类，再广播到 ...
分类：
其他好文 时间：
2020-12-19 13:02:39
阅读次数：
2
Java最新常见面试题+答案汇总1、面试题模块汇总面试题包括以下十九个模块：Java基础、容器、多线程、反射、对象拷贝、JavaWeb模块、异常、网络、设计模式、Spring/SpringMVC、SpringBoot/SpringCloud、Hibernate、Mybatis、RabbitMQ、Kafka、Zookeeper、MySql、Redis、JVM。如下图所示：可能对于初学者不需要后面的框
分类：
编程语言 时间：
2020-12-17 13:06:40
阅读次数：
7
1、ELK部署 ELK是elasticsearch、kibana、Logstash组合而成的整套解决方案，前面我们使用skywalking时候已经部署好elasticsearch(参见上一篇随笔)，接下来只需要安装Logstash和kibana即可 1.1、安装kibana 前面使用的elastic ...
分类：
Web程序 时间：
2020-12-16 13:01:27
阅读次数：
10
在安装Kafka-eagle的时候遇见几个坑，在这里分享一下： 注意：版本问题，若按本文章不能解决，则着重查看版本的问题；这里只是提供解决针对问题的思路 Kafka版本：kafka_2.11-0.11.0.2 Kafka-eagle版本：kafka-eagle-bin-1.3.7 MySQL版本：5 ...
分类：
其他好文 时间：
2020-12-16 12:58:42
阅读次数：
5
