码迷,mamicode.com
首页 > 其他好文 > 详细

今天的事和明天的事

时间:2017-08-04 01:08:40      阅读:153      评论:0      收藏:0      [点我收藏+]

标签:consumer   ide   日志   多少   系统   elastic   ash   search   数据   

下午开会遇到的几个不懂的名词:

1、HAWQ(读音 耗客)

是Greenplum的hadoop版本,因为Greenplum底层数据是存放在操作系统文件中,而Hawq的底层文件存放在HDFS中。

2、服务器上的虚拟机

这个概念很久就听过了。但是不知道,物理服务器到底怎么做成虚拟机的,是用了什么软件。物理服务器一般肯定会安装Linux操作系统,如果做虚拟机肯定是在Linux之上安装了其他的虚拟化软件,才能把一个物理服务器虚拟成好多个虚拟服务器。

3、一体机

这个也听过很多次了,但是我不知道什么是一体机,也没有亲眼见过,所以也记录一下。

 

今天做的事情:

1、读logstash英文文档。没读多少。

2、读elasticsearch英文文档。get started部分读了一些,学会了:

安装

启动

杀死

建立index

存document到index

查看集群是否健康

查看集群节点数目

查看index数目

3、开了半下午会。

了解了上海交行日志采集的整体架构,和这个架构中我需要做的事情。

我需要做

(1)logstash从kafka同时读数据到es和hdfs的性能、吞吐量的测试数据。

(2)logstash前置和后置配置文件生成的系统。杨哥建议 用springboot做rest api,用rest api和前端交互。(最高优先级)

(3)87、88、89、91是和上海交行的环境一样的,所以在这里进行开发。要会搭建集群。

 

4、晚上大概学习了idea的基本用法。

 

明天要解决的事情:

1、要解决logstash从kafka的consumer读取数据,之后在把数据写入es,这个要跑通。

2、看看springboot和rest api。

 

今天的事和明天的事

标签:consumer   ide   日志   多少   系统   elastic   ash   search   数据   

原文地址:http://www.cnblogs.com/zhangzl419/p/7282747.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!