Hadoop简介 Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括ZooKeeper，Pig，Chukwa，Hive，Hbase，Mahout，flume等. ...
分类：
其他好文 时间：
2019-06-30 16:00:41
阅读次数：
116
下载flume： 1.官方网站下载： http://flume.apache.org/download.html 2.百度网盘资源: apache-flume-1.9.0-bin.tar 链接：https://pan.baidu.com/s/1gzTOfiSkvY3nsXap8kj6-Q 提取码：e ...
分类：
Web程序 时间：
2019-06-28 23:02:19
阅读次数：
189
1.6、flume案例一 1. 案例场景 A、B两台日志服务机器实时生产日志主要类型为access.log、nginx.log、web.log 现在要求： 把A、B 机器中的access.log、nginx.log、web.log 采集汇总到C机器上然后统一收集到hdfs中。 但是在hdfs中要求的 ...
分类：
Web程序 时间：
2019-06-25 11:52:54
阅读次数：
229
收集hive的log hive的运行日志： /home/hadoop/CDH5.3.6/hive-0.13.1-cdh5.3.6/log/hive.log* memory*hdfs /user/flume/hive-log 1.需要四个包： 传到/home/hadoop/CDH5.3.6/flume ...
分类：
Web程序 时间：
2019-06-23 20:43:26
阅读次数：
119
Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple ...
分类：
Web程序 时间：
2019-06-23 17:21:02
阅读次数：
191
SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如Kdfka、Flume、Twitter、Zero和TCP 套接字）进行类似Map、Reduce和Join等复杂操作，并将结果保存到外部文件系统、数据库或应用到实时仪表盘。 同Spark初始化需要创建 ...
分类：
其他好文 时间：
2019-06-21 12:55:32
阅读次数：
92
数据发生器产生的数据被被单个的运行在数据发生器所在服务器上的agent所收集，之后数据收容器从各个agent上汇集数据并将采集到的数据存入到HDFS或者HBase中。 一个数据单元，消息头和消息体组成。（Events可以是日志记录、 avro 对象等。） Flume 运行的核心是 Agent。Flu ...
分类：
其他好文 时间：
2019-06-21 12:42:20
阅读次数：
107
前面我们学习了nginx的基本操作和日志管理，今天我们学习一下生产环境经常会用到的路由定位location设置，在工作中，经常可能会出现怎么设置的路由访问不到网页呀？总是出现404错误啊，这些都很有可能是location的配置有误所导致的，所以学习location的配置也是学习nginx必不可少的一 ...
分类：
其他好文 时间：
2019-06-14 23:45:37
阅读次数：
129
AOP (Aspect Oriented Programming) 面向切面编程。 业务有核心业务和边缘业务。 比如用户管理，菜单管理，权限管理，这些都属于核心业务。 比如日志管理，操作记录管理，这些都是边缘业务，可以统一的提出来。 尝试使用SpringBoot +AOP 提出操作记录业务。 ...
分类：
编程语言 时间：
2019-06-14 10:58:40
阅读次数：
173
AOP能够将那些与业务无关，却为业务模块所共同调用的逻辑或责任（例如事务处理、日志管理、权限控制等）封装起来，便于减少系统的重复代码，降低模块间的耦合度，并有利于未来的可拓展性和可维护性。 ...
分类：
编程语言 时间：
2019-06-10 18:38:13
阅读次数：
146
