SparkStreaming整合flume 在实际开发中push会丢数据，因为push是由flume将数据发给程序，程序出错，丢失数据。所以不会使用不做讲解，这里讲解poll，拉去flume的数据，保证数据不丢失。 1.首先你得有flume 比如你有：【如果没有请走这篇：搭建flume集群(待定）】 ...
分类：
Web程序 时间：
2019-07-23 00:05:06
阅读次数：
168
linux日志是非常重要的，不仅在日常操作中可以迅速排错，也可以快速的定位日志保存的位置默认日志位于/var/log目录下系统常用的日志/var/log/messages--->服务信息日志内核及公共信息日志，是许多进程日志文件的汇总/var/log/secure--->系统登陆日志记录用户和工作组的情况、用户登陆认证情况/var/log/cron--->定时任务日志记录一次性、
分类：
系统相关 时间：
2019-07-22 21:32:17
阅读次数：
151
准备工作： 1、到Flume官网下载apache-flume-1.8.0-bin.tar.gz 2、下载代码：https://github.com/javabigdataxin/FlumeExtend 在Flume的conf目录新建一个RollingFileSink.conf文件 a1.source ...
分类：
Web程序 时间：
2019-07-21 01:21:25
阅读次数：
170
测试flume，将数据送到hive表中，首先建表。 flume conf 配置如下： 这个时候如果启动flume的话会报错，需要将hive中的jar包移动到flume 中。 此时，在修改修改 hive-site.xml，将下面的值进行修改。 上面的配置完成之后，先启动 hive metastore， ...
分类：
Web程序 时间：
2019-07-20 12:57:59
阅读次数：
163
非kerberos环境下，flume采集日志到kafka
分类：
Web程序 时间：
2019-07-16 22:42:50
阅读次数：
177
Flume背景及应用场景 Flume是什么？ 由Cloudera公司开源； 分布式、可靠、高可用的海量日志采集系统； 数据源可定制，可扩展; 数据存储系统可定制，可扩展。 中间件：屏蔽了数据源和数据存储系统的异构性 Flume特点 可靠性 保证数据不丢失 可扩展性高性能 各组件数目可扩展 - 吞吐率 ...
分类：
Web程序 时间：
2019-07-16 18:22:36
阅读次数：
139
一、spring的日志依赖 Logging是spring中唯一强制的外部依赖，spring中默认使用的日志是 ，简称 ，这里说的强制性，是因为在 这个模块中引入了该依赖。不过，引入了该依赖，也无需做任何其他的配置，它是 ，它内部会有自己的算法去找日志门面的实现类，比如 ,如果说没有引入其他日志依赖， ...
分类：
编程语言 时间：
2019-07-16 00:26:04
阅读次数：
145
实验目标：通过本实验掌握centos7/rhel7下journalctl和rsyslog日志工具的使用，建立通过查看日志分析排错的思路，以及日志内容的查找，分类重定向的使用。实验步骤：1、不配置本机IP地址，但试着启动DHCP服务，会报错2、运行journalctl工具，从日志中查×××报错的原因3、将特定时间的日志，比如10:30到11:50之间，写入systeminfo.txt文件4、将特定类
分类：
系统相关 时间：
2019-07-15 09:13:58
阅读次数：
125
公众号：SAP Technical 本文作者：matinal 原文出处：http://www.cnblogs.com/SAPmatinal/ 原文链接：【BASIS系列】SAP 日志管理 前言部分 大家可以关注我的公众号，公众号里的排版更好，阅读更舒适。 正文部分 现在项目上自开发的dialog程序 ...
分类：
其他好文 时间：
2019-07-14 11:06:06
阅读次数：
61
AOP能够将那些与业务无关，却为业务模块所共同调用的逻辑或责任（例如事务处理、日志管理、权限控制等）封装起来，便于减少系统的重复代码，降低模块间的耦合度，并有利于未来的可拓展性和可维护性。 简单例子：在某个项目里，非管理员不能对某些业务进行操作，代码如下： 从上面的代码我们可以看出这种方式达到了权限 ...
分类：
编程语言 时间：
2019-07-13 22:47:35
阅读次数：
147
