今天编写一个storm的topology,bolt的逻辑跟之前的类似。 为了减少重复代码,我建了个抽象基类,存放bolt的公共逻辑,设计了几个abstract方法,不同的逻辑部分由子类实现。 基类日志定义如下: Logger是项目封装的,用于ELK的对象,考虑到子类可能用到,我把它的static去掉 ...
分类:
编程语言 时间:
2018-09-27 01:54:47
阅读次数:
205
最近的一个小项目是做一个简单的数据仓库,需要将其他数据库的数据抽取出来,并通过而出抽取成页面需要的数据,以空间换时间的方式,让后端报表查询更快。 因为在抽取的过程中,有一定的先后顺序,需要做一个任务调度器,某一优先级的会先执行,然后会进入下一个优先级的队列任务中。 先定义了一个Map的集合,key是 ...
分类:
编程语言 时间:
2018-09-23 11:48:28
阅读次数:
203
一,框架构成:目录分别有bin,lib,page,report,test_case,(百度网盘) 1.bin>run.py 2.lib>HTMLTestRunner.py lib>logger.py lib>path.py lib>pyse.py lib>tool.py 3.page>page.py ...
分类:
其他好文 时间:
2018-09-22 12:34:39
阅读次数:
196
spring3_hibernate 集成报错信息 java.lang.NoSuchMethodError: org.jboss.logging.Logger.getMessageLogger(Ljava/lang/Class;Ljava/lang/String;)Ljava/lang/Object; ...
分类:
编程语言 时间:
2018-09-20 17:30:03
阅读次数:
528
self_log.py 中 其他文件要使用时,在其他文件中导入:如 ...
分类:
其他好文 时间:
2018-09-19 21:48:04
阅读次数:
476
importnet.coobird.thumbnailator.Thumbnails;importorg.slf4j.Logger;importorg.slf4j.LoggerFactory;importsun.misc.BASE64Encoder;importjavax.imageio.ImageIO;importjava.awt.*;importjava.awt.image.BufferedI
分类:
其他好文 时间:
2018-09-19 17:15:30
阅读次数:
185
为何要使用Lombok 我们在开发过程中,通常都会定义大量的JavaBean,然后通过IDE去生成其属性的构造器、getter、setter、equals、hashcode、toString方法,当要增加属性或者对某个属性进行改变时,比如命名、类型等,都需要重新去生成上面提到的这些方法。这样重复的劳 ...
分类:
其他好文 时间:
2018-09-18 14:57:58
阅读次数:
185
按天划分表的模式 一天一张表如果用户登录日志 login_20180101,login_20180102 在hive中可以使用按天分区,这样查询效率高,而且比按天分表看起来更清新明了 hive> create table loginfo(userid int,logintime timestamp) ...
分类:
其他好文 时间:
2018-09-18 14:24:10
阅读次数:
171
一、使用logger对象 二、应用logger,创建一个封装好了的函数 可以直接进行调用,这个针对的是银行日志记录 logger = get_logger() logger.info('spend %s $'%52) ...
分类:
编程语言 时间:
2018-09-17 20:34:39
阅读次数:
141
Json对象与Json字符串的转化、JSON字符串与Java对象的转换 一.Json对象与Json字符串的转化 1.jQuery插件支持的转换方式: $.parseJSON( jsonstr ); //jQuery.parseJSON(jsonstr),可以将json字符串转换成json对象 2.浏 ...
分类:
Web程序 时间:
2018-09-17 16:16:55
阅读次数:
138