【背景】
利用kettle工具,完成某表的增量工作。
【解决】
利用模块完成即可,如下简图:
【实验】
先手工准备一个实验环境:
准备基本完成如下效果:
select t.*, t.rowid from EMP_ETL t
select max(hiredate) maxsj from EMP_ETL
我们验证将2015年10月22日的数据插入目标表中。
创建目标表:...
分类:
其他好文 时间:
2015-10-22 06:47:54
阅读次数:
280
2015年10月17日09:28:42 python-time访问网站如果不想要缓存的就 在后面加 ?t=123如果网站遭到攻击应该怎么办,做流量清洗,分析包,正确的就放过,否则就抛弃掉。如果攻击的站站带宽满了,就看看是否让运营商帮忙做清洗.一般网站都有所CDN,否则扛不住。CDN: http://...
分类:
编程语言 时间:
2015-10-17 22:07:36
阅读次数:
257
1. 先有方法,然后再有委托,最后再有事件2. 思考能不能将 A方法 作为参数,传递给 B方法呢? eg: 在传统的编程方式中,A方法 调用 B方法的方式如下://洗菜public void Washing(string vegetables){ Console.WriteLine("清洗"...
破窗理论的描述:一个房子如果窗户破了,没有人去修补,隔不久,其它的窗户也会莫名其妙地被人打破;一面墙,如果出现一些涂鸦没有被清洗掉,很快的,墙上就布满了乱七八糟、不堪入目的东西;一个很干净的地方,人们不好意思丢垃圾,但是一旦地上有垃圾出现之后,人就会毫不犹豫地抛,丝毫不觉羞愧。切换到开发的情况是,很...
分类:
其他好文 时间:
2015-09-13 02:01:50
阅读次数:
301
监控平台当前使用storm对日志进行流式分析计算,用于支撑监控数据清洗,后来逐渐在storm上搭建起数据在线关联,数据离线关联,明细数据清洗,日志搜索等功能,本章节对各功能进行简要概述。对storm不熟悉的话,建议先阅读相关文献:http://ifeve.com/getting-started-wi...
分类:
其他好文 时间:
2015-09-06 14:41:02
阅读次数:
154
任务 根据数据仓库中某一个构建模板" Java信用卡前台组件A"列表的数据对构建时长进行数据统计 解决步骤 数据清洗->数据抽样->正态拟合 数据清洗 进行数据拟合去掉最大值,和最小值。 随机抽样 随机抽取300条数据。 图 1. 抽样对话框 正态拟合 300条数据的正态拟合如下: 图 2. 正态拟...
分类:
其他好文 时间:
2015-09-04 07:07:50
阅读次数:
167
批量文件检查?
for?id?in?`seq?0?9`
do
./check2.sh?epg_201506270$id.dat
done
for?id?in?`seq?10?23`
do
./check2.sh?epg_20150627$id.dat
done for?id?in?`seq?0??9`
do
./filter.sh?epg...
分类:
其他好文 时间:
2015-09-03 19:15:16
阅读次数:
368
本文是一个改造项目中水管传感器的安装过程,不同于新的项目,改造需要自己去掏出孔片,新项目在所有施工方完工后,暖通专业会清洗一遍管道,洗出所有杂物。
分类:
其他好文 时间:
2015-08-28 21:13:37
阅读次数:
211
TuShare是一个免费、开源的python财经数据接口包。主要实现对股票等金融数据从数据采集、清洗加工到数据存储的过程,能够为金融分析人员提供快速、整洁、和多样的便于分析的数据。 考虑到python pandas包在金融量化分析中体现出的优势,TuShare返回的绝大部分的数据格式都是pandas...
分类:
其他好文 时间:
2015-08-21 10:47:13
阅读次数:
214
主料鸡(半只)毛豆(1碗)辅料姜(适量)蒜(适量)Step 1: 鸡块清洗干净沥干水Step 2: 毛豆去壳洗净Step 3: 姜蒜分别切片Step 4: 锅热倒入少许油再放入油煸炒出油Step 5: 倒入鸡块,大火翻炒至鸡肉变色皮微缩,倒入料酒,炒干,倒入老抽Step 6: 倒入毛豆炒至毛豆变色S...
分类:
其他好文 时间:
2015-08-20 22:08:57
阅读次数:
177