【背景】
利用kettle工具，完成某表的增量工作。
【解决】
利用模块完成即可，如下简图：
【实验】
先手工准备一个实验环境：
准备基本完成如下效果：
select t.*, t.rowid from EMP_ETL t
select max(hiredate) maxsj from EMP_ETL
我们验证将2015年10月22日的数据插入目标表中。
创建目标表：...
分类：
其他好文 时间：
2015-10-22 06:47:54
阅读次数：
280
2015年10月17日09:28:42 python-time访问网站如果不想要缓存的就 在后面加 ？t=123如果网站遭到攻击应该怎么办，做流量清洗，分析包，正确的就放过，否则就抛弃掉。如果攻击的站站带宽满了，就看看是否让运营商帮忙做清洗.一般网站都有所CDN，否则扛不住。CDN: http://...
分类：
编程语言 时间：
2015-10-17 22:07:36
阅读次数：
257
1. 先有方法，然后再有委托，最后再有事件2. 思考能不能将 A方法 作为参数，传递给 B方法呢？ eg: 在传统的编程方式中，A方法 调用 B方法的方式如下：//洗菜public void Washing(string vegetables){ Console.WriteLine("清洗"...
破窗理论的描述：一个房子如果窗户破了，没有人去修补，隔不久，其它的窗户也会莫名其妙地被人打破；一面墙，如果出现一些涂鸦没有被清洗掉，很快的，墙上就布满了乱七八糟、不堪入目的东西；一个很干净的地方，人们不好意思丢垃圾，但是一旦地上有垃圾出现之后，人就会毫不犹豫地抛，丝毫不觉羞愧。切换到开发的情况是，很...
分类：
其他好文 时间：
2015-09-13 02:01:50
阅读次数：
301
监控平台当前使用storm对日志进行流式分析计算，用于支撑监控数据清洗，后来逐渐在storm上搭建起数据在线关联，数据离线关联，明细数据清洗，日志搜索等功能，本章节对各功能进行简要概述。对storm不熟悉的话，建议先阅读相关文献：http://ifeve.com/getting-started-wi...
分类：
其他好文 时间：
2015-09-06 14:41:02
阅读次数：
154
任务 根据数据仓库中某一个构建模板" Java信用卡前台组件A"列表的数据对构建时长进行数据统计 解决步骤 数据清洗->数据抽样->正态拟合 数据清洗 进行数据拟合去掉最大值，和最小值。 随机抽样 随机抽取300条数据。 图 1. 抽样对话框 正态拟合 300条数据的正态拟合如下： 图 2. 正态拟...
分类：
其他好文 时间：
2015-09-04 07:07:50
阅读次数：
167
批量文件检查?
for?id?in?`seq?0?9`
do
./check2.sh?epg_201506270$id.dat
done
for?id?in?`seq?10?23`
do
./check2.sh?epg_20150627$id.dat
done for?id?in?`seq?0??9`
do
./filter.sh?epg...
分类：
其他好文 时间：
2015-09-03 19:15:16
阅读次数：
368
本文是一个改造项目中水管传感器的安装过程，不同于新的项目，改造需要自己去掏出孔片，新项目在所有施工方完工后，暖通专业会清洗一遍管道，洗出所有杂物。
分类：
其他好文 时间：
2015-08-28 21:13:37
阅读次数：
211
TuShare是一个免费、开源的python财经数据接口包。主要实现对股票等金融数据从数据采集、清洗加工到数据存储的过程，能够为金融分析人员提供快速、整洁、和多样的便于分析的数据。 考虑到python pandas包在金融量化分析中体现出的优势，TuShare返回的绝大部分的数据格式都是pandas...
分类：
其他好文 时间：
2015-08-21 10:47:13
阅读次数：
214
主料鸡（半只）毛豆（1碗）辅料姜（适量）蒜（适量）Step 1: 鸡块清洗干净沥干水Step 2: 毛豆去壳洗净Step 3: 姜蒜分别切片Step 4: 锅热倒入少许油再放入油煸炒出油Step 5： 倒入鸡块，大火翻炒至鸡肉变色皮微缩，倒入料酒，炒干，倒入老抽Step 6: 倒入毛豆炒至毛豆变色S...
分类：
其他好文 时间：
2015-08-20 22:08:57
阅读次数：
177
