/************************************************ 函数功能 :***** 抽取数据库记录*************************************************/int extract_data(char *ef...
分类：
其他好文 时间：
2015-10-11 00:16:46
阅读次数：
197
我现在需要在一个类里面放一个HashMap,往里面放一些数据，每次要从数据库中取数据的时候先查找HashMap，看是否已经存在，若存在就直接提取，若不存在就从数据库中抽取数据之后再放到HashMap中，那是否应该把HashMap设置为类的静态变量啊？若这样设置publicstaticHashMaph...
分类：
编程语言 时间：
2015-09-17 23:20:19
阅读次数：
239
最近公司要从聚石塔上抽取数据，其中有JSON格式数据，所以学习一下Kettle解析JSON,碰到小小问题，记录一下：（1）2015/07/15 15:22:48 - trade_detail.0 - ERROR (version 5.4.0.1-130, build 1 from 2015-06-1...
分类：
Web程序 时间：
2015-07-16 16:17:01
阅读次数：
3483
1、查询分析器 --下班了，明天写！ 2、报表科目与查询分析字段映射 --下班了，明天写！ 3、ETL工具 ??????? 我使用的是Scriptella，这个工具的好处是，我不用去把查找指定数据的SQL用xml工具去重新解析封装...
分类：
其他好文 时间：
2015-07-02 17:58:52
阅读次数：
136
前面小试了一下scrapy抓取博客园的博客（您可在此查看scrapy爬虫成长日记之创建工程-抽取数据-保存为json格式的数据），但是前面抓取的数据时保存为json格式的文本文件中的。这很显然不满足我们日常的实际应用，接下来看下如何将抓取的内容保存在常见的mysql数据库中吧。 说明：所有的操...
分类：
数据库 时间：
2015-06-12 20:49:18
阅读次数：
181
在安装完scrapy以后，相信大家都会跃跃欲试想定制一个自己的爬虫吧？我也不例外，下面详细记录一下定制一个scrapy工程都需要哪些步骤。如果你还没有安装好scrapy，又或者为scrapy的安装感到头疼和不知所措，可以参考下前面的文章安装python爬虫scrapy踩过的那些坑和编程外的思考。.....
分类：
Web程序 时间：
2015-06-10 20:59:51
阅读次数：
212
【背景】
在由源端抽取数据插入目标端后，需要创建一个主键ID字段。
【解决】
方法一、使用sys_guid()函数生成32位的随记数
例如向emp表中，新建一个字段，并且设置字段默认值为用sys_guid()函数自动生成一个32位不重复的随机数。
altertable EMP
addIDvarchar2(32)
default sys_guid();
方法二、使用触发器...
分类：
其他好文 时间：
2015-06-03 15:51:59
阅读次数：
150
转载请附加本文链接地址：http://www.cnblogs.com/hispring/p/4485419.html（Created by Aaron）举例：http://www.webxml.com.cn/WebServices/WeatherWebService.asmx下面的步骤揭示了配置方法...
分类：
Web程序 时间：
2015-05-07 18:27:53
阅读次数：
872
数据分配方式： Select next row【选择下一行】: 顺序（Sequential）：按照参数化的数据顺序，一个一个的来取。 随机（Random）：参数化中的数据，每次随机的从中抽取数据。 唯一（Unique）：为每个虚拟用户分配一条唯一的数据 数据更新方式： 每次迭代(Each itera...
分类：
其他好文 时间：
2015-05-07 00:39:40
阅读次数：
127
最近的项目中需要对上百万级的数据进行增量抽取操作，因此了解了一下TIMESTAMP的应用，特此记录timestamp -- 时间戳：数据库中自动生成的唯一二进制数字，与时间和日期无关的， 通常用作给表行加版本戳的机制。存储大小为 8个字节每个数据库都有一个计数器，当对数据库中包含 timestamp...
分类：
数据库 时间：
2015-04-30 19:38:47
阅读次数：
309
