初学网络爬虫，请多多指教以下是我觉得有用的资源总结，资源均来自网上编程语言：java使用网络爬虫：spidermanSpiderman 是一个Java开源Web数据抽取工具。它能够收集指定的Web页面并从这些页面中提取有用的数据。Spiderman主要是运用了像XPath,正则表达式等这些技术来实数...
分类：
其他好文 时间：
2015-09-06 18:07:39
阅读次数：
148
orcel里提供了按要求抽取data类型数据的函数，如，只需要年份，那么就可以用(A表里有一个data_str列，是data型。)select extract(monthfrom data_str) newmonthfrom Awhereextract(year fromdata_str)='201...
分类：
其他好文 时间：
2015-08-25 23:22:28
阅读次数：
177
直接干货
model 考虑给用户展示什么，关注支撑业务的信息构成，构建成模型；
control 调用业务逻辑产生合适的数据以及传递数据给视图用于呈献；
view
如何对数据进行布局，以一种优美的方式展示给用户；
MVC核心思想：业务数据抽取和业务数据呈献相分离。
看看Spring MVC官网给的图：http://docs.spring.io/spring/docs/cu...
分类：
编程语言 时间：
2015-08-15 16:32:26
阅读次数：
138
Kettle是绿色免安装的，下载完解压之后找到Spoon.bat,直接执行就好 欢迎界面 Kettle主要分为转换和作业2类 新建一个转换demo 创建了一个转换demo后，由于是数据抽取，因此我们抽取的源头在哪里，这里面我就以数据库为例来进行说明，新建一个DB连接 Kettle支持的数据库很多，选...
分类：
其他好文 时间：
2015-08-04 12:46:49
阅读次数：
201
转载：http://www.open-open.com/jsoup/目录：入门解析和遍历一个html文档输入解析一个html字符串解析一个body片断根据一个url加载Document对象根据一个文件加载Document对象数据抽取使用dom方法来遍历一个Document对象使用选择器语法来查找元素...
分类：
编程语言 时间：
2015-07-30 11:06:24
阅读次数：
260
用QlikView制作收入合同分析数据
1. QlikView的安装和使用
详见【QlikView_11_中文参考手册完全版本_v1.0】QlikView数据抽取步骤【以连接数据库为例】
新建一个文件：
编辑当前脚本：
选择【OLEDB】数据源：
点击【连接】
点击【下一步】（这里以连接SQL SERVER 数据库为例）
输入数据库的IP，用户名，密码之后，...
分类：
数据库 时间：
2015-07-21 12:57:43
阅读次数：
2713
原创作品，出自 “深蓝的blog” 博客，深蓝的blog：
rac生产库杀掉锁表会话出现killed状态处理
环境：
操作系统：CentOS 6.4 64BIT
数据库：Oracle RAC 11.2.0.4 R2 64bit
在某项目中，进行大数据抽取任务时，抽取出现错误，需要对大表进行重新抽取。于是取消insert操作，然后执行truncate操作。
如下...
分类：
其他好文 时间：
2015-07-14 15:43:50
阅读次数：
191
ETL，Extraction-Transformation-Loading的缩写，中文名称为数据抽取、转换和加载。大多数据仓库的数据架构可以概括为：数据源-->ODS(操作型数据存储)-->DW-->DM(data mart)ETL贯穿其各个环节。?一、数据抽取： 可以理解为是把源数据的数据抽取到O...
分类：
其他好文 时间：
2015-07-08 00:13:54
阅读次数：
222
业务系统最简单实现：使用定时任务调用存储过程提取变更数据然后写入到接口数据库，我们这边可以随时进行数据抽取，你也不用担心其他人动你的业务库而导致其它问题。其它办法：1.做个双机数据库，我们读从库。2.每天备份数据库然后倒入到接口库。导出sql并恢复至备份库。建议不要因为一部分工作量，然后给业务系统带...
分类：
数据库 时间：
2015-06-24 16:16:10
阅读次数：
153
原创作品，出自 “深蓝的blog” 博客，欢迎转载，转载时请务必注明出处，否则有权追究版权法律责任。
深蓝的blog：
【背景】
在进行数据抽取时，源端“时间意义”字段数据为“时间戳格式”，而且字段类型为字符串类型。但是目标端要求，进入数据为date类型，需要清洗。
【解决】
遇到这种问题，起初可能会比较棘手，但通过对“时间戳格式”进行简单分析后，...
分类：
其他好文 时间：
2015-06-16 09:16:32
阅读次数：
204
