如果要格式化报文或从一个大的文本文件中抽取数据包，那么awk可以完成这些任务。它在文本浏览和数据的熟练使用上性能优异。可以说awk是一种自解释的编程语言，之所以要在shell中使用awk是因为awk本身是学习的好例子，但结合awk与其他工具诸如grep和sed，将会使shell编程更加容..
分类：
其他好文 时间：
2015-04-28 18:57:39
阅读次数：
133
这个源之于一个朋友问我的一个问题，他说他们的需求是在一天之内随机抽取数据生成订单，还不能让客户看出来。随机生成的订单还分概率抽取不一定的状态值，那么根据我之前写的定时器线程执行器，我们设计需要一个定时器去执行。那么我们的定时器坑定需要一直运行，包括每天的情况。创建SecondsTimerTask 由...
分类：
编程语言 时间：
2015-03-19 12:59:48
阅读次数：
209
问题
在本机硬盘上有一个HTML文件，需要对它进行解析从中抽取数据或进行修改。
办法
可以使用静态 Jsoup.parse(File
in, String charsetName, String baseUri) 方法：
File input = new File("/tmp/input.html");
Document doc = Jsoup.parse(input, "...
分类：
Web程序 时间：
2015-03-11 17:22:59
阅读次数：
162
最近业务开始需要实时抽取数据，中间权限需要沟通，为了不让自己给DBA添加麻烦，还是补补关于这方面的基础：来源：http://blog.csdn.net/heiyeshuwu/article/details/8619338先介绍下背景吧，方便理解：早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，...
分类：
其他好文 时间：
2015-03-06 18:33:29
阅读次数：
453
声明：原创作品，转载时请注明文章来自SAP师太技术博客：www.cnblogs.com/jiangzhengjun，并以超链接形式标明文章原始出处，否则将追究法律责任！原文链接：http://www.cnblogs.com/jiangzhengjun/p/4296528.html 通信结构、抽取数据...
分类：
其他好文 时间：
2015-02-20 16:20:24
阅读次数：
166
本文利用twitter做为数据源，介绍使用Oracle大数据平台及Oralce Data Integrator工具，完成从twitter抽取数据，在hadoop平台上处理数据，并最终加载到oracle数据库。数据集成分为三个阶段：获取、整理、分析和决策。 本文从实际出发，讲述大数据处理的真实案例，....
分类：
其他好文 时间：
2015-01-09 19:17:27
阅读次数：
248
第1章 机器学习基础1）学习分类监督学习——是因为这类算法必须知道预测什么，即目标变量的分类信息。无监督学习——数据没有类别信息，也不会给定目标值。2）开发机器学习应用程序的步骤 收集数据——制作网络爬虫从网站上抽取数据、从RSS反馈或者API中得到信息、设备发送过来的实测数据（风速、血糖等)、公....
分类：
其他好文 时间：
2015-01-05 14:38:09
阅读次数：
170
专业既然是机器学习，那工作肯定也是继续和数据打交道，那么问题来了，很多时候推荐算法和数据挖掘算法都是现成可用的，平台初建，重点还在数据过滤和抽取，怎样高效的抽取数据？
利用往常算法比赛中常用的字符串处理方法吗，omg，维护它是一个淡淡疼的忧伤。
那么，重点来了，正则表达式，干净利落。
模版如下：
//step1,set reg string
String r...
分类：
编程语言 时间：
2014-12-19 00:41:32
阅读次数：
265
原文:《BI那点儿事》ETL中的关键技术
ETL（Extract/Transformation/Load）是BI/DW的核心和灵魂，按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。
ETL过程中的主要环节就是数据抽取、数据转换和加工、数据...
分类：
其他好文 时间：
2014-12-10 14:05:23
阅读次数：
215
一、营销mis系统抽取数据按月抽取的表的方法：营销表按月抽取的方法：1。没有增量，全量抽取，入库目标地址为ods_yx，数据集成平台。不用入库到镜像库的。要先进行表数据的抽取，把81.34里面的log日志文件删除，然后使用到的程序为：F:\FTP\2013KHPZ里面的入库程序。勾选循环执行LDR，...
分类：
其他好文 时间：
2014-12-08 00:46:36
阅读次数：
235
