集团内的业务数据以前是采用 地区采集—集团清洗-分发地区的ETL流程,自从集团成立软件公司以后,子公司需要的业务数据都必须向集团申请而来,但是业务系统底层DC也没提供相应的数据接口,所以就有了这次需求原型:从远程FTP服务器上定时获取txt数据文件,并将数据导入到本地Oracle数据库。 每天需要从 ...
分类:
数据库 时间:
2016-05-03 17:47:05
阅读次数:
245
再来说下数据集成开发过程,批处理数据集成和ETL
数据集成生命周期
1 确定项目的范围
2 概要分析
生命周期的第二个部分常常会被忽略,即概要分析。因为数据集成被视作一门技术活,而组织通常会对授权
访问生产数据比较敏感,因此,为了开发数据接口而对当前存储于可能的源和目标系统的数据进行分析可能是件
比较困难的事情。所以,对实际数据进行概要分析往往...
分类:
其他好文 时间:
2016-04-29 15:53:09
阅读次数:
218
解决跨域资源共享 一、WebApi解决跨域资源共享。 开发中选择WebApi来作为服务端的数据接口,由于使用PhoneGap,就需要通过js来获取远程远程数据服务器的数据,由于同源策略的限制,这就涉及到跨域资源共享问题。 首先新建一个简单的WebApi项目, 使用微软的CORS解决方案,再Nugge ...
分类:
移动开发 时间:
2016-04-18 20:31:38
阅读次数:
208
帮一个老师写的小工具 在一个大工程中需要很多bus来组织信号,而为了规范接口,需要定义很多BusObject,用Matlab语言手写这些BusObject比较费工夫 所以用xml配置文件来写,也便于更改总线数据接口,然后使用matlab脚本来生成BusObject和Bus模块库 以下代码运行环境:W ...
分类:
其他好文 时间:
2016-04-13 23:45:39
阅读次数:
762
刚刚参加完一个项目,背景:后端是用java,后端服务已经开发的差不多了,现在要通过web的方式对外提供服务,也就是B/S架构。后端专注做业务逻辑,不想在后端做页面渲染的事情,只向前端提供数据接口。于是协商后打算将前后端完全分离,页面上的所有数据都通过ajax向后端取,页面渲染的事情完全由前端来做。另 ...
分类:
其他好文 时间:
2016-04-13 18:34:53
阅读次数:
139
最近,参与了公司的一个大数据接口平台的开发,具体的处理过程是这样的。我们公司负责数据的入库,也就是一个etl过程,使用MR将数据入到hive里面,然后同步到impala,然后此接口平台提供查询接口,前台会将sql语句以参数传过来,然后接口平台通过调用impala提供的java api接口,将数据查询出来返回给用户。另外,如果查询的数据量很大,那么前台就会传一个taskId过来,第一次只需将数据查询出...
分类:
其他好文 时间:
2016-04-01 18:51:13
阅读次数:
222
实时股票数据接口大全 股票数据的获取目前有如下两种方法可以获取:1. http/javascript接口取数据2. web-service接口 1.http/javascript接口取数据 1.1Sina股票数据接口 以博彦科技(股票代码:002649)为例,如果要获取它的最新行情,只需访问新浪的股 ...
随着不同终端(Pad/Mobile/PC)的兴起,对开发人员的要求越来越高,纯浏览器端的响应式已经不能满足用户体验的高要求,我们往往需要针对不同的终端开发定制的版本。为了提升开发效率,前后端分离的需求越来越被重视,后端负责业务/数据接口,前端负责展现/交互逻辑,同一份数据接口,我们可以定制开发多个版 ...
分类:
其他好文 时间:
2016-03-26 21:44:21
阅读次数:
292
1、权限管理 从模块、表单、数据审核、功能button全面数据安全验证及管理。 2、ip验证 数据接口訪问进行IP校验 3、登录、操作日志、程序安全日志 系统所实用户登录、操作所有日志记录。 程序安全日志操作可查看我之前写过[LogHelper 日志记录帮助类 ]。 4、SQL注入校验过滤 a、表单 ...
分类:
Web程序 时间:
2016-03-24 18:18:43
阅读次数:
272
转自:http://my.oschina.net/shyl/blog/531605 要做个php的数据接口,返回xml格式的数据。 class Data{ private $_data = array(); public function __construct( $data ){ $this ->
分类:
其他好文 时间:
2016-03-07 19:11:52
阅读次数:
117