方案步骤为：数据导出到文件（增量或全量），通知接口文件就绪（上传到ftp或提供下载url），接收方下载文件，解析文件并入库。Oracle需要建立对应的临时表和正式表，入库步骤为：清空临时表，批量插入数据，再合并到正式表。一、数据：数据可以推送，也可以拉取，可以考虑以数据最新日期为临界点数据可以导出到... ...
分类：
数据库 时间：
2019-01-31 00:20:42
阅读次数：
214
一、数据库管理系统 MySQL、 Qracle、SQLite、Access、MS SQL Server 数据库系统的特点：1.数据结构化 2.数据共享、冗余度低、易扩充 3.数据独立性高 4.数据由DBMS统一管理和控制：数据的安全性保护、数据的完整性检查、并发控制、数据库恢复 二、数据库的优点 程 ...
分类：
数据库 时间：
2019-01-30 20:32:35
阅读次数：
220
web scraper——安装【一】 在上文中我们已经安装好了web scraper现在我们来进行简单的爬取，就来爬取百度的实时热点吧。 http://top.baidu.com/buzz?b=1&fr=20811 文本太长,大部分是图片,所以上下操作视频吧,视频爬取的是昵称不是百度热点数据 链接： ...
分类：
Web程序 时间：
2019-01-30 17:10:56
阅读次数：
249
fiddler启用过滤规则只显示想要的接口数据 比如只显示192.168.11.80站点数据 点击应用规则就可以只显示192.168.11.80了 ...
分类：
其他好文 时间：
2019-01-30 13:08:00
阅读次数：
136
性能测试是基于大量数据的，而进行性能测试之前肯定没那么多数据，所以就要自己准备数据 数据构造方法： 1.业务接口 -- 适合数据表关系复杂 -- 优点：数据完整性比较好2.存储过程 -- 适合表数量少，简单 -- 优点：速度最快3.脚本导入 -- 适合数据逻辑复杂 -- 自由度比较高4.数据量级 - ...
分类：
数据库 时间：
2019-01-27 21:41:42
阅读次数：
181
寒假开始预习概率论与计组，同时刷一刷OJ题库，以及重心置于刷雅思。 第一道写的是A+B Problem，刚开始持不敢相信的态度，竟然有这么简单的题。凭借着多年被坑的经验，我发现了疑似坑的点：数据范围以及数据类型。 分别在两个题库里试了一下，感觉在十个例子的测试中好像并没有考虑到数据类型的问题？ 对于 ...
分类：
其他好文 时间：
2019-01-27 14:30:28
阅读次数：
162
在完成单点的Flume NG搭建后，下面我们搭建一个高可用的Flume NG集群，架构图如下所示： （1）节点分配 Flume的Agent和Collector分布如下表所示： 名称 Ip地址 Host 角色 Agent1 192.168.200.101 Itcast01 WebServer Coll ...
分类：
其他好文 时间：
2019-01-23 00:25:43
阅读次数：
234
1.Redis中的字符串 存储方式：可以是字符串，整数或者浮点数操作方式：对整数和浮点数执行自增或者自减；对整个或者一部分字符串操作。基本方法：(不同的实现语法会有细节上的不同) GET：根据键获取值SET：设置键值DEL：删除键值 1: import redis 2: conn = redis.R... ...
分类：
编程语言 时间：
2019-01-23 00:09:56
阅读次数：
198
当我们希望MySQL能够以更高的性能运行查询时，最好的办法就是弄清楚MySQL是如何优化和执行查询的。一旦理解了这一点，很多查询优化工作实际上就是遵循一些原则让优化器能够按照预想的合理方式运行 当我们想向MySQL发送了一个请求时，MySQL到底做了什么： MySQL客户端/服务器通信协议 MySQ ...
分类：
数据库 时间：
2019-01-19 13:50:40
阅读次数：
198
简介 Curator的NodeCache允许你监听一个节点，当节点数据更改或者节点被删除的时候将会触发监听。 官方文档：http://curator.apache.org/curator-recipes/node-cache.html javaDoc：http://curator.apache.or ...
分类：
系统相关 时间：
2019-01-17 01:17:08
阅读次数：
254
