一、分别配置SQL Server和oracle数据库的连接信息并测试连接。 二、新增数据同步任务，配置规则，运行任务，查看日志。 支持数据自动定时抽取，转换，汇聚同步。支持一对多，多对一，多对多等数据同步场景。支持多表级联，数据转换，数据清洗，数据脱敏等需求。 数据源、同步目标、抽取规则、调度计划直 ...
分类：
数据库 时间：
2019-10-07 11:22:15
阅读次数：
117
pandas库，含有使数据清洗和分析工作变得更快更简单的数据结构和操作工具。pandas是基于NumPy数组构建。 pandas常结合数值计算工具NumPy和SciPy、分析库statsmodels和scikitlearn，和可视化库matplotlib等工具一同使用。 5.1 pandas数据结构 ...
分类：
编程语言 时间：
2019-10-07 00:31:44
阅读次数：
88
大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下： ...
分类：
其他好文 时间：
2019-10-06 16:48:10
阅读次数：
114
首先要使用的第类库有 urllib下的request 以及urllib下的parse 以及 time包 random包 之后我们定义一个名叫BaiduSpider类用来爬取信息 属性有 url:用来爬取的网址 headers:请求头 之后我们定义三个方法 不涉及清洗数据 获取页面 保存数据 主函数 ...
分类：
编程语言 时间：
2019-10-03 21:55:36
阅读次数：
98
数据清洗一是为了解决数据质量问题，二是让数据更适合做挖掘 数值类数据 缺失值 在处理缺失值之前，首先要理解为什么数据会有缺失。 丢弃 直接丢弃含有缺失值的行或者列 适用情况 1. 错误导致的数据缺失（GSP中跑步速度的缺失） 2. 要建模预测的数据列有数据缺失 3. 无用数据（调查车辆的价格，要排除 ...
分类：
其他好文 时间：
2019-09-30 21:47:37
阅读次数：
107
1.=LEFT(text,[num_chars]) ? 函数RIGHT具有相似功能 2.=FIND(find_text,within_text,[start_num]) ? 如果想要提取的数据长度不一致，仅使用LEFT函数就不能解决了，例如想要得到k前面的数字 可以先使用FIND函数，得出k所在位置 ...
分类：
其他好文 时间：
2019-09-30 17:00:05
阅读次数：
117
ETL概述 ETL（Extraction-Transformation-Loading）是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据， ETL是BI（商业智能）项目重要的一个环节。 数据治理流程 数据挖 ...
分类：
其他好文 时间：
2019-09-27 19:00:02
阅读次数：
117
定期检查防冻液、刹车油、玻璃水等是否充足，防冻液能保证车辆在冬季的正常行驶，不易上冻，刹车油是刹车系统必不可少的组成部分。玻璃水用于清洗玻璃，这些都要保证充足，才能使车辆正常运转。 定期进行四轮定位，汽车跑的公里多了，有时会出现跑偏等现象，容易埋藏隐患。这时要及时对车辆进行四轮定位，并且快速解决汽车 ...
分类：
其他好文 时间：
2019-09-27 15:04:34
阅读次数：
71
前言： 在前一篇中，已经搭建好了Tensorflow环境，本文将介绍如何准备数据与预处理数据。 正文： 在机器学习中，数据是非常关键的一个环节，在模型训练前对数据进行准备也预处理是非常必要的。 一、数据准备： 一般分为三个步骤：数据导入，数据清洗，数据划分。 1、数据导入： 数据存放在原始格式多种多 ...
分类：
其他好文 时间：
2019-09-25 13:00:54
阅读次数：
106
1、背景 数据初次清洗完成后，在做任务的过程中数据会不断衰减。当把初次清洗的数据后续衰减后，再次以做任务的方式清洗（做任务成功就代表数据可用）发现数据又可用了。由此推测部分数据可能有个冷却时间，当冷却时间过后又可以做任务，针对这种分析结果设计了旧数据循环清洗的功能。 2、设计方案 2.1、每10天的 ...
分类：
其他好文 时间：
2019-09-22 12:27:13
阅读次数：
83
