目录 一.预处理 二.缺失值的处理 三.格式的转换 四.异常值的处理 一.预处理 1.1.列名称的修改 像下面这样，我们就完成了两个列的重命名，而其余的列名保持不变 1.2.添加index 有的时候数据的index是0，1，2……这样的数字，我们需要修改为日期格式，date必须是数据里一个serie ...
分类：
其他好文 时间：
2018-08-14 00:54:08
阅读次数：
185
通过爬取自如网站的房源，清洗数据，然后可视化，分析得出相关结论，让你熟悉数据分析的整个流程，以及清洗数据和可视化时常用的方法！ ...
分类：
其他好文 时间：
2018-08-08 15:40:10
阅读次数：
619
1 内容简介 首先通过爬虫采集链家网上所有南京二手房的房源数据，并对采集到的数据进行清洗；然后，对清洗后的数据进行可视化分析，探索隐藏在大量数据背后的规律；最后，采用一个聚类算法对所有二手房数据进行聚类分析，并根据聚类分析的结果，将这些房源大致分类，以对所有数据的概括总结。通过上述分析，我们可以了解 ...
分类：
编程语言 时间：
2018-08-08 00:28:26
阅读次数：
318
目录 4.1 数据清洗 4.1.1 缺失值处理 4.1.2 异常值处理 4.2 数据集成 4.2.1 实体识别 4.2.2 冗余属性识别 4.3 数据变换 4.3.1 简单函数变换 4.3.2 规范化 4.3.3 连续属性离散化 4.3.4 属性构造 4.3.5 小波变换 4.4 数据规约 4..4 ...
分类：
其他好文 时间：
2018-08-06 19:17:41
阅读次数：
277
进入2018年，各种主链一直层出不穷，相比炒币，之前被比特币凉了一段时间的挖矿最近又冒出头来，各个币圈、链圈的社区一度被挖矿、矿机等关键词刷屏。笔者关注了一段时间后，发现一个有趣的现象，现如今，最受中国广大矿工欢迎的，竟然不再是比特币了，而是备受瞩目的分布式协议存储——IPFS。工欲善其事，必先利其器。当所有的矿工都磨刀霍霍向IPFS的时候，很容易产生利益聚焦点，而此时投机倒把、擅长钻空子之流就出
分类：
其他好文 时间：
2018-08-03 16:42:26
阅读次数：
159
第一步：将五花肉的皮朝下放入锅中将肉烧至金黄色，然后将肉清洗干净后备用 第二步：煮肉，放入清水，加入几片姜，40g料酒（去除腥味），少许葱段，加入白醋5g（解除油腻） 第三步：大火烧开后撇去浮沫，然后中火煮20分钟，中火煮的时候需要将肉翻面 第四步：肉煮好后将肉放至冰水中冷却（这样肉质会更紧，口感好 ...
分类：
其他好文 时间：
2018-07-29 00:52:31
阅读次数：
141
学习总结： 学习过程：今天老师具体讲解了一下一个项目从需求分析到完结的过程，其次讲解了一下用户日志分析的具体操作过程，先将用户日志进行数据清洗，其次选择出自己需要的数据存入hive数据库再通过sooop导入mysql数据库，通过echar插件以表格形式显示出来。 总结：了解了项目的概要设计流程。了解 ...
分类：
其他好文 时间：
2018-07-23 10:56:41
阅读次数：
226
目录 一、 特征工程是什么？ 2 ①特征使用方案 3 ②特征获取方案 4 ③特征处理 4 1. 特征清洗 4 2. 数据预处理 4 3. 特征监控 4 二、 数据预处理 5 1. 无量纲化 5 1.1标准化 5 1.2区间缩放法 7 1.3归一化方法有两种 7 2. 对定量特征二值化 8 1. 为什 ...
分类：
其他好文 时间：
2018-07-19 23:26:41
阅读次数：
818
import numpy as np import pandas as pd from pandas import Series,DataFrame s=Series([1,2,3],index=['a','b','c']) print(s) ''' a 1 b 2 c 3 dtype: int64... ...
分类：
编程语言 时间：
2018-07-17 20:17:26
阅读次数：
222
需求：统计某网站的pv（网页浏览量），uv（用户量）的数据量，并存储于数据库中，以便于用户查询。 思路分析： 具体实现： 1.1在hive中建立相对应的数据库，再在数据库中创建与logs数据相对应的管理表，并在其中补充与数据对应的字段。（hive表在hdfs中对应的是一个目录） 1.2将logs数据 ...
分类：
其他好文 时间：
2018-07-10 23:33:44
阅读次数：
253
