说明：数据清洗的过程往往只需要运行Mapper程序，不需要运行Reduce程序。 已采集到日志数据存入web.log文件中，其中一条日志格式如下： 101.206.68.147 - - [18/Sep/2018:20:05:16 +0000] "HEAD / HTTP/1.2" 200 20 "-" ...
分类：
其他好文 时间：
2020-05-25 12:28:31
阅读次数：
61
日常学习工作中，我们多多少少都会遇到一些数据爬取的需求，比如说写论文时要收集相关课题下的论文列表，运营活动时收集用户评价，竞品分析时收集友商数据。 当我们着手准备收集数据时，面对低效的复制黏贴工作，一般都会萌生一个想法：我要是会爬虫就好了，分分钟就把数据爬取下来了。可是当我们搜索相关教程时，往往会被 ...
分类：
Web程序 时间：
2020-05-24 10:13:25
阅读次数：
143
数据清洗与格式转换 探索性数据分析 特征筛选 1.数据清洗与格式转换 通过pandas来导入csv：查看一下数据的基本情况，可以看到，整个数据集有3333条数据，21个维度，最后一列是分类 基本信息以及类型 我们可以看到 1.个人信息：州名、账号长度、区号、电话号码，这些个人信息对结果意义不大，删除 ...
分类：
其他好文 时间：
2020-05-22 10:08:31
阅读次数：
80
1、handling missing Data string_data = pd.Series(['aardvark', 'artichoke', np.nan, 'avocado']) string_data.isnull() string_data[0] = None #dropna filln ...
分类：
编程语言 时间：
2020-05-16 01:01:04
阅读次数：
115
1. like 与 regexp比较 like有的功能，regexp都有；regexp还能进行更精确的匹配 -- 模糊匹配两者完全等价 SELECT * FROM rp_dag_sdu_log where task_number like '%rp%'; SELECT * FROM rp_dag_s ...
分类：
数据库 时间：
2020-05-13 15:17:24
阅读次数：
82
在这个高速发展的互联网时代，我们每天因为社交、购物、工作、交通等等行为会产生巨量的数据，数据正在变得越来越常见，但其实这些看似毫无作用的数据，其实有着不可估量的价值，那如何从海量数据中获得别人看不见的知识，如何利用数据来武装营销工作、优化产品、用户调研、支撑决策，数据分析可以将数据的价值最大化呢？今 ...
分类：
其他好文 时间：
2020-05-12 09:54:18
阅读次数：
74
0、前言 我们知道每个语言都有自己的内建函数来对字符串进行处理。通过这些内建函数我们可以对字符串进行一些简单的处理，从而达到数据清洗等目的。在Python中有index()——定位、 find()——查找、split()——分隔、 count()——计数、 replace()——替换等。但这些方法都 ...
分类：
编程语言 时间：
2020-05-10 00:56:56
阅读次数：
81
Pandas详解 Pandas是一个强大的分析结构化数据的工具集；它的使用基础是Numpy（提供高性能的矩阵运算）；用于数据挖掘和数据分析，同时也提供数据清洗功能。 1、安装包 pip install pandas 2、数据结构 Pandas有三大数据结构，Series、DataFrame以及Pan ...
分类：
其他好文 时间：
2020-05-09 00:32:44
阅读次数：
78
一 前言 数据分析中对数据的清洗是个比较重要的工作，如果处理不当会造成数据分析错误，故学习好相关数据清洗知识很有必要。知识追寻者忙于学习其它知识，有点懈怠了python, 努力补救中。 公众号： 知识追寻者 知识追寻者(Inheriting the spirit of open source, Sp ...
分类：
其他好文 时间：
2020-05-07 15:50:11
阅读次数：
59
https://zhuanlan.zhihu.com/p/64419762 每当拿到原始数据，不如意十有八九，快速准确的清洗数据也是必备技能，数据清洗正好是 PowerQuery 的强项，本文就来介绍两个常用的 M 函数：Text.Remove 和 Text.Select。 看到以 Text 开头的 ...
分类：
其他好文 时间：
2020-05-07 15:25:07
阅读次数：
267
