现给定一个一千条的原始数据的txt文件，要求清洗掉多余字符，按照空格和换行规则导入hive中。 1、导入txt文件 使用BufferedReader方法导入txt文件，准备进行处理。 2、清洗数据 使用字符串分割函数split()将数据按照空格、/、+、，等字符进行分割。 3、导出txt文件 使用F ...
分类：
其他好文 时间：
2019-11-13 23:54:14
阅读次数：
185
题目要求： 1、 数据清洗：按照进行数据清洗，并将清洗后的数据导入hive数据库中。 两阶段数据清洗： （1）第一阶段：把需要的信息从原始日志中提取出来 ip: 199.30.25.88 time: 10/Nov/2016:00:01:03 +0800 traffic: 62 文章： article ...
分类：
其他好文 时间：
2019-11-13 23:53:43
阅读次数：
176
虚拟机： hadoop:3.2.0 hive:3.1.2 win10： eclipse 两阶段数据清洗： （1）第一阶段：把需要的信息从原始日志中提取出来 ip: 199.30.25.88 time: 10/Nov/2016:00:01:03 +0800 traffic: 62 文章： articl ...
分类：
数据库 时间：
2019-11-13 22:25:39
阅读次数：
162
package mapreduce; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop ...
分类：
其他好文 时间：
2019-11-13 22:12:52
阅读次数：
117
关键性python数据包的安装 pip3 install tushare 关键性python数据包的安装 pip3 install tushare import tushare as ts股票代码为code参数，start为收集该股票数据的开始日期df = ts.get_k_data(code='6 ...
分类：
其他好文 时间：
2019-11-01 20:56:43
阅读次数：
180
pandas中的DataFrame中的空数据处理方法： 方法一：直接删除 1.查看行或列是否有空格（以下的df为DataFrame类型，axis=0,代表列，axis=1代表行，以下的返回值都是行或列索引加上布尔值）? isnull方法 ? 查看行：df.isnull().any(axis=1) ? ...
分类：
编程语言 时间：
2019-11-01 18:50:42
阅读次数：
153
对于大数据，如果从数据的产生、存储、清洗、转换、丰富、使用、备份、销毁的全生命周期来进行分析，可以更加完整地看到数据流动的过程，基于数据的价值实现数据的管理。
分类：
其他好文 时间：
2019-10-30 18:39:27
阅读次数：
283
处理缺失值 通过isnull和notnull方法，可以返回布尔值的对象。 这时通过求和可以获取每列的缺失值数量，再通过求和就可以获得整个DataFrame的缺失值数量 侦查缺失值 创建有缺失值的DataFeame 查看缺失值 缺失值计算 通过info()方法查看缺失值 删除缺失值 通过dropna可 ...
分类：
其他好文 时间：
2019-10-29 00:11:10
阅读次数：
109
数据的预处理 数据预处理的主要内容包括数据的清洗,数据的集成,数据的变换,数据的规约. 数据清洗:数据的清洗主要是删除原始数据集中的无关数据,重复数据,平滑噪声数据,筛选掉与挖掘主体无关的数据,处理缺失值,异常值. 缺失值的处理:缺失值的处理分为3种方式:删除记录,数据补差,和不处理 数据补插方式: ...
分类：
其他好文 时间：
2019-10-27 12:27:11
阅读次数：
83
学习时间：2019/10/25 周五晚上22点半开始。 学习目标：Page188-Page217，共30页，目标6天学完，每天5页，预期1029学完。 实际反馈：X集中学习1.5小时，学习6页。实际XXX学完，耗时N天，M小时 数据准备工作：加载、清理、转换以及重塑，通常会占用分析师80%的时间或更 ...
分类：
编程语言 时间：
2019-10-25 23:17:26
阅读次数：
111
