一、相关知识回顾 分布式文件存储 信息源: 购买信息元(对海量数据清洗) 自营提供(限于大公司) 爬虫、抓包 信息格式:文件、文本、sql、json 分布式计算 离线批处理 MapReduce spark 实时数据流 storm spark Sqoop数据迁移:hdfs mysql flume数据上 ...
分类:
其他好文 时间:
2020-02-19 10:28:03
阅读次数:
94
1.缺失值 当数据缺失时出现的问题: 当有缺失值时有些算法没法work 即使是处理缺失数据的算法,如果不进行处理,模型也会导致不准确的结论 缺失机制: Missing Completely as Random:如果所有观测值丢失的概率相同,则变量完全随机丢失(MCAR)。当数据是MCAR时,那些丢失 ...
分类:
其他好文 时间:
2020-02-18 14:39:25
阅读次数:
66
功能要求为:1,数据采集,定期从网络中爬取信息领域的相关热词 2,数据清洗:对热词信息进行数据清洗,并采用自动分类技术生成自动分类计数生成信息领域热词目录。 3,热词解释:针对每个热词名词自动添加中文解释(参照百度百科或维基百科) 4,热词引用:并对近期引用热词的文章或新闻进行标记,生成超链接目录, ...
分类:
其他好文 时间:
2020-02-15 00:13:41
阅读次数:
141
GDC主机交流https://www.globaldc.cn/GDC主机交流论坛是一个综合性的国内服务器、国外服务器、高防清洗、硬件服务器交流论坛,主要为网友提供IP地址鉴定主机商,全球独立服务器以及虚拟主机综合信息分享,独立主机管理技术与等经验交流,为您挑选主机提供最有价值的参考.GDC主机交流是一个互动的交流社区,这里有专业的服务器管理人员以及国外服务器代购人士和商家,在主机交流论坛你不仅可以找
分类:
其他好文 时间:
2020-02-14 09:16:59
阅读次数:
112
按老师给的代码第一次提交得分 下面进行改进 一, 首先进行数据的清洗 先观察数据,首选'Pclass','Sex','Age'作为是否生还(Survived)的 考虑条件来建模 “Sex”的数值是字符型,于是用特征编码将性别用0,1表示 随后发现”Age”中有缺少值,由于age是数值量,可以直接使用 ...
分类:
其他好文 时间:
2020-02-13 19:06:55
阅读次数:
94
我们每天都会洗手、洗脸,尤其是疫情严重的现阶段,大家对勤清洗更是做到了极致。一般情况是为了清洁,但伊的家服务过的很多女性朋友认为勤洗脸还有美容的功效。然而不要以为这是个简单的动作,据数据统计,90%的人都“不会”洗脸。根据调查,很多女性一天都会洗两次脸,而且都会用洗面奶。然而大家知道吗,洗脸洗多了,或是洗面奶用多后,会加速老化!不但起不到美容的效果,还会有反作用。那么,我们应该正确洗脸呢?伊的家给
分类:
其他好文 时间:
2020-02-12 20:25:54
阅读次数:
77
功能要求为:1,数据采集,定期从网络中爬取信息领域的相关热词 2,数据清洗:对热词信息进行数据清洗,并采用自动分类技术生成自动分类计数生成信息领域热词目录。 3,热词解释:针对每个热词名词自动添加中文解释(参照百度百科或维基百科) 4,热词引用:并对近期引用热词的文章或新闻进行标记,生成超链接目录, ...
分类:
其他好文 时间:
2020-02-11 00:41:47
阅读次数:
66
直接上代码: import jieba import pandas as pd import re from collections import Counter if __name__=='__main__': filehandle = open("news.txt", "r",encoding= ...
分类:
其他好文 时间:
2020-02-10 09:43:43
阅读次数:
80
数据清洗之数据转换 1.日期格式数据处理 In [ ]: import numpy as np import pandas as pd In [ ]: import os os.chdir(r'F:\CSDN\课程内容\代码和数据') In [ ]: df = pd.read_csv('baby_t ...
分类:
其他好文 时间:
2020-02-06 14:45:31
阅读次数:
94
昨天我将一个数据的可视化完成,以及数据清洗出来了,今天完成了数据的简单可视化,之后将进行对echarts图表的操作,(图表联动,美化图表)等操作。 今天成果展示: 饼图: 柱状图: 这两个的代码基本和之前的一样,是在原来的基础上更新的。 源代码: <%@ page language="java" c ...
分类:
其他好文 时间:
2020-02-05 18:56:12
阅读次数:
87