一、相关知识回顾 分布式文件存储 信息源： 购买信息元（对海量数据清洗） 自营提供（限于大公司） 爬虫、抓包 信息格式：文件、文本、sql、json 分布式计算 离线批处理 MapReduce spark 实时数据流 storm spark Sqoop数据迁移：hdfs mysql flume数据上 ...
分类：
其他好文 时间：
2020-02-19 10:28:03
阅读次数：
94
1.缺失值 当数据缺失时出现的问题： 当有缺失值时有些算法没法work 即使是处理缺失数据的算法，如果不进行处理，模型也会导致不准确的结论 缺失机制： Missing Completely as Random:如果所有观测值丢失的概率相同，则变量完全随机丢失(MCAR)。当数据是MCAR时，那些丢失 ...
分类：
其他好文 时间：
2020-02-18 14:39:25
阅读次数：
66
功能要求为：1，数据采集，定期从网络中爬取信息领域的相关热词 2，数据清洗：对热词信息进行数据清洗，并采用自动分类技术生成自动分类计数生成信息领域热词目录。 3，热词解释：针对每个热词名词自动添加中文解释（参照百度百科或维基百科） 4，热词引用：并对近期引用热词的文章或新闻进行标记，生成超链接目录， ...
分类：
其他好文 时间：
2020-02-15 00:13:41
阅读次数：
141
GDC主机交流https://www.globaldc.cn/GDC主机交流论坛是一个综合性的国内服务器、国外服务器、高防清洗、硬件服务器交流论坛,主要为网友提供IP地址鉴定主机商,全球独立服务器以及虚拟主机综合信息分享,独立主机管理技术与等经验交流,为您挑选主机提供最有价值的参考.GDC主机交流是一个互动的交流社区，这里有专业的服务器管理人员以及国外服务器代购人士和商家，在主机交流论坛你不仅可以找
分类：
其他好文 时间：
2020-02-14 09:16:59
阅读次数：
112
按老师给的代码第一次提交得分 下面进行改进 一， 首先进行数据的清洗 先观察数据，首选'Pclass','Sex','Age'作为是否生还（Survived）的 考虑条件来建模 “Sex”的数值是字符型，于是用特征编码将性别用0，1表示 随后发现”Age”中有缺少值，由于age是数值量，可以直接使用 ...
分类：
其他好文 时间：
2020-02-13 19:06:55
阅读次数：
94
我们每天都会洗手、洗脸，尤其是疫情严重的现阶段，大家对勤清洗更是做到了极致。一般情况是为了清洁，但伊的家服务过的很多女性朋友认为勤洗脸还有美容的功效。然而不要以为这是个简单的动作，据数据统计，90%的人都“不会”洗脸。根据调查，很多女性一天都会洗两次脸，而且都会用洗面奶。然而大家知道吗，洗脸洗多了，或是洗面奶用多后，会加速老化！不但起不到美容的效果，还会有反作用。那么，我们应该正确洗脸呢？伊的家给
分类：
其他好文 时间：
2020-02-12 20:25:54
阅读次数：
77
功能要求为：1，数据采集，定期从网络中爬取信息领域的相关热词 2，数据清洗：对热词信息进行数据清洗，并采用自动分类技术生成自动分类计数生成信息领域热词目录。 3，热词解释：针对每个热词名词自动添加中文解释（参照百度百科或维基百科） 4，热词引用：并对近期引用热词的文章或新闻进行标记，生成超链接目录， ...
分类：
其他好文 时间：
2020-02-11 00:41:47
阅读次数：
66
直接上代码： import jieba import pandas as pd import re from collections import Counter if __name__=='__main__': filehandle = open("news.txt", "r",encoding= ...
分类：
其他好文 时间：
2020-02-10 09:43:43
阅读次数：
80
数据清洗之数据转换 1.日期格式数据处理 In [ ]: import numpy as np import pandas as pd In [ ]: import os os.chdir(r'F:\CSDN\课程内容\代码和数据') In [ ]: df = pd.read_csv('baby_t ...
分类：
其他好文 时间：
2020-02-06 14:45:31
阅读次数：
94
昨天我将一个数据的可视化完成，以及数据清洗出来了，今天完成了数据的简单可视化，之后将进行对echarts图表的操作，（图表联动，美化图表）等操作。 今天成果展示： 饼图： 柱状图： 这两个的代码基本和之前的一样，是在原来的基础上更新的。 源代码： <%@ page language="java" c ...
分类：
其他好文 时间：
2020-02-05 18:56:12
阅读次数：
87
