一、程序分析 1、以只读模式读取文件到字符串 2、对字符串进行数据清洗，返回一个字典 使用正则表达式过滤掉文档中的特殊字符，把它们全部替换为空格，方便后续的分隔操作。（忽略大小写，所以全部使用小写字母） 2.1、只考虑单词频率统计 判断单词列表中的单词是否在单词频率字典中。 如果这个单词在字典中，则 ...
分类：
其他好文 时间：
2018-10-05 20:20:55
阅读次数：
254
传送门：Wash！！ 题意： 有L件衣服要洗，有N台洗衣机，M台烘干机，给出了每台机器完成一件衣服的工作时间（每台机器同时只能完成一件衣服），问怎么选择机器才能使得总的工作时间是最短的。 思路： 用两个优先队列，一个表示洗衣机，一个表示烘干机。先让洗衣机进行工作，最后一件洗出来的衣服对应着结束的清洗 ...
分类：
其他好文 时间：
2018-10-01 20:38:14
阅读次数：
150
数据清洗是一项复杂且繁琐的工作，同时也是整个数据分析过程中最为重要的环节。 在python中空值被显示为NaN。首先，我们要构造一个包含NaN的DataFrame对象。 删除表中全部为NaN的行 删除表中任何含有NaN的行 删除表中全部为NaN的列 删除表中任何含有NaN的列 注意：axis 就是” ...
分类：
其他好文 时间：
2018-09-30 12:57:50
阅读次数：
214
通过遍历全网url 实现爬取全网内容 忽略“.doc"等文件网页暂不处理，只爬取整个页面，不做清洗 spider.py # -*- coding: utf-8 -*- import scrapy from WSYU.items import WsyuItem import datetime from ...
分类：
其他好文 时间：
2018-09-27 23:57:41
阅读次数：
310
数据挖掘流程： （一）数据读取： 读取数据，并进行展示 统计数据各项指标 明确数据规模与要完成任务 （二）特征理解分析 单特征分析，逐个变量分析其对结果的影响 多变量统计分析，综合考虑多种情况影响 统计绘图得出结论 （三）数据清洗与预处理 对缺失值进行填充 特征标准化/归一化 筛选有价值的特征 分析 ...
分类：
其他好文 时间：
2018-09-27 00:12:50
阅读次数：
202
作为一名忙碌的商人，约翰知道必须高效地安排他的时间.他有N工作要 做，比如给奶牛挤奶，清洗牛棚，修理栅栏之类的. 为了高效，列出了所有工作的清单.第i分工作需要T_i单位的时间来完成，而 且必须在S_i或之前完成.现在是0时刻.约翰做一份工作必须直到做完才能停 止. 所有的商人都喜欢睡懒觉.请帮约翰 ...
分类：
其他好文 时间：
2018-09-23 13:38:42
阅读次数：
158
一、单选题（共80题） ( D )的目的缩小数据的取值范围，使其更适合于数据挖掘算法的需要，并且能够得到和原始数据相同的分析结果。 A.数据清洗 B.数据集成 C.数据变换 D.数据归约 某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖掘的哪类问题？(A) A. 关联规则 ...
分类：
其他好文 时间：
2018-09-20 21:17:07
阅读次数：
221
这里利用ben的项目（https://github.com/ben519/DataWrangling/blob/master/Python/README.md），在此基础上增添了一些内容，来演示数据清洗的主要工作。 以下是一份简单的交易数据，包括交易单号，交易日期，产品序号，交易数量，单价，总价。 ...
分类：
其他好文 时间：
2018-09-18 19:15:34
阅读次数：
132
ETL是BI项目最重要的一个环节，通常情况下ETL会花掉整个项目的1/3的时间，ETL设计的好坏直接关接到BI项目的成败。ETL也是一个长期的过程，只有不断的发现问题并解决问题，才能使ETL运行效率更高，为项目后期开发提供准确的数据。 ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设 ...
分类：
其他好文 时间：
2018-09-18 11:16:37
阅读次数：
201
1.机器学习定义：是人工智能的一个分支。我们使用计算机设计一个系统，使它能够根据提供的训练数据按照一定的方式来学习；随着训练次数的增加，该系统可以在性能上不断的学习和改进；通过参数优化的学习模型，能够用于预测相关问题的输出 2.机器学习的一般过程：(1)数据收集 》(2)数据清洗 》(3)特征工程 ...
分类：
其他好文 时间：
2018-09-14 13:56:28
阅读次数：
160
