在学习机器学习算法的过程中，我们经常需要数据来验证算法，调试参数。但是找到一组十分合适某种特定算法类型的数据样本却不那么容易。还好numpy, scikit-learn都提供了随机数据生成的功能，我们可以自己生成适合某一种模型的数据，用随机数据来做清洗，归一化，转换，然后选择模型与算法做拟合和预测。 ...
分类：
编程语言 时间：
2016-11-10 02:02:42
阅读次数：
296
使用pandas进行数据清洗 本文转载自：蓝鲸的网站分析笔记 原文链接：使用python进行数据清洗 数据清洗是一项复杂且繁琐(kubi)的工作，同时也是整个数据分析过程中最为重要的环节。有人说一个分析项目80%的时间都是在清洗数据，这听起来有些匪夷所思，但在实际的工作中确实如此。数据清洗的目的有两 ...
分类：
其他好文 时间：
2016-11-02 10:23:26
阅读次数：
752
如何分层 结合Inmon和Kimball的集线器式和总线式的数据仓库的优点，分层为ODS-DW-DM-OLAP/OLAM/app ODS层是将OLTP数据通过ETL同步到数据仓库来作为数据仓库最基础的数据来源。在这个过程中，数据经过了一定的清洗，比如字段的统一，脏数据的去除等，但是数据的粒度是不会变... ...
分类：
其他好文 时间：
2016-10-29 12:16:00
阅读次数：
248
Web Scraping在大数据时代，一切都要用数据来说话，大数据处理的过程一般需要经过以下的几个步骤 数据的采集和获取 数据的清洗，抽取，变形和装载 数据的分析，探索和预测 数据的展现其中首先要做的就是获取数据，并提炼出有效地数据，为下一步的分析做好准备。数据的来源多种多样，以为我本身是足球爱好者 ...
分类：
编程语言 时间：
2016-10-26 01:00:57
阅读次数：
309
现在给出一个Web统计信息，他们存储着每小时的访问次数。每一行包含连续的小时和信息，以及该小时Web的访问次数。现在要解决的问题是，估计在何时访问量达到基础设施的极限。极限数据是每小时100000次访问。 1.读取数据： 其中，x表示小时，y表示访问量。 2.预处理和清洗数据： 结果显示含有8个控值 ...
分类：
其他好文 时间：
2016-10-25 11:49:49
阅读次数：
212
作者：Datartisan链接：https://zhuanlan.zhihu.com/p/22833471来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。每个数据科学家每天都要处理成吨的数据，而他们60%~70%的时间都在进行数据清洗和数据格式调整，将原始数据转变为可以 ...
分类：
其他好文 时间：
2016-10-16 16:18:44
阅读次数：
179
1 什么是微软的SQL Server Integration Services（SSIS） 微软SSIS是构建企业级数据集成和数据转换解决方案平台。您可以使用集成服务来解决复杂的业务问题通过复制或下载文件，发送电子邮件以响应事件，更新数据仓库、 清洗和挖掘数据和管理 SQL Server 对象和数据 ...
分类：
数据库 时间：
2016-10-14 14:03:40
阅读次数：
310
ETL是BI项目最重要的一个环节，通常情况下ETL会花掉整个项目的1/3的时间，ETL设计的好坏直接关接到BI项目的成败。ETL也是一个长期的过程，只有不断的发现问题并解决问题，才能使ETL运行效率更高，为项目后期开发提供准确的数据。 ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设 ...
分类：
其他好文 时间：
2016-10-08 20:23:43
阅读次数：
109
写在前面的话 对于企业和组织而言，分布式拒绝服务攻击(DDoS)不仅是非常痛苦的，而且还会给公司打来巨大的损失。那么我们应该如何防御这种攻击呢?在此之前，我们可以通过带外系统或流量清洗中心来抵御DDoS攻击。但是现在我们又多了一种防御方法，即内联缓解(inline mitigation)，这也是一种 ...
分类：
其他好文 时间：
2016-10-07 11:37:03
阅读次数：
132
很多人都知道，我们这一生，不论是为了生活还是为了实现自身的价值，都要努力的去拼搏。有些人在为别人工作时得到赞赏，而有的人却是站在高位上赞赏别人，这就是选择的不同，注定了人生的不同。不想当将军的士兵不是一个好的士兵，每个人都想自己可以去赞赏别人，去站在属于老板的层次，那最好的办法就是选择创业。财富的殿 ...
分类：
其他好文 时间：
2016-09-30 15:03:34
阅读次数：
136
