广东锐讯网络技术有限公司，是全方位整合网络资源的专业IDC基础服务提供商，是拥有ISP资质的电信运行商！自主运营4星级机房，省电信骨干网络，出口带宽450，180G金盾防火墙、240G自动流量清洗，最高防御达300G！！专职工程师7*24小时维护，带宽资源丰富适合游戏，音乐，流媒体..
分类：
其他好文 时间：
2015-04-23 00:15:27
阅读次数：
284
最近在做一个交通流的数据分析，需求是对于海量的城市交通数据，需要使用MapReduce清洗后导入到HBase中存储，然后使用Hive外部表关联HBase，对HBase中数据进行查询、统计分析，将分析结果保存在一张Hive表中，最后使用Sqoop将该表中数据导入到MySQL中。整个流程大概如下：
下面我主要介绍Hive关联HBase表——Sqoop导出Hive表到MySQL这...
分类：
数据库 时间：
2015-04-22 11:47:45
阅读次数：
287
在实际的项目过程中，我们会碰见许多需要在几个解决方案中作出权衡的情况，其中的一个权衡就是：对于数据的清洗、加载，我们是应该主要使用ETL控件还是主要使用存储过程而ETL只是作为调用存储过程的工具。使用ETL控件的好处是：数据处理过程可视化，比较容易理解减少数据库的压力，把数据处理的压力转移到ETL服...
分类：
其他好文 时间：
2015-04-21 20:12:15
阅读次数：
151
年后这段时间，我一直带着项目，在项目中，最后总会遇到这样那样的问题，搞得自己有些狼狈！在向我的恩师求助后，我翻阅了一些资料和书籍，最后找到了一个特别有意思的问题！就是咱们的题目，破窗理论，咱们一起来探讨探讨。
百科-破窗理论：
一个房子如果窗户破了，没有人去修补，隔不久，其它的窗户也会莫名其妙地被人打破；一面墙，如果出现一些涂鸦没有被清洗掉，很快的，墙上就布满了乱七八糟、不堪入...
分类：
编程语言 时间：
2015-04-21 00:24:17
阅读次数：
165
背景从上周开始我就一直在做数据清洗的工作，这次算是体会到了什么叫做“抛开数据量谈实现就是耍流氓”。我设计方案和调试代码连接的都是日常环境的数据库，里面的单表数据量在百级，无论我怎么实现都是瞬间洗完。到了性能测试的时候用的就是性能库，双 11 之前@W君做性能测试的时候，往里面写入了 2000W 的数...
分类：
其他好文 时间：
2015-04-18 19:11:53
阅读次数：
259
总的介绍
必需的文件组成
a）可执行文件：extract.exe（用来萃取单词表里面的英语单词）和find.exe（用来查找单词的）。b）配置文件（不要以为是什么高大上的东西，其实就是用来告诉程序哪些文件需要被处理的一个txt文本而已）。
总的有两个配置文件，一个是告诉程序要去哪些单词表里面查询，另一个是告诉程序要查找哪些题目。如图1，这个是告诉程序要去哪些单词表里面查询的配置文件，每个文本对应一...
分类：
其他好文 时间：
2015-04-17 22:20:57
阅读次数：
171
给学习SQL的同学的福利@ http://sqlschool.modeanalytics.com/ 第一部分 学习SQL 本教程是专为那些想用数据回答问题的人们而设计的。从很大程度上讲，SQL是数据分析的基础，它可以用来访问、清洗和分析存储在数据库中的数据。SQL是很容易学习的，而且有世界上最大的公...
分类：
数据库 时间：
2015-04-17 17:21:07
阅读次数：
172
管理信息化必须是规范化管理，而非个性化管理，例如：同一类别的科研项目的名称不能总是变来变去。如果名称改变，旧名称就不应作为数据分析的依据。所以，一旦要建设数据库，首要的工作就是对数据进行彻底的、不留死角的清洗。
分类：
其他好文 时间：
2015-04-14 09:54:24
阅读次数：
110
降维技术使得数据变得更易使用，并且它们往往能够去除数据中的噪声，使得机器学习任务往往更加精确。降维往往作为预处理步骤，在数据应用到其它算法之前清洗数据。有很多技术可以用于数据降维，在这些技术中，独立成分分析（Independent Component Analysis, ICA）、因子分析（Fact...
分类：
其他好文 时间：
2015-03-31 19:52:57
阅读次数：
444
概要本文是用Python编程语言来进行机器学习小实验的第一篇。主要内容如下：
读入数据并清洗数据
探索理解输入数据的特点
分析如何为学习算法呈现数据
选择正确的模型和学习算法
评估程序表现的准确性
读入数据 Reading the data当读入数据时，你将面临处理无效或丢失数据的问题，好的处理方式相比于精确的科学来说，更像是一种艺术。因为这部分处理适当可以适用于更多...
分类：
编程语言 时间：
2015-03-12 17:08:02
阅读次数：
247
