批量大文本筛选过滤工具开发记录本周花了两三天的时间做了一个大文本数据筛选工具，主要是针对excel打开很慢或者无法打开的几百兆乃至几G的csv、txt文件，提供常规的数据筛选、统计和输出功能。这个大文本筛序需求对生产中的数据挑选和数据分析来说是比较常见的。本文就开发的过程简单记录如下：
使用什么开发语言？
怎样保证用户体验？
如何维护优化？
使用什么开发语言？这问得有点像是废话。我很熟悉Python...
分类：
其他好文 时间：
2015-07-04 14:00:49
阅读次数：
192
1. 简介 由于部门要将统计出来的数据提供给其他部门同事使用，以及其他公司使用。考虑数据的传输管理简单，我们搭建了ftp文件服务器。2. 部署架构1）数据源在内网上面的，数据分析服务器上计算完成，然后内网通过rsync同步到ftp服务器上。 ftp-server rsync配置： 1 [root.....
分类：
其他好文 时间：
2015-07-03 23:20:13
阅读次数：
299
Pinot 是一个实时分布式的 OLAP 数据存储和分析系统。LinkedIn 使用它实现低延迟可伸缩的实时分析。Pinot 从离线数据源（包括 Hadoop 和各类文件）和在线数据源（如 Kafka）中攫取数据进行分析。Pinot 被设计是可以进行水平扩展的。...
分类：
其他好文 时间：
2015-07-03 17:35:04
阅读次数：
284
学习R语言的数据读取和整理（参照数据《数据分析：R语言实战》
分类：
编程语言 时间：
2015-07-01 23:20:43
阅读次数：
276
option = { timeline: { show: false, data: [ '数据分析', ...
分类：
其他好文 时间：
2015-07-01 18:06:09
阅读次数：
207
11.2对应分析在很多情况下，我们所关心的不仅仅是行或列变量本身，而是行变量和列变量的相互关系，这就是因子分析等方法无法解释的了。1970年法国统计学家J.P.Benzenci提出对应分析，也称关联分析、R-Q型因子分析，其是一种多元相依变量统计分析技术。它通过分析由定性变量构成的交互汇总表，来揭示...
分类：
编程语言 时间：
2015-07-01 15:33:02
阅读次数：
422
大家知道，R语言的软件包都是各领域专家贡献而来，通过一个统一的开放的语言环境神奇地组装到了一起，然后开始产生化学反应，为大数据分析立下汗马功劳。 ????R中已经有一个Spatial软件包。通过libra...
分类：
编程语言 时间：
2015-07-01 10:21:07
阅读次数：
379
因为工作需要，开始了python的学习之旅。学习的主要内容包括python基础知识、python数据分析基础知识、numpy专题学习、基于python的机器学习算法实现。下面是系列笔记的一个大纲，希望朋友们多提意见和建议。【一】python基础知识python基础教程学习笔记---（1）基础语法py...
分类：
编程语言 时间：
2015-07-01 00:56:43
阅读次数：
210
转自http://www.cnblogs.com/end/archive/2012/02/05/2339152.html随着互联网、移动互联网和物联网的发展，谁也无法否认，我们已经切实地迎来了一个海量数据的时代，数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB，对这些海量数据的分析已经...
分类：
其他好文 时间：
2015-06-30 23:27:50
阅读次数：
185
DataGridView.DataError 事件简介：出现问题，则外部数据分析或验证操作引发异常，或者，当尝试提交数据写入数据源失败。详细信息：参见MSDN this.dgvState.DataError += delegate(object sender, DataGridViewDataErrorEventArgs e) { };dgvState为DataGridView控件的名称将上述代码...
