写程序(或叫做编程)是一件非常有创造性和有回报的工作。需要编程来解决问题的原因有很多,但是你可以用编程来解决自己生活上遇到困难的数据分析问题,这是一种乐趣,同时也可以帮助别人来解决相同的问题,这或许是你用来学习编程的一个值得考虑的原因。本书假定每个人都需要学会编程,一旦当你学会编程时,你就可以会使用这个编程技能来解决你所有遇到的问题了。 在我们目前的日常生活中,已经缺少不了计算机,从笔记本到智能手...
分类:
其他好文 时间:
2015-06-21 11:55:53
阅读次数:
153
概述:
Spark是一个基于内存计算的开源集群计算系统,目的是让数据分析更加快速。
Spark非常小巧玲珑,由加州伯克利大学AMP实验室的小团队开发。使用的语言
是Scala,项目的core部分的代码只有63个Scala文件。(AMP实验室名字有点意思:
Algorithm Machine People,算法、机器、人)
Spark是一种与Hado...
分类:
其他好文 时间:
2015-06-20 11:56:13
阅读次数:
131
转载请注明:http://blog.csdn.net/uniquewonderq
1.数据库原理
1.1
数据库简介
1.1.1 手工管理 文件管理 数据库
文件存储方法保存数据的弊端:
1>缺乏对数据的整体管理,数据不便修改
2>不利于数据分析和共享
3>数据量急剧增长,大量数据不可能长期保存在文件中
1.1.2.DB和DBMS
数据库(Databas...
分类:
数据库 时间:
2015-06-20 09:19:20
阅读次数:
139
最近公司在国双监测一个视频mp4点播,后来可用性一直不是很好,下载详细数据分析了下,发现很多加载5s就算失败的情况,问国双的人说是因为5s没有加载出第一个关键帧所以失败了问题就来了:1.第一个关键帧在这个256M的mp4文件的什么位置,也就是说用户需要下载多大的视频才能开..
分类:
其他好文 时间:
2015-06-19 21:42:52
阅读次数:
505
R语言之RCurl实现文件批量下载前言: RCurl工具包的作者是由DuncanTempleLang现任加州大学U.C.Davis分校副教授。他曾致力于借助统计整合进行信息技术的探索。使用者通过RCurl可以轻易访问网页,进行相关数据的抓取以及下载,为数据分析提供原始素材。近年RCurl在数据分析....
分类:
编程语言 时间:
2015-06-19 21:28:49
阅读次数:
242
这篇是计算机中数据库存储与管理类的优质预售推荐《MATLAB数据分析与挖掘实战》。
多位资深数据挖掘专家10余年实战经验结晶,深入讲解数据挖掘各个环节的各项技术。
编辑推荐
通过10余个真实的案例为10余个行业的数据挖掘提供了解决方案,并提供相关的建模文件和源代码。
前言部分
为什么要写这本书
LinkedIn 对全球超过3.3亿用户的工作...
分类:
其他好文 时间:
2015-06-19 18:45:52
阅读次数:
650
常用的命令:1.awk:http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2858470.htmlawk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读...
分类:
系统相关 时间:
2015-06-18 15:20:26
阅读次数:
274
最近工作需要,调研了一下LinkedIn开源的用于复杂大数据分析的高性能计算引擎Cubert。自己测了下,感觉比较适合做报表统计中的Cube计算和Join计算,效率往往比Hive高很多倍,节省资源和时间。下面看下这个框架的介绍:
Cubert完全用Java开发,并提供一种脚本语言。它是针对报表领域里经常出现的复杂连接和聚合而设计的。Cubert使用MeshJoin算法处理大时间窗口下的大数据集,...
分类:
其他好文 时间:
2015-06-18 13:41:54
阅读次数:
253
本文介绍了Python的机器学习库scikit-learn模块,包括如何安装scikit-learn,以及如何利用scikit-learn来进行数据挖掘和数据分析。通过几个简单的实例,展示了scikit-learn的用法。
分类:
编程语言 时间:
2015-06-17 14:54:09
阅读次数:
182
最近在做数据挖掘的课程设计,需要将数据分析的结果很直观的展现给用户,这就要用到数据统计图,要实现这个功能就需要几个第三方包了:1. jfreechart-1.0.13.jar2. jcommon-1.0.16.jar3. gnujaxp.jar先来看一下,最终效果图:主要是jfreechart-1....
分类:
编程语言 时间:
2015-06-17 13:13:20
阅读次数:
270