（0）文件夹 高速学Python 和 易犯错误（文本处理） Python文本处理和Java/C比对 十分钟学会Python的基本类型 高速学会Python（实战） 大数据处理之道（十分钟学会Python） 一：python 简单介绍 （1）Python的由来 Python（英语发音：/?pa?θ?n ...
分类：
编程语言 时间：
2017-07-07 15:33:28
阅读次数：
218
权作《Spark快速大数据分析》学习笔记 定义：Spark是一个用来实现 快速 而 通用 的集群计算平台；（通用的大数据处理引擎；） 改进了原Hadoop MapReduce处理模型，体现在三方面： a. 速度；（内存计算） b. 不仅支持批处理，还支持交互式查询(速度快的成果)、流式计算、机器学习 ...
分类：
其他好文 时间：
2017-07-02 16:20:16
阅读次数：
234
一、介绍 目前大数据存储有两种方案可供选择：行存储和列存储。业界对两种存储方案有很多争持，集中焦点是:谁能够更有效地处理海量数据，且兼顾安全、可靠、完整性。从目前发展情况看，关系数据库已经不适应这种巨大的存储量和计算要求，基本是淘汰出局。在已知的几种大数据处理软件中，Hadoop的HBase采用列存 ...
分类：
数据库 时间：
2017-06-26 21:11:51
阅读次数：
207
分享 知识要点：lubridate包拆解时间 | POSIXlt利用决策树分类，利用随机森林预测利用对数进行fit，和exp函数还原 训练集来自Kaggle华盛顿自行车共享计划中的自行车租赁数据，分析共享自行车与天气、时间等关系。数据集共11个变量，10000多行数据。https://www.kag ...
分类：
编程语言 时间：
2017-06-25 23:07:50
阅读次数：
281
前些日子，公司要求做一个数据导入程序，要求将Excel数据，大批量的导入到数据库中，尽量少的访问数据库，高性能的对数据库进行存储。于是在网上进行查找，发现了一个比较好的解决方案，就是采用SqlBulkCopy来处理存储数据。SqlBulkCopy存储大批量的数据非常的高效，就像这个方法的名字一样，可 ...
分类：
数据库 时间：
2017-06-22 18:40:02
阅读次数：
200
真搞不懂，一些团队由于某些原因居然认为他们可以建立一个安全数据湖和/或他们自己的大数据安全分析工具。让我来告诉你们会发生什么——失败。提示一下数据沼泽笑话。想想数据浮渣。讨论一下在数据池里撒尿。结果是一样的——不会成功。好吧，让我缓和一点来说说——0.1%的人将..
分类：
其他好文 时间：
2017-06-12 22:34:24
阅读次数：
241
挨踢部落是为核心开发者提供深度技术交流，解决开发需求，资源共享的服务社群。基于此社群，我们邀请了业界技术大咖对开发需求进行一对一突破，解除开发过程中的绊脚石。以最专业、最高效的答复为开发者解决开发难题。Python话题关键词：数据库Android部落阵容：侯圣文，恩墨学..
分类：
编程语言 时间：
2017-06-12 22:31:58
阅读次数：
227
PM问：“Vic，现在ETL Job跑到哪一个Package了，正在执行哪个Task？”，第一次遇到这个问题时，一下就懵逼了，只能硬着头皮说：“我看看”。 在做项目开发时，这个问题很常见，但是，被很多ETL开发工程师忽略了，可能是因为，这不是一个直接可以给出答案的命题。 在做大数据处理时，ETL P ...
分类：
数据库 时间：
2017-06-09 16:01:33
阅读次数：
274
流式大数据处理的三种框架：Storm，Spark和Samza 2017-06-01 Spark技术日报 本文来自CSDN博客，ID「秋夜无霜」 原文：http://blog.csdn.net/shichen2010/article/details/72758300 许多分布式计算系统都可以实时或接近 ...
分类：
其他好文 时间：
2017-06-03 12:58:28
阅读次数：
171
随着人们逐渐认识到 “大数据”的价值，互联网、电商到金融业、政企等各行业开始处理海量数据。如何低成本、敏捷高效地搭建大数据处理平台，成为影响大数据创新效率的关键。 为了让用户以最简便地方式享用阿里云全球资源，在云端构建敏捷弹性、高可靠和高性价比的大数据平台，近日，阿里云在成都云栖大会上发布了一款Ha... ...
分类：
其他好文 时间：
2017-06-02 14:55:12
阅读次数：
289
