本节作为《Hadoop从入门到精通》大型专题的第三章第二节将教大家如何在Mapreduce中使用XML和JSON两大常见格式，并分析比较最适合Mapreduce大数据处理的数据格式。在本章的第一章节介绍中，我们简单了解了Mapreduce数据序列化的概念，以及其对于XML和JSON格式并不友好。本节作为《Hadoop从入门到精通》大型专题的第三章第二节将教大家如何在Mapreduce中使用XML和
分类：
其他好文 时间：
2018-10-19 19:19:36
阅读次数：
174
SparkSQL(Spark用于处理结构化数据的模块) 通过SparkSQL导入的数据可以来自MySQL数据库、Json数据、Csv数据等，通过load这些数据可以对其做一系列计算 下面通过程序代码来详细查看SparkSQL导入数据并写入到ES中： 数据集：北京市PM2.5数据 Spark版本：2. ...
分类：
数据库 时间：
2018-10-17 00:26:13
阅读次数：
1150
大数据，big data，大数据是指不能用随机分析法(抽样调查)这样捷径，而采用所有数据进行分析处理。这句话至少传递两种信息：大数据是海量的数据，另外大数据处理无捷径，对分析处理技术提出了更高的要求。 其实简单的来说，大数据就是通过分析和挖掘全量的非抽样的数据辅助决策。大数据可以实现的应用可以概括为 ...
分类：
其他好文 时间：
2018-10-12 13:43:39
阅读次数：
149
据能够在国内得到快速发展，甚至是国家层面的支持，最为重要的一点就是我们纯国产大数据处理技术的突破以及跨越式发展。在互联网深刻改变我们的生活、工作方式的当下，数据就成为了最为重要的资料。尤其是数据安全问题就更为突出，前阶段的Facebook用户数据泄漏所引发产生的一系列问题，就充分的说明了数据安全问题 ...
分类：
其他好文 时间：
2018-10-09 14:23:32
阅读次数：
214
参考来源1：https://blog.csdn.net/tim_phper/article/details/77581071 参考来源2：https://blog.csdn.net/qq_37682202/article/details/79426810 在数据不太多的时候，用xlsx表格导出导入还 ...
分类：
Web程序 时间：
2018-10-06 13:14:59
阅读次数：
248
MongoDBDB、Cassandra和 Mysql对比 1.为什么是Nosql? 1.1 Nosql在大数据处理相对于关系型数据库具有优势 1.1.1 1. 低延迟的读写速度: 大量数据的写入和读取可达 Wops/sec的速率2. 海量的数据和流量：可以支持高效的查询，应对高并发请求。3. 大规模... ...
分类：
数据库 时间：
2018-09-29 17:38:45
阅读次数：
1140
Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。 与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势。 首先，Spark为我们提供 ...
分类：
其他好文 时间：
2018-09-28 17:34:32
阅读次数：
164
1、什么是大数据 基本概念 《数据处理》 在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！ 处理海量数据的核心技术： 海量数据存 ...
分类：
其他好文 时间：
2018-09-22 19:42:10
阅读次数：
142
Python作为一种功能强大的编程语言因其简单易学而受到很多开发者的青睐。那么Python的应用领域有哪些呢？概括起来主要有一下几个应用领域：1、web开发2、大数据处理3、人工智能4、自动化运维开发5、云计算6、爬虫7、游戏开发目前，全球最大的搜索引擎——Google在其网络搜索系统中广泛应用了Python语音，曾经聘用了Python之父。Facebook网站大量的基础库和YouTube视频分享
分类：
编程语言 时间：
2018-09-18 19:04:36
阅读次数：
221
1.Counting（计数） 很多情况大家都会设想纯使用内存的方案会很有很高成本，但实际情况往往会有一些不一样： COST，对于有一定吞吐需求的应用来说，肯定会单独申请DB、Cache资源，很多担心DB写入性能的同学还会主动将DB更新记入异步队列，而这三块的资源的利用率一般都不会太高。资源算下来，你 ...
分类：
其他好文 时间：
2018-09-14 16:09:12
阅读次数：
164
