1.Hadoop是一个开源的大数据框架 2.Hadoop是一个分布式计算的解决方案 3.Hadoop = HDFS(分布式文件系统) + MapReduce(分布式计算) Hadoop两大核心 HDFS分布式文件系统：存储是大数据技术的基础 MapReduce编程模型：分布式计算是大数据应用的解决方 ...
分类：
其他好文 时间：
2018-01-09 11:43:48
阅读次数：
133
一、大数据框架： Impala：hadoop的sql平台、支持hbase/hdfs、支持超大数据、支持多并发、sql支持好、对内存依赖比较严重。需要自己优化，并且有的语句超过内存会报错。 Spark：各种格式、各种计算（机器学习、图形计算）、可sql、可代码处理、支持scala/java/pytho ...
分类：
其他好文 时间：
2017-12-29 15:29:20
阅读次数：
213
题目： 有一个很大的文件，这文件中的内容全部都是数字，要求尝试从这个文件中找出最大的10个数字。 分析： 看起来像是一个比较简单的问题。不用大数据框架的话，也能比较轻易的实现：就是逐个读取文件中的每个数字，放到一个大顶堆结构中；将大顶堆放满以后，每读取一个数字就将之和大顶堆中的最小值进行比较，如果其... ...
分类：
其他好文 时间：
2017-09-27 22:32:52
阅读次数：
116
谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。 1、解决问题的层面不一样 首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不 ...
分类：
Web程序 时间：
2017-09-12 01:27:19
阅读次数：
266
MQ框架非常之多，今天简单说一下有代表性的两个MQ(rabbitmq和kafka)。经常会有人问rabbitmq和kafka到底哪个好呢？其实没有好与不好之分，只有哪个更合适，首先要根据自己项目的业务场景和需求来选择更合适的一个MQ。 在应用场景方面 rabbitmq遵循AMQP协议，由内在高并发的 ...
分类：
其他好文 时间：
2017-09-04 13:22:19
阅读次数：
152
Java内建序列化机制在Windows系统上序列化的Java对象，可以在UNIX系统上被重建出来，不需要担心不同机器上的数据表示方法，也不需要担心字节排列次序。在Java中，使一个类的实例可被序列化非常简单，只需要在类声明中加入implements Serializable即可。Serializab... ...
分类：
其他好文 时间：
2017-07-09 19:33:46
阅读次数：
261
分布式系统实践 1. 一文读懂大数据计算框架与平台 http://dwz.cn/5SgDC5 摘要: 这篇文章从批处理模型, 流式计算模型和交互式分析模型三个角度总结了开源大数据框架的特点, 对于大家了解大数据平台的全貌有一定的帮助. 2. 美团的大数据平台架构实践 http://dwz.cn/5T ...
分类：
其他好文 时间：
2017-05-05 21:51:02
阅读次数：
182
帆软图表（新特性）最新版本的图表插件新增了甘特图与框架图两种图表类型，大大方便了生产管理所需，同时支持流向地图的大数据模式。一.甘特图甘特图又称任务计划进度图，其通常用来表示项目进展随着时间进度的变化。甘特图被广泛的应用在各行业的项目管理中，因此帆软在最新的..
分类：
其他好文 时间：
2017-05-04 23:08:41
阅读次数：
217
大数据离线部分 1、HDFS 1：HDFS的架构部分及工作原理 NameNode：负责管理元素据，将信息保存在内存中 DataNode：保存数据，以块的形式保存。启动后需要定时的向NameNode发送心跳，报告自身存储的块信息 2：HDFS的上传过程 3：HDFS的下载 4：NameNode的元数据 ...
分类：
其他好文 时间：
2017-01-06 14:17:54
阅读次数：
238
0. 大背景 全球No.1搜索引擎公司谷歌(Google)面临每天海量搜索引擎数据的问题，经过长时间的实践积累， 谷歌形成了自己的大数据框架，但是并没有开源，而是发表了一篇论文，阐述了自己的思想，在论文中 提到了MapReduce的方法。这篇论文，被Doug Cutting也就是后来的Hadoop之 ...
分类：
其他好文 时间：
2016-12-02 14:29:12
阅读次数：
254
