一、信息应用系统建设基础知识1、软件按功能划分哪3类，按服务对象划分哪2类、按软件的工作方式划分哪4类？1）软件按功能划分为：系统软件，支撑软件，应用软件；2）按服务对象划分：项目软件，产品软件；3）按软件的工作方式划分：实时处理软件，分时软件，交互式软件，批处理..
分类：
其他好文 时间：
2016-04-27 07:04:01
阅读次数：
277
最近利用闲暇时间，又重新研读了一下Storm。认真对比了一下Hadoop，前者更擅长的是，实时流式数据处理，后者更擅长的是基于HDFS，通过MapReduce方式的离线数据分析计算。对于Hadoop，本身不擅长实时的数据分析处理。两者的共同点都是分布式的架构，而且，都类似有主/从关系的概念。本文中我 ...
分类：
其他好文 时间：
2016-04-24 00:40:40
阅读次数：
298
第十九章：信息应用系统建设基础知识考试重点1、软件按功能划分哪3类，按服务对象划分哪2类、按软件的工作方式划分哪4类？(1)按软件的功能进行划分:系统软件;支撑软件;应用软件(2)按服务对象划分:项目软件;产品软件(3)按软件工作方式划分:实时处理软件;分时软件;交互式软件;批..
分类：
其他好文 时间：
2016-04-23 15:08:25
阅读次数：
261
最近利用闲暇时间，又重新研读了一下Storm。认真对比了一下Hadoop，前者更擅长的是，实时流式数据处理，后者更擅长的是基于HDFS，通过MapReduce方式的离线数据分析计算。对于Hadoop，本身不擅长实时的数据分析处理。两者的共同点都是分布式的架构，而且，都类似有主/从关系的概念。本文中我 ...
分类：
其他好文 时间：
2016-04-23 01:25:37
阅读次数：
127
1 文档说明
该文档描述的是以storm为主体的实时处理架构，该架构包括了数据收集部分，实时处理部分，及数据落地部分。
关于不同部分的技术选型与业务需求及个人对相关技术的熟悉度有关，会一一进行分析。
该架构是本人所掌握的一种架构，可能会与其他架构有相似的部分，个人会一一解释对其的理解。
这个文章写的很详细，相信对大家在实时处理整体理解上会有帮助的。
2 实时...
分类：
其他好文 时间：
2016-04-16 19:12:57
阅读次数：
310
随着互联网、移动互联网和物联网的发展，我们已经切实地迎来了一个大数据 的时代。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合，对大数据的分析已经成为一个非常重要且紧迫的需求。目前对大数据的分析工具，首选的是Hadoop/Yarn平台，但目前对大数据的实时分析工具，业界 ...
分类：
其他好文 时间：
2016-04-11 22:08:26
阅读次数：
263
在大数据的实时处理系统中，累加型的计算（PV统计）可以使用累加器解决；非累加型的计算（UV统计），需要损失一定准确率来保证执行效率，对最终值进行估算。其中一种估算方法便是布隆过滤器。 BF是一种二进制向量数据结构，拥有很高的空间和时间效率。其基本原理是使用长度为m的位数组M存储集合信息，同时使用k个 ...
分类：
其他好文 时间：
2016-04-10 21:18:18
阅读次数：
222
kafka概念： kafka是一个高吞吐量的流式分布式消息系统，用来处理活动流数据。比方网页的訪问量pm,日志等，既可以实时处理大数据信息 也能离线处理。 特点： 1.高吞吐量 2.是一种显式的分布式系统，它如果，数据生产者（producer）,代理（brokers）和数据使用者（consumer） ...
分类：
其他好文 时间：
2016-04-02 13:38:56
阅读次数：
302
1.Spark Streaming是什么 Spark Streaming是在Spark上建立的可扩展的高吞吐量实时处理流数据的框架，数据可以是来自多种不同的源，例如kafka，Flume，Twitter，ZeroMQ或者TCP Socket等。在这个框架下，支持对流数据的各种运算，比如map，red ...
分类：
其他好文 时间：
2016-03-27 14:05:50
阅读次数：
453
Hadoop提供的对其HDFS上的数据的处理方式，有以下几种， 1 批处理，mapreduce 2 实时处理：apache storm, spark streaming , ibm streams 3 交互式: 如pig , spark shell 都可以提供交互式地数据处理 4 sql: hive...
分类：
其他好文 时间：
2016-02-22 19:00:09
阅读次数：
156
