原文连接：http://blog.csdn.net/rlnLo2pNEfx9c/article/details/78778959 Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台，它立足于内存计算，性能超过Hadoop百倍，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多 ...
分类：
其他好文 时间：
2017-12-31 10:51:54
阅读次数：
173
字节流和字符流是流的一种划分，按照处理流的数据单位进行的划分，两类都分为输入和输出操作，字节流输出数据OutputStream,输入InputStream字符流输出Writer,输入Reader完成。四个都是抽象类。字符流处理的单元为两个字符的Unicode字符，操作字符、字符数组或字符串。字节流处 ...
分类：
其他好文 时间：
2017-12-16 15:59:49
阅读次数：
229
IO流之字节和字符 == 用于处理设备上数据。 流：可以理解数据的流动，就是一个数据流。IO流最终要以对象来体现，对象都存在IO包中。 1. 流也进行分类： + ：输入流（读）和输出流（写）。 + ：因为处理的数据不同，分为字节流和字符流。 3. 字节流：处理字节数据的流对象。设备上的数据无论是图片 ...
分类：
其他好文 时间：
2017-12-02 11:20:51
阅读次数：
124
课程大纲:需求分析1、项目背景2、总体业务要求3、难点分析 数据收集1、数据采集阶段技术对比2、项目中数据采集技术Kafka3、Kafka安装及基本操作4、Kafka的API操作及项目中应用 数据流处理1、数据实时处理阶段技术拓展Storm2、Spark Streaming实用项目解决方案3、Spa ...
分类：
其他好文 时间：
2017-12-01 18:39:32
阅读次数：
459
Apache Storm Storm是一个分布式的，可靠的，容错的数据流处理系统。Storm集群的输入流由一个被称作spout的组件管理，spout把数据传递给bolt，bolt要么把数据保存到某种存储器，要么把数据传递给其它的bolt。一个Storm集群就是在一连串的bolt之间转换spout传过 ...
分类：
其他好文 时间：
2017-11-20 15:41:13
阅读次数：
211
a.四重通道，随时响应 借助电话、微信、短信、邮件四种渠道，让告警信息及时、迅速的传达到你 在通知告警时，附带故障处理页面的链接，让你随时随地都能处理，快速响应和解决故障 b.团队协作，高效聚焦 利用多级告警升级策略，逐级进行通知，用多重防线杜绝漏网之鱼 成员轮流处理告警、特定告警专人通知，保证团队 ...
分类：
其他好文 时间：
2017-11-18 15:24:14
阅读次数：
161
包含的内容： 穿插流 流合并 流队列 流筛选 1. 穿插流 // passthrough stream 把流传递给其他的 // use gulp.src(glob,{passthrough:true}) // function 进行流的合并处理，避免多余配置以及冗余代码 2. 合并流 // 使用me ...
分类：
其他好文 时间：
2017-11-11 18:50:18
阅读次数：
225
1、Kafka概览 Apache下的项目Kafka(卡夫卡)是一个分布式流处理平台，它的流行是因为卡夫卡系统的设计和操作简单，能充分利用磁盘的顺序读写特性。kafka每秒钟能有百万条消息的吞吐量，因此很适合实时的数据流处理。例如kafka在线日志收集系统可作为flume的实时消息sink端，再通过k ...
分类：
其他好文 时间：
2017-11-10 17:01:22
阅读次数：
344
流处理: 1.是一系列数据项,一次只生成一项 2.一个程序的输出流很可能是另一个程序的输入流 Java8第一个新功能:函数式编程:类名::方法名-->作为参数传递 主旨:把函数(方法和Lambda)作为一等值,执行时在元素之间无互动. 1.方法引用比如筛选一个目录中的所有隐藏的文件. File类里面 ...
分类：
编程语言 时间：
2017-10-29 13:46:59
阅读次数：
194
SuperMap 在9月份发布了结合大数据技术的9D新产品，今天就和大家介绍下iServer9D中的实时数据服务。 1、技术框架 结合Spark的streaming流处理框架，将各种数据进行批量处理、存储。 2、处理的流程 iServer9D的实时数据服务可以通过各种通讯协议对来自互联网、物联网等实 ...
分类：
其他好文 时间：
2017-10-27 18:08:34
阅读次数：
739
