前言 Stream 作为 Java 8 的一大亮点，它与 java.io 包里的 InputStream 和 OutputStream 是完全不同的概念。它也不同于 StAX 对 XML 解析的 Stream，也不是 Amazon Kinesis 对大数据实时处理的 Stream。Java 8 中的 ...
分类：
编程语言 时间：
2018-12-22 18:38:23
阅读次数：
357
前言 姚天任、孙洪的《现代数字信号处理》第三章自适应滤波中关于LMS算法的学习，全文包括： 1. 自适应滤波器简介 2. 自适应干扰抵消原理 3. 自适应滤波原理 4. 最小均方（LMS）算法 5. Matlab实现 内容为自己读书记录，本人知识有限，若有错误之处，还请各位指出！ 一、自适应滤波器简 ...
分类：
编程语言 时间：
2018-11-30 17:34:40
阅读次数：
390
foreachRDD(SparkStreaming): SparkStreaming是流式实时处理数据,就是将数据流按照定义的时间进行分割(就是"批处理").每一个时间段内处理到的都是一个RDD.而SparkStreaming中的foreachRDD方法就是在处理每一个时间段内的RDD数据. DSt ...
分类：
其他好文 时间：
2018-11-24 14:33:00
阅读次数：
528
1 框架一览 事件处理的架构图如下所示。 2 优化总结 当我们第一次部署整个方案时，kafka和flume组件都执行得非常好，但是spark streaming应用需要花费4-8分钟来处理单个batch。这个延迟的原因有两点，一是我们使用DataFrame来强化数据，而强化数据需要从hive中读取大 ...
分类：
其他好文 时间：
2018-11-02 23:29:29
阅读次数：
241
一、介绍 celery是一个基于python开发的分布式异步消息任务队列，用于处理大量消息，同时为操作提供维护此类系统所需的工具。 它是一个任务队列，专注于实时处理，同时还支持任务调度。如果你的业务场景中需要用到异步任务，就可以考虑使用celery 二、实例场景 1、你想对100台机器执行一条批量命 ...
分类：
其他好文 时间：
2018-10-23 14:50:23
阅读次数：
177
前言： 一、背景介绍 二、大数据介绍 正文： 一、大数据相关的工作介绍 二、大数据工程师的技能要求 三、大数据学习规划 四、持续学习资源推荐（书籍，博客，网站） 五、项目案例分析（批处理+实时处理） 大数据学习群：119599574 前言 一、背景介绍 本人目前是一名大数据工程师，项目数据50T，日 ...
分类：
其他好文 时间：
2018-09-16 15:44:29
阅读次数：
158
分布式文件系统HDFS 分布式文件系统 分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。 分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，一类叫主节点（Master Node）或被称为名称节点（NameNode） 另一类叫从节点(Slave Node） ...
分类：
其他好文 时间：
2018-09-14 00:03:59
阅读次数：
154
kafka作为消息中间件和大数据相关的系统联系非常密切。其实，对于kafka本身而言，它已不仅仅定位于消息中间件，从0.10开始，kafka提供了Stream（KQL）计算功能，开始有了实时处理能力。由于目前kafka主要还是作为消息中间件来使用，所以当前对kafka相关原理的研究也主要集中在消息队 ...
分类：
其他好文 时间：
2018-08-31 17:08:37
阅读次数：
140
【摘要】在图像采集和处理过程中会引入噪声,必须先对图像进行预处理。本文介绍一种快速中值滤波算法,该算法在硬件平台上实现实时处理功能。综合考虑,选择现场可编程门阵列(FPGA)作为硬件平台,采用硬件描述语言Verilog实现改进型中值滤波算法。经Modelsim仿真结果表明:基于FPGA硬件平台实现改 ...
分类：
编程语言 时间：
2018-08-23 15:37:10
阅读次数：
241
2017年6月，开始大数据分析的职业生涯，作为架构师，建立起一套基于.Net的小数据实时处理计算平台，这里记录学习过程中的点点滴滴！ 数据分析的核心，可以理解为：Select xxx From table Where yyy Group By zzz ...
分类：
其他好文 时间：
2018-08-12 14:06:34
阅读次数：
503
