<! more 前言 在第一篇介绍 Flink 的文章 "《《从0到1学习Flink》—— Apache Flink 介绍》" 中就说过 Flink 程序的结构 Flink 应用程序结构就是如上图所示： 1、Source: 数据源，Flink 在流处理和批处理上的 source 大概有 4 类：基于 ...
分类：
其他好文 时间：
2019-01-27 16:26:35
阅读次数：
177
1. Kafka简介 Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、s ...
分类：
其他好文 时间：
2019-01-27 10:44:42
阅读次数：
253
SPARK J大数据的处理怎么能变快一点，答案是请用spark，因为它是基于内存的，可以有效减少数据的落地次数。Spark性能超过Hadoop百倍，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。 Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、 ...
分类：
其他好文 时间：
2019-01-24 15:36:44
阅读次数：
134
第1章 课程导学介绍课程相关背景，学习建议等等第2章 初识实时流处理StormStorm作为近几年Hadoop生态圈很火爆的大数据实时流处理框架，是成为大数据研发工程师必备的技能之一。 本章将从如下几个方面让大家对于Storm有宏观上的认识：什么是Storm、Storm的发展史、Storm对比Had ...
分类：
其他好文 时间：
2019-01-20 00:11:20
阅读次数：
267
scrapy框架的简介和基础使用 概念：为来爬取网站数据而编写的一款应用框架，集成了相应的功能且具有很强通用型的项目模版 功能:scrapy框架提供了高性能的异步下载、解析、持久化存储操作... scrapy核心组件 引擎(Scrapy) 用来处理整个系统的数据流处理，出发事物(框架核心) 调度器( ...
分类：
编程语言 时间：
2019-01-15 17:10:12
阅读次数：
213
基于Flink流处理的动态实时亿级全端用户画像系统课程下载:https://pan.baidu.com/s/1YtMs-XG5-PsTFV9_7-AlfA提取码:639m项目中采用到的算法包含LogisticRegression、Kmeans、TF-IDF等，Flink暂时支持的算法比较少，对于以上算法，本课程将手把手带大家用Flink实现，并且结合真实场景，学完即用。本套教程的Flink算法部分
分类：
其他好文 时间：
2019-01-11 14:45:10
阅读次数：
177
五大核心组件工作流程 post请求发送 递归爬取 五大核心组件工作流程 引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler)用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优 ...
分类：
其他好文 时间：
2019-01-10 19:57:38
阅读次数：
138
Kafka作为一个流式数据平台，对开发者提供了三种客户端：生产者/消费者、连接器、流处理。本文着重分析这三种客户端的线程模型。看到最后的通常都有惊喜。消费者的线程模型0.8版本以前的消费者客户端会创建一个基于ZK的消费者连接器，一个消费者客户端是一个Java进程，消费者可以订阅多个主题，每个主题也可以多个线程。为了让消息在多个节点被分布式地消费，提高消息处理的吞吐量，Kafka允许多个消费者订阅同
分类：
编程语言 时间：
2019-01-05 12:17:14
阅读次数：
226
Flink流处理的时间窗口 对于流处理系统来说，流入的消息是无限的，所以对于聚合或是连接等操作，流处理系统需要对流入的消息进行分段，然后基于每一段数据进行聚合或是连接等操作。 消息的分段即称为窗口，流处理系统支持的窗口有很多类型，最常见的就是时间窗口，基于时间间隔对消息进行分段处理。本节主要介绍Fl ...
分类：
其他好文 时间：
2019-01-02 16:18:06
阅读次数：
353
0. 什么时候该用什么布局 <!-- 定位布局: 以下两种布局不易解决的问题, 盒子需要脱离文档流处理 --> <!-- 浮动布局: 一般有block特性的盒子,水平排列显示 --> <!-- 盒模型布局: 在父级水平居中显示, 在其他布局基础上微调 --> <!-- 流式布局思想 --> 一.拼接 ...
分类：
编程语言 时间：
2019-01-01 23:54:36
阅读次数：
231
