Spark(一): 基本架构及原理 Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下 ...
分类：
其他好文 时间：
2019-11-25 11:52:12
阅读次数：
62
作者 | Jeskson 来源 | 达达前端小酒馆 解构赋值： 数组的解构赋值，对象的解构赋值，字符串的解构赋值，数值与布尔值的解构赋值，函数参数的解构赋值。 开发环境准备： 编辑器，VS Code，Atom，Sublime，或IDE（Webstorm）浏览器（最新的Chrome）或Node.js环 ...
分类：
其他好文 时间：
2019-11-22 23:23:11
阅读次数：
82
一、收集应用领域信息 我做的题目是海量用户行为实时分析系统的设计与实现。需要设计并实现一个基于流计算的实时计算引擎。目前常用的实时流计算引擎有Flink、Storm等。其主要实现方法是基于事件流，根据用户给定的条件进行实时处理，最后输出用户需要的结果。 二、头脑风暴 根据需求，我们讨论并整理出了技术 ...
分类：
其他好文 时间：
2019-11-22 20:55:09
阅读次数：
82
什么是Spark Streaming Spark Streaming类似于Apache Storm，用于流式数据的处理 Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的T ...
分类：
其他好文 时间：
2019-11-21 13:56:11
阅读次数：
103
PHP课程介绍 PHP环境搭建 IDE的安装 PHP基础语法 PHP的工作原理 深入浅出PHP PHP课程介绍： 什么是php，为什么要学习PHP，学习完之后我们能做什么 未来发展如何，如何学习一门编程语言，学习建议 PHP是什么？ php超文本预处理器的字母缩写，是一种被广泛应用的开发源代码的多用 ...
分类：
Web程序 时间：
2019-11-14 09:15:31
阅读次数：
100
APICloud的真机wifi连接问题 在APICloud的真机wifi连接时需要注意事项与解决问题。 1、首先将项目拉取到本地，用APICloud Studio 2打开（也可以用webStorm配置一下，具体看APICloud的官网） 2、下载APPLoader安装在手机上，点击然后点APIClo ...
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流 ...
分类：
其他好文 时间：
2019-11-11 21:47:16
阅读次数：
85
rdt1.0 假设前提：在传输通道中不发生错误，不丢包（reliable channel） 流程：单纯的由发送方发出，接收方接收 rdt2.0 假设前提：在1.0的前提下，加入了可能出错（bit error），仍然无丢包 改进：加入了停等协议，差错检测，接收方会发ACK/NAK，重传等机制解决错误。 ...
分类：
其他好文 时间：
2019-11-05 21:30:05
阅读次数：
141
[Author] @ Yubao Liu Tables 1.Overview 2.Design explanation 2.1Implemented Routines 2.2Called Routines 2.3Parameters 2.4Packet format 2.5My RDT Sender ...
分类：
其他好文 时间：
2019-11-05 00:41:24
阅读次数：
137
SparkStreaming SparkStreaming是一种微批处理，准实时的流式框架。数据来源包括：Kafka， Flume，TCP sockets，Twitter，ZeroMQ等 SparkStreaming与storm的区别： SparkStreaming微批处理数据，storm按条处理数 ...
分类：
其他好文 时间：
2019-11-01 09:47:37
阅读次数：
132
