一.基础知识1.SparkSpark是一个用来实现快速而通用的集群计算的平台。在速度方面，Spark扩展了广泛使用的MapReduce计算模型，而且高效地支持更多计算模式，包括交互式查询和流处理。Spark项目包含多个紧密集成的组件。Spark的核心是一个对由很多计算任务组成的、运行在多个工作机器或者是一个计算集群上的应用进行调度、分发以及监控的计算引擎。Spark的各个组件2.HadoopHad
分类：
其他好文 时间：
2018-11-25 16:22:04
阅读次数：
147
一、scrapy原理 Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下 Scrapy主要包括了以下组件： 引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler)用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时 ...
分类：
其他好文 时间：
2018-11-24 14:20:06
阅读次数：
194
引言 Apache Flink是面向数据流处理和批处理的分布式开源计算框架，2016年阿里巴巴引入Flink框架，改造为Blink。2017年，阿里整合了所有流计算产品，决定以Blink引擎为基础，打造一款全球领先的实时计算引擎。当年双11，Blink支持了二十多个事业部／群，同时运行了上千个实时计 ...
分类：
其他好文 时间：
2018-11-23 14:06:25
阅读次数：
181
试着写一写一系列博客，主要是记录从搭建框架，到集成一些相关的demo，以便以后在项目中用到的时候可以快速拷贝代码。 计划是一步一步的集成一些技术，比如，拦截器的使用，easypoi 的使用demo，Redis 的使用demo ，利用Redis做缓存，限流处理。rabbitmq 的使用demo 文件上 ...
分类：
编程语言 时间：
2018-11-17 01:09:39
阅读次数：
319
1. InputStream 和OutputStream,两个是为字节流设计的,主要用来处理字节或二进制对象, 2. Reader和 Writer.两个是为字符流（一个字符占两个字节）设计的,主要用来处理字符或字符串. 字符流处理的单元为2个字节的Unicode字符，分别操作字符、字符数组或字符串， ...
分类：
编程语言 时间：
2018-11-10 17:51:06
阅读次数：
209
Kafka架构介绍和安装 写在前面 还是那句话，当你学习一个新的东西之前，你总得知道这个东西是什么？这个东西可以用来做什么？然后你才会去学习它，使用它。简单来说，kafka既是一个消息队列，如今，它也演变为一个分布式的流处理平台，这一点就是很厉害的了。所以，学习kafka对于大数据的小伙伴们来说，是 ...
分类：
其他好文 时间：
2018-10-31 15:44:17
阅读次数：
151
她社区是浪淘金(北京)科技有限责任公司于2015年???推出的国内蕞大的移动女人社区。她社区以女人社区为切入点，用户可自发依据自己的爱好树立归于自己的圈子，一起也为女人供给虚拟屋测验虚拟换发型、免费艺术照、奇幻古装秀、虚拟试新衣等功能;是时尚女人交际必备的手机app。 1.移动端资源.使得广阔网民用户能够利用更多的碎片化时刻来给自己添加“爱好".企业的推行信息也将不再局限于时刻/地
分类：
移动开发 时间：
2018-10-30 18:50:15
阅读次数：
239
IO流：★★★★★，用于处理设备上数据。在流中一般以字节的形式存放着数据！ 流：可以理解数据的流动，就是一个数据流。IO流最终要以对象来体现，对象都存在IO包中。 流也进行分类： 1：输入流（读）和输出流（写）。 2：因为处理的数据不同，分为字节流和字符流。 字节流：处理字节数据的流对象。设备上的数 ...
分类：
其他好文 时间：
2018-10-29 18:27:01
阅读次数：
154
流处理，每次只处理一行：#N行，-n屏蔽sed的默认输出，默认打印读取的每行，-i表示确认处理 格式：sed 【选项】 '条件指令' 文件名 选项 -n：屏蔽默认输出（全部文件）#不要同更改文件的指令同使用 -i：直接修改文件内容 -r：启用扩展的正则表达式，若与其他选项同用，作为首选项，使用"/正 ...
分类：
其他好文 时间：
2018-10-28 17:56:08
阅读次数：
195
什么是Kafka？ Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 Kafka基本概念 Broker:物理概念，Kafka集群中的每个Kafka节点； Topi ...
分类：
其他好文 时间：
2018-10-28 11:10:16
阅读次数：
214
