一.基础知识1.SparkSpark是一个用来实现快速而通用的集群计算的平台。在速度方面,Spark扩展了广泛使用的MapReduce计算模型,而且高效地支持更多计算模式,包括交互式查询和流处理。Spark项目包含多个紧密集成的组件。Spark的核心是一个对由很多计算任务组成的、运行在多个工作机器或者是一个计算集群上的应用进行调度、分发以及监控的计算引擎。Spark的各个组件2.HadoopHad
分类:
其他好文 时间:
2018-11-25 16:22:04
阅读次数:
147
一、scrapy原理 Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下 Scrapy主要包括了以下组件: 引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler)用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时 ...
分类:
其他好文 时间:
2018-11-24 14:20:06
阅读次数:
194
引言 Apache Flink是面向数据流处理和批处理的分布式开源计算框架,2016年阿里巴巴引入Flink框架,改造为Blink。2017年,阿里整合了所有流计算产品,决定以Blink引擎为基础,打造一款全球领先的实时计算引擎。当年双11,Blink支持了二十多个事业部/群,同时运行了上千个实时计 ...
分类:
其他好文 时间:
2018-11-23 14:06:25
阅读次数:
181
试着写一写一系列博客,主要是记录从搭建框架,到集成一些相关的demo,以便以后在项目中用到的时候可以快速拷贝代码。 计划是一步一步的集成一些技术,比如,拦截器的使用,easypoi 的使用demo,Redis 的使用demo ,利用Redis做缓存,限流处理。rabbitmq 的使用demo 文件上 ...
分类:
编程语言 时间:
2018-11-17 01:09:39
阅读次数:
319
1. InputStream 和OutputStream,两个是为字节流设计的,主要用来处理字节或二进制对象, 2. Reader和 Writer.两个是为字符流(一个字符占两个字节)设计的,主要用来处理字符或字符串. 字符流处理的单元为2个字节的Unicode字符,分别操作字符、字符数组或字符串, ...
分类:
编程语言 时间:
2018-11-10 17:51:06
阅读次数:
209
Kafka架构介绍和安装 写在前面 还是那句话,当你学习一个新的东西之前,你总得知道这个东西是什么?这个东西可以用来做什么?然后你才会去学习它,使用它。简单来说,kafka既是一个消息队列,如今,它也演变为一个分布式的流处理平台,这一点就是很厉害的了。所以,学习kafka对于大数据的小伙伴们来说,是 ...
分类:
其他好文 时间:
2018-10-31 15:44:17
阅读次数:
151
她社区是浪淘金(北京)科技有限责任公司于2015年???推出的国内蕞大的移动女人社区。她社区以女人社区为切入点,用户可自发依据自己的爱好树立归于自己的圈子,一起也为女人供给虚拟屋测验虚拟换发型、免费艺术照、奇幻古装秀、虚拟试新衣等功能;是时尚女人交际必备的手机app。 1.移动端资源.使得广阔网民用户能够利用更多的碎片化时刻来给自己添加“爱好".企业的推行信息也将不再局限于时刻/地
分类:
移动开发 时间:
2018-10-30 18:50:15
阅读次数:
239
IO流:★★★★★,用于处理设备上数据。在流中一般以字节的形式存放着数据! 流:可以理解数据的流动,就是一个数据流。IO流最终要以对象来体现,对象都存在IO包中。 流也进行分类: 1:输入流(读)和输出流(写)。 2:因为处理的数据不同,分为字节流和字符流。 字节流:处理字节数据的流对象。设备上的数 ...
分类:
其他好文 时间:
2018-10-29 18:27:01
阅读次数:
154
流处理,每次只处理一行:#N行,-n屏蔽sed的默认输出,默认打印读取的每行,-i表示确认处理 格式:sed 【选项】 '条件指令' 文件名 选项 -n:屏蔽默认输出(全部文件)#不要同更改文件的指令同使用 -i:直接修改文件内容 -r:启用扩展的正则表达式,若与其他选项同用,作为首选项,使用"/正 ...
分类:
其他好文 时间:
2018-10-28 17:56:08
阅读次数:
195
什么是Kafka? Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 Kafka基本概念 Broker:物理概念,Kafka集群中的每个Kafka节点; Topi ...
分类:
其他好文 时间:
2018-10-28 11:10:16
阅读次数:
214