恢复内容开始 一.基本概念 1.什么是storm? storm是一个免费的开源分布式实时计算系统,流数据框架,可以轻松可靠地处理无限数据流,实现Hadoop为批处理所做的实时处理。 2.使用场景 实时分析,在线机器学习,连续计算。 流计算 3.特点 速度快,每秒每个节点可以处理超过百万个元组 具有可 ...
分类:
其他好文 时间:
2019-09-17 21:59:42
阅读次数:
122
系统环境:win 10 + webstorm 2019.x 1、下载安装 到 https://www.rust-lang.org 下载并安装windows版的rust 2、安装依赖(为了解决4中 提示 wait until bundle finished,一直等待的问题) 3、创建项目 参考这个 h ...
分类:
Web程序 时间:
2019-09-16 16:22:13
阅读次数:
205
本文主要内容如下: 有状态的流数据处理; Flink中的状态接口; 状态管理和容错机制实现; 阿里相关工作介绍; 一.有状态的流数据处理# 1.1.什么是有状态的计算# 计算任务的结果不仅仅依赖于输入,还依赖于它的当前状态,其实大多数的计算都是有状态的计算。 比如wordcount,给一些word, ...
分类:
其他好文 时间:
2019-09-16 00:44:38
阅读次数:
90
以往,没有做过前后端分离的项目之前,都是服务器渲染的模板,然后用cookie和session进行账号的权限验证或者是登录状态的管理。后来接触了vue和小程序之后,在进行前后端分离的时候,就会遇到权限验证和登录会话保存。因为HTTP协议是开放的,可以任人调用。所以,如果接口不希望被随意调用,就需要做访 ...
分类:
Web程序 时间:
2019-09-15 10:46:48
阅读次数:
280
一、首先安装xdebug 安装xdebug比 ,运行php -i >phpinfo.txt 或者 echo phpinfo();将全部信息贴到https://xdebug.org/wizard.php这个网站 如图: 然后会跳转到这个页面: 这是我电脑上php.ini的配置 [xdebug]zend ...
分类:
Web程序 时间:
2019-09-08 18:02:55
阅读次数:
141
https://www.bbsmax.com/A/ZOJPOw8xzv/ 平台:centos-6.3-i386 jdk-7u51 storm 0.9.1 python 2.6.6 hadoop 1.2.1 今天上午装storm的时候遇到这个问题,好郁闷。把网上介绍的方法都试了一遍,都没能很好的解决问 ...
分类:
其他好文 时间:
2019-09-06 18:58:33
阅读次数:
133
1、Spout Spout最顶层抽象是ISpout接口。 Open()是初始化方法 nextTuple()循环发射数据 ack()成功处理tuple回调方法 fail()处理失败tuple回调方法 activate和deactivate:spout可以被暂时激活和关闭 close方法在该spout关 ...
1.1 什么是Spark Streaming Spark Streaming类似于Apache Storm,用于流式数据的处理。根据其官方文档介绍,Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据输入源很多,例如:Kafka、Flume、Twitt ...
分类:
其他好文 时间:
2019-09-04 10:22:15
阅读次数:
115
一、简介 Storm Redis 提供了 Storm 与 Redis 的集成支持,你只需要引入对应的依赖即可使用: Storm Redis 使用 Jedis 为 Redis 客户端,并提供了如下三个基本的 Bolt 实现: + RedisLookupBolt :从 Redis 中查询数据; + Re ...
分类:
其他好文 时间:
2019-09-04 09:55:27
阅读次数:
92
一、简介 在将 Storm Topology 提交到服务器集群运行时,需要先将项目进行打包。本文主要对比分析各种打包方式,并将打包过程中需要注意的事项进行说明。主要打包方式有以下三种: + 第一种:不加任何插件,直接使用 mvn package 打包; + 第二种:使用 maven assembly ...
分类:
其他好文 时间:
2019-09-04 09:23:09
阅读次数:
87