1 序 对ETL系统中数据转换和存储操作的相关日志进行记录以及实时分析有助于我们更好的观察和监控ETL系统的相关指标（如单位时间某些操作的处理时间），发现系统中出现的缺陷和性能瓶颈。 由于需要对日志进行实时分析，所以Storm是我们想到的首个框架。Storm是一个分布式实时计算系统，它可以很好的处理 ...
分类：
其他好文 时间：
2020-01-06 22:42:07
阅读次数：
78
# IDEA 2019.3“激活”教程（12月24日亲测）前面刚刚安装了最新的IDEA，但是由于在公司上班，没时间来激活，以前装的2018用的就是网上的激活教程，但是今天上班的时候试用时间到了，就要求激活，不激活就没法使用，然后就去网上找了激活教程，试了很多，各种激活码都试了，还是没用，有的甚至要收 ...
分类：
Web程序 时间：
2019-12-27 11:54:49
阅读次数：
340
开篇语 最近12306又崩溃了一次，但其实12306这样的体量跟我们平常接触的架构基本没什么太大的关系。 话又说回来，12306也是由一个个小功能组成的。 做好自己的小蚂蚁，就能让大部队变得更快。 因为跟数据库、数据仓库、查询打交道比较多，所以我就简单说一下数据查询的优化过程吧。 不客气地说，在性能 ...
分类：
其他好文 时间：
2019-12-25 16:27:17
阅读次数：
195
Storm WordCount 工作过程 Storm 版本： 1、Spout 从外部数据源中读取数据，随机发送一个元组对象出去； 2、SplitBolt 接收 Spout 中输出的元组对象，将元组中的数据切分成单词，并将切分后的单词发射出去； 3、WordCountBolt 接收 SplitBolt ...
分类：
其他好文 时间：
2019-12-17 23:57:11
阅读次数：
171
大约各位看官君多少也听说了Storm/Spark/Flink，这些都是大数据流式处理框架。如果一条手机组装流水线上不同的人做不同的事，有的装电池，有的装屏幕，直到最后完成，这就是典型的流式处理。如果手机组装是先全部装完电池，再交给装屏幕的组，直到完成，这就是旧式的集合式处理。今天，就来先说说JDK8 ...
分类：
编程语言 时间：
2019-12-16 15:00:46
阅读次数：
829
jTopo是什么? jTopo（Javascript Topology library)是一款完全基于HTML5 Canvas的关系、拓扑图形化界面开发工具包。 jTopo关注于数据的图形展示，它是面向开发人员的，需要进行二次开发。 使用jTopo很简单，可以快速创建一些关系图、拓扑等相关图形化的展 ...
分类：
Web程序 时间：
2019-12-13 21:59:57
阅读次数：
206
1.stylus 在webstorm中出现红色波浪线 但是不影响浏览器效果，也不报错 <style lang="stylus" scoped > article display flex background lightblue height 0.64rem//此处数字处 .left float l ...
分类：
其他好文 时间：
2019-12-13 21:21:23
阅读次数：
91
前一篇文章 JStorm：概念与编程模型 介绍了JStorm的基本概念以及编程模型方面的知识，本篇主要介绍自己对JStorm的任务调度方面的认识，主要从三个方面介绍：调度角色调度方法自定义调度调度角色上图是JStorm中一个topology对应的任务执行结构，其中worker是进程，executor... ...
分类：
Web程序 时间：
2019-12-12 01:08:06
阅读次数：
120
前言Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedi
分类：
其他好文 时间：
2019-12-09 18:50:02
阅读次数：
101
1/equipment（设备） 2/topology（拓扑） 3/terminal（终端） 4/star network（星形网络） 5/host computer（主机） 6/send message（传送消息） 7/time-sharing system（分时系统） 8/bus network（ ...
分类：
其他好文 时间：
2019-12-06 09:29:07
阅读次数：
128
