hadoop主备高可用故障转移机制 NameNode和2nn zookeeper保姆机制 zookeeper全新选举机制 zookeeper之非全新选举 NameNode和2nn hbase之存数据流程 hbase之创建表流程 hbase之查询路由(解决元数据信息不断增大 hbase之rowkey设 ...
分类：
其他好文 时间：
2020-03-04 22:29:35
阅读次数：
152
中位数是有序列表中间的数。如果列表长度是偶数，中位数则是中间两个数的平均值。 例如， [2,3,4] 的中位数是 3 [2,3] 的中位数是 (2 + 3) / 2 = 2.5 设计一个支持以下两种操作的数据结构： void addNum(int num) - 从数据流中添加一个整数到数据结构中。d ...
分类：
编程语言 时间：
2020-03-04 21:15:13
阅读次数：
104
短URL设计。案例： Rate Limit 流量限制编程语言太多。Go语言。Python动态语言。类型没有检查。随意改变类。 Spring : 反转。数据流： 分布式。Storage: HDFS,MySQL cloud Platform amazon google 流量大了怎么弄？ consiste ...
分类：
其他好文 时间：
2020-03-04 09:31:03
阅读次数：
81
Apache NiFi概述 Apache NiFi团队dev@nifi.apache.org 什么是Apache NiFi？ 简单地说，NiFi是为了自动化系统之间的数据流而构建的。虽然术语“数据流”在各种环境中使用，但我们在此处使用它来表示系统之间自动化和管理的信息流。这个问题空间一直存在，因为企 ...
分类：
Web程序 时间：
2020-03-03 10:57:09
阅读次数：
67
import java.io.*; import java.util.*; public class TestDataOutputStream{ public static void main(String[] args){ try{ ByteArrayOutputStream baos = new ...
分类：
编程语言 时间：
2020-03-03 10:52:59
阅读次数：
75
interval和timer：定时产生数据 interval的参数是1000，在1秒的时刻吐出0,2s吐出1,3s吐出2,........ 这个数据流不会完结，因为interval不会主动调用下游的complete，要想停止这个数据的序列，必须要做退订的动作。 import { Observable ...
分类：
Web程序 时间：
2020-03-03 10:48:41
阅读次数：
79
IntelliJ IDEA 2020.1 的第二个早期访问版本已发布，新的 EAP 构建对调试器和事件探查器（Profiler）进行了改进，并引入了新的提交工具窗口（Commit toolwindow）以及禅模式（Zen Mode）。 用于调试器的数据流分析协助功能 IntelliJ IDEA 20 ...
分类：
其他好文 时间：
2020-03-02 10:55:40
阅读次数：
78
静态数据：比如数据仓库中的数据, 类似三峡水库中的水. (数据挖掘, OLAP 分析工具) 流数据: 网络监控, 传感检测, 大量的, 流式的数据(不断的产生, 源源不断的到达). 比如 PM2.5 的检测， 这种需要实时的监控和处理(分析). 流数据的特性 推送的方式: 实时查询的结果 流计算应用 ...
分类：
其他好文 时间：
2020-02-29 20:39:25
阅读次数：
96
Spark 是基于内存的计算, 低延迟. Apache 基金会3大分布式系统开源项目 Hadoop, Spark, Storm (数据流) Spark 特点: 处理快， 容易使用(Java,Python,Scala,R). 通用性(包括SQL,机器学习, 流失计算), 运行模式多样 Spark生态系 ...
分类：
其他好文 时间：
2020-02-29 17:28:30
阅读次数：
94
目录 1. scrapy安装与环境依赖 2. 创建项目等 命令介绍 3. 项目目录介绍 4. 框架scrapy介绍：五大核心组件与数据流向 5. scrapy 爬取科客网站 6. scrapy实现多页爬取 9. scrapy 篡改请求与响应，item丢弃 10. scrapy中间件 分类，作用 11 ...
分类：
编程语言 时间：
2020-02-29 13:05:14
阅读次数：
246
