我们都知道淘宝，也都在使用淘宝。但让我们自己制作一个淘宝app很难，让我们想出关于淘宝的架构更难。最近阅读了《淘宝数据魔方技术架构解析》（https://mp.weixin.qq.com/s?__biz=MzAxNjAzMTQyMA==&mid=2648476063&idx=1&sn=882fb85 ...
分类：
其他好文 时间：
2019-06-16 21:48:15
阅读次数：
148
Flink流式计算原理,包括Structured Streaming,Continuous Queries,Handling Event-time,Handling Late Data,Watermarks ...
分类：
其他好文 时间：
2019-06-15 11:47:47
阅读次数：
85
一、Time 在Flink的流式处理中，会涉及到时间的不同概念 Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink通过时间戳分配器访问事件时间戳 Ingestion Time：是数据进入Flink的时间 Proces ...
1.1 基本概念 Storm是一个流式计算框架，Storm采用Java和Clojure编写，其优点是全内存计算，所以它的定位是分布式实时计算。 Spark是一个基于内存计算的开源集群计算系统，目的是更快速的进行数据分析。Spark类似于Hadoop MapReduce的通用并行计算框架，Spark基 ...
分类：
其他好文 时间：
2019-06-15 00:24:40
阅读次数：
176
前面介绍了流计算，在流计算领域，一个热门的计算框架就是-Storm。还是先介绍概念。。。 一、Storm是什么 在流处理过程中，我们除了考虑最重要的数据处理的逻辑，还需要维护消息队列和消费者，考虑消息怎么流、怎么序列化等。而Storm就是这样一个流式计算框架，它为你完成了消息传递等这些通用模块，让你 ...
分类：
其他好文 时间：
2019-06-14 23:33:51
阅读次数：
131
你好，欢迎使用CODING！这份最佳实践将帮助你通过 CODING 更好地实践瀑布流式开发流程。 什么是瀑布流式研发 1970 年温斯顿·罗伊斯（Winston Royce）提出了著名的“瀑布模型”，直到 80 年代早期，它一直是唯一被广泛采用的软件开发模型。瀑布模型要求软件开发严格按照【需求→分析 ...
分类：
其他好文 时间：
2019-06-13 17:13:45
阅读次数：
95
MySQL逻辑物理备份测试目录逻辑备份mysqldump普通备份mysqlpump并行备份mysqlpump压缩并行备份mydumper并行备份mydumper并行压缩备份小结物理备份xtrabackup压缩备份xtrabackup并行压缩备份innobackupex并行压缩备份innobackupexxbstream流式备份innobackupexxbstream流式压缩并行备份innoback
分类：
数据库 时间：
2019-06-12 21:36:50
阅读次数：
185
记录一个问题： 有一个10G大小的文件，文件内为一行一个的整数，给定可使用内存为2G.要求统计出现次数最多的数字。 1、流式数据处理（这块后面单独写吧，埋坑....） 2、分文件处理 读入部分文件，对数值模10.取值相同放入一个文件。然后处理10个文件。统计出现次数最多的。 我认为上面这种方案可以解 ...
分类：
编程语言 时间：
2019-06-09 09:34:00
阅读次数：
124
套接字介绍 1.套接字 ： 实现网络编程进行数据传输的一种技术手段 2.Python实现套接字编程：import socket 3.套接字分类 流式套接字(SOCK_STREAM): 以字节流方式传输数据，实现tcp网络传输方案。(面向连接--tcp协议--可靠的--流式套接字) 数据报套接字(SO ...
分类：
编程语言 时间：
2019-06-07 21:14:02
阅读次数：
167
tcp套接字和udp套接字编程区别 1.流式套接字是以字节流方式传输数据，数据报套接字以数据报形式传输 2.tcp套接字会有粘包，udp套接字有消息边界不会粘包 3.tcp套接字保证消息的完整性，udp套接字则不能 4.tcp套接字依赖listen accept建立连接才能收发消息，udp套接字则不 ...
分类：
编程语言 时间：
2019-06-07 21:00:12
阅读次数：
107
