hbase写数据流程 ?先从 zk找到meta表的region位置，然后读取meta表中的数据，meta表中存储了用户表的region信息 根据namespace、表名和rowkey信息。找到写入数据对应的 region信息 找到这个region对应的regionServer，然后发送请求 把数据分 ...
分类：
其他好文 时间：
2021-01-18 11:07:30
阅读次数：
0
电子口岸抓取实时始数据流程 流程一： 电子口岸调用电商企业接口，通知其上传实时数据，接口参数含有订单ID和SessionID 电商企业响应请求，返回码为1000，告知电子口岸可以上传数据 流程二： 电商企业根据流程一的订单ID和SessionID生成上报数据 将数据通过websocket发送给uke ...
原创孟冉Linux阅码场2017-11-15内容简介：本文紧接着《宋宝华：火焰图：全局视野的Linux性能剖析》一文，继续分析火焰图的数据流程和绘制原理。作者简介：孟冉，目前就读于西安邮电大学，计算机科学与技术专业；目前研究linux系统的负载均衡技术和网络安全方面。孟冉目前在陈莉君老师的Linux3+1实验室，并正在努力朝LEP（LinuxEasyProfiling,http://www.lin
分类：
系统相关 时间：
2020-12-04 11:34:23
阅读次数：
12
主要内容 1. 协同过滤思想2. 推荐系统架构3. 推荐系统流程4. 推荐系统处理数据流程。5. python 文件预处理 Hive 数据。6. dubbo 服务使用。 一、协同过滤 协同过滤（Collaborative Filtering）技术，是推荐系统中应用最为广泛的技术之一，协同过滤算法主要 ...
分类：
其他好文 时间：
2020-11-30 15:32:24
阅读次数：
7
构建数据流程是实践过程中核心环节。熟悉pipeline的的构建过程，有助于理解不同代码的结构，也是实现自主创建网络的第一步。 使用Pytorch实现神经网络模型的一般流程包括：1，准备数据 2，定义模型 3，训练模型 4，评估模型 5，使用模型 6，保存模型。 1- 数据加载 在Pytorch中构建 ...
分类：
其他好文 时间：
2020-08-28 12:04:03
阅读次数：
58
前一篇总结了下生产者Java API，本篇参照源码总结下生产数据的具体流程，先上图： 1. Producer创建时，会创建一个Sender线程并设置为守护线程 2. 生产消息时，内部其实是异步流程；生产的消息先经过拦截器->序列化器->分区器，然后将消息缓存在缓冲区（该缓冲区也是在Producer创 ...
分类：
其他好文 时间：
2020-06-18 21:10:43
阅读次数：
63
架构图是什么？为什么要画架构图？如何画好架构图？有哪些方法？本文从架构的定义说起，分享了阿里文娱高级技术专家箫逸关于画架构图多年的经验总结，并对抽象这一概念进行了深入地讨论。内容较长，同学们可收藏起来细细阅读。
分类：
其他好文 时间：
2020-06-16 15:28:25
阅读次数：
722
1，客户端通过Distributed FileSystem 向namenode请求下载文件，namenode 通过查找元数据，返回文件块所在datanode的地址。 2，客户端挑选一台datanode（按照就近原则，返回的块地址根据网络拓扑图排序，距离客户端进的排在前面）服务器，建立连接，请求读取数 ...
分类：
其他好文 时间：
2020-06-14 16:34:06
阅读次数：
59
1，客户端向nn请求上传文件，nn检查该文件和父目录是否存在。 2，nn返回响应给客户端，是否可以上传文件。 3，客户端向nn请求上传第一个块的dn的信息。 4，nn根据副本原则，返回给客户端块上传的dn节点信息。 5，客户端和dn1建立连接，请求上传数据，dn1接着和dn2建立连接，dn2和dn3 ...
分类：
其他好文 时间：
2020-06-14 16:31:06
阅读次数：
71
XSS跨站脚本（Cross-site scripting） XSS成因概括 ： XSS其实就是Html的注入问题，攻击者的输入没有经过严格的控制进入了数据库，最终显示给来访的用户，导致可以在来访用户的浏览器里以浏览用户的身份执行Html代码， 数据流程如下：攻击者的Html输入—>web程序—>进入 ...
分类：
其他好文 时间：
2020-05-03 12:46:00
阅读次数：
77
