第一阶段:分布式协调组件 第一单元 掌握ZooKeeper的核心设计 1. ZooKeeper生态体系结构 2. ZooKeeper总体架构设计 3. ZooKeeper读写请求流程深度剖析 第二单元 掌握ZooKeeper服务端源码流程 1. ZooKeeper启动流程源码深度剖析 2. Mast ...
分类:
其他好文 时间:
2020-06-18 19:12:13
阅读次数:
112
数据解析 聚焦爬虫:在通用爬虫的基础之上,可以将一张页面中局部指定的数据进行爬取。可以通过数据解析的方式将一张页面中局部的数据进行解析或者提取。 数据解析方式: 正则 bs4 xpath(重点) pyquery(自学) 聚焦爬虫编码流程: 指定url 发起请求 获取响应数据 数据解析 持久化存储 数 ...
分类:
其他好文 时间:
2020-06-18 11:22:58
阅读次数:
123
1、引入 聚焦爬虫:在通用爬虫的基础之上,可以将一张页面中局部指定的数据进行爬取。可以通过数据解析的方式将一张页面中局部的数据进行解析或者提取。 数据解析方式: 正则 bs4 xpath(重点) pyquery 聚焦爬虫编码流程: 指定url 发起请求 获取响应数据 数据解析 持久化存储 2、数据解 ...
分类:
编程语言 时间:
2020-06-17 23:03:38
阅读次数:
74
参考资料: aac格式:https://www.cnblogs.com/caosiyang/archive/2012/07/16/2594029.html http://en.wikipedia.org/wiki/Advanced_Audio_Coding 视音频数据处理入门:AAC音频码流解析 h ...
分类:
其他好文 时间:
2020-06-17 18:13:04
阅读次数:
101
收到客户的一份报告,说远程处理数据库事务时出现"卡"的现象,也就是运行比较缓慢。在相应时段做了一个AWR报告,报告中显示了这样一些等待: 1 Top 5 Timed Events Avg %Total 2 ~~~~~~~~~~~~~~~~~~ wait Call 3 Event Waits Time ...
分类:
数据库 时间:
2020-06-15 18:13:25
阅读次数:
62
软件生命周期模型 模型:定义了生命周期中要做的各项工作的规范和顺序。 瀑布模型 重点环节: 1、需求分析:需求规格文档 2、总体设计:概要设计文档 3、详细设计:详细设计文档 4、编码:写代码 5、测试:在编码完成后进行 优点:顺序清晰 缺点: 1、由于开发模型是线性的,用户只有等到整个过程的末期才 ...
分类:
其他好文 时间:
2020-06-15 13:46:05
阅读次数:
84
一、视频播放器原理图 从图中可以看到,我们拿到一个视频文件(例如MP4)后,需要经过一下几个步骤,才能将其播放出来: 1)解封装,即将MP4容器解开,拿出其中的视频码流(码流一般指编码后的数据)、音频码流、字幕、元数据信息等。 2)分别对音频码流和视频码流进行解码,解码需要响应的解码器,例如H.26 ...
分类:
其他好文 时间:
2020-06-10 12:58:21
阅读次数:
124
requests模块数据解析 数据解析最根本的作用:定位到某个标签,并获取该标签的文本或者属性 解析:根据指定的规则对数据进行提取 作用:实现聚焦爬虫 聚焦爬虫的编码流程: 指定url 发起请求 获取响应数据 数据解析 持久化存储 数据解析的方式: 正则 bs4 xpath 通用原理: 1.标签定位 ...
分类:
其他好文 时间:
2020-06-09 12:49:24
阅读次数:
82
用户部分模块: 基本功能:用户注册,登录,密码的重置,第三方登录用户注册 1,图片验证码 流程分析: 1,前端生成uuid随机字符串 2,后端生成图片验证码发送给前端,将图形验证码的存入到redis中 2,短信验证码 1,检查图片的验证码 2,检验是否是在60s内是否已经发送过 3,生成短信验证码 ...
分类:
其他好文 时间:
2020-06-03 16:03:05
阅读次数:
66
唯一原则 ? 由于在HBase中数据存储是Key-Value形式,若HBase中同一表插入相同Rowkey,则原先的数据会被覆盖掉(如果表的version设置为1的话),所以务必保证Rowkey的唯一性 长度原则 ? Rowkey是一个二进制码流,Rowkey的长度建议设计在10~100个字节,不过 ...
分类:
其他好文 时间:
2020-06-02 18:38:52
阅读次数:
55