kettle 经常在调度的时候，会出新重复使用的变量，如果使用一次就去输入一次变量，这样非常的浪费时间。为了解决这一问题，我们将环境变量设置为固定的 1.永久设置环境变量 找到自己电脑上的 .kettle 文件夹 下的repositories.xml 打开文件，文件里面是 kv形式，根据自己的需求填 ...
分类：
其他好文 时间：
2020-07-08 15:02:54
阅读次数：
65
源代码: import requests path = "D:\abc.jpg" #用\或/（老师用的）存疑 r.encoding = r.apparent_encoding kv = {'user-agent':'Mozilla/5.0'} url = "见列表" r = requests.get ...
分类：
编程语言 时间：
2020-06-29 15:37:10
阅读次数：
77
#前言 多年前入职了现在的公司，当时还没有完整的异常测试的体系，后来根据自己的经验结合现状，帮助公司建立了一套异常测试的流程和文档，和另外的同学一起设计了异常故障注入平台，也完成了一些演练的落地，在这里做一些总结。 #kv故障演练 kv即key-value数据库，业界普遍使用的有redis、zook ...
分类：
其他好文 时间：
2020-06-25 17:20:29
阅读次数：
199
etcd是coreOS使用golang开发的分布式，一致性的kv存储系统，因其易用性和高可靠性被广泛运用于服务发现、消息发布和订阅、分布式锁和共享配置等方面，也被认为是zookeeper的强有力的竞争者。作为分布式kv，其底层使用raft算法实现多副本数据的强一致性。etcd作为raft开源实现的标 ...
分类：
其他好文 时间：
2020-06-24 21:47:54
阅读次数：
74
1、获取URL对应的资源 get、head 2、实例 try: url = 'https://www.baidu.com/s?' kv = {'wd': 'python'} hd = {'user-agent': 'Chrome/10'} r = requests.get(url, params=k ...
分类：
其他好文 时间：
2020-06-22 18:52:51
阅读次数：
59
背景 互联网产品中存在很多种类的数据，不同种类的数据对于存储系统的一致性，可用性，扩展性的要求是不同的。比如，金融、账号相关的数据对一致性要求比较高，社交类数据例如点赞对可用性要求比较高。还有一些大规模元数据存储场景，例如对象存储的索引层数据，对一致性，扩展性和可用性要求都比较高，这就需要底层存储系 ...
分类：
其他好文 时间：
2020-06-07 19:13:28
阅读次数：
59
Requests库主要方法解析 1 """Requests库主要方法解析""" 2 3 4 import requests 5 6 kv = {'key1': 'value1', 'key2': 'value2'} 7 r = requests.request('GET', 'http://pyth ...
分类：
其他好文 时间：
2020-06-04 10:39:59
阅读次数：
60
1 """百度搜索关键词提交""" 2 3 4 import requests 5 6 url = "https://www.baidu.com/s" 7 keyword = "Python" 8 try: 9 kv = {'wd': 'keyword'} 10 r = requests.get(u ...
分类：
其他好文 时间：
2020-06-04 10:22:13
阅读次数：
76
1 """实例1：京东商品页面的爬取""" 2 3 4 import requests 5 6 url = "https://item.jd.com/100012545852.html" 7 try: 8 # 更改头部信息 9 kv = {'user-agent': 'Mozilla/5.0'} 1 ...
分类：
其他好文 时间：
2020-06-04 10:21:02
阅读次数：
95
本文主要解决的是基于内存的K-V存储引擎在实际应用中出现的热点问题，设计了一个热点可感知的KV存储引擎，极大的提升了KV存储引擎对于热点数据访问的承载能力。 Introduction 热点问题，可以理解为在一个严重倾斜的工作负载下，频繁的访问和操作某一小部分数据。 如图，是阿里的不同业务中数据访问分 ...
分类：
其他好文 时间：
2020-05-31 23:14:28
阅读次数：
137
