数据积压指的是消费者因为一些外部的IO、一些比较耗时的操作（full GC--stop the world），就会造成消息在partition中一直存在得不到消费，就会产生数据积压。 所以需要监控系统（kafka的监控系统Eagle），如果出现这种情况，需要尽快处理，虽然后续的spark strea ...
分类：
其他好文 时间：
2021-07-13 17:40:18
阅读次数：
0
安装 pip install xmltodict json 模块是python3内置模块，不需要安装 使用 #! /usr/bin/env python # -*- coding: utf-8 -*-# # # Name: demo # Author: yunhgu # Date: 2021/7/1 ...
分类：
编程语言 时间：
2021-07-12 18:24:23
阅读次数：
0
本文详解同步、异步、阻塞、非阻塞，以及IO与这四者的关联，毕竟我当初刚认识这几个名词的时候也是一脸懵。 🔥1.同步阻塞、同步非阻塞、异步阻塞、异步非阻塞 1.同步 同步就是多个事物不能同时工作，只能依次排队进行 2.异步 多个事物可以同时工作，不用依次进行 3.阻塞 线程需要停止等待 4.非阻塞 ...
分类：
其他好文 时间：
2021-07-12 18:13:04
阅读次数：
0
在使用MapReduce的小测试的时候，Driver类启动，或报下面的错误 log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j: ...
分类：
编程语言 时间：
2021-07-12 18:06:41
阅读次数：
0
文章目录 7.1 `List`容量初始化7.2 元素个数确定时推荐使用Tuple7.3 推荐使用局部变量引用频繁使用的外界对象7.4 尽量使用`generator comprehension`代替`listcomprehension`7.5 使用字符串格式化方式代替"+"和"+="操作符7.1 Li ...
分类：
编程语言 时间：
2021-07-12 17:58:09
阅读次数：
0
文章目录 8.1 可变参数默认值设为`None`8.2 对子类继承的变量要做显式定义和赋初值8.3 严禁使用注释行等形式仅使功能失效8.4 慎用`copy`和 `deepcopy`8.5 系统路径推荐使用 `pathlib.Path`8.6 使用`subprocess`模块代替`os.system` ...
分类：
编程语言 时间：
2021-07-12 17:57:57
阅读次数：
0
文章目录 9.1 异常行为9.1.1 禁止抑制或者忽略已检查异常9.1.2 禁止在异常中泄露敏感信息9.1.3 方法发生异常时要恢复到之前的对象状态9.2 运行环境9.2.1 生产代码不能包含任何调试入口点9.2.2 使用标准的API替代操作系统的系统命令9.2.3 禁止从第3方源下载并使用软件包9 ...
分类：
编程语言 时间：
2021-07-12 17:57:29
阅读次数：
0
文章目录 2.1 类、接口和函数2.1.1 类和接口的注释写在类声明(class ClassName:)所在行的下一行，并向后缩进4个空格2.1.2 公共函数的注释写在函数声明(`def FunctionName(self):`)所在行的下一行，并向后缩进4个空格2.2 属性2.2.1 公共属性的注 ...
分类：
编程语言 时间：
2021-07-12 17:57:04
阅读次数：
0
1.使用python对文件进行读写，使用open函数 open函数专门用来打开文件 open（文件名，打开模式，encoding='utf-8'） 打开模式此处只说明以下几种 r:只读模式, w:写入, a:追加写入，不支持读 wb:以二进制模式打开写入 rb:以二进制只读打开 ab:追加写入，以二 ...
分类：
编程语言 时间：
2021-07-12 17:53:01
阅读次数：
0
Hexo部署过程中可能会出现错误 fatal: unable to access 'https://github.com/a956551943/a956551943.github.io/': Encountered end of file FATAL { err: Error: Spawn fail ...
分类：
其他好文 时间：
2021-07-12 17:48:17
阅读次数：
0
