本篇文章主要是记录整体调整Python数据统计分析项目规范性的过程，以及自己的一些思考。 为什么要调整？ 主要是为了解决数据类程序不容易测试发现错误的现状。调整公共模块出错时抛出错误到业务层，便于报警模块上传错误信息到kafka，最后能主动发出报警邮件。以及方便加入报警之外的其他程序埋点。 调整所有 ...
分类：
编程语言 时间：
2020-12-16 12:32:52
阅读次数：
3
0、题记在写繁重的业务场景下，你是否遇到过Elasticsearch集群的性能问题？你是否遇到过Elasticsearch数据索引化速度限制问题？你是否遇到过搜索花费时间太长而无法执行的延迟问题？你是否遭遇过Elasticsearch集群故障排查的挑战？你是否努力尝试在零停机情况下提高Elasticsearch集群的稳定性？你是否想过从监控的角度去看Elasticsearch关键指标？如果你对以上
分类：
其他好文 时间：
2020-12-16 12:19:29
阅读次数：
2
1、实战问题来源问题1：大佬们GET/_nodes/hot_threads查看热线程的这个API有没有讲解请求结果的文章呢？返回一堆堆栈看不懂......问题2：ES集群就一台机器CPU爆高，但IO、heap_mem都正常。咋搞？hot_thread我查了，报了一坨，SOS死磕Elasticsearch知识星球微信群于是就有了这篇文章。2、hot_threads干什么的？能吃吗？实战业务场景中，当
分类：
编程语言 时间：
2020-12-16 12:17:47
阅读次数：
4
1、引言实战业务场景中，经常会遇到定义空值、检索指定空值数据的情况。这时候，当我们翻看官方文档null_value部分，会看到如下的描述：Acceptsastringvaluewhichissubstitutedforanyexplicitnullvalues.Defaultstonull,whichmeansthefieldistreatedasmissing.接受一个字符串值替换所有显式的空值
分类：
其他好文 时间：
2020-12-16 12:16:36
阅读次数：
3
1、上问题请问在一张订单表里，用户购买的产品是一条数据，我现在想查既购买了A又买了B的用户，这种需求能做吗？在表里存在一个用户购买了多种产品和一个产品被多个人购买的情况，每个用户购买的产品是一条单独的数据。假如现在的表已经是我上边说的那种情况了，能写出符合我查询要求的DSL吗？球友提问2、问题细化注意，类似的问题是业务问题，如果要实际落地分析，需要进一步核实确认当前的数据建模。本质一句话：数据的建
分类：
其他好文 时间：
2020-12-16 12:13:33
阅读次数：
3
背景最近时运不佳，几乎天天被线上问题骚扰。前几天刚解决了一个HashSet的并发问题，周六又来了一个性能问题。大致的现象是：我们提供出去的一个OpenAPI反应时快时慢，快的时候几十毫秒，慢的时候几秒钟才响应。尝试解决由于这种也不是业务问题，不能直接定位。所以尝试在测试环境复现，但遗憾的测试环境贼快。没办法只能硬着头皮上了。中途有抱着侥幸心里让运维查看了Nginx里OpenAPI的响应时间，想把锅
分类：
其他好文 时间：
2020-12-16 12:08:27
阅读次数：
4
随着业务的增长，一般的公司都会经历一个从单库单表到分库分表的过程 , 需要考虑以下要素判断是否开始分库分表 1. 如果mysql单库的QPS超过1000就要考虑分库了 , 一般根据业务进行分库 目前新浪邮箱的主库是sinanet 各种辅助库 userservice客服系统 sinastore 文件存 ...
分类：
数据库 时间：
2020-12-16 11:44:14
阅读次数：
5
?建立测试计划，确定测试标准和测试范围 ?设计典型场景的测试用例，覆盖常用业务流程和不常用的业务流程等 ?根据测试用例，开发自动测试脚本和场景： 录制测试脚本：新建一个脚本（Web/HTML协议）；点击录制按钮，在弹出的对话框的URL中输入”about:blank”；在打开的浏览器中进行正常操作流程 ...
分类：
其他好文 时间：
2020-12-15 12:55:26
阅读次数：
8
企业中经常会需要批处理才能处理完成的业务操作,比如:自动化地处理大批量复杂数据,如月结计算;重复性地处理大批量数据,如费率计算;充当内部系统和外部系统的数据纽带,中间需要对数据进行格式化,校验,转换处理等. 1.框架搭建 在pom中导入Spring Batch,Mysql,和JDBC依赖, <?xm ...
分类：
编程语言 时间：
2020-12-15 12:39:06
阅读次数：
4
0、题记实际业务场景中，会遇到基础数据存在Mysql中，实时写入数据量比较大的情景。迁移至kafka是一种比较好的业务选型方案。而mysql写入kafka的选型方案有：方案一：logstash_output_kafka插件。方案二：kafka_connector。方案三：debezium插件。方案四：flume。方案五：其他类似方案。其中：debezium和flume是基于mysqlbinlog实
分类：
数据库 时间：
2020-12-15 12:34:47
阅读次数：
9
