千万级延时任务队列如何实现，看美图开源的-LMSTFY导读：Task是web开发中一个经典场景，我们时常需要延时任务，或者定时任务，通常都需要任务队列。常见的任务队列如celery，lmstfy是美图开源的任务队列。本文作者详细剖析了lmstfy的架构实现，干货满满，适合技术人员阅读。lmstfy(LetMeScheduleTaskForYou)是美图架构基础服务团队在2018年初基于Redis实
分类：
其他好文 时间：
2020-11-04 18:16:17
阅读次数：
20
前面的几篇文章里讨论过了进程上下文切换和系统调用对系统性能的影响，我们今天再来看另外一个CPU吃货，那就是软中断。 你在用vmstat或者其他一些工具查看系统CPU消耗的时候，发现有两列是单独列出来的，分别是是hi和si。他们分别是硬中断和软中断。既然vmstat把中断的开销单独列出来了，就说明一个 ...
分类：
其他好文 时间：
2020-11-01 21:59:48
阅读次数：
21
1、什么是线程池？ 简而言之，线程池就是管理线程的一个容器，有任务需要处理时，会相继判断核心线程数是否还有空闲、线程池中的任务队列是否已满、是否超过线程池大小，然后调用或创建线程或者排队，线程执行完任务后并不会立即被销毁，而是仍然在线程池中等待下一个任务，如果超过存活时间还没有新的任务就会被销毁，通 ...
分类：
编程语言 时间：
2020-11-01 09:40:28
阅读次数：
26
一、描述 1）单层时间轮 假设，当前位于2，现在要添加一个3s后指向的任务，则2+3=5，在第5格的链表中添加一个节点指向任务即可，标识round=0。 时间轮只会执行round=0的任务。 假设，当前位于2，现在要添加一个10s后指向的任务，则（2+10）% 8 = 4，则在第4格添加一个节点指向 ...
分类：
其他好文 时间：
2020-11-01 09:35:05
阅读次数：
15
记一次celery使用过程中丢失上下文问题问题场景项目中需要在celery的异步任务中连接其他服务的celery任务队列，并向所连接的celery中发送task任务。这样使用的结果就是：需要生成两个不同的celery实例，在第一个celery实例中需要使用flask中的上下文，并进行上下文的生成，在调用完另一个celery实例后，在worker运行了标记的task最大任务销毁重启之后；会发生在需要
分类：
其他好文 时间：
2020-10-27 11:30:23
阅读次数：
19
之前遇到一个耗电问题，最后发现是/proc/sys/kernel/sched_boost节点设置异常，一直处于boost状态。导致所有场景功耗上升。 现在总结一下sched_boost的相关知识。 Sched_Boost sched_boost主要是通过影响Task placement的方式，来进行 ...
分类：
其他好文 时间：
2020-10-26 11:52:09
阅读次数：
33
scrapy是基于twisted的异步处理框架，与传统的requests爬虫程序执行流程不同，scrapy使用多线程，将发送请求，提取数据，保存数据等操作分别交给Scheduler（调度器），Downloader（下载器），Spider（爬虫），Pipeline（管道）等爬虫“组件”来完成。多线程的 ...
分类：
其他好文 时间：
2020-10-24 10:26:51
阅读次数：
25
1. 安装轮子，麦轮总车顶俯视看，四个车轮上面的滚子组成一个 X 形状。下图的后面两个就是 X 形状安装。 2. 移动时轮子的方向： ...
分类：
其他好文 时间：
2020-10-24 09:42:12
阅读次数：
67
生产上使用splunk进行日志搜集，服务端已经安装完成，客户端有几十台需要部署，本文介绍使用ansible进行客户端批量安装
分类：
其他好文 时间：
2020-10-22 23:04:15
阅读次数：
26
先说一下我的情况，8月被导员通知优研资格没有我，开始准备考上交819，9月华为大规模秋招，第一批集招offer拿到，拒了，之后学姐给了白金码，选择放弃考研全力备战字节面试，准备了一个月，10.13面试，三轮面完，10.19收到offer call秋招结束，在此期间拿到360和keep的offer，但是我都拒绝了，因为我的目标很明确！字节跳动，不面试上不罢休，其实腾讯，头条待遇都不错，但是年少轻狂，结果愣是面了9面才拿到字节跳动offer！
分类：
其他好文 时间：
2020-10-22 22:40:05
阅读次数：
29
