一 布隆过滤器简介 bloomfilter:是一个通过多哈希函数映射到一张表的数据结构,能够快速的判断一个元素在一个集合内是否存在,具有很好的空间和时间效率。(典型例子,爬虫url去重) 原理: BloomFilter 会开辟一个m位的bitArray(位数组),开始所有数据全部置 0 。当一个元素 ...
分类:
其他好文 时间:
2021-03-01 13:19:00
阅读次数:
0
昨天发现线上试跑期的一个程序挂了,平时都跑的好好的,查了下日志是因为昨天运营跑了一家美妆top级淘品牌店,会员量近千万,一下子就把128G的内存给爆了,当时并行跑了二个任务,没辙先速写一段代码限流,后面再做进一步优化。一:背景1.背景介绍因为是自己写的代码,所以我知道问题出现在哪里,如果大家看过我之前写的文章应该知道我用全内存跑了很多模型对用户打标签,一个模型就是一组定向的筛选条件,而为了加速处理
分类:
其他好文 时间:
2020-09-11 14:19:07
阅读次数:
33
一:背景1.讲故事前天写了一篇大内存排查在园子里挺火,这是做自媒体最开心的事拉,干脆再来一篇满足大家胃口,上个月我写了一篇博客提到过使用bitmap对原来的List<CustomerID>进行高强度压缩,将原来的List内存压缩了将近106倍,但是bitmap不是一味的好,你必须在正确的场景中使用,而不是闭着眼睛滥用,bitmap在C#中对应的集合是BitArray。好像剧透了,结果就
分类:
其他好文 时间:
2020-09-10 22:47:10
阅读次数:
43
一:背景 1. 讲故事 前天写了一篇大内存排查在园子里挺火,这是做自媒体最开心的事拉,干脆再来一篇满足大家胃口,上个月我写了一篇博客提到过使用 对原来的 进行高强度压缩,将原来的List内存压缩了将近106倍,但是bitmap不是一味的好,你必须在正确的场景中使用,而不是闭着眼睛滥用,bitmap在 ...
分类:
其他好文 时间:
2020-05-22 09:55:48
阅读次数:
52
BitArray bitArray = new BitArray(16); ushort val =123; bitArray = new BitArray(BitConverter.GetBytes(val)); int shorN = 0; for (ushort i = 0; i < bitA ...
PHP阴历阳历转换 功能: 公历-农历转换、转换成中文日期格式、计算农历相隔天数、根据阴历年获取生肖、获取阴历月份的天数、获取农历每年的天数、获取闰月、计算阴历日期与正月初一相隔的天数、计算2个公历(阳历)日期之间的天数、根据距离正月初一的天数计算阴历日期、获取天干地支纪年等,PHP日期操作类: L ...
分类:
Web程序 时间:
2020-03-10 11:41:02
阅读次数:
71
[TOC] 循环冗余校验码 了解CRC校验 简单例子 程序代码 运行结果 ...
分类:
其他好文 时间:
2019-11-09 11:47:28
阅读次数:
148
一. VS调试快捷键 F5 跳转到下个断点 F10 下一行 F11 进入方法里面 Shift + F11 跳出来 浏览器 F8 跳转到下个断点 二. 变量: 程序运行时在内存中存储可变数据的容器 三: 数组: 存储长度固定 类型相同 的变量的东西 一维 多维 不规则数组 二维数组声明 int[,] ...
分类:
编程语言 时间:
2019-07-07 20:14:40
阅读次数:
178
结果:使用内存27MB,查找结果一般在100毫秒以内。 ...
int k = 6; byte[] bytearr = BitConverter.GetBytes(k); BitArray myBA = new BitArray(bytearr); for (int i = 0; i < myBA.Length; i++) { try { Console.Wri ...