想进大厂,mysql不会那可不行,来接受mysql面试挑战吧,看看你能坚持到哪里? 1. 能说下myisam 和 innodb的区别吗? myisam引擎是5.1版本之前的默认引擎,支持全文检索、压缩、空间函数等,但是不支持事务和行级锁,所以一般用于有大量查询少量插入的场景来使用,而且myisam不 ...
分类:
数据库 时间:
2020-11-18 13:16:01
阅读次数:
18
2017精选索引,入选规则为:截止至2017年12月28日文章截止到发文,阅读1W+【架构必备】《互联网架构如何实现“高并发”》4W+《TCP接入层的负载均衡、高可用、扩展性架构设计》2.2W+《配置中心架构设计演进》1.7W+《跨公网调用的大坑与架构优化》1.4W+《DNS在架构设计中的巧用》1.9W+《消息如何在网络上安全传输》1.2W+《10W定时任务,如何高效触发》2.9W+《工作线程究竟
分类:
其他好文 时间:
2020-11-18 12:18:05
阅读次数:
2
https://www.robots.ox.ac.uk/~vgg/research/smooth-ap/ https://github.com/Andrew-Brown1/Smooth_AP Smooth-AP: Smoothing the Path Towards Large-Scale Imag ...
分类:
其他好文 时间:
2020-11-17 13:00:10
阅读次数:
25
1.分片内部基本结构 在一个分片中(Lucene),数据(数据原文和倒排索引)以段为单位存储,只有成为段的数据才能被检索。 因为文档先被缓存在内存中,创建倒排索引和其他索引结构之后才会成为段,才能被检索 就像下图中文档先被写入内存,为文档构建一系列索引之后成为段,并且写入磁盘,只有段才是 Searc ...
分类:
Web程序 时间:
2020-11-17 12:23:50
阅读次数:
17
可能99%的同学不做搜索引擎,但99%的同学一定实现过检索功能。搜索,检索,这里面到底包含哪些技术的东西,希望本文能够给大家一些启示。全网搜索引擎架构与流程如何?全网搜索引擎的宏观架构如上图,核心子系统主要分为三部分(粉色部分):(1)spider爬虫系统;(2)search&index建立索引与查询索引系统,这个系统又主要分为两部分:一部分用于生成索引数据build_index一部分用于
分类:
其他好文 时间:
2020-11-16 13:57:29
阅读次数:
12
Rowkey设计时需要遵循三大原则: 1. 唯一性原则 rowkey在设计上保证其唯一性。rowkey是按照字典顺序排序存储的,因此,设计rowkey的时候,要充分利用这个排序的特点,将经常读取的数据存储到一块,将最近可能会被访问的数据放到一块。 2. 长度原则 rowkey是一个二进制码流,可以是 ...
分类:
其他好文 时间:
2020-11-13 13:05:38
阅读次数:
7
继续回答星球水友提问。沈哥,我们有个业务,类似于“标题分词检索”,并发量非常大,大概20W次每秒,数据量不是很大,大概500W级别,而且数据不会频繁更新,平均每天更新一次,请问有什么好的方案么?这是一个典型的,短文本分词搜索的问题,简单聊聊自己的经验。常见的文本检索方案有哪些?(1)数据库LIKE法将标题数据存放在数据库中,使用like来查询,方案非常简单,能支持简单的模糊搜索,但不支持分词。画外
分类:
其他好文 时间:
2020-11-10 11:31:19
阅读次数:
7
==星球水友提问==沈老师,你好,想请教一个身份证信息检索的问题。公司有一个每秒5万并发查询的业务,(假设)根据身份证MD5查询身份证信息,目前有1000亿条数据,纯文本存储,前几天看你写LevelDB,请问这个业务能利用LevelDB内存数据库进行存储么?有没有其他优化方案?画外音:LevelDB《内存KV缓存/数据库》。==问题描述完==上一位星球水友问的是36亿日志后台分页查询,紧接着又来了
分类:
其他好文 时间:
2020-11-10 11:30:25
阅读次数:
10
沈老师,你好,想请教一个数据库查询日志,前台页面显示的问题。需求:(1)按照某些特定检索条件查询日志;(2)通过前台Web页面查询并显示相关日志信息;(3)检索需求包含用户,时间段区间,类型等特定字段;希望做到:(1)查询速度尽可能快;(2)支持分页查询;目前方案:日志信息存储在Oracle中,根据日期对Oracle做了分区处理,每天生成一个分区表,每个分区表中的数据总量大概在1000W左右。在相
分类:
其他好文 时间:
2020-11-10 11:30:08
阅读次数:
11
Haystack 1.什么是Haystack Haystack是django的开源全文搜索框架(全文检索不同于特定字段的模糊查询,使用全文检索的效率更高 ),该框架支持Solr,Elasticsearch,Whoosh, Xapian,搜索引擎它是一个可插拔的后端(很像Django的数据库层),所以 ...
分类:
其他好文 时间:
2020-11-10 11:17:18
阅读次数:
8