优化时机一般单表超过500万左右,或明显感觉到性能下降时,需要优化优化方案
读写分离
使用缓存,如memcached或Redis
使用搜索引擎,如ElasticSearch或solr
分库分表
详细说明
读写分离很容易实现,建议在一开始做,不必等到性能下降时
发现性能下降时可做。比如有一张500万大表,不可能缓存全表,只能缓存热点数据,所以需要有一个监控热点数据的功能
像缓存整个大表或者数据量很大可...
分类:
数据库 时间:
2015-04-09 08:59:05
阅读次数:
119
inner_hits文档:http://www.elastic.co/guide/en/elasticsearch/reference/current/search-request-inner-hits.html#parent-child-inner-hits
(ElasticSearch 1.50+ 可用)
在使用搜索“has-child”搜索父文档时,一般情况只...
分类:
其他好文 时间:
2015-04-08 13:09:53
阅读次数:
2298
1、安装就不说了,下载就能用 2、遇到一个查询词的出现频率问题,先直接贴代码: ?? ???? client = fatory.client(); ?? ??? ?TermVectorRequestBuilder requestBuilder =null; ?? ??? ?TermVec...
分类:
其他好文 时间:
2015-04-08 11:15:26
阅读次数:
137
ElasticSearch是一个强大的搜索服务器,基于Apache
Lucene的全文搜索引擎开发,具有高性能、分布式和零配置的优点。在当前的项目中,我们希望ES能承担亿级文档的搜索,而ES也证明了即便面对这样的数据规模,也能实现十分迅速的搜索响应。
概念
节点(Node):节点是一个ES的实例,一般一台主机上部署一个节点-集群(Cluster):集群由若干节点组成,和任意节点...
分类:
其他好文 时间:
2015-04-06 21:56:28
阅读次数:
208
To have launchd start elasticsearch at login: ? ? ln -sfv /usr/local/opt/elasticsearch/*.plist ~/Library/LaunchAgents Then to load elasticsearch now: ? ? launchctl load ~/Library/LaunchAgents/...
分类:
其他好文 时间:
2015-04-06 15:50:55
阅读次数:
110
最近改进了项目中的站内搜索的功能,增加了全文索引,提升了搜索速度。因为项目框架是django,所以采用django+haystack+pyelasticsearch+elasticsearch的方式实现。django作为Web framework,采用MVC设计模式,非常易于开发数据库驱动的网站。h...
分类:
其他好文 时间:
2015-04-06 12:46:32
阅读次数:
187
今天在ES上做了一个聚合,先过滤一个嵌套对象,再对另一个域做聚合,但是过滤似乎没有起作用{ "size":0, "filter":{ "nested":{ "path":"nna_risks", "filter":{ ...
分类:
其他好文 时间:
2015-04-04 12:05:13
阅读次数:
293
[TestMethod]
public void Analyze()
{
string[] d = mIndex.Analyze("c# socket", "ik");
}
[TestMethod]
public void match()
{
ILi...
分类:
其他好文 时间:
2015-04-03 19:47:07
阅读次数:
195
elasticsearch官方只提供smartcn这个中文分词插件,效果不是很好,好在国内有medcl大神(国内最早研究es的人之一)写的两个中文分词插件,一个是ik的,一个是mmseg的,下面分别介绍ik的用法,当我们创建一个index(库db_news)时,easticsearch默认提供的分词...
分类:
其他好文 时间:
2015-04-03 19:17:11
阅读次数:
149
分布式搜索引擎Elasticsearch 介绍 Elasticsearch是一个基于Lucene的开源分布式搜索引擎,具有分布式多用户能力。Elasticsearch是用java开发,提供Restful接口,能够达到实时搜索、高性能计算;同时Elasticsearch...
分类:
其他好文 时间:
2015-04-01 22:09:31
阅读次数:
352