ubuntu下安装docker django使用whoosh搜索引擎使用es（elasticsearch）代替whoosh

时间：2020-11-24 13:00:30 阅读：26 评论：0 收藏：0 [点我收藏+]

标签：views solr 重载 sch update ack 最新版 connect who

1.docker基本原理

https://www.cnblogs.com/xiaonq/p/10241045.html

2.ubuntu安装docker

2.1 安装docker

# 1.卸载旧版本
sudo apt-get remove docker docker-engine docker.io containerd runc

# 2.更新ubuntu的apt源索引
# 修改apt国内源为中科大源
sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
sudo sed -i ‘s/archive.ubuntu.com/mirrors.ustc.edu.cn/‘ /etc/apt/sources.list
sudo apt update

#3.安装包允许apt通过HTTPS使用仓库
sudo apt-get install     apt-transport-https     ca-certificates     curl     software-properties-common

#4.添加Docker官方GPG key
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

#5.设置Docker稳定版仓库
#5.1 设置使用官方，很慢
sudo add-apt-repository    "deb [arch=amd64] https://download.docker.com/linux/ubuntu    $(lsb_release -cs)    stable"
#5.2 设置使用阿里云
add-apt-repository "deb [arch=amd64] https://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
    
#6.添加仓库后，更新apt源索引
sudo apt-get update

#7.安装最新版Docker CE（社区版）
sudo apt-get install docker-ce

#8.检查Docker CE是否安装正确
sudo docker run hello-world

2.2 docker默认是国外源可以设置成国内镜像源

root@linux-node1 django-docker]# vim /etc/docker/daemon.json    # 设置docker镜像源
{
    "registry-mirrors": ["http://hub-mirror.c.163.com"]
}
或者
{
    "registry-mirrors": ["https://docker.mirrors.ustc.edu.cn"]
}

[root@linux-node2 ~]# systemctl daemon-reload                   # 重载文件
[root@linux-node2 ~]# systemctl restart docker                  # 重启docker生效

2.3 docker启动设置

# 启动Docker服务并设置开机启动
systemctl start docker
systemctl enable docker

2.4 docker简单使用（创建一个ngixn容器）

# 1、创建一个nginx容器
 docker run -it nginx
 
 # 2、查看docker运行的容器(可以获取到这个容器的id)
 docker ps
 
 # 3、访问这个容器
 # 进入这个nginx容器（进入的文件系统和宿主机是完全隔离的，有自己独立的文件系统）
 docker exec -it 73877e65c07d bash
 
 # 4、查看当前容器的 IP
 docker inspect 73877e65c07d   # 73877e65c07d是通过docekr ps查看到的容器ID
 curl 172.17.0.2               # 测试这个nginx容器是否可以访问

基本介绍

前后端不分离：https://www.cnblogs.com/xiaonq/p/12363589.html

安装

pip install drf-haystack # django的开源 搜索框架（python语音写的，搜索框架可以使用其他
语音的搜索引擎）
pip install whoosh # 搜索引擎（python语音写的）
pip install jieba # 中文分词Jieba，由于Whoosh自带的是英文分词，对中文的分词支持
不是太好

什么是haystack？
- haystack是django的开源搜索框架，该框架支持 Solr,Elasticsearch,Whoosh, Xapian 搜索引擎，不用更改代码，直接切换引擎，减少代码量。
- 搜索引擎使用Whoosh，这是一个由纯Python实现的全文搜索引擎，没有二进制文件等，比较小巧，配置比较简单，当然性能自然略低。
- 中文分词Jieba，由于Whoosh自带的是英文分词，对中文的分词支持不是太好，故用jieba替换 whoosh的分词组件。

配置使用

syl/settings.py 全文检索配置

‘‘‘1.注册app ‘‘‘
INSTALLED_APPS = [
‘haystack‘, # haystack要放在应用的上面
]
‘‘‘2.模板路径 ‘‘‘
TEMPLATES = [
{
‘DIRS‘: [os.path.join(BASE_DIR,‘templates‘)],
},
]


‘‘‘3.全文检索配置‘‘‘
HAYSTACK_SEARCH_RESULTS_PER_PAGE = 15  # 搜索出多条数据时需要分页
HAYSTACK_CONNECTIONS = {
    ‘default‘: {
        # ‘ENGINE‘: ‘haystack.backends.whoosh_backend.WhooshEngine‘,
        ‘ENGINE‘: ‘course.whoosh_cn_backend.MyWhooshEngine‘,
        ‘PATH‘: os.path.join(BASE_DIR, ‘whoosh_index‘),  # 指定倒排索引存放位置
    },
}

# ES引擎
# settings.py 修改haystack配置
# ES引擎
# HAYSTACK_CONNECTIONS = {
#     ‘default‘: {
#         ‘ENGINE‘: ‘haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine‘,
#         ‘URL‘: ‘http://127.0.0.1:9200/‘,  # Elasticsearch服务器ip地址，端口号固定为9200
#         ‘INDEX_NAME‘: ‘syl‘,  # Elasticsearch建立的反向索引库的名称
#     },
# }
# 添加此项，当数据库改变时，会自动更新索引，非常方便
HAYSTACK_SIGNAL_PROCESSOR = ‘haystack.signals.RealtimeSignalProcessor‘

在子应用下创建索引文件

apps/course/search_indexes.py

"""
author:翔翔
date:
use:
"""
# apps/course/search_indexes.py
# 文件名必须是 search_indexes.py
from haystack import indexes
from .models import Course
# 修改此处，类名为模型类的名称+Index，比如模型类为GoodsInfo,则这里类名为GoodsInfoIndex(其实可以随便写)
class CourseIndex(indexes.SearchIndex, indexes.Indexable):
    """
    Course索引类
    """
    # text为索引字段
    # document = True，这代表haystack和搜索引擎将使用此字段的内容作为索引进行检索
    # use_template=True 指定根据表中的那些字段建立索引文件的说明放在一个文件中
    text = indexes.CharField(document=True, use_template=True)
    # 对那张表进行查询
    def get_model(self): # 重载get_model方法，必须要有
        """返回建立索引的模型类"""
        return Course # 返回这个model
    # 建立索引的数据
    def index_queryset(self, using=None):
        """返回要建立索引的数据查询集"""
        # 这个方法返回什么内容，最终就会对那些方法建立索引，这里是对所有字段建立索引
        return self.get_model().objects.all()

指定索引模板文件

templates/search/indexes/course/course_text.txt

# 创建文件路径命名必须这个规范：templates/search/indexes/应用名称/模型类名称
_text.txt

{{object.id}}
{{object.title}}
{{object.desc}}

apps/course/whoosh_cn_backend.py

"""
author:翔翔
date:
use:
"""
# 更换 text 字段的 分析方式, 变为jieba分词中的中文分析器
from haystack.backends.whoosh_backend import WhooshEngine, WhooshSearchBackend
from whoosh.fields import TEXT
from jieba.analyse import ChineseAnalyzer


class MyWhooshSearchBackend(WhooshSearchBackend):
    def build_schema(self, fields):
        (content_field_name, schema) = super().build_schema(fields)
        # 指定whoosh使用jieba进行分词
        schema._fields[‘text‘] = TEXT(stored=True,
                                      analyzer=ChineseAnalyzer(),
                                      field_boost=fields.get(‘text‘).boost,
                                      sortable=True)
        return (content_field_name, schema)


class MyWhooshEngine(WhooshEngine):
    backend = MyWhooshSearchBackend

课程全文检索接口视图函数

course/views.py


from syl import settings
from django.core.paginator import InvalidPage, Paginator
from haystack.forms import ModelSearchForm
from django.http import JsonResponse,HttpResponse

# 如果settings.py中配置就是用settings中配置的，否则就每页15条
RESULTS_PER_PAGE = getattr(settings, ‘HAYSTACK_SEARCH_RESULTS_PER_PAGE‘, 15)


def course_index_search(request):
    # 1.获取前端传过来的关键字（查询数据）
    query = request.GET.get(‘q‘, None)
    page = int(request.GET.get(‘page‘, 1))  # 第几页
    page_size = int(request.GET.get(‘page_size‘, RESULTS_PER_PAGE))  # 每页多少条
    # 2.获取查询条件，进行查询
    if query:
        form = ModelSearchForm(request.GET, load_all=True)  # 将查询条件传递给查询对 象
        if form.is_valid():
            results = form.search()  # 查询出来的最终数据
        else:
            results = []
    else:
        return JsonResponse({"code": 404, "msg": ‘No file found！‘, "data": []})
    # 3.对结果集进行分页
    paginator = Paginator(results, page_size)
    try:
        page = paginator.page(page)  # 从分好的页中拿第几页
    except InvalidPage:  # 如果分页出错
        return JsonResponse({"code": 404, "msg": ‘No file found！‘, "data": []})
    # 4.把查询的分页结果集对象转换成json格式
    jsondata = []
    for result in page.object_list:  # 分页后的课程查询结果
        data = {
            ‘id‘: result.object.id,
            ‘title‘: result.object.title,
            ‘desc‘: result.object.desc,
            ‘img‘:
                request.scheme + ‘://‘ + request.META[‘HTTP_HOST‘] + result.object.img.url,
            # ‘follower‘: result.object.follower,
            ‘learner‘: result.object.learner,
            ‘status‘: result.object.status,
            ‘course_type‘: result.object.course_type.id
        }
        jsondata.append(data)
    result = {
        "code": 200,
        "msg": ‘Search successfully！‘,
        "data": {"count": page.paginator.count, "results": jsondata}
    }
    # return JsonResponse(result)
    return HttpResponse(json.dumps(result, ensure_ascii=False))

syl/urls.py 添加路由

urlpatterns = [
	path(‘search/‘, course_index_search),
]

命令构建倒排索引
1. ```
python manage.py rebuild_index
```

测试课程全文检索

测试接口

http://192.168.56.100:8888/search/?q=测试&page=1&page_size=1

测试结果
![image-20201112212145036](C:\Users\wyx\Desktop\小实训\day14 全文检索kounch es docker安装 docker拉取es镜像\图片\image-20201112212145036.png)

返回结果

{
"code": 200,
"msg": "Search successfully！",
"data": {
"count": 1,
"results": [
{
"id": 1,
"title": "Linux入门课程",
"desc": "要在实验楼愉快地学习，先要熟练地使用 Linux，本实验介绍 Linux 基
本操作，shell 环境下的常用命令。",
"img": "http://192.168.56.100:8888/media/course/linux.jpg",
"learner": 222,
"status": "1",
"course_type": 3
}
]
}

1.docker安装ES

1.拉取docker镜像

# 从仓库拉取镜像
sudo docker image pull delron/elasticsearch-ik:2.4.6-1.0

2.使用docker安装ES

docker run -d -p 9200:9200 -p 9300:9300 --name elasticsearch delron/elasticsearch-ik:2.4.6-1.0

3.在页面中测试

http://192.168.56.100:9200/

报错安装  pip install elasticsearch

2.使用ES替代whoosh全文检索

# settings.py  修改haystack配置
# ES引擎
HAYSTACK_CONNECTIONS = {
    ‘default‘: {
        ‘ENGINE‘: ‘haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine‘,
        ‘URL‘: ‘http://127.0.0.1:9200/‘,        # Elasticsearch服务器ip地址，端口号固定为9200
        ‘INDEX_NAME‘: ‘syl‘,                    # Elasticsearch建立的反向索引库的名称
    },
}

ubuntu下安装docker django使用whoosh搜索引擎使用es（elasticsearch）代替whoosh

标签：views solr 重载 sch update ack 最新版 connect who

原文地址：https://www.cnblogs.com/wyx-zy/p/14012674.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行

ubuntu下安装docker django使用whoosh搜索引擎 使用es（elasticsearch）代替whoosh

1.docker基本原理

2.ubuntu安装docker

2.1 安装docker

2.2 docker默认是国外源可以设置成国内镜像源

2.3 docker启动设置

2.4 docker简单使用（创建一个ngixn容器）

基本介绍

前后端不分离：https://www.cnblogs.com/xiaonq/p/12363589.html

安装

什么是haystack？

配置使用

在子应用下创建索引文件

apps/course/search_indexes.py

指定索引模板文件

apps/course/whoosh_cn_backend.py

课程全文检索接口视图函数

course/views.py

syl/urls.py 添加路由

命令构建倒排索引

测试课程全文检索

1.docker安装ES

2.使用ES替代whoosh全文检索

ubuntu下安装docker django使用whoosh搜索引擎使用es（elasticsearch）代替whoosh