美文网首页
django-haystack实现简单接口的全文搜索.md

django-haystack实现简单接口的全文搜索.md

作者: brother阿张 | 来源:发表于2017-04-27 17:44 被阅读0次

    [图片上传中。。。(1)] [toc]

    0 依赖的类库

    • 搜索引擎:Whoosh这是一个由纯Python实现的全文搜索引擎,没有二进制文件等,比较小巧,配置比较简单,当然性能自然略低.
    • 应用框架:django-haystack,用来实现django和搜索引擎之间的链接,由于只支持英文分词,用jieba分词代替.
    • 分词工具: jieba分词,他的ChineseAnalyzer 支持 Whoosh 搜索引擎.
    pip install Whoosh jieba django-haystack
    

    1 django-haystack配置.

    1.1 setting中添加配置

    配置Django项目的settings.py里面的 INSTALLED_APPS

    INSTALLED_APPS = [ 
            'django.contrib.admin',
            'django.contrib.auth', 
            'django.contrib.contenttypes', 
            'django.contrib.sessions', 
            'django.contrib.sites', 
    
              # haystack先添加,
              'haystack', 
              # Then your usual apps... 自己的app要写在haystakc后面
              'blog',
    ]
    

    因为是要修改源码,要添加修改了haystack的文件进入环境变量中:
    比如,我把要修改的源码的包都放在extra_apps中
    在setting中加

    sys.path.append(os.path.join(BASE_DIR, "extra_apps"))
    

    django-haystack的搜索引擎设置,以及索引储存的位置
    在setting中加

    HAYSTACK_CONNECTIONS = {
        'default': {
            'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine',
            'PATH': os.path.join(os.path.dirname(__file__), 'whoosh_index'),
        },
    }
    

    1.2 修改django-haystack的分词器

    找到源码中的whoosh_backend.py文件

    # 引入
    from jieba.analyse import ChineseAnalyzer
    #将StemmingAnalyzer()替换为 ChineseAnalyzer()
    schema_fields[field_class.index_fieldname] = TEXT(stored=True, analyzer=StemmingAnalyzer()), field_boost=field_class.boost, sortable=True)
    

    下面就可以正常配置

    2 索引的建立

    如果你想针对某个app例如newapp做全文检索,则必须在newapp的目录下面建立search_indexes.py文件,文件名不能修改。内容如下:

    from haystack import indexes
    from myapp.models import Hospital
    
    class SetMealIndex(indexes.SearchIndex, indexes.Indexable):
        text = indexes.CharField(document=True, use_template=True)  # 必须要建立全文搜索的字段
         # items为model中的字段
        items = indexes.MultiValueField(indexed=True, stored=True)    # 这是个多对多的键
    
        def get_model(self):
            # 用于搜索的model
            return SetMeal
    
        def index_queryset(self, using=None):
           # 得到特定条件的queryset
            return self.get_model().objects2api.all()
    
        def prepare_category(self, obj):
            # 得到多对多键的项目的name
           return [item.name for item in obj.items.all()]
    
    class HospitalIndex(indexes.SearchIndex, indexes.Indexable):
        text = indexes.CharField(document=True, use_template=True)
    
        def get_model(self):
            return Hospital
    
        def index_queryset(self, using=None):
            return self.get_model().objects2api.all()
    

    每个索引里面必须有且只能有一个字段为document=True,这代表haystack 和搜索引擎将使用此字段的内容作为索引进行检索(primary field)。其他的字段只是附属的属性,方便调用,并不作为检索数据。

    • 数据模板

    路径为yourapp/templates/search/indexes/yourapp/yourmodel_text.txt

    我这边可以没用到就随便写了一下

    <h1>{{ object.name }}</h1>{{ object.description }}{{ object.price }}{{ object.fit_gender }}{% for item in object.items.all %}{{ item.name }}{% endfor %}
    

    最后建立索引

    python manage.py rebuild_index
    

    3 接口代码

    class SearchSetMealListViewSet(mixins.ListModelMixin,                                                      viewsets.GenericViewSet):   serializer_class = SearchSetMealSerializer   pagination_class = StandardResultsSetPagination   def list(self, request, *args, **kwargs):       q = request.GET.get('q', '')       # todo优化分词方法       s = SearchQuerySet()       sqs = s.auto_query(q)       province = request.region.province       city = request.region.city       q1 = Q(hospitals__province=province, hospitals__city=city)       q2 = Q(hospitals__province='', hospitals__city='')       sqs = sqs.filter(q1 | q2).models(SetMeal)  # 过滤特定的model       page = self.paginate_queryset(sqs)       if page is not None:           serializer = self.get_serializer([i.object for i in page if i.object], many=True)           return self.get_paginated_response(serializer.data)       serializer = SearchSetMealSerializer([i.object for i in sqs if i.object], many=True, context={'request': request})       return Response(serializer.data)
    

    索引的更新

    因为实时的更新太过于消耗资源了,采用celery的周期任务,周期定为10分种

    @task()
    def update_index():
        logger.info('--------------更新索引开始--------------')
        from haystack.management.commands import update_index
        update_index.Command().handle()
        logger.info('--------------更新索引结束--------------')
    
    

    django-celery不在这里详细说明了,请百度.提醒一点
    运行一般需要两行命令,不仅仅需要celery beat.

    python manage.py celery beat
    python manage.py celery worker
    

    相关文章

      网友评论

          本文标题:django-haystack实现简单接口的全文搜索.md

          本文链接:https://www.haomeiwen.com/subject/swrnzttx.html