Django引入全文检索

全文检索

• 什么是全文检索
  • 全文检索就是针对所有内容进行动态匹配搜索的概念，针对特定的关键词进行建立索引并精确匹配达到性能优化的目的
• 为什么引入全文检索
  • 最常见的全文检索就是我们在数据库中进行的模糊查询，但是模糊查询是针对整体内容的一个动态匹配过程，在数据量较大的情况下匹配效率极低，常规项目中数据量一般都比较多并且内容繁杂，所以正常的项目搜索功能中很少会使用模糊查询进行操作
  • PS：如果你开发的项目用户量较少并且项目数据较少的情况下，模糊查询是你值得操作的选项，毕竟开发成本较低
• python一般用什么全文检索
  • Python提供了各种全文检索的模块进行，最常见的如haystack模块进行全文检索整体管理操作，后台使用诸如whoosh、solr、Xapain、Elasticsearc全文搜索引擎进行操作，其中whoosh是纯python开发的全文搜索引擎，可以方便稳定的进行数据的检索操作功能，并在实际操作过程中结合jieba中文分词模块对中文进行分词操作，达到最优的操作成本，是目前项目中较为流行的一种全文检索方式

---

安装全文检索

• 官方文档
• 安装全文检索管理模块 haystack、全文搜索引擎模块 whoosh和中文分词 jieba

    >>> pip install haystack whoosh jieba

• Django项目中添加haystack应用

    INSTALLED_APPS = [
         ......
         # 这个模块添加到所有子应用模块的前面
         'haystack',
    ]

• 项目中添加搜索引擎配置

# 修改Django项目配置文件，添加搜索引擎配置选项[项目settings.py配置文件]

    # 搜索引擎配置
    HAYSTACK_CONNECTIONS = {
         ‘default’: {
              ‘ENGINE’: ‘haystack.backends.whoosh_cn_backend.WhooshEngine’,
              ‘PATH’: os.path.join(BASE_DIR, ‘whoosh_index’),
          }
    }

    # 自动更新加载中文分词索引支持
    HAYSTACK_SIGNAL_PROCESSOR = ‘haystack.signals.RealtimeSignalProcessor’

• 配置全文检索路由

    # 全文检索搜索过程是由haystack模块进行操作的，
    # 所以搜索路由操作交给haystack进行处理，修改路由配置文件如下：

    urlpatterns = [
          url(r’^search/$’, include(‘haystack.urls’)),
    ]

• 搜索管理模块

    # 搜索管理模块
    # 在应用模块下创建search_indexes.py模块文件，管理搜索的数据模型
    from haystack improt indexes
    from . import models
     
    # 文章类的搜索类   
    class ArticleIndex(indexes.SearchIndex, indexes.Indexable):
         # 内容搜索
         text = indexes.CharField(document=True, use_template=True)
         # 根据作者搜索
         author = indexes.CharField(model_attr='user')
         # 时间搜索
         pub_date = indexes.DateTimeField(model_attr='pub_date')

         def get_mode(self):
              return modles.Article  # 返回要搜索的数据模型

         def index_queryset(self, using=None):
              return self.get_mode().objects.all()

• 搜索信息管理文件

 # 在应用目录 templates/ 中创建 search/indexes/ 模型名称_text.txt 文件，编辑可搜索内容
    {{object.content}}
    {{object.user}}
    ......

• 构建搜索结果展示

{% if query %}
        <h3>搜索结果如下：</h3>
        {% for result in page.object_list %}
              <a href="/{{ result.object.id }}/">{{ result.object.gName }}</a><br/>
        {% empty %}
              <p>啥也没找到</p>
        {% endfor %}

        {% if page.has_previous or page.has_next %}
              <div>
                  {% if page.has_previous %}
                       <a href="?q={{ query }}&amp;page={{ page.previous_page_number }}">
                            &laquo; 上一页</a>
                  {% else %}
                        &laquo; 上一页
                  {% endif %}
                  |
                  {% if page.has_next %} 
                        <a href="?q={{ query }}&amp;page={{ page.next_page_number }}">
                             下一页 &raquo;</a>
                  {% else %}
                        下一页 &raquo;
                  {% endif %}
              </div>
         {% endif %}
{% endif %}

• 构建中文分词分析模块【改写haystack的分词模块】
  • whoosh作为一个全文搜索引擎模块，分词功能和检索功能已经非常强大，但是针对中文的处理还是比较欠缺，所以通过Jieba模块重写分词操作，支持whoose对中文的强大操作
• 创建一个新的中文分词模块ChineseAnalyzer.py 文件
  • 打开安装的whoosh模块目录，在python安装目录的site_packages/目录下找到对应的目录文件haystack/backends/，创建文件

import jieba
from whoosh.analysis import Tokenizer, Token

class ChineseTokenizer(Tokenizer):
      def __call__(self, value, positions=False, chars=False,keeporiginal=False, 
                           removestops=True,start_pos=0, start_char=0, mode='', **kwargs):
                 t = Token(positions, chars, removestops=removestops, mode=mode,**kwargs)
                 seglist = jieba.cut(value, cut_all=True)
             for w in seglist:
                  t.original = t.text = w
                  t.boost = 1.0
                  if positions:
                       t.pos = start_pos + value.find(w)
                  if chars:
                       t.startchar = start_char + value.find(w)
                       t.endchar = start_char + value.find(w) + len(w)
                     yield t
       def ChineseAnalyzer():
              return ChineseTokenizer()

• 创建 whoosh_cn_backend.py 文件
  • 找到 whoosh 中文分词模块 site_packages/haystack/backends/ 目录中的分词后台处理文件 whoosh_backend.py ，复制为 whoosh_cn_backend.py ，编辑修改内部内容

    # 导入创建的jieba 中文分词模块
    from .ChineseAnalyzer import ChineseAnalyzer
    ......
    # 搜索查询赋值参数
    analyzer=StemmingAnalyzer()
    # 将分析器对象更改为我们自定义的中文分词分析器
    analyzer=ChineseAnalyzer()

• 初始化分词索引

    # 完成上述工作之后，中文分词全文检索已经完成。
    # 项目中支持对Article数据对象的中文分词全文搜索功能了，接下来进行索引数据的初始化

    >>> python manage.py rebuild_index

    # 输入 y 确认，直到显示 successfully 初始化成功。

• 搜索

    # 在需要搜索功能的网页中，添加搜索表单
    <form action=’/search/’ target=’_blank’>
    <input type=’text’ name=’q’ placeholder=’请输入关键词’/>
    <input type=’submit’ value=’搜索’/>
    </form>