Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。无论在开源还是专有领域,Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。
但是,Lucene只是一个库。想要使用它,你必须使用Java来作为开发语言并将其直接集成到你的应用中,更糟糕的是,Lucene非常复杂,你需要深入了解检索的相关知识来理解它是如何工作的。
Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单。
如果没有搜索引擎,单单凭借Mysql提供的简单搜索功能,无论在性能还是效果上都不尽如人意,继承程序猿的折腾属性,决定将自己的博客插上Elasticsearch的翅膀。
安装 Oracle JDK#
sudo apt-get update
sudo apt-get install openjdk-8-jdk
安装 Elasticsearch#
-
下载
wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-2.3.4.deb sudo dpkg -i elasticsearch-2.3.4.deb
目前ElasticSearch的中文分词插件IK最高版本为1.9.4,兼容Elasticsearch的2.3.4版本。
-
安装
sudo dpkg -i elasticsearch-2.3.4.deb
-
开机自启动
sudo update-rc.d elasticsearch defaults 95 10 sudo service elasticsearch start
-
测试
curl http://localhost:9200
你如果你看到以下信息,说明你的ElasticSearch已安装成功。
{
"name" : "Peter Petruski",
"cluster_name" : "elasticsearch",
"version" : {
"number" : "2.3.4",
"build_hash" : "...(隐藏)",
"build_timestamp" : "2016-06-30T11:24:31Z",
"build_snapshot" : false,
"lucene_version" : "5.5.0"
},
"tagline" : "You Know, for Search"
}
默认情况下 Elasticsearch 的 RESTful 服务只有本机才能访问,也就是说无法从主机访问虚拟机中的服务。为了方便调试,可以修改
/etc/elasticsearch/config/elasticsearch.yml
文件,加入以下两行:
network.bind_host: “0.0.0.0"
network.publish_host: \_non_loopback:ipv4_
安装中文分词插件 IK#
Elasticsearch原装分词器会简单地拆分每个汉字,没有根据词库来分词,这样的后果就是搜索结果很可能不是你想要的。这里推荐使用elasticsearch-analysis-ik,支持自定义词库。
-
下载
wget https://github.com/medcl/elasticsearch-analysis-ik/archive/v1.9.4.tar.gz
-
解压
tar -xvf elasticsearch-analysis-ik.tar.gz
-
使用maven打包该java项目
cd elasticsearch-analysis-ik-1.9.4 mvn package
-
在plugins目录下创建ik目录,并将打包好的IK插件解压到其中
mkdir /usr/share/elasticsearch/plugins/ik unzip target/releases/elasticsearch-analysis-ik-1.9.4.zip -d /usr/share/elasticsearch/plugins/ik/
elasticsearch-analysis-ik 的配置文件在
~/{es_root}/plugins/ik/config/ik/
目录,很多都是词表,直接用文本编辑器打开就可以修改,改完记得保存为 utf-8 格式。
现在再启动 Elasticsearch 服务,如果看到类似下面这样的信息,说明 IK Analysis 插件已经装好了
plugins [analysis-ik]
使用 Elasticsearch#
在使用之前,先大概了解下ES的特点:
网上通常会将Elasticsearch和传统关系型数据库Mysql做一下类比:
MySQL | Elasticsearch |
---|---|
Database(数据库) | Index (索引) |
Table(表) | Type (类型) |
Row (行) | Document (文档) |
Column (列) | Field (字段) |
Schema (方案) | Mapping (映射) |
Index (索引) | Everything Indexed by default (所有字段都被索引) |
SQL (结构化查询语言) | Query DSL (查询专用语言) |
Elasticsearch不仅仅是全文搜索:
- 分布式的实时文件存储,每个字段都被索引并可被搜索
- 分布式的实时分析搜索引擎
- 可以扩展到上百台服务器,处理PB级结构化或非结构化数据
分布式、实时、每个字段、PB级,有点不明觉厉~ 不要慌,刚认识不熟悉很正常,慢慢接触,自然就熟络了,stop getting off track(回归正题),想要详细认识ES,请移步Elasticsearch权威指南,接下来就是一步步将ES集成进项目当中:
1. 使用package
可以直接使用官方提供的package,由于不想花时间重复造轮子,我直接使用进一步封装的第三方package。在github上有好几个可用的,我选了Elasticquent,部分是因为名字和laravel的Eloquent比较搭(笑...)。Elasticquent提供了简洁好用的trait,直接集成进你的Model里,例如Article:
...
use Elasticquent\ElasticquentTrait;
class Article extends Model
{
use ElasticquentTrait;
...
}
然后就可以优雅的使用Elasticsearch了,具体如何安装使用,请参考Elasticquent的说明文档。
2. 配置Mapping
关于Mapping(映射),我找到了一篇专门介绍它的文章(传送们),通俗易懂。
文章中提到,mapping不仅告诉ES一个field中是什么类型的值, 它还告诉ES如何索引数据以及数据是否能被搜索到。
Got it! 也就是说,如果我们不配置mapping,那ES就不会知道我们是想让它按照IK的分词方式来进行索引咯~
到这里,不得不说这是一个坑,目前网上的很多资料因为使用的是老版本的ES和IK,所以index和mapping的配置一般都放在es的配置文件yml当中。但我按照那种配置方法,并没有达到预期的分词效果,ES还是简单粗暴的将汉字一个个的切开,屡败屡战折腾两天之后,终于想到试着使用Elasticquent说明文档里在Model中配置mapping的方式,果然,豁然开朗:
curl -XGET 'http://localhost:9200/_analyze?analyzer=ik&pretty=true&text=%e4%bd%a0%e5%a5%bd%e9%ba%a6%e8%82%af%e5%85%88%e7%94%9f'
{
"tokens" : [ {
"token" : "你好",
"start_offset" : 0,
"end_offset" : 2,
"type" : "CN_WORD",
"position" : 0
},
{
"token" : "麦",
"start_offset" : 2,
"end_offset" : 3,
"type" : "CN_WORD",
"position" : 1
}, {
"token" : "肯",
"start_offset" : 3,
"end_offset" : 4,
"type" : "CN_WORD",
"position" : 2
}, {
"token" : "先生",
"start_offset" : 4,
"end_offset" : 6,
"type" : "CN_WORD",
"position" : 3
}]
}
附上我的mapping配置代码
protected $mappingProperties = array(
'title' => array(
'type' => 'string',
'analyzer' => 'ik_max_word'
),
'content' => array(
'type' => 'string',
'analyzer' => 'ik_max_word'
)
);
可以看出,我告诉ES,我的title和content字段是string类型而且请按照ik的分词方式帮我检索。
3. 创建索引
直接使用Elasticquent提供的createIndex方法创建,如果想把现有文档全部索引,可以使用addAllToIndex方法,简单愉快。
Article::createIndex($shards = null, $replicas = null);
Article::addAllToIndex();
4. 增删改查
在你的控制器里的增删改查方法中,将Elasticquent提供的相应操作索引的方法依次加上即可,完成之后,那么你对文档的操作就会同步ES的索引了。具体代码请直接移步Elasticquent开源项目中trait里的代码就好,这里不再贴出。
写在最后#
在此之前,了解过sphinx,使用过配置好的xunsearch,但真正自己从零开始研究全文搜索引擎还是头一次,中间遇到了许多坑,虽然被坑郁闷,但也感谢这些坑,毕竟越过去就会有快感。写这篇文章一来作为纪念和起点,二来希望能多少对别人有点帮助,因为我也是看过好多相关的文章才一点点将ES搭建完成,在这里感谢那些乐于分享的前辈。
当然,Elasticsearch功能很强大,各种插件各种配置,这篇文章需要完善的地方还有很多,后期会不断更新,如果文中有错误或者不严谨的地方,欢迎留言交流。
PS. 最后贴出我项目中的Dockerfile,方便感兴趣的同学使用。
原文链接:https://macken.me/article/elasticsearch-for-search
https://laravel-china.org/articles/2765/elasticsearch-in-order-to-search
网友评论