美文网首页
SolrCloud,一个分布式搜索方案

SolrCloud,一个分布式搜索方案

作者: lhsjohn | 来源:发表于2019-03-03 23:40 被阅读0次

    最近搞分布式搜索服务的实现,一直受到性能的瓶颈制约,单机版的solr服务对于少数用户体验还可以,但是涉及到几千的并发的时候,难免会造成性能的突然下降。

    下面是一套利用solr和zookeeper实现的分布式搜索架构方案

    Solr集群的系统架构

    2018-08-14-1.png

    三个Solr实例( 每个实例包括两个Core),组成一个SolrCloud。

    索引集合包括两个Shard(shard1和shard2),shard1和shard2分别由三个Core组成,其中一个Leader两个Replication,Leader是由zookeeper选举产生,zookeeper控制每个shard上三个Core的索引数据一致,解决高可用问题。
    用户发起索引请求分别从shard1和shard2上获取,解决高并发问题。

    Collection在SolrCloud集群中是一个逻辑意义上的完整的索引结构。它常常被划分为一个或多个Shard(分片),它们使用相同的配置信息。
    比如:针对商品信息搜索可以创建一个collection。
    collection=shard1+shard2+....+shardX

    每个Core是Solr中一个独立运行单位,提供 索引和搜索服务。一个shard需要由一个Core或多个Core组成。由于collection由多个shard组成所以collection一般由多个core组成。

    Master是master-slave结构中的主结点(通常说主服务器),Slave是master-slave结构中的从结点(通常说从服务器或备服务器)。同一个Shard下master和slave存储的数据是一致的,这是为了达到高可用目的。

    Collection的逻辑分片。每个Shard被化成一个或者多个replication,通过选举确定哪个是Leader。

    下面是我的实现方案

    2018-08-14-2.png

    下面是大体的实现步骤

    第一步:创建四个tomcat实例。每个tomcat运行在不同的端口。8180、8280、8380、8480

    第二步:部署solr的war包。把单机版的solr工程复制到集群中的tomcat中。

    第三步:为每个solr实例创建一个对应的solrhome。使用单机版的solrhome复制四份。

    第四步:需要修改solr的web.xml文件。把solrhome关联起来。

    第五步:配置solrCloud相关的配置。每个solrhome下都有一个solr.xml,把其中的ip及端口号配置好。

    第六步:让zookeeper统一管理配置文件。需要把solrhome/collection1/conf目录上传到zookeeper。上传任意solrhome中的配置文件即可。

    第七步:修改tomcat/bin目录下的catalina.sh 文件,关联solr和zookeeper。 把此配置添加到配置文件中: JAVA_OPTS="-DzkHost=192.168.25.154:2181,192.168.25.154:2182,192.168.25.154:2183"

    第八步:启动每个tomcat实例。要包装zookeeper集群是启动状态。

    第九步:访问集群

    第十步:创建新的Collection进行分片处理。 http://192.168.25.154:8180/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2

    第十一步:删除不用的Collection。 http://192.168.25.154:8180/solr/admin/collections?action=DELETE&name=collection1

    在java中我们可以使用solrJ来对集群进行操作

    使用步骤: 第一步:把solrJ相关的jar包添加到工程中。

    第二步:创建一个SolrServer对象,需要使用CloudSolrServer子类。构造方法的参数是zookeeper的地址列表。

    第三步:需要设置DefaultCollection属性。

    第四步:创建一SolrInputDocument对象。

    第五步:向文档对象中添加域

    第六步:把文档对象写入索引库。

    第七步:提交。

    最后来一段测试java代码

    @Test
        public void testSolrCloudAddDocument() throws Exception {
            // 第一步:把solrJ相关的jar包添加到工程中。
            // 第二步:创建一个SolrServer对象,需要使用CloudSolrServer子类。构造方法的参数是zookeeper的地址列表。
            //参数是zookeeper的地址列表,使用逗号分隔
            CloudSolrServer solrServer = new CloudSolrServer("192.168.25.154:2181,192.168.25.154:2182,192.168.25.154:2183");
            // 第三步:需要设置DefaultCollection属性。
            solrServer.setDefaultCollection("collection2");
            // 第四步:创建一SolrInputDocument对象。
            SolrInputDocument document = new SolrInputDocument();
            // 第五步:向文档对象中添加域
            document.addField("item_title", "测试商品");
            document.addField("item_price", "100");
            document.addField("id", "test001");
            // 第六步:把文档对象写入索引库。
            solrServer.add(document);
            // 第七步:提交。
            solrServer.commit();
    
        }
    
    
    
    

    完毕!

    作者: lhsjohn

    相关文章

      网友评论

          本文标题:SolrCloud,一个分布式搜索方案

          本文链接:https://www.haomeiwen.com/subject/ffpvuqtx.html