美文网首页
在Solr中启用定时器自动更新(增量)

在Solr中启用定时器自动更新(增量)

作者: 丶晓虎 | 来源:发表于2019-05-24 10:23 被阅读0次

    最近了解了全文检索的工具Solr,这个工具可以添加分词工具,还可以分页,看起来较为不错了,但是更新索引的操作还是需要手动来执行,在网上找了几圈的定时器更新,各有不同,于是乎尝试了下,成功了写下这个过程。
    先下载solr-dataimport-scheduler.jar
    百度云提取码:ntjc

    放置Jar包

    我用的是Solr8.0,运行环境为Tomcat 8.0,JDK1.8
    在webapps下有两个包,一个solr,一个solrhome。
    将下载好的jar包放入\solr\WEB-INF\lib下即可。

    配置属性包

    • 若要让定时器能够执行,需要更改2个xml和1个配置文件

    web.xml

    该文件位于

    \solr\WEB-INF\web.xml
    

    在第一个servlet标签前添加

    <listener>
         <listener-class>
             org.apache.solr.handler.dataimport.scheduler.ApplicationListener
          </listener-class>
    </listener>
    

    data-config.xml

    该文件位于

    \solrhome\gisutil\data-config.xml
    

    其中gisutil为你自定义的core

    <dataConfig>
        <!-- 数据库信息 -->
        <dataSource type="JdbcDataSource" 
            driver="com.mysql.cj.jdbc.Driver" 
                    url="jdbc:mysql://192.168.1.24:3306/gisutil?useUnicode=true&amp;characterEncoding=utf8&amp;userSSL=false&amp;serverTimezone=GMT%2B8"
            user="root" password="123456"/>
        <document>
            <!-- document实体 -->
            <!-- 数据库字段映射solr字段 -->  
            <entity name="PH_HOUSE" pk="id"  query="select * from  PH_HOUSE"
             deltaImportQuery="select * from PH_HOUSE where PH_HOUSE_ID='${dih.delta.id}'" 
            deltaQuery="SELECT PH_HOUSE_ID as id FROM PH_HOUSE where updateTime >'${dataimporter.last_index_time}'"
            >   <field column="PH_HOUSE_ID" name="id"/>
                <field column="SIT" name="SIT"/>
                <field column="PP_SIT" name="PP_SIT"/>
            </entity>
        </document>
    </dataConfig>
    

    在上述代码中

    driver为你配置的数据地址,我这里用的是mysql
    

    要添加定时索引需要配置的是entity 并在其中添加

    deltaImportQuery="select * from PH_HOUSE where PH_HOUSE_ID='${dih.delta.id}'" 
    
    deltaQuery="SELECT PH_HOUSE_ID as id FROM PH_HOUSE where updateTime >'${dataimporter.last_index_time}'"
    

    因为是增量更新,所以需要有一个字段来断定是否是最近新增、修改、删除的数据,所以需要在表中添加updateTime字段


    image.png
    pk='id' 
    

    这里使用id作为主键,注意pk="id" 不能随便改 ,需要和schema.xml中的<uniqueKey>id</uniqueKey>匹配,否则会报“ org.apache.solr.common.SolrException: Document is missing mandatory uniqueKey field: id”

    PH_HOUSE 、PH_HOUSE_ID、updateTime 
    

    分别为表和主键ID以及更新标识,修改为自己需要的内容,注意在deltaQuery中必须将主键名as id

    <field column="PH_HOUSE_ID" name="id"/>
    

    主键ID,记得name必须为id

    managed-schema

    该文件位于

    \solrhome\gisutil\managed-schema
    

    可以用记事本打开修改。

    <field name="updateTime" type="pdate" indexed="true" stored="true"/>
    

    建议将update加入索引

    配置定时器

    在solrhome/gisutil(gisutil改成自己的core)建立config文件夹,并在其中建立dataimport.properties

    #################################################
    #                                              #
    #      dataimport scheduler properties        #
    #                                              #
    #################################################
     
    #  tosync or not to sync
    #  1- active; anything else - inactive
    # 这里的配置不用修改
    syncEnabled=1
     
    # which cores to schedule
    #  ina multi-core environment you can decide which cores you want syncronized
    # leave empty or comment it out if using single-core deployment
    #  修改成你所使用的core,我这里是我自定义的core:simple
    syncCores=solr_db_scheduler
     
    # solr server name or IP address
    # [defaults to localhost if empty]
    这个一般都是localhost不会变
    server=localhost
     
    # solr server port
    # [defaults to 80 if empty]
    #  安装solr的tomcat端口,如果你使用的是默认的端口,就不用改了,否则改成自己的端口就好了
    port=8983
     
    # application name/context
    # [defaults to current ServletContextListener's context (app) name]
    #  这里默认不改
    webapp=solr
     
    # URL params [mandatory]
    # remainder of URL
    #  这里改成下面的形式,solr同步数据时请求的链接
    params=/dataimport?command=delta-import&clean=false&commit=true
     
    # schedule interval
    # number of minutes between two runs
    # [defaults to 30 if empty]
    #这里是设置定时任务的,单位是分钟,也就是多长时间你检测一次数据同步,根据项目需求修改
    #  开始测试的时候为了方便看到效果,时间可以设置短一点
    interval=1
     
    #  重做索引的时间间隔,单位分钟,默认7200,即5天;
    #  为空,为0,或者注释掉:表示永不重做索引
    reBuildIndexInterval=7200
     
    #  重做索引的参数
    reBuildIndexParams=/select?qt=/dataimport&command=full-import&clean=true&commit=true
     
    #  重做索引时间间隔的计时开始时间,第一次真正执行的时间=reBuildIndexBeginTime+reBuildIndexInterval*60*1000;
    #  两种格式:2012-04-11 03:10:00 或者 03:10:00,后一种会自动补全日期部分为服务启动时的日期
    reBuildIndexBeginTime=03:10:00
    

    上面是网上搜到的,在实际运行最终只要运行一次注释都会没了,下面是我本地的

    #Fri May 24 09:36:13 CST 2019
    PH_HOUSE.last_index_time=2019-05-24 09\:36\:11
    interval=1
    port=8088
    server=localhost
    params=/dataimport?command\=delta-import&clean\=false&commit\=true
    webapp=solr
    reBuildIndexInterval=1440
    syncEnabled=1
    last_index_time=2019-05-24 09\:36\:11
    reBuildIndexBeginTime=03\:10\:00
    reBuildIndexParams=/select?qt\=/dataimport&command\=full-import&clean\=true&commit\=true
    syncCores=gisutil
    

    以上就配置完成了
    配置完成后可以启动Tomcat,在


    image.png

    中进行搜索,搜到1条记录,然后我们添加一条数据


    image.png
    大约过1分钟我们再次查询,这时候可以看到tomcat记录
    image.png
    再次查询可以看到已经更新了
    image.png

    相关文章

      网友评论

          本文标题:在Solr中启用定时器自动更新(增量)

          本文链接:https://www.haomeiwen.com/subject/thvwzqtx.html