美文网首页ElasticSearch深度解析
[7]elasticsearch源码深入分析——client通信

[7]elasticsearch源码深入分析——client通信

作者: 飞来来 | 来源:发表于2018-01-14 22:22 被阅读102次

    本篇为elasticsearch源码分析系列文章的第七篇,由于接触到作为客户端和ElasticSearch集群通信,所以本篇以ElasticSearch的Client的通信为出发点,讲解有关Client通信和负载均衡的有关详情,叙述的不好或不对的地方还请大家指正:)

    如何与集群(Cluster)通信

    使用Node与cluster通信
    Node node = NodeBuilder.nodeBuilder().clusterName("yourclustername").client(true).node();
    Client client = node.client(); 
    
    因为该节点是仅仅是作为一个客户端而不用保存数据,所以必须设置client(true)。
    
    使用TransportClient与cluster通信

    5.0.0版本之前可以通过如下的代码来构建TransportClient,

    通过指定名称来创建

    Settings settings = Settings.settingsBuilder().put("cluster.name", "es-client").put("client.transport.sniff", true).build();
    TransportClient transportClient = TransportClient.builder().settings(settings).build();
    

    通过IP地址来创建

    TransportClient transportClient = TransportClient.builder().build().addTransportAddress(new InetSocketTransportAddress("192.168.1.100", 9300));
    

    通过同网段嗅探来创建

    Settings settings = Settings.settingsBuilder().put("client.transport.sniff", true).build();
    TransportClient transportClient = TransportClient.builder().settings(settings).builder();
    

    如果设置client.transport.sniff为true,表示客户端去嗅探整个cluster的状态,把集群中其它机器的ip地址加到客户端中,这样做的好处是一般你不用手动设置集群里所有集群的ip到连接客户端,它会自动帮你添加,并且自动发现新加入集群的机器。

    但在5.0.0版本之后新增了PreBuiltTransportClient类,而TransportClient变为Abstract类型,且被PreBuiltTransportClient继承。该类的主要意图是,指定在创建TransportClient时必须加载以下的插件:

    • Netty4Plugin
    • ReindexPlugin
    • PercolatorPlugin
    • MustachePlugin
    • ParentJoinPlugin

    可见这些插件是节点的必备插件。所以5.0.0版本以后的TransportClient的创建方式变为:

    PreBuiltTransportClient(Settings settings, Class<? extends Plugin>... plugins);
    

    注:集群名称和嗅探模式可以在Settings中设置,而TransportAddress依旧可以通过addTransportAddress方法来设置。

    TransportClient中TransportClient加载插件的代码

    加载插件

    可以看到用到了代理,TransportClient的部分API都是TransportClientNodesService进行代理的

    初始化TransportClientNodesService

    client单次请求流程

    客户端请求的详细流程如下:

    先是实例化部分:

    • 1.PreBuiltTransportClient(Settings, plugins, hostFailureListenter)实例化
    • 2.super实例化TransportClient
    • 3.TransportClient执行buildTemplate方法
    • 4.buildTemplate方法中实例化TransportClientNodesService类的对象nodesService

    然后是请求部分:

    • 1.请求从AbstractClient的不同请求方法中进入(如bulk,clearScroll,delete,explain,fieldCaps,get,index,multiGet,mutiSearch,multiTermVectors,search,searchScroll,termVectors,update)
    • 2.执行AbstractClient的execute(action, Request,listener)
    • 3.执行TransportClient的doExecute方法,执行TransportClient中proxy的execute
    • 4.执行TransportProxyClient的execute方法
    • 5.执行TransportClientNodesService实例nodesService的execute方法
    • 6.调用NodeListenerCallback回调方法doWithNode
    • 7.执行TransportActionNodeProxy的execute方法
    • 8.执行TransportService的sendRequest方法
    • 9.TransportService调用sendRequest后的回调依次回传
      • TransportActionNodeProxy
      • NodeListenerCallback
      • TransportClientNodesService
      • TransportClient

    整个客户端模块的简要流程如下:

    • client 提供了客户端的操作接口,比如count()
    • 代理端TransportClientNodesService的execute()随机一个节点出来
    • 代理端TransportClientNodesService通过transportService发送请求

    Client的负载均衡

    Client的负载均衡是通过TransportClientNodesService类实现的。TransportClientNodesService实例维护一组DiscoveryNode引用,每次客户端请求的时候,会根据负载均衡算法选中一个节点(DiscoveryNode),发送请求。常用的负载算法有Random,Round robin,Hash,StaticWeighted等。ES的客户端负载使用了Round robin算法。

    此外TransportClientNodesService还负责嗅探,维护集群节点列表,选举节点的工作。

    注入TransportClientNodesService

    TransportClientNodesService的实例化首先注入了集群名称,线程池,最小兼容版本,客户端传输采样时间间隔,ping超时时间。然后配置了节点采样模型NodeSampler。NodeSampler接口很简单,只有一个sample()方法,它的实现类有2个SniffNodesSampler和SimpleNodeSampler,我们在初始化里已经看到了,如果"sniff"配置项是true的话使用SniffNodesSampler类。

    两个实现类如下

    • 嗅探同一集群中的所有节点(SniffNodesSampler,client会主动发现集群里的其他节点,即使节点不在配置文件中,会创建fully connect)
    • 或者是只关注配置文件配置的节点(SimpleNodeSampler,ping listedNodes(也就是配置中设置的节点)中的所有node,区别在于这里创建的都是light connect)

    简单的说,SimpleNodeSampler会限制当前可用client一定是在配置中设置的节点中的,这样的意图是让集群中的某些节点专门用来负责接收用户请求,而SniffNodesSampler会使用所有发现的节点,让其参与负载,即使这个节点不在配置中。

    得到集群节点列表后,代理端TransportClientNodesService在每次execute时,就可以通过getNodeNumber方法随机获取节点。

    如下图:

    execute方法调用getNodeNumber 关键的节点选择代码

    数据写入

    节点是如何写入的呢? 在TransportClient的buildTemplate方法中,实例化TransportService的步骤中,通过networkModule的getRransportInterceptor方法得到的TransportInterceptor实例就是通过nettychannel写入数据的地方,如下图:

    实例化TransportClient 实例化TransportService

    数据还是通过上文的NodeSampler实例来写入的,FutureTransportResponseHandler设置回调操作,如下图:

    NodeSampler

    遍历所有的数据节点,写入到新节点里面

    数据写入

    相关文章

      网友评论

        本文标题:[7]elasticsearch源码深入分析——client通信

        本文链接:https://www.haomeiwen.com/subject/bcciwxtx.html