im 选型

作者: pcgreat | 来源:发表于2018-08-31 16:04 被阅读9次

    openfire + hazelcast 插件
    看了下 这片文章 https://blog.csdn.net/zpf336/article/details/70821160 有以下想法

    第一点 ,hazelcast 这货基于 内存分片, 看了hazelcast 架构表示很疑惑 , 就算是基于堆外内存,你在添加以及删除节点时候 ,这个集群是会重分片的 , 如果你的堆外内存很大 ,这时候 ,集群不能工作的时间会很长 ,当然 你可以做另外一件事情 对副本进行拷贝 ,依然提供服务 ,这样又有数据一致性问题 。 所以 你肯定会停

    第二点 内存 不够了 我必须增加 instance 数量 来扩展 , jvm 堆外最大内存是有限制的 ,你应该做不到 动态变更jvm 堆外最大内存能力吧 ,那么 你只有 扩张你了集群了 。但这时候 可能会有 cpu 会很低

    第三点 比如 271 分片 , 理论上 应该上是可以扩展到271个节点 , 每个节点只需要和 自己的副本节点 进行数据拷贝 。先不说271 分片的问题扩展性的问题 , 271个节点中的3个节点 都挂了,其中 分片1 和分片1的2个副本 , 这样整个集群还能用? 还能恢复? 用,可能可以用 , 这个分片上请求失败就行了 ,但是 恢复是不可能咯 , 想到的方法 只能和某一数据库结合或者是将数据写到文件中 ,从数据库或者文件中恢复一法 可行

    既然 hazelcast 感觉上 不靠谱 那么我们是否有办法解决这个事情呢 。

    第一点 我希望 某个 openfire 挂了(堆内,堆外 ,栈) ,不会引起数据的重分片
    第二点 数据存储的内存不够 ,我希望不会挂
    第三点 数据是可以恢复的

    感觉上 就算 用redis 集群方案 替换 hazelcast ,靠谱的多 ,性能上 没有本地内存好 ,但是稳定性上 ,和openfire 隔离上 好得多 。 简单说 ,如果你能保证 hazelcast 扛的住 ,不影响openfire ,也不被openfire 影响 那 hazelcast 就是一个好的选择 ,否则 还是redis吧

    openfire 还有一点问题 ,如果开发自己的业务 ,我必须在openfire 项目写插件 或者改源码的方式去实现 。如果插件有性能问题 ,也会影响到openfire 。 如果业务上能够切分出去就好了 。 我自己的想法是 通过kafka 把业务 openfire 中抽出来 ,然后 openfire 这块 不涉及任何的状态维护,不直接和缓存打交道 ,openfire 变成了一个xmpp 网关了 , 只处理 协议以及io通讯问题 ,业务由业务专门负责。 哪里不够扩展哪里。 kafka 可以作为缓冲 。但是延时会高一些 , 至少不会冲垮 ,后端的业务 。
    有没有 xmpp 网关呢 这个要找找 ,不需要改openfire 直接实现的网关 。

    可能最后 还是看openfire 源码
    业务的定义是什么
    从 client1 到 client2 的 message 算是业务? , 如果 简单 的 从 一个socket接受消息 ,发到另一个socket 去
    个人 觉得 , 不涉及到sql 操作 ,比如message 保存 这样的话 我觉得不算 。
    比如说 我要做消息过滤 , 这时候你要过滤message (简单过滤 ,不依赖于服务) , 我觉得这部分算 。
    这样定义的话 。message 发送 , message 过滤 , message 保存 流程
    openfire 对于在线消息 没有保存的吧 。message 过滤 应该属于 同步流程 , message 保存 可以做成异步 不阻塞 openfire

    看看 session 吧

    /*
     * Copyright (C) 2005-2008 Jive Software. All rights reserved.
     *
     * Licensed under the Apache License, Version 2.0 (the "License");
     * you may not use this file except in compliance with the License.
     * You may obtain a copy of the License at
     *
     *     http://www.apache.org/licenses/LICENSE-2.0
     *
     * Unless required by applicable law or agreed to in writing, software
     * distributed under the License is distributed on an "AS IS" BASIS,
     * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
     * See the License for the specific language governing permissions and
     * limitations under the License.
     */
    
    package org.jivesoftware.openfire.session;
    
    import org.jivesoftware.openfire.privacy.PrivacyList;
    import org.jivesoftware.openfire.user.UserNotFoundException;
    import org.xmpp.packet.Presence;
    
    /**
     * Represents a session between the server and a client.
     *
     * @author Gaston Dombiak
     */
    public interface ClientSession extends Session {
    
        /**
         * Returns the Privacy list that overrides the default privacy list. This list affects
         * only this session and only for the duration of the session.
         *
         * @return the Privacy list that overrides the default privacy list.
         */
        PrivacyList getActiveList();
    
        /**
         * Sets the Privacy list that overrides the default privacy list. This list affects
         * only this session and only for the duration of the session.
         *
         * @param activeList the Privacy list that overrides the default privacy list.
         */
        void setActiveList( PrivacyList activeList );
    
        /**
         * Returns the default Privacy list used for the session's user. This list is
         * processed if there is no active list set for the session.
         *
         * @return the default Privacy list used for the session's user.
         */
        PrivacyList getDefaultList();
    
        /**
         * Sets the default Privacy list used for the session's user. This list is
         * processed if there is no active list set for the session.
         *
         * @param defaultList the default Privacy list used for the session's user.
         */
        void setDefaultList( PrivacyList defaultList );
    
        /**
         * Returns the username associated with this session. Use this information
         * with the user manager to obtain the user based on username.
         *
         * @return the username associated with this session
         * @throws UserNotFoundException if a user is not associated with a session
         *      (the session has not authenticated yet)
         */
        String getUsername() throws UserNotFoundException;
    
        /**
         * Returns true if the authetnicated user is an anonymous user or if
         * the use has not authenticated yet.
         *
         * @return true if the authetnicated user is an anonymous user or if
         * the use has not authenticated yet.
         */
        boolean isAnonymousUser();
    
        /**
         * Flag indicating if this session has been initialized once coming
         * online. Session initialization occurs after the session receives
         * the first "available" presence update from the client. Initialization
         * actions include pushing offline messages, presence subscription requests,
         * and presence statuses to the client. Initialization occurs only once
         * following the first available presence transition.
         *
         * @return True if the session has already been initializsed
         */
        boolean isInitialized();
    
        /**
         * Sets the initialization state of the session.
         *
         * @param isInit True if the session has been initialized
         * @see #isInitialized
         */
        void setInitialized( boolean isInit );
    
        /**
         * Returns true if the offline messages of the user should be sent to the user when
         * the user becomes online. If the user sent a disco request with node
         * "http://jabber.org/protocol/offline" before the available presence then do not
         * flood the user with the offline messages. If the user is connected from many resources
         * then if one of the sessions stopped the flooding then no session should flood the user.
         *
         * @return true if the offline messages of the user should be sent to the user when the user
         *         becomes online.
         */
        boolean canFloodOfflineMessages();
    
        /**
         * Returns true if the user requested to not receive offline messages when sending
         * an available presence. The user may send a disco request with node
         * "http://jabber.org/protocol/offline" so that no offline messages are sent to the
         * user when he becomes online. If the user is connected from many resources then
         * if one of the sessions stopped the flooding then no session should flood the user.
         *
         * @return true if the user requested to not receive offline messages when sending
         *         an available presence.
         */
        boolean isOfflineFloodStopped();
    
        /**
         * Obtain the presence of this session.
         *
         * @return The presence of this session or null if not authenticated
         */
        Presence getPresence();
    
        /**
         * Set the presence of this session
         *
         * @param presence The presence for the session
         */
        void setPresence( Presence presence );
    
        /**
         * Increments the conflict by one and returns new number of conflicts detected on this session.
         *
         * @return the new number of conflicts detected on this session.
         */
        int incrementConflictCount();
    
        /**
         * Indicates, whether message carbons are enabled.
         *
         * @return True, if message carbons are enabled.
         */
        boolean isMessageCarbonsEnabled();
    
        /**
         * Enables or disables <a href="http://xmpp.org/extensions/xep-0280.html">XEP-0280: Message Carbons</a> for this session.
         *
         * @param enabled True, if message carbons are enabled.
         * @see <a href="hhttp://xmpp.org/extensions/xep-0280.html">XEP-0280: Message Carbons</a>
         */
        void setMessageCarbonsEnabled(boolean enabled);
    }
    
    

    ClientSession 保存了联系人列表 ,在线列表 ,当前是否在线 ,是否匿名用户 ,是否所有设备是否支持离线发消息 ,离线接收消息 等等

    这里有个问题 ,比如说 集群的负载均衡 ,用户1 登陆 在instance1 , 用户登陆instance2 ,这时候 用户1 给用户2 发消息 ,也就是说 instance1 必须知道用户2在instance2上 ,把消息转发给用户2 openfire session 是绑定连接的 , 连接这块 是没法共享的 , 但除连接以外的状态 是可以共享的 。

    hazelcast 这种处理session的方式 , 每个instance 都会有它的副本 。 能不能撑的住 就看同时在线用户数 ,以及 jvm 内存能不能扛得住

    所以 openfire 这种 架构体系 , 非要 把session状态 放到jvm 内存中 。 这是最大的问题。 一个应用 不可能搞定所有事 。

    怎么去优化呢
    1.可以通过插件拦截器 拦截所有 packet , 对于 指定业务 , 能异步处理 最好异步处理 。不能异步处理的业务 必须确保没有性能问题 。
    2.缓存框架 这块 ,暂时不知道 怎么动, 看源码再说 ,如果还是用 hazelcast ,必须做好告警
    ,比如堆内 ,堆外内存 已经使用了50% ,这时候 要下发邮件 短信的方式 告知业务负责人。以防有变
    3.如果缓存 框架 重构 , 需要很多的工时的 ,难度也很大 。

    准备尝试利用 hazelcast 集群的能力 ,数据存储替换成redis 写个demo 看下

    相关文章

      网友评论

        本文标题:im 选型

        本文链接:https://www.haomeiwen.com/subject/pnnswftx.html