美文网首页
面经:业务开发中你用到了哪些算法(续)?

面经:业务开发中你用到了哪些算法(续)?

作者: 一猿小讲 | 来源:发表于2019-12-06 07:42 被阅读0次
    图片来源于网络

    上次我们一起聊了聊普通 hash 算法在实际中的应用,但是按照一猿小讲的风格,绝不能止于应用,为了能让面试官再喝一壶,还是要稍微升华一下,话不多说,本期的分享正式开始(建议一定要读到最后)。

    01. 闷头看代码

    一、回首上期,提炼精华。

    栗1:假如订单表要分 3 张,首先用当前数据库的时间与某一固定的时间计算出的相差的天数 days;然后用 days % 3 算出当前数据应该放到订单表的下标。

    庖丁解牛,解剖栗子。

    步骤1:days 是当前时间(key)与某一固定的时间计算出的相差的天数,简化为 days = function(key);

    步骤2:订单表分 3 张,那么订单表的下标 = days % 3;

    结论1:int position = function(key) % 3

    栗2:假如数据库要分 dbNum 节点,首先用分库依据字段 key 经过 crc32 加工得到值 x;然后用 x % dbNum 算出当前数据落到对应库的下标。

    庖丁解牛,解剖栗子。

    步骤一:x 是经过 crc32 加工之后的值,简化为 x = function(key);

    步骤二:数据库分 dbNum 节点,那么数据库的下标 = x % dbNum;

    结论2:int position = function(key) % dbNum

    栗3:假如在 dbNum 个数据库下再分 tableNum 张表,首先用分库依据字段 key 经过 crc32 加工得到值 x;然后用 x % tbaleNum 算出当前数据落到对应表的下标。

    庖丁解牛,解剖栗子。

    步骤一:x 是经过 crc32 加工之后的值,简化为 x = function(key);

    步骤二:表共分 tableNum 张表,那么当前数据对应表的下标 = x % tableNum;

    结论3:int position = function(key) % tableNum

    二、抽象共性,沉淀精华。

    结论1:int position = function(key) % 3

    结论2:int position = function(key) % dbNum

    结论3:int position = function(key) % tableNum

    通过上述栗子的三个结论,我们很容易得出如下表达式。

    long position = function(key) % num

    汗颜,一个非常简单的问题,被我讲的那么复杂(实在汗颜)。

    三、归根结底、总而言之。

    long position = function(key) % num

    一定要牢记这个公式,真的很有用呦,后面也会反复用!因为一行简单的表达式,就轻松解决了我们实际应用中分库分表的问题。

    02. 低头忆往昔

    你有没有经过这样一种场景,在开发、测试环境你开发的 WEB 网站,登录成功后访问其它页面都畅通无阻,但是一旦部署到生产上问题就出现了,网站登录成功后一刷新页面,就会跳转到登录页面让重新登录... ... 自己脑补那种闹鬼似的场景吧(有同感的今天一定要点个“在看”)。

    估计多数研发人员都遇到过,分析原因无非如下:

    分析一:开发、测试环境都是部署一台 WEB 网站服务,登录成功之后,验证其它功能贼啦溜;

    分析二:生产环境一般为了屏蔽单点故障,都会部署多份服务,导致请求到一台服务上登录成功后,再请求到另外一台时还是提示未登录,感觉就是见了鬼;

    结论:研发人员没有针对 Session 做共享存储,其实也就是没有写到 Redis,也就是说服务端研发人员没有维护 Session 的信息。

    但是,这口锅谁来背?其实往往这个时候考虑的不是让谁背锅,而是要快速解决问题,不能让用户拒之于网站千里之外,临时改代码肯定是来不及啦,快而稳的临时解决方式,便是让运维同事在 Nginx 上做一个 ip_hash,而且效果往往会很好。

    但是后端研发人员还是需要尽快修复 Bug,因为 ip_hash 的方式不是很推荐使用,另外谨记一点是:研发人员能做的事情,尽量不要依赖外围系统去做。

    为什么 ip_hash 能帮我们临时解决会话的问题呢?因为它能够让用户(某 ip)在一段时间内的请求,只请求到固定的某台 WEB 服务器中,这样会话就会保持,就不会再出现网站登录成功之后,再访问其它页面时又重新跳转到登录页面的情况啦。

    但是,Nginx 是怎么做到的呢?不妨我们举头望望远方,学学人家是咋实现的。

    03.举头望远方

    首先下载 nginx-1.17.6 版本的安装包,来个一窥到底(你可以忽略,直接看结果就可以啦)。

    下载链接:https://nginx.org/en/download.html?_ga=2.182537958.1901173857.1575548135-854843835.1575548135

    其它的细枝末节都可以忽略,主要看圈住的重点,看似很难懂,但是回归本质,把咱们开篇的结论拿来套用一下。

    long position = function(key) % num

    仔细去看,圈住的两部分不就是在执行 function(key) % num 吗?!只不过算法比我们的稍微复杂了很多,但是目标却是一致的,都是在获取数据应该落地的位置。这里只不过是为了找出用户发起请求的客户端的 IP, 对应的目标机器列表中的序号 p,然后选择出对应的服务器。

    到这,估计你会晕菜,不过抽象去看,只要搞懂咱们开篇的那个结论,今晚就可以吃鸡、大吉大利。

    举头望远方,远方却流浪,为什么流浪,流浪远方,流浪。

    铺垫了这么多,是该到升华的时候了。

    拿出我们开篇的结论 long position = function(key) % num如果我们把 function(key) 理解成计算 key 的 hash 值(例如咱们用过的 CRC32),然后除以机器的总数(serverListSize),那么总能得出 key 要落到的机器节点下标,进而通过下标得出对应的机器节点 targetServer。

    targetServer = serverList[hash(key) % serverList.size]

    此时此刻,我们应该想想分布式缓存 memcached 以及上面提到的 Nginx,采用上面的表达式肯定能实现负载,而且很算法很简单。

    但是也存在一个致命的问题,如果 server 挂掉或者增加一台节点怎么办呢?serverList.size 就会变化,那 key 对应的机器就要全部变化,如果是缓存,则会导致缓存无法命中,如果是海量数据,岂不是要地崩山摧壮士死?!怎样让影响范围小一点呢,这不就有了一致性 hash。

    啥是一致性 hash?说起来其实也很简单。

    第一步:先把原来的每一个机器节点鼓捣出 N 个虚拟节点;然后定义一个[0,(2^32)-1]的数值区间;

    第二步:接着把机器节点(含虚拟的节点)通过 hash 算法计算出数值,映射到[0,(2^32)-1]的数值区间中(此时脑海中要有一条线,上面铺满了机器节点);

    第三步:然后把请求的 key 通过 hash 算法得到一个数值,然后在 [0,(2^32)-1] 区间中定位一个位置,然后向右找到距离最近的机器节点(此时脑海中依然要有铺满机器节点的那条线)。

    啥是 hash环?有些时候面试的时候也会提这个玩意,其实说的还是一致性 hash,为什么这么说呢?因为当请求数据,通过 hash 算法得到一个值,如果这个值超过 2^32-1,则会视为 0,也就是把脑海中的那条 [0,(2^32)-1]的线段首尾相连形成一个环,所以又叫 hash 环。

    图片来源于网络,侵之告之删之 

    一致性 hash 怎么把影响范围降到了更小呢?由于按照上面步骤的设计,即使机器挂了一个机器节点,也只会影响这一台机器上的数据,不会让数据全部受到影响;如果新加一台机器,大部分 key 根据一致性哈希算法定位对应的机器节点都不会发生变化,只有那些计算出的值,离新加节点更近的 key 的数据发生了变化。

    升华就到这儿吧,懂就懂了,若不懂就索性把开篇那个结论搞懂,那样也够面试官喝一壶的啦。

    04. 远方有希望

    今天主要想分享闷头看代码、低头忆往昔、举头望远方三点。日常研发要学会闷头看代码,多抽象多思考;事故总结要学会低头忆往昔,多总结多提炼;钻研技术要学会举头望远方,多扩展有深度;相信远方一定会有希望。

    好了,今天的分享,到这就结束啦,希望你们能够喜欢。

    欢迎关注微信公众号“一猿小讲”了解更多精彩分享。

    相关文章

      网友评论

          本文标题:面经:业务开发中你用到了哪些算法(续)?

          本文链接:https://www.haomeiwen.com/subject/hddsgctx.html