美文网首页
hyper-v 横向扩展文件服务器集群SMB

hyper-v 横向扩展文件服务器集群SMB

作者: wzky | 来源:发表于2021-01-12 11:26 被阅读0次

以前部署集群需要的共享存储条件非常高,老一代用SCSI,还有昂贵的FC SAN,后来有了iSCSI用IP SAN的方式瞬间把共享存储的门栏降低了,实验环境甚至要求不高的生产环境很容易的部署iscsi存储。
Windows server操作系统很早就开始支持作为iscsi目标服务器。如果需要性能好一点选择不是太差的raid卡,多加几块硬盘,再加上万兆以太网卡,万兆交换机目前来说也不是很难实现。如果正好有万兆的带光纤口交换机,可以上以太网光纤网卡,甚至可以选择性能更好的IB光纤网卡(SMB直通),RDMA技术在两个或者多个计算机进行通讯的时候使用DMA, 从一个主机的内存直接访问另一个主机的内存。这些配件淘宝二手都比较便宜。
SMB3.0是SMB最新版本,提供了许多新功能,如:SMB透明故障转移,SMB多通道叠加,SMB直连(SMB Direct)等。SMB3.0能够在以太网上实现不错的文件访问速度,从而能匹敌DAS的性能。因而在Windows网络环境中,SMB可以作为替代iSCSI的另一个选择。
上面简单的介绍了几种共享存储的方式,相关知识点网络上都有,部署安装教程也很多。最近在研究hyper-v over SMB ,下面简单讲一下个人在部署当中碰到的问题。
我们知道hyper-v虚拟机可以存储在本地磁盘,但为了能够实现高可用性,需要把数据存储在共享存储上面,下图可以看出SAN和hyper-v over SMB之间的本质区别

双节点SMB故障转移集群共享需要部署Windows文件服务器角色,单节点只需设置共享文件夹即可,之前一直不明白这个文件服务器是如何使用的,上图windows file server node是2个Windows文件服务器节点,这2个Windows节点也要组成集群,可以和上面hyper-v server node在一个集群,也可以独立建一个集群,文件服务器角色本身也是需要接共享存储才能使用可以是DAS,FC SAN 。
这里可能有个疑问,既然是共享存储为什么不直接使用上图左边SAN这种方式,这里讲一下文件服务器角色的好处

Hyper-V over SMB是微软特有的存储解决方案有几个好处:

节约成本,重用旧有资产,使用便宜硬件。如果无需实现文件服务器的高可用性,那么任何一台连接的存储设备的PC都可以充当Hyper-V集群的共享存储的提供者,文件服务器的存储可以采用任何形式的存储模式(DAS、NAS和SAN,),因而甚至可以是PC中的本地磁盘。如果实现文件服务器的高可用性,文件服务器故障转移集群本身也需要共享存储,因而文件服务器集群要么采用SAN,要么采用共享SAS连接JBOD,FC SAN所需要交换机非常昂贵,或者你的SAN没有那么多的物理接口给多个hyper-v主机使用,那么SMB共享也不是不错的选择。推荐如下图所示通过共享SAS连接JBOD,JBOD比传统的RAID存储阵列便宜,它没有控制器,没有RAID的高可用性,但配合Windows Server存储空间特性,可以在文件服务器集群中实现高可用性和扩展性。

扩展性。文件服务器集群的节点可扩展。另外存储空间可扩展,如下图各个文件服务器节点可连接2个以上JBOD,配合存储空间特性实现大容量虚拟磁盘(存储空间特性需要微软验证的JBOD才支持,可以在此查阅通过验证的JBOD产品)。

兼容性。多一层文件服务器或文件服务器集群,上层应用只需访问文件服务器而无需知道底层存储的实现细节,因而可以兼容不同型号的产品。如下图两个JBOD可以来自不同厂家。

其他好处,Hyper-V和其他微软产品的完美配合以及微软的产品简单易用。


另外一个问题,在设置SMB共享文件夹的时候权限问题困扰了我好久,搜索了很多教程都没有重点提出这个问题,如果使用默认权限的话虚拟机是可以启动,但是无法做热迁移,就是把虚拟机从一个节点迁移到另外一个节点,会报错提示权限问题,无论是设置委派还是添加域管理员权限都不能实现迁移,最后添加了一个Everyone完全控制权限就成功了,但是这样肯定不符合安全设置,除非存储的网络是物理隔离的,但还是不建议这样操作,有时间再研究一下这个权限问题。

----------------更新------------------
在测试环境中创建双节点文件服务器角色运行成功,在我自己的生产环境中创建角色运行失败,一直没有找到原因,下面是错误日志(SMB是我的文件服务器角色名称,HYVM是群集名称)

在以下过程中,群集网络名称资源“SMB”无法在域“hx.x”中创建关联的计算机对象: Resource online。
相关错误代码文字为:

无法完成此功能。
请与域管理员合作以确保:

  • 群集标识“HYVM”具有创建计算机对象权限。默认情况下,所有计算机对象是在与群集标识“HYVM”相同的容器中创建的。
  • 尚未达到计算机对象配额。
  • 如果存在现有的计算机对象,请使用“Active Directory 用户和计算机”工具验证群集标识“HYVM$”是否具有该计算机对象的“完全控制”权限。

终于找到相关资料:https://docs.microsoft.com/zh-cn/previous-versions/windows/it-pro/windows-server-2012-r2-and-2012/dn466519(v=ws.11)

由于我在生产环境AD域当中创建了一个HY的组织单位OU,把所有集群主机、集群名称计算机对象都移动到了HY下面,导致创建SMB文件服务器角色的时候因为没有权限失败,默认加入到域的计算机对象是在Computers这个OU下面。创建文件服务器角色需要集群名称计算机对象HYVM有 “创建计算机对象” 的权限(HYVM所在的OU),下面是权限设置方法:

在AD用户和计算机里面打开高级功能

打开HY属性安全选项卡,选择高级

点击添加角色

在弹出的页面当中选择主体,对象类型勾选计算机,查询HYVM集群名称

勾选创建计算机对象

设置完权限之后再次创建文件服务器角色就成功运行了,在HY下面多了一个文件服务器角色名称的计算机。也可以把HYVM移回到Computer 创建完角色之后再移动到其他OU。

相关文章

  • hyper-v 横向扩展文件服务器集群SMB

    以前部署集群需要的共享存储条件非常高,老一代用SCSI,还有昂贵的FC SAN,后来有了iSCSI用IP SAN的...

  • Tomcat并发优化解决办法

    Tomcat并发优化 1横向扩展 采用集群 单个服务器性能总是有限的,最好的办法自然是实现横向扩展,那么组建tom...

  • 多数据中心的百万级消息服务实战

    利用RabbitMQ集群横向扩展能力,均衡流量压力,让消息集群的秒级服务能力达到百万,Google曾做过此类实验;...

  • Redis集群分片原理

    Redis集群分片原理 集群的目的: 横向伸缩。实现扩展数据库大小、带宽、计算能力。 分片理解: 类似数据库分库分...

  • Cloudera企业版实现Active/Active的多集群部署

    1.摘要 基于Hadoop部署企业数据中心(EDH)一个最主要的好处就是利用其横向扩展的能力。单个集群可以扩展到数...

  • Nginx+Tomcat集群环境搭建

    Tomcat集群能带来什么? 提高服务的性能、并发能力、以及高可用性 提高项目架构的横向扩展能力 提高服务的性能 ...

  • 一文详解HBase资源隔离相关的解决方案

    背景 易扩展性,准确来说是易横向扩展性,一直是HBase引以为豪的优点之一,所以理论上HBase的集群规模可以做到...

  • Solr7.3 Cloud On HDFS搭建

    1 概要 SolrCloud实际上是依托zk实现中心化配置管理的solr集群。具有容错、横向扩展和高可用等特性,能...

  • Redis集群

    简介 如上图所示,是一个三主三从的节点。集群用来提供横向扩展能力,即当数据量增多之后,通过增加服务节点就可以扩展服...

  • 常见互联网公司架构,横向扩展、纵向扩展

    横向扩展、纵向扩展(竖向扩展) 1、横向扩展,是已扩展服务器的数量进行高并发的处理(增强处理业务的能力)根据配置n...

网友评论

      本文标题:hyper-v 横向扩展文件服务器集群SMB

      本文链接:https://www.haomeiwen.com/subject/kxssaktx.html