大数据-硬盘篇

版权声明：本文为博主原创文章，未经博主允许不得转载。https://www.jianshu.com/u/c801d8028b0c

      对于大数据集群来说，master和slave一定要使用带RAID固件的磁盘。这类磁盘与消费级磁盘的主要区别是，一旦硬件出错，RAID固件马上失效，因此DataNode进程可以快速知道发生了故障。

      对master节点来说，使用RAID主要是为了保护关键性的文件系统数据，通常配置是RAID1+0或RAID0+1；而对于slave来说，从Hortworks的文章来看并不建议使用RAID模式，而更青睐所谓的JBOD模式。

      RAID比单个磁盘慢，因为RAID受管理开销和流水线写能力的限制，并取决于RAID的等级。通常采用的RAID模式是RAID0，这种数据上的并行操作可以充分利用总线带宽，显著提高磁盘整体存取性能。

      值得一提的是，大数据集群如需做成RAID0，必须是单盘RAID0，因为如果一组磁盘被配置成RAID0阵列，读写操作受限于磁盘阵列中最慢盘片的速度，且一旦一块盘故障，将使得整组都宕机。而JBOD的磁盘操作均独立，因而平均读写速度高于最慢盘片的读写速度。