小文件存储对hbase不太合适。会产生太多小块。hbase是按照rowkey来分片的。所以太多小文件了
https://zhuanlan.zhihu.com/p/136705670
fb的haystack。
思路是:把目录做成单独的service,
文件合并成大文件,这样在物理存储层上,metadata的存储压力就小。
小文件存储对hbase不太合适。会产生太多小块。hbase是按照rowkey来分片的。所以太多小文件了
https://zhuanlan.zhihu.com/p/136705670
fb的haystack。
思路是:把目录做成单独的service,
文件合并成大文件,这样在物理存储层上,metadata的存储压力就小。
本文标题:小文件存储
本文链接:https://www.haomeiwen.com/subject/liucsktx.html
网友评论