2019-02-12,Alluxio团队奋战了快半年的一个重大的里程碑:2.0.0预览版的第一个候选版本(Release Candidate 1或RC1)发布了!今天内部测试跑完后,team里各位程序员小哥开心坐在了一起,就着肉吃起了Bagel(甜甜圈🍩),“真香”。
2019-02-26, 2.0.0 preview的第二个候选版本RC2也发布了。
文档也跟着加入了2.0-preview:
http://www.alluxio.org/docs/2.0-preview/en/Getting-Started.html
功能千万条,安全第一条;“升级”不规范,亲人两行泪!
2.0预览版里,有哪些重要的新增功能?
-
堆外元数据存储:用户可以通过配置
alluxio.master.metastore = ROCKS
以使用嵌入式RocksDB进行堆外元数据存储,从而避免JVM的堆内内存资源限制和GC带来的性能下降,并使Alluxio文件系统可以扩展到管理超过10亿个文件。 -
Alluxio POSIX API:POSIX兼容的API一直是一个被社区频繁请求的功能,我们观察到的情况是,即便是在大数据领域,POSIX API的流行仅次于Hadoop API。在Alluxio 2.0.0预览版中,我们支持通过对FUSE的支持来启用POSIX兼容API。
-
无外部依赖的嵌入式文件系统Journal(相对于使用HDFS或S3等外部存储来存储Journal):Alluxio在2.0新添加的嵌入式Journal从原理上来说就是实现了一个完整的分布式状态机,它使用RAFT一致性算法,允许用户可以在高可用性模式下将文件系统的Journal写入该状态机而不用担心有机器宕机时文件系统状态的完整。此前Alluxio是通过将文件系统日志写入HDFS或者S3等外部存储来实现高可用,引入外部依赖的过程中会导致服务强依赖于外部的稳定性。
-
Job Service:Alluxio 2.0中,实现了一个针对Alluxio操作的轻量级分布式计算框架,主要用于提升各种ETL的任务,例如:
- 主动的文件副本控制
- 持久化文件和异步持久化文件
- 跨越mount point的移动/复制
- 分布式加载数据
-
支持多个不同的HDFS版本:用户可以连接到任意数量的HDFS版本,比如一个2.x一个3.x的HDFS服务。
-
UI也升级了,变得酷酷的了呢
Screen Shot 2019-02-12 at 11.51.01 PM.png
Alluxio 2.0.0正式版什么时候发布?
大约几个月以后,在2019年中期。
如何获取Alluxio 2.0.0的预览版
可以直接下载预编译的二进制文件(RC2为例):
http://downloads.alluxio.org/downloads/files/2.0.0-preview/alluxio-2.0.0-preview-RC2-bin.tar.gz
想要获取源代码, 可以在github上检索v2.0.0-preview-RC2
这个tag
https://github.com/Alluxio/alluxio/tree/v2.0.0-preview-RC2
要使用和测试此版本,可以参阅此候选版本对应的文档
https://www.alluxio.org/docs/2.0-preview/en/Getting-Started.html
网友评论