一、Ceph简介
Ceph的初创来自Sage Weil 博士的 PhD 论文，论文 “Ceph: A Scalable, High-Performance Distributed File System”详细的阐述了 Ceph 的设计架构。（论文网址：https://www.ssrc.ucsc.edu/Papers/weil-osdi06.pdf）
简而言之，Ceph作为一个分布式存储系统设计的目标定位为：
①可轻松扩展到数PB级别的容量（Ceph目前的版本可以轻松支持EB级别的存储容量）
②能够自动适应多种工作负载的高性能（每秒输入/输出操作[IOPS]和带宽）
③高可靠性，提供了对象、块、文件系统一整套存储解决方案，大大降低运维的成本
Ceph作为一个优秀的分布式存储系统，未来分布式存储系统提供了设计基础。自Linux内核2.6.34版开始，Ceph.ko已经集成到Linux内核之中，作为分布式文件系统的备选项之一。同时Ceph也是OpenStack中优秀的开源存储解决方案，支持通过Ceph作为块存储或对象存储进行读写访问。
Ceph提供3种存储方式：对象存储，块存储和文件系统，下图很好的展示了 Ceph 存储集群的架构：
（1）Ceph核心组件：
在Ceph存储中，包含以下几个核心组件，分别是Ceph OSD；Ceph Monitor和Ceph MDS。
Ceph OSD：全称是Object Storage Device，主要功能包括存储数据，处理数据的复制、恢复、回补、平衡数据分布，并将一些相关数据提供给Ceph Monitor,如Ceph OSD心跳等。
Ceph Monitor：Ceph的监控器，主要功能是维护整个集群健康状态，提供一致性的决策，包含Monitor map、OSD map、PG(Placement Group) map和CRUSH map。
Ceph MDS：全称是Ceph Metadata server。主要保存的是Ceph文件系统（File system）的元数据。（Ceph的块存储和对象存储不需要Ceph MDS。Ceph MDS为基于POSIX文件系统的用户提供一些基础命令，如ls，find等命令）。
（2）Ceph功能特性：
对象存储功能特性基于LIBRADOS之上，提供当前流行的RESTful协议的网关，并兼容S3和Swift接口，作为对象存储，可以对接网盘应用以及HLS流媒体应用等，
块存储功能特性也基于LIBRADOS之上，通过LIBRBD创建一个块设备，通过QEMU/KVM附加到VM上，作为传统的块设备来用。
文件系统存储功能特性是基于RADOS来实现分布式的文件系统，引入了MDS（Metadata server）,主要为兼容POSIX文件系统提供元数据，可当做文件系统挂载。
（3）Ceph架构
（4）Ceph设计思想
Ceph最初针对的应用场景，就是大规模的、分布式的存储系统。所谓“大规模”和“分布式”，至少是能够承载PB级别的数据和成千上万的存储节点组成的存储集群。
Ceph的技术特性：
①集群可靠性
②集群可扩展性
③数据安全性
④接口统一性
二、如何源码编译Ceph
（1）安装pip
$:curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
$:python get-pip.py
（2）安装gcc-7.3
查看当前的gcc版本：gcc -v
$: gcc -v
Using built-in specs.
COLLECT_GCC=gcc
COLLECT_LTO_WRAPPER=/usr/libexec/gcc/aarch64-redhat-linux/4.8.5/lto-wrapper
Target: aarch64-redhat-linux
Configured with: ../configure --prefix=/usr --mandir=/usr/share/man --infodir=/usr/share/info --with-bugurl=http://bugzilla.redhat.com/bugzilla --enable-bootstrap --enable-shared --enable-threads=posix --enable-checking=release --with-system-zlib --enable-__cxa_atexit --disable-libunwind-exceptions --enable-gnu-unique-object --enable-linker-build-id --with-linker-hash-style=gnu --enable-languages=c,c++,objc,obj-c++,java,fortran,ada,lto --enable-plugin --enable-initfini-array --disable-libgcj --with-isl=/builddir/build/BUILD/gcc-4.8.5-20150702/obj-aarch64-redhat-linux/isl-install --with-cloog=/builddir/build/BUILD/gcc-4.8.5-20150702/obj-aarch64-redhat-linux/cloog-install --enable-gnu-indirect-function --build=aarch64-redhat-linux
Thread model: posix
gcc version 4.8.5 20150623 (Red Hat 4.8.5-16) (GCC)
下载gcc 8.2.0的源码：
https://mirrors.ustc.edu.cn/gnu/gcc/gcc-8.2.0/gcc-8.2.0.tar.gz
将源码上传至服务器然后解压
$: mkdir -p /usr/local/gcc
$:tar -xvf gcc-7.3.0.tar.gz -C /usr/local/gcc/
解压完成后，编译安装gcc源码
进入gcc 8.2.0目录，运行 download_prerequisites 脚本 。
$:cd /usr/local/gcc/
$:cd gcc-8.2.0/
$: ./contrib/download_prerequisites
2018-07-18 16:06:03 URL: ftp://gcc.gnu.org/pub/gcc/infrastructure/gmp-6.1.0.tar.bz2 [2383840] -> "./gmp-6.1.0.tar.bz2" [1]
2018-07-18 16:08:29 URL: ftp://gcc.gnu.org/pub/gcc/infrastructure/mpfr-3.1.4.tar.bz2 [1279284] -> "./mpfr-3.1.4.tar.bz2" [1]
2018-07-18 16:09:25 URL: ftp://gcc.gnu.org/pub/gcc/infrastructure/mpc-1.0.3.tar.gz [669925] -> "./mpc-1.0.3.tar.gz" [1]
2018-07-18 16:12:42 URL: ftp://gcc.gnu.org/pub/gcc/infrastructure/isl-0.16.1.tar.bz2 [1626446] -> "./isl-0.16.1.tar.bz2" [1]
gmp-6.1.0.tar.bz2: OK
mpfr-3.1.4.tar.bz2: OK
mpc-1.0.3.tar.gz: OK
isl-0.16.1.tar.bz2: OK
All prerequisites downloaded successfully.
建立编译输出目录，将所有的中间文件都放到该目录中。
$:cd /usr/local/gcc/gcc-8.2.0
$:mkdir gcc-build-7.3.0
$:cd gcc-build-7.3.0/
$: cp ../gmp-6.1.0.tar.bz2 ./
$: cp ../mpfr-3.1.4.tar.bz2 ./
$: cp ../mpc-1.0.3.tar.gz ./
$: cp ../isl-0.16.1.tar.bz2 ./
配置：
在当前目录执行：
$: ../configure --enable-checking=release --enable-languages=c,c++ --disable-multilib
参数解释：
--enable-checking=release //增加一些检查，也可以–disable-checking生成的编译器在编译过程中不做检查；
--enable-languages=c,c++ //让gcc支持的编程语言 ；
--disable-multilib //取消多目标库编译(取消32位库编译)。
make编译
当前目录执行：make -j4
进入make的gcc目录进行安装
make install -j8
生成软链接
$:ln -s /usr/local/bin/gcc /usr/bin/gcc
$:ln -s /usr/local/bin/g++ /usr/bin/g++
验证
$:gcc -v && g++ -v
（3）安装cmake
下载cmake源码包cmake-3.13
创建用于安装cmake的目录/usr/local/cmake，并解压cmake源码包到/usr/local/cmake
配置并编译
$:./configure
$:make
$:make install
$:mv * ../
$:rm -rf cmake-2.8.5
修改/etc/profile文件
$:vim /etc/profile
#cmake
PATH=/usr/local/cmake/bin:$PATH
export PATH
检查cmake是否安装成功
（4）下载ceph源码
从github下载源码，要加上–recursive参数，不然ceph源码内的很多子程序无法下载
$:git clone --recursive https://github.com/ceph/ceph.git
（5）下载ceph所需的库
$:cd ceph
$:sudo ./install-deps.sh
（6）运行脚本
$:sudo ./do_cmake.sh
（7）编译ceph
$:cd build
$:sudo make -j10
（8）安装ceph
$:sudo make install
（9）验证ceph
[zc@node-02 build]$ ./bin/ceph -v
*** DEVELOPER MODE: setting PATH, PYTHONPATH and LD_LIBRARY_PATH ***
ceph version 14.0.1-924-g38e95b2 (38e95b2d8a40df264ea685ad528f89c78e01da0c) nautilus (dev)
错误处理
Error1>
[endif]Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-*(其中×与要安装的软件有关)
$:sudo python -m pip install --upgrade --force pip
$:sudo pip install setuptools==33.1.1
Error2>
$:yum install -y libffi-devel
Error3>
/lib64/libsnappy.so: undefined reference to `operator delete(void*, unsigned long)@CXXABI_1.3.9'
collect2: error: ld returned 1 exit status
make[2]: *** [bin/ceph_perf_local] Error 1
make[1]: *** [src/test/CMakeFiles/ceph_perf_local.dir/all] Error 2
[ 56%] Built target ceph_test_keys
make: *** [all] Error 2
$:sudo mv /usr/lib64/libstdc++.so.6 ~
$:sudo mv /usr/lib64/libstdc++.so.6.0.19 ~
$:sudo ln -s /usr/local/lib64/libstdc++.so.6 /usr/lib64/libstdc++.so.6
$:sudo ln -s /usr/local/lib64/libstdc++.so.6.0.24 /usr/lib64/libstdc++.so.6.0.19
Error4>
LevelDBStore.cc:(.text+0x170c): undefined reference to `leveldb::RepairDB(std::__cxxptions const&)'
LevelDBStore.cc:(.text+0x1750): undefined reference to `leveldb::Status::ToString[ab
collect2: error: ld returned 1 exit status
下载leveldb-1.20
https://github.com/google/leveldb/releases
解压安装包到指定目录
$:tar -zxvf leveldb-1.20.tar.gz -C /usr/local/
$:cd /usr/local/leveldb-1.20
$:make
编译完成后：找一下动态库
$:cd out-shared/
$:ll
total 648
drwxr-xr-x 2 root root 299 Nov 21 09:49 db
-rwxr-xr-x 1 root root 80536 Nov 21 09:49 db_bench
drwxr-xr-x 3 root root 20 Nov 21 09:47 helpers
lrwxrwxrwx 1 root root 18 Nov 21 09:49 libleveldb.so -> libleveldb.so.1.20
lrwxrwxrwx 1 root root 18 Nov 21 09:49 libleveldb.so.1 -> libleveldb.so.1.20
-rwxr-xr-x 1 root root 591128 Nov 21 09:49 libleveldb.so.1.20
drwxr-xr-x 2 root root 50 Nov 21 09:49 port
drwxr-xr-x 2 root root 182 Nov 21 09:49 table
drwxr-xr-x 2 root root 241 Nov 21 09:49 util
将新编译的动态库替换掉原来的库：
[root@node-02 out-shared]# cp libleveldb.so* /usr/lib64/
[root@node-02 lib64]# ll libleveldb.so*
-rwxr-xr-x. 1 root root 423152 Mar 8 02:22 libleveldb.so
-rwxr-xr-x. 1 root root 423152 Mar 8 02:22 libleveldb.so.1
-rwxr-xr-x. 1 root root 348928 May 17 2016 libleveldb.so.1.0.7
-rwxr-xr-x. 1 root root 423152 Mar 8 02:22 libleveldb.so.1.20
[root@node-02 lib64]# rm libleveldb.so libleveldb.so.1
[root@node-02 lib64]# ll libleveldb.so*
-rwxr-xr-x. 1 root root 348928 May 17 2016 libleveldb.so.1.0.7
-rwxr-xr-x. 1 root root 423152 Mar 8 02:22 libleveldb.so.1.20
[root@node-02 lib64]# ln -s libleveldb.so.1.20 libleveldb.so
[root@node-02 lib64]# ln -s libleveldb.so.1.20 libleveldb.so.1
[root@node-02 lib64]# ll libleveldb.so*
lrwxrwxrwx. 1 root root 18 Mar 8 02:23 libleveldb.so -> libleveldb.so.1.20
lrwxrwxrwx. 1 root root 18 Mar 8 02:23 libleveldb.so.1 -> libleveldb.so.1.20
-rwxr-xr-x. 1 root root 348928 May 17 2016 libleveldb.so.1.0.7
-rwxr-xr-x. 1 root root 423152 Mar 8 02:22 libleveldb.so.1.20
保险起见，把include下的头文件也替换掉：
[root@node-02 ~]# cd /usr/local/leveldb-1.20/include
[root@node-02 include]# cp -r leveldb/ /usr/include/
Error>
(如果以安装gcc-8.2.0不会出现下面报错)
with preprocessed source if appropriate.
Please include the complete backtrace with any bug report.
See <https://gcc.gnu.org/bugs/> for instructions.
make[2]: *** [src/test/librbd/CMakeFiles/unittest_librbd.dir/managed_lock/test_mock_GetLockerRequest.cc.o] Error 1
make[2]: *** Waiting for unfinished jobs....
[ 98%] Built target radosgw
make[1]: *** [src/test/librbd/CMakeFiles/unittest_librbd.dir/all] Error 2
make[1]: *** Waiting for unfinished jobs....
[ 98%] Built target ceph-dencoder
make: *** [all] Error 2
报编辑器内部错误，当前使用的是gcc-7.3.0，更换gcc版本为gcc-8.2.0编译成功。
网友评论