一、Ceph简介

简而言之，Ceph作为一个分布式存储系统设计的目标定位为：

①可轻松扩展到数PB级别的容量(Ceph目前的版本可以轻松支持EB级别的存储容量)

②能够自动适应多种工作负载的高性能(每秒输入/输出操作[IOPS]和带宽)

③高可靠性，提供了对象、块、文件系统一整套存储解决方案，大大降低运维的成本

Ceph作为一个优秀的分布式存储系统，未来分布式存储系统提供了设计基础。自Linux内核2.6.34版开始，Ceph.ko已经集成到Linux内核之中，作为分布式文件系统的备选项之一。同时Ceph也是OpenStack中优秀的开源存储解决方案，支持通过Ceph作为块存储或对象存储进行读写访问。

Ceph提供3种存储方式：对象存储，块存储和文件系统，下图很好的展示了 Ceph 存储集群的架构：

(1)Ceph核心组件：

在Ceph存储中，包含以下几个核心组件，分别是Ceph OSD；Ceph Monitor和Ceph MDS。

Ceph OSD：全称是Object Storage Device，主要功能包括存储数据，处理数据的复制、恢复、回补、平衡数据分布，并将一些相关数据提供给Ceph Monitor,如Ceph OSD心跳等。

Ceph Monitor：Ceph的监控器，主要功能是维护整个集群健康状态，提供一致性的决策，包含Monitor map、OSD map、PG(Placement Group) map和CRUSH map。

Ceph MDS：全称是Ceph Metadata server。主要保存的是Ceph文件系统(File system)的元数据。(Ceph的块存储和对象存储不需要Ceph MDS。Ceph MDS为基于POSIX文件系统的用户提供一些基础命令，如ls，find等命令)。

(2)Ceph功能特性：

对象存储功能特性基于LIBRADOS之上，提供当前流行的RESTful协议的网关，并兼容S3和Swift接口，作为对象存储，可以对接网盘应用以及HLS流媒体应用等，

块存储功能特性也基于LIBRADOS之上，通过LIBRBD创建一个块设备，通过QEMU/KVM附加到VM上，作为传统的块设备来用。

文件系统存储功能特性是基于RADOS来实现分布式的文件系统，引入了MDS(Metadata server),主要为兼容POSIX文件系统提供元数据，可当做文件系统挂载。

(3)Ceph架构

(4)Ceph设计思想

Ceph最初针对的应用场景，就是大规模的、分布式的存储系统。所谓“大规模”和“分布式”，至少是能够承载PB级别的数据和成千上万的存储节点组成的存储集群。

Ceph的技术特性：

①集群可靠性

②集群可扩展性

③数据安全性

④接口统一性

二、如何源码编译Ceph

(1)安装pip

$:curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py

$:python get-pip.py

(2)安装gcc-7.3

查看当前的gcc版本：gcc  -v

$: gcc -v

Using built-in specs.

COLLECT_GCC=gcc

COLLECT_LTO_WRAPPER=/usr/libexec/gcc/aarch64-redhat-linux/4.8.5/lto-wrapper

Target: aarch64-redhat-linux

Configured with: ../configure --prefix=/usr --mandir=/usr/share/man --infodir=/usr/share/info --with-bugurl=http://bugzilla.redhat.com/bugzilla --enable-bootstrap --enable-shared --enable-threads=posix --enable-checking=release --with-system-zlib --enable-__cxa_atexit --disable-libunwind-exceptions --enable-gnu-unique-object --enable-linker-build-id --with-linker-hash-style=gnu --enable-languages=c,c++,objc,obj-c++,java,fortran,ada,lto --enable-plugin --enable-initfini-array --disable-libgcj --with-isl=/builddir/build/BUILD/gcc-4.8.5-20150702/obj-aarch64-redhat-linux/isl-install --with-cloog=/builddir/build/BUILD/gcc-4.8.5-20150702/obj-aarch64-redhat-linux/cloog-install --enable-gnu-indirect-function --build=aarch64-redhat-linux

Thread model: posix

gcc version 4.8.5 20150623 (Red Hat 4.8.5-16) (GCC)

下载gcc 8.2.0的源码：

将源码上传至服务器然后解压

$: mkdir -p /usr/local/gcc

$:tar -xvf gcc-7.3.0.tar.gz -C /usr/local/gcc/

解压完成后，编译安装gcc源码

进入gcc 8.2.0目录，运行 download_prerequisites 脚本 。

$:cd   /usr/local/gcc/

$:cd   gcc-8.2.0/

$: ./contrib/download_prerequisites

2018-07-18 16:06:03 URL: ftp://gcc.gnu.org/pub/gcc/infrastructure/gmp-6.1.0.tar.bz2 [2383840] -> "./gmp-6.1.0.tar.bz2" [1]

2018-07-18 16:08:29 URL: ftp://gcc.gnu.org/pub/gcc/infrastructure/mpfr-3.1.4.tar.bz2 [1279284] -> "./mpfr-3.1.4.tar.bz2" [1]

2018-07-18 16:09:25 URL: ftp://gcc.gnu.org/pub/gcc/infrastructure/mpc-1.0.3.tar.gz [669925] -> "./mpc-1.0.3.tar.gz" [1]

2018-07-18 16:12:42 URL: ftp://gcc.gnu.org/pub/gcc/infrastructure/isl-0.16.1.tar.bz2 [1626446] -> "./isl-0.16.1.tar.bz2" [1]

gmp-6.1.0.tar.bz2: OK

mpfr-3.1.4.tar.bz2: OK

mpc-1.0.3.tar.gz: OK

isl-0.16.1.tar.bz2: OK

All prerequisites downloaded successfully.

建立编译输出目录，将所有的中间文件都放到该目录中。

$:cd /usr/local/gcc/gcc-8.2.0

$:mkdir gcc-build-7.3.0

$:cd gcc-build-7.3.0/

$: cp ../gmp-6.1.0.tar.bz2 ./

$: cp ../mpfr-3.1.4.tar.bz2 ./

$: cp ../mpc-1.0.3.tar.gz ./

$: cp ../isl-0.16.1.tar.bz2 ./

配置：

在当前目录执行：

$: ../configure --enable-checking=release --enable-languages=c,c++ --disable-multilib

参数解释：

--enable-checking=release           //增加一些检查，也可以–disable-checking生成的编译器在编译过程中不做检查；

--enable-languages=c,c++          //让gcc支持的编程语言 ；

--disable-multilib               //取消多目标库编译(取消32位库编译)。

make编译

当前目录执行：make  -j4

进入make的gcc目录进行安装

make install -j8

生成软链接

$:ln -s /usr/local/bin/gcc /usr/bin/gcc

$:ln -s /usr/local/bin/g++ /usr/bin/g++

验证

$:gcc -v && g++ -v

(3)安装cmake

下载cmake源码包cmake-3.13

创建用于安装cmake的目录/usr/local/cmake，并解压cmake源码包到/usr/local/cmake

配置并编译

$:./configure

$:make

$:make install

$:mv   *  ../

$:rm   -rf   cmake-2.8.5

修改/etc/profile文件

$:vim   /etc/profile

#cmake

PATH=/usr/local/cmake/bin:$PATH

export PATH

检查cmake是否安装成功

(4)下载ceph源码

从github下载源码，要加上–recursive参数，不然ceph源码内的很多子程序无法下载

$:git clone --recursive https://github.com/ceph/ceph.git

(5)下载ceph所需的库

$:cd ceph

$:sudo ./install-deps.sh

(6)运行脚本

$:sudo ./do_cmake.sh

(7)编译ceph

$:cd build

$:sudo make -j10

(8)安装ceph

$:sudo make install

(9)验证ceph

[zc@node-02 build]$ ./bin/ceph -v

*** DEVELOPER MODE: setting PATH, PYTHONPATH and LD_LIBRARY_PATH ***

ceph version 14.0.1-924-g38e95b2 (38e95b2d8a40df264ea685ad528f89c78e01da0c) nautilus (dev)

错误处理

Error1>

[endif]Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-*(其中×与要安装的软件有关)

$:sudo python -m pip install --upgrade --force pip

$:sudo pip install setuptools==33.1.1

Error2>

$:yum install -y libffi-devel

Error3>

/lib64/libsnappy.so: undefined reference to `operator delete(void*, unsigned long)@CXXABI_1.3.9'

collect2: error: ld returned 1 exit status

make[2]: *** [bin/ceph_perf_local] Error 1

make[1]: *** [src/test/CMakeFiles/ceph_perf_local.dir/all] Error 2

[ 56%] Built target ceph_test_keys

make: *** [all] Error 2

$:sudo mv /usr/lib64/libstdc++.so.6 ~

$:sudo mv /usr/lib64/libstdc++.so.6.0.19 ~

$:sudo ln -s /usr/local/lib64/libstdc++.so.6 /usr/lib64/libstdc++.so.6

$:sudo ln -s /usr/local/lib64/libstdc++.so.6.0.24 /usr/lib64/libstdc++.so.6.0.19

Error4>

LevelDBStore.cc:(.text+0x170c): undefined reference to `leveldb::RepairDB(std::__cxxptions const&)'

LevelDBStore.cc:(.text+0x1750): undefined reference to `leveldb::Status::ToString[ab

collect2: error: ld returned 1 exit status

下载leveldb-1.20

解压安装包到指定目录

$:tar -zxvf leveldb-1.20.tar.gz -C /usr/local/

$:cd /usr/local/leveldb-1.20

$:make

编译完成后：找一下动态库

$:cd out-shared/

$:ll

total 648

drwxr-xr-x 2 root root    299 Nov 21 09:49 db

-rwxr-xr-x 1 root root  80536 Nov 21 09:49 db_bench

drwxr-xr-x 3 root root     20 Nov 21 09:47 helpers

lrwxrwxrwx 1 root root     18 Nov 21 09:49 libleveldb.so -> libleveldb.so.1.20

lrwxrwxrwx 1 root root     18 Nov 21 09:49 libleveldb.so.1 -> libleveldb.so.1.20

-rwxr-xr-x 1 root root 591128 Nov 21 09:49 libleveldb.so.1.20

drwxr-xr-x 2 root root     50 Nov 21 09:49 port

drwxr-xr-x 2 root root    182 Nov 21 09:49 table

drwxr-xr-x 2 root root    241 Nov 21 09:49 util

将新编译的动态库替换掉原来的库：

[root@node-02 out-shared]# cp libleveldb.so* /usr/lib64/

[root@node-02 lib64]# ll libleveldb.so*

-rwxr-xr-x. 1 root root 423152 Mar  8 02:22 libleveldb.so

-rwxr-xr-x. 1 root root 423152 Mar  8 02:22 libleveldb.so.1

-rwxr-xr-x. 1 root root 348928 May 17  2016 libleveldb.so.1.0.7

-rwxr-xr-x. 1 root root 423152 Mar  8 02:22 libleveldb.so.1.20

[root@node-02 lib64]# rm libleveldb.so libleveldb.so.1

[root@node-02 lib64]# ll libleveldb.so*

-rwxr-xr-x. 1 root root 348928 May 17  2016 libleveldb.so.1.0.7

-rwxr-xr-x. 1 root root 423152 Mar  8 02:22 libleveldb.so.1.20

[root@node-02 lib64]# ln -s libleveldb.so.1.20 libleveldb.so

[root@node-02 lib64]# ln -s libleveldb.so.1.20 libleveldb.so.1

[root@node-02 lib64]# ll libleveldb.so*

lrwxrwxrwx. 1 root root     18 Mar  8 02:23 libleveldb.so -> libleveldb.so.1.20

lrwxrwxrwx. 1 root root     18 Mar  8 02:23 libleveldb.so.1 -> libleveldb.so.1.20

-rwxr-xr-x. 1 root root 348928 May 17  2016 libleveldb.so.1.0.7

-rwxr-xr-x. 1 root root 423152 Mar  8 02:22 libleveldb.so.1.20

保险起见，把include下的头文件也替换掉：

[root@node-02 ~]# cd /usr/local/leveldb-1.20/include

[root@node-02 include]# cp -r leveldb/ /usr/include/

Error>

(如果以安装gcc-8.2.0不会出现下面报错)

with preprocessed source if appropriate.

Please include the complete backtrace with any bug report.

See for instructions.

make[2]: *** [src/test/librbd/CMakeFiles/unittest_librbd.dir/managed_lock/test_mock_GetLockerRequest.cc.o] Error 1

make[2]: *** Waiting for unfinished jobs....

[ 98%] Built target radosgw

make[1]: *** [src/test/librbd/CMakeFiles/unittest_librbd.dir/all] Error 2

make[1]: *** Waiting for unfinished jobs....

[ 98%] Built target ceph-dencoder

make: *** [all] Error 2

报编辑器内部错误，当前使用的是gcc-7.3.0，更换gcc版本为gcc-8.2.0编译成功。