Ceph存储节点部署

#### 介绍

Ceph 是一个统一的分布式存储系统，有较好的性能、可靠性和可扩展性。教程中脚本使用到的存储类型为：块存储、文件存储。块存储用于存放镜像，客户机磁盘文件，文件存储主要用于热迁移时ISO挂载用途。

**Ceph OSD**：全称 Object Storage Device，主要功能是存储数据，处理数据的复制、恢复、回填、再均衡，并通过检查其它 OSD 守护进程的心跳来向 Ceph Monitors 提供一些监控信息。当 Ceph 存储集群设定为有2个副本时，至少需要2个 OSD 守护进程，集群才能达到 active+clean 状态。

**Monitors**：Ceph 的监控，维护着展示集群状态的各种图表，包括监视器图、 OSD 图、归置组（ PG ）图、和 CRUSH 图。 Ceph 保存着发生在 Monitors 、 OSD 和 PG 上的每一次状态变更的历史信息。

**Ceph MDS**：全称 Ceph Metadata Server，主要保存的是 Ceph 文件系统的元数据（metadata），Ceph 块设备和 Ceph 对象存储不使用 Ceph MDS。Ceph MDS 基于 POSIX 文件系统的用户提供了以下基础命令，如 ls、find 等基本命令。

#### 部署准备

注意：

默认部署过程会自动将当前机器挂载的硬盘均会格式化，作为存储节点磁盘。

部署至少需要 4 台 ubuntu18.04 lts ，且每台节点均为双网卡（内/外网），节点之间、节点与宿主机之间必须互通。

执行脚本时不要输入任何内容，操作节点机器。脚本只需要在其中一个节点执行即可，中途请勿更换到其它节点执行脚本和相关操作。

以下 IP 为示例 IP，部署时更换为自己的内网 IP 即可。

存储节点：

| 物理机       | CPU  | DDR4 内存 | SSD 硬盘  | 网卡      | 节点       | 系统版本          |
| ------------ | ---- | --------- | --------- | --------- | ---------- | ----------------- |
| 172.23.8.155 | 8    | 16G       | 40G+1T+1T | 千兆/万兆 | ceph-node0 | Ubuntu 18.04  LTS |
| 172.23.8.156 | 8    | 16G       | 40G+1T+1T | 千兆/万兆 | ceph-node1 | Ubuntu 18.04  LTS |
| 172.23.8.160 | 8    | 16G       | 40G+1T+1T | 千兆/万兆 | ceph-node2 | Ubuntu 18.04  LTS |
| 172.23.8.161 | 8    | 16G       | 40G+1T+1T | 千兆/万兆 | ceph-node3 | Ubuntu 18.04  LTS |

#### 存储节点部署

脚本下载：登录 www.apayun.com ，登录进入 控制台 - 软件 - 下载中心 - 阿帕云 KVM受控端，下载 Ceph 部署脚本

![](https://upload.apayun.com/2021/09/6136d04898aed.png?token=KF__3EFqfKv4KvREjQCGnQ&expires=1716085262)

上传脚本至节点 ceph-node0，脚本需做如下修改。如需增加机器，global_iplist、global_hostname、global_ippwd 均增加配置信息即可。

```shell
vi install_mimic.sh
# 修改 global_iplist 为自己节点的内网ip，例如 内网ip：172.23.8.155-156，172.23.8.160-161
global_iplist=("172.23.8.155" "172.23.8.156" "172.23.8.160" "172.23.8.161")
# 没有增加机器，global_hostname 不用修改
global_hostname=("ceph-node0" "ceph-node1" "ceph-node2" "ceph-node3")
# 修改 global_ippwd 为自己节点密码
global_ippwd=("155password" "156password" "160password" "161password")
```

修改完成后保存，给脚本添加执行权限并执行

```shell
# 添加权限
chmod +x install_mimic.sh
# 执行
./install_mimic.sh
```

![](https://upload.apayun.com/2021/01/600a31af8f082.png?token=6wzjk7-VP9Be_lSqalnQZQ&expires=1716085262)

输入 autoinit 回车，进入初始化。脚本执行后，4台节点均会重启。

![](https://upload.apayun.com/2021/01/600a31a153536.png?token=FSNQ_atgl7Pcr0KSMEKFdg&expires=1716085262)

重启完成后，执行脚本输入 autoinstall 回车

![](https://upload.apayun.com/2021/01/600a318db26e6.png?token=FyFJFeIb_3HmMPbviTrVNw&expires=1716085262)

安装完成，提示如下信息用于主控录入。/etc/ceph/ceph_info 也会记录如下信息

![](https://upload.apayun.com/2021/01/600a316f01e77.png?token=Xr2HlR-xNJn2MPmiC7PtnQ&expires=1716085262)

#### 导入镜像

将模板镜像导入，模板下载地址：https://www.apayun.com/doc/476.html ，将下载的镜像解压上传至ceph-node0节点

```shell
apt install qemu-utils
# 查看镜像格式
qemu-img info CentOS_7.6_64.qcow2
```

![](https://upload.apayun.com/2021/01/600a31607f308.png?token=AWQdP7mOSBrQb-7WpzKqVg&expires=1716085262)

转换格式为 raw，并导入存储池

```shell
# 转换格式
qemu-img convert -O raw CentOS_7.6_64.qcow2 CentOS_7.2_64.raw
# 导入存储池
rbd import CentOS_7.2_64.raw volumes-pool/CentOS_7.2_64
```

这里导入的 CentOS_7.2_64 ，需要与主控添加操作系统时的镜像目录名称一致。

![](https://upload.apayun.com/2021/01/600a314a289d3.png?token=_NX5tZYCiEwENB6oHdfrIQ&expires=1716085262)

快照操作

```shell
# 创建镜像快照
rbd snap create volumes-pool/CentOS_7.2_64@Snap
# 将快照至于保护状态
rbd snap protect volumes-pool/CentOS_7.2_64@Snap
```

![](https://upload.apayun.com/2021/01/600a3138d3ca7.png?token=SvklDj4GrFzy4i-DNu_tAg&expires=1716085262)

![](https://upload.apayun.com/2021/01/600a312901302.png?token=pT_b3_E1M13ZU-EEMo_ByA&expires=1716085262)

注意：

这里存放的镜像，和后面开通的客户机是以差异盘的形式存放。<font color="red">如果已上传的镜像模板已经有开通的机器了，请勿删除原始镜像，如果删除会导致用该模板开通的机器异常。</font>

阿帕云引擎

云引擎受控端

云引擎控制器

云引擎开放API

文档首页

云服务器受控端（KVM）

18+

1000+

30+

5+