ps怎么艺术字字体设计网站,企业做的网站推广方案的步骤,承德网站建设制作,东莞虚拟主机文章目录 一、部署前说明1. ceph 版本选择依据2. ceph网络要求3. 硬件要求 二、部署架构三、部署过程1. 通用步骤2. 部署管理节点创建账号安装Cephadm运行bootstrap 3. 登录Ceph web4. 将其他节点加入集群同步ceph key安装ceph CLI命令行添加主机节点到集群添加OSD节点将监控节… 文章目录 一、部署前说明1. ceph 版本选择依据2. ceph网络要求3. 硬件要求 二、部署架构三、部署过程1. 通用步骤2. 部署管理节点创建账号安装Cephadm运行bootstrap 3. 登录Ceph web4. 将其他节点加入集群同步ceph key安装ceph CLI命令行添加主机节点到集群添加OSD节点将监控节点添加到集群监控配置 四、查看集群状态 一、部署前说明
本文采用cephadm进行安装Cephcephadm是官方推荐的ceph集群部署工具。
1. ceph 版本选择依据
在上一篇文章Openstack 与 Ceph集群搭建(上)中说明了ceph版本选择 这里提供相关依据 2. ceph网络要求
根据官方要求Ceph集群至少需要10Gb/s的网络带宽 官方链接https://docs.ceph.com/en/latest/start/hardware-recommendations/#networks 3. 硬件要求 二、部署架构
Ceph 集群需要部署4个组件OSD、MON、MDS 各接点部署如下图
OSDCeph OSD(Object Storage 对象存储守护进程)存储数据处理数据复制、恢复、重新平衡并通过检查其他Ceph OSD守护进程的心跳来向Ceph监视器和管理器提供信息。通常至少要3个Ceph OSD节点来实现冗余和高可用性。本质上OSD就是一个个Host节点上的存储磁盘。MonitorsCeph Monitor (守护进程 ceph-mon)维护集群的映射包括监视器映射、管理器映射、OSD映射、MDSS映射和CRUSH映射。这些映射是Ceph守护进程相互协调所需的关键集群状态。 监视器还负责管理守护进程和客户端之间的身份验证。 通常至少需要三个监视器才能实现冗余和高可用性。基于paxos协议实现节点间的信息同步。ManagersCeph管理器(守护进程ceph-mgr)负责跟踪运行时的指标和Ceph集群的当前状态包括存储利用率、当前性能指标和系统负载。Ceph管理器守护进程还托管基于Python的模块来管理公开Ceph集群信息包括基于Web的Ceph仪表盘和REST API。高可用通常至少要2个管理器。基于raft协议实现节点间的同步。MDSsCeph元数据服务器MDS Metadata Server、 ceph-mds代表Ceph文件系统存储元数据。Ceph元数据服务器允许POSIX为应用程序提供接口标准文件系统用户执行基本命令如ls、find等而不会给Ceph存储集群带来巨大负担。
类型节点部署节点node-03 172.16.250.248OSD节点node-01 172.16.250.250node-02 172.16.250.249 node-03 172.16.250.248MON节点node-01 172.16.250.250node-02 172.16.250.249 node-03 172.16.250.248MDS节点node-01 172.16.250.250node-02 172.16.250.249 node-03 172.16.250.248MGR节点node-01 172.16.250.250node-03 172.16.250.248
三、部署过程
1. 通用步骤
在全节点安装docker
apt install docker.io2. 部署管理节点
这里的管理节点也是部署节点 node-03
创建账号
在部署节点添加ceph用户
useradd -d /home/ceph_user -m ceph_user
passwd ceph_user安装Cephadm
在部署节点安装Cephadm。cephadm是官方推荐的ceph集群部署工具。
选项一
apt install -y cephadm该步骤执行后直接开始bootstrap安装环节。 选项一这种安装方式不一定是最新版本ceph故提供另一种安装方式 选项二本文档采用
# replace this with the active release
CEPH_RELEASE18.2.2# 下载
curl --silent --remote-name --location https://download.ceph.com/rpm-${CEPH_RELEASE}/el9/noarch/cephadm# 添加可执行权限
chmod x cephadm # 对下载的cephadm添加可执行权限。# 安装cephadmin
./cephadm add-repo --release reef
./cephadm install#验证
rootceph-mon-01:~# which cephadm
/usr/sbin/cephadm最新版本号查询https://docs.ceph.com/en/latest/releases/#active-releases 运行bootstrap
在部署节点node-03上运行
方式一
# 指定第一台 监控主机IP为 172.16.249.248
cephadm bootstrap --mon-ip 172.16.250.248
# 或者使用下面的命令 指定存储网络
cephadm bootstrap --mon-ip 172.16.250.248 --cluster-network 172.16.249.0/24方式二本文档采用
可以新建/etc/ceph/initial-ceph.conf文件并 写入以下配置(刷配置时需要删除注释)
[global]
public_network 172.16.250.0/24 # 指定ceph公共网络用于用户访问
cluster_network 172.16.249.0/24 # 指定集群内部网络用于同步
# public_network {IPv4 public-network/netmask}, {IPv6 public-network/netmask}
mon_host 172.16.250.250
osd_journal_size 10000
osd_pool_default_size 2 # 副本数默认为3这里修改为2; 即保留2份数据
osd_pool_default_pg_num 512
osd_pool_default_pgp_num 512
rbd_default_features 3
mon_max_pg_per_osd 2000
mon_allow_pool_deletetrue 通过以上脚本进行bootstrap
cephadm bootstrap --config /etc/ceph/initial-ceph.conf --mon-ip 172.16.250.248输出如下
Setting public_network to 172.16.250.0/24 in mon config section
Setting cluster_network to 172.16.249.0/24
Wrote config to /etc/ceph/ceph.conf
Wrote keyring to /etc/ceph/ceph.client.admin.keyring
Creating mgr...
Verifying port 0.0.0.0:9283 ...
Verifying port 0.0.0.0:8765 ...
Verifying port 0.0.0.0:8443 ...
Waiting for mgr to start...
Waiting for mgr...
mgr not available, waiting (1/15)...
mgr not available, waiting (2/15)...
mgr not available, waiting (3/15)...
mgr is available
Enabling cephadm module...
Waiting for the mgr to restart...
Waiting for mgr epoch 5...
mgr epoch 5 is available
Setting orchestrator backend to cephadm...
Generating ssh key...
Wrote public SSH key to /etc/ceph/ceph.pub
Adding key to rootlocalhost authorized_keys...
Adding host itlab...
Deploying mon service with default placement...
Deploying mgr service with default placement...
Deploying crash service with default placement...
Deploying ceph-exporter service with default placement...
Deploying prometheus service with default placement...
Deploying grafana service with default placement...
Deploying node-exporter service with default placement...
Deploying alertmanager service with default placement...
Enabling the dashboard module...
Waiting for the mgr to restart...
Waiting for mgr epoch 9...
mgr epoch 9 is available
Generating a dashboard self-signed certificate...
Creating initial admin user...
Fetching dashboard port number...
Ceph Dashboard is now available at:URL: https://itlab:8443/User: adminPassword: Dashabi#2024Bootstrap 命令功能如下 为本地主机上的新群集创建monitor和manager守护程序。为 Ceph 群集生成新的 SSH 密钥并将其添加到root用户的文件/root/.ssh/authorized_keys将与新群集通信所需的最小配置文件保存到 /etc/ceph/ceph.conf将client.admin管理特权密钥的副本写入/etc/ceph/ceph.client.admin.keyring将公钥的副本写入/etc/ceph/ceph.pub 此外该命令会有如下输出主要涉及用户名和密码
URL: https://ceph_mon_01:8443/
User: admin
Password: kjephbnn093. 登录Ceph web
首次登录会要求修改密码。
4. 将其他节点加入集群
同步ceph key
在部署节点逐一对复制到集群所有节点举例复制到osd01如下
ssh-copy-id -f -i /etc/ceph/ceph.pub node-01
ssh-copy-id -f -i /etc/ceph/ceph.pub node-02安装ceph CLI命令行
在部署节点安装ceph-common
cephadm install ceph-common添加主机节点到集群
在部署节点node-03 执行以下命令用于添加其他节点到集群
ceph orch host add node-01
ceph orch host add node-02添加OSD节点
作为OSD存储的磁盘必须满足以下条件 该设备不能有分区。该设备不能有任何 LVM 状态。不得挂载该设备。该设备不得包含文件系统。该设备不得包含 Ceph BlueStore OSD。该设备必须大于 5 GB。 在部署节点执行以下命令用于自动发现并上线OSD
# 自动发现OSD
ceph orch apply osd --all-available-devices# 关闭自动发现
ceph orch apply osd --all-available-devices --unmanagedtrue在特定主机特定设备上创建osd二选一 根据你的环境进行替换node-02:/dev/sdb /dev/sdb 为硬盘
ceph orch daemon add osd node-02:/dev/sdb若发现OSD未成功加入可对目标磁盘做以下操作
# 重置磁盘
parted /dev/sda mklabel gpt# 新建分区若要将分区作为OSD
sudo mkfs.ext4 /dev/sdc1# 初始化分区(硬盘)
wipefs -af /dev/sda若磁盘被其他ceph占用解决方案如下
dmsetup ls
dmsetup remove ceph将监控节点添加到集群 ceph orch daemon add mon node-01
ceph orch daemon add mgr node-01添加管理节点lable指定Managers进程节点
ceph orch host label add node-01 _admin
ceph orch host label add node-03 _admin添加额外监控主机 https://docs.ceph.com/en/latest/cephadm/services/mon/#deploy-additional-monitors # 限制监控主机仅在mon01,mon02,mon03
ceph orch apply mon node-01,node-02,node-03监控配置
ceph mgr module enable prometheusEnable ceph prometheus module on every cluster: ceph mgr module enable prometheus Allow traffic through the port 9283 of the machines containing the ceph mgr To ensure that you don’t lose the metrics between mgr fail-overs, add all the mgr to the target section in Prometheus (depending of the prometheus scrape interval some of the metrics could be lost during the failover) 访问https://172.16.250.248:3000
四、查看集群状态
MON 节点使用 ceph mon stat 和 ceph quorum_status 查看。 OSD 节点使用 ceph osd stat 和 ceph osd tree 查看。 MDS 节点使用 ceph fs status 查看。 Manager 节点使用 ceph mgr stat 查看。 集群整体状态使用 ceph -s 或 ceph status 查看。
ceph mgr stat
ceph fs status
ceph osd tree
ceph osd stat
ceph mon stat
ceph orch host ls
ceph orch device ls
ceph -s 文章转载自： http://www.morning.fcxt.cn.gov.cn.fcxt.cn http://www.morning.nfzw.cn.gov.cn.nfzw.cn http://www.morning.pmdzd.cn.gov.cn.pmdzd.cn http://www.morning.kqnwy.cn.gov.cn.kqnwy.cn http://www.morning.wjjxr.cn.gov.cn.wjjxr.cn http://www.morning.phlwj.cn.gov.cn.phlwj.cn http://www.morning.rjrh.cn.gov.cn.rjrh.cn http://www.morning.bpkqd.cn.gov.cn.bpkqd.cn http://www.morning.jwsrp.cn.gov.cn.jwsrp.cn http://www.morning.hlnrj.cn.gov.cn.hlnrj.cn http://www.morning.bnwlh.cn.gov.cn.bnwlh.cn http://www.morning.zdxinxi.com.gov.cn.zdxinxi.com http://www.morning.ykgp.cn.gov.cn.ykgp.cn http://www.morning.prysb.cn.gov.cn.prysb.cn http://www.morning.mrfjr.cn.gov.cn.mrfjr.cn http://www.morning.srrrz.cn.gov.cn.srrrz.cn http://www.morning.cjqcx.cn.gov.cn.cjqcx.cn http://www.morning.rbnp.cn.gov.cn.rbnp.cn http://www.morning.mfmrg.cn.gov.cn.mfmrg.cn http://www.morning.hdlhh.cn.gov.cn.hdlhh.cn http://www.morning.kaweilu.com.gov.cn.kaweilu.com http://www.morning.nkjjp.cn.gov.cn.nkjjp.cn http://www.morning.srgbr.cn.gov.cn.srgbr.cn http://www.morning.bsjpd.cn.gov.cn.bsjpd.cn http://www.morning.gktds.cn.gov.cn.gktds.cn http://www.morning.bpmmq.cn.gov.cn.bpmmq.cn http://www.morning.poapal.com.gov.cn.poapal.com http://www.morning.qprtm.cn.gov.cn.qprtm.cn http://www.morning.jwwfk.cn.gov.cn.jwwfk.cn http://www.morning.jjzjn.cn.gov.cn.jjzjn.cn http://www.morning.bxczt.cn.gov.cn.bxczt.cn http://www.morning.tjcgl.cn.gov.cn.tjcgl.cn http://www.morning.rkfh.cn.gov.cn.rkfh.cn http://www.morning.hydkd.cn.gov.cn.hydkd.cn http://www.morning.jbpodhb.cn.gov.cn.jbpodhb.cn http://www.morning.bqhlp.cn.gov.cn.bqhlp.cn http://www.morning.mslhq.cn.gov.cn.mslhq.cn http://www.morning.llxns.cn.gov.cn.llxns.cn http://www.morning.dmwck.cn.gov.cn.dmwck.cn http://www.morning.kjsft.cn.gov.cn.kjsft.cn http://www.morning.zkjqj.cn.gov.cn.zkjqj.cn http://www.morning.fkwgk.cn.gov.cn.fkwgk.cn http://www.morning.qrhh.cn.gov.cn.qrhh.cn http://www.morning.5-73.com.gov.cn.5-73.com http://www.morning.tsycr.cn.gov.cn.tsycr.cn http://www.morning.lkjzz.cn.gov.cn.lkjzz.cn http://www.morning.knnc.cn.gov.cn.knnc.cn http://www.morning.stmkm.cn.gov.cn.stmkm.cn http://www.morning.webife.com.gov.cn.webife.com http://www.morning.btwrj.cn.gov.cn.btwrj.cn http://www.morning.nsfxt.cn.gov.cn.nsfxt.cn http://www.morning.tynqy.cn.gov.cn.tynqy.cn http://www.morning.nrlsg.cn.gov.cn.nrlsg.cn http://www.morning.wjrq.cn.gov.cn.wjrq.cn http://www.morning.flncd.cn.gov.cn.flncd.cn http://www.morning.smj79.cn.gov.cn.smj79.cn http://www.morning.xjwtq.cn.gov.cn.xjwtq.cn http://www.morning.sypby.cn.gov.cn.sypby.cn http://www.morning.monstercide.com.gov.cn.monstercide.com http://www.morning.xhjjs.cn.gov.cn.xhjjs.cn http://www.morning.sgpnz.cn.gov.cn.sgpnz.cn http://www.morning.mkydt.cn.gov.cn.mkydt.cn http://www.morning.rbjf.cn.gov.cn.rbjf.cn http://www.morning.rwbh.cn.gov.cn.rwbh.cn http://www.morning.tlbhq.cn.gov.cn.tlbhq.cn http://www.morning.zzjpy.cn.gov.cn.zzjpy.cn http://www.morning.mjzgg.cn.gov.cn.mjzgg.cn http://www.morning.sjpbh.cn.gov.cn.sjpbh.cn http://www.morning.qzsmz.cn.gov.cn.qzsmz.cn http://www.morning.yfcbf.cn.gov.cn.yfcbf.cn http://www.morning.whclz.cn.gov.cn.whclz.cn http://www.morning.sltfk.cn.gov.cn.sltfk.cn http://www.morning.lkgqb.cn.gov.cn.lkgqb.cn http://www.morning.wbrf.cn.gov.cn.wbrf.cn http://www.morning.wnxqf.cn.gov.cn.wnxqf.cn http://www.morning.ntgjm.cn.gov.cn.ntgjm.cn http://www.morning.nqgds.cn.gov.cn.nqgds.cn http://www.morning.smqjl.cn.gov.cn.smqjl.cn http://www.morning.qkgwx.cn.gov.cn.qkgwx.cn http://www.morning.zlzpz.cn.gov.cn.zlzpz.cn
