杭州网站基建,网站建设维护外包,深圳微商城网站制作公司,免费网站建设模板下载文章目录 六.Rook部署云原生CephFS文件系统6.1 部署cephfs storageclass6.2 创建容器所需cephfs文件系统6.3创建容器pod使用rook-cephfs提供pvc6.4 查看pod是否使用rook-cephfs 七.Ceph Dashboard界面7.1 启用dashboard开关7.2 ceph-dashboard配置外部访问7.3 Dashboard web ad… 文章目录 六.Rook部署云原生CephFS文件系统6.1 部署cephfs storageclass6.2 创建容器所需cephfs文件系统6.3创建容器pod使用rook-cephfs提供pvc6.4 查看pod是否使用rook-cephfs 七.Ceph Dashboard界面7.1 启用dashboard开关7.2 ceph-dashboard配置外部访问7.3 Dashboard web admin密码查看7.4 dashboard web登录查看 八.Prometheus监控8.1 查看rook-ceph-mgr metrics监控指标8.2部署prometheus-operator8.3 部署prometheus实例8.4部署grafana8.5配置grafana监控ceph模板8.6 在grafana上查看ceph集群状态 九.常见故障排查9.1 ceph集群出现警告mgr modules have recently crashed9.2 ceph集群出现警告 mons are allowing insecure global_id reclaim9.3 rook部署ceph集群某个pod异常或者pending状态9.4 PVC处于pending状态9.5 rook-ceph osd down格式化硬盘重新挂载 十.ceph集群常用命令10.1查看集群状态命令10.2 Ceph mds命令10.3 ceph osd命令10.4 ceph pg命令10.5 ceph osd pool命令10.6 rados命令 六.Rook部署云原生CephFS文件系统
6.1 部署cephfs storageclass
cephfs文件系统与RBD服务类似要想在kubernetes pod里使用cephfs需要创建一个cephfs-provisioner storageclass服务在rook代码里已有资源文件单独部署即可[rootnode1 examples]#
kubectl create -f deploy/examples/csi/cephfs/storageclass.yaml查看cephfs storageclass名称
[rootnode1 examples]# kubectl get storageclasses.storage.k8s.io | grep rook-cephfs
rook-cephfs rook-ceph.cephfs.csi.ceph.com Delete Immediate true 21d
[rootnode1 examples]#6.2 创建容器所需cephfs文件系统
创建容器所需pvc指定rook部署rook-cephfs存储类名称
[rootnode1 cephfs]# cat pvc.yaml
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: cephfs-pvc
spec:accessModes:- ReadWriteOnceresources:requests:storage: 1GistorageClassName: rook-cephfs
[rootnode1 cephfs]#
[rootnode1 cephfs]# kubectl apply -f pvc.yaml查看pvc所提供是rook-cephfs
[rootnode1 cephfs]# kubectl get pvc | grep cephfs-pvc
cephfs-pvc Bound pvc-da18c8f9-00c1-4c39-8c53-68a628fa8bdd 1Gi RWO rook-cephfs 21drook-cephfs 7d23h
[rootnode1 cephfs]#6.3创建容器pod使用rook-cephfs提供pvc
[rootnode1 cephfs]# cat pod.yaml
---
apiVersion: v1
kind: Pod
metadata:name: csicephfs-demo-pod
spec:containers:- name: web-serverimage: nginx:latestvolumeMounts:- name: mypvcmountPath: /var/lib/www/htmlvolumes:- name: mypvcpersistentVolumeClaim:claimName: cephfs-pvcreadOnly: false
[rootnode1 cephfs]#
[rootnode1 cephfs]# kubectl apply -f pod.yaml查看pod运行状况
[rootnode1 cephfs]# kubectl get pod | grep cephfs
csicephfs-demo-pod 1/1 Running 0 21d
[rootnode1 cephfs]#6.4 查看pod是否使用rook-cephfs
[rootnode1 cephfs]# kubectl exec -it csicephfs-demo-pod -- bash
rootcsicephfs-demo-pod:/# df -hT | grep csi-vol
10.68.91.46:6789,10.68.110.0:6789,10.68.225.251:6789:/volumes/csi/csi-vol-50d5c216-3e2a-11ed-9773-9a6110af61d6/f4e696bf-757d-4793-b2c2-3091d38ccec5 ceph 1.0G 0 1.0G 0% /var/lib/www/html
rootcsicephfs-demo-pod:/#
rootcsicephfs-demo-pod:/# echo cephfs /var/lib/www/html/index.html
rootcsicephfs-demo-pod:/# cat /var/lib/www/html/index.html
cephfs
rootcsicephfs-demo-pod:/#注登录相应pod容器可以看到pod已经挂载cephfs文件系统地址可以在相应挂载目录创建内容。
七.Ceph Dashboard界面
ceph有一个dashboard web管理界面通过web界面在可以查看集群的状态包括总体运行状态mgr、osd、rgw等服务状态还可以查看ceph pool池及pg状态等相关信息。
7.1 启用dashboard开关
在cluster.yaml文件中dashboard.enabletrue即可。rookoperator就会启用ceph-mgr dashboard模块默认已启用。Ceph-dashboard默认会通过service的方式将服务暴露给外部通过8443的https端口进行访问。
[rootnode1 examples]# kubectl get svc -n rook-ceph | grep rook-ceph-mgr-dashboard
rook-ceph-mgr-dashboard ClusterIP 10.68.218.45 none 8443/TCP 24d
[rootnode1 examples]#7.2 ceph-dashboard配置外部访问
Dashboard web界面外部访问可以通过ingress或者NodePort方式这里使用NodePort方式将dashboard服务暴露给kubernetes集群外部访问外部通过nodeport端口访问dashboard服务。
Dashboard-external-https资源文件应用
[rootnode1 examples]# kubectl apply -f dashboard-external-https.yaml查看dashboard nodeport端口32367
[rootnode1 examples]# kubectl get svc -n rook-ceph | grep rook-ceph-mgr-dashboard
rook-ceph-mgr-dashboard ClusterIP 10.68.218.45 none 8443/TCP 24d
rook-ceph-mgr-dashboard-external-https NodePort 10.68.104.233 none 8443:32367/TCP 22d
[rootnode1 examples]#7.3 Dashboard web admin密码查看
用户名默认是admin密码通过下面方式查看
[rootnode1 examples]# kubectl -n rook-ceph get secret rook-ceph-dashboard-password -o jsonpath{[data][password]} | base64 --decode echo
Z(M(GBC4TUZXQgT6%$
[rootnode1 examples]#7.4 dashboard web登录查看
Dashboard web界面访问https://node_ip:32367 登录后dashboard界面ceph集群状态hosts、monitors、osds、rgw、pools、block等相关信息。
八.Prometheus监控
rook部署ceph集群默认没有安装prometheus监控服务这里我们使用prometheus以容器化运行在kubernetes中使用prometheus-operator部署方式。 prometheus监控系统包括组件: Exporter监控agent端用于上报ceph-mgr默认已提供内置监控指标 Prometheus服务端用于存储监控数据、提供查询、告警等 Grafana展示监控信息通常从prometheus获取监控指标通过模板来展示图表信息
8.1 查看rook-ceph-mgr metrics监控指标
[rootnode1 examples]# kubectl get svc -n rook-ceph | grep rook-ceph-mgr
rook-ceph-mgr ClusterIP 10.68.33.103 none 9283/TCP 24d
Ceph-mgr metrics监控指标访问
[rootnode1 examples]# curl http://10.68.33.103:9283/metrics# HELP ceph_health_status Cluster health status
# TYPE ceph_health_status untyped
ceph_health_status 0.0
# HELP ceph_mon_quorum_status Monitors in quorum
# TYPE ceph_mon_quorum_status gauge
ceph_mon_quorum_status{ceph_daemonmon.b} 1.0
ceph_mon_quorum_status{ceph_daemonmon.c} 1.0
ceph_mon_quorum_status{ceph_daemonmon.d} 1.0
# HELP ceph_fs_metadata FS Metadata
# TYPE ceph_fs_metadata untyped
ceph_fs_metadata{data_pools5,fs_id1,metadata_pool4,namemyfs} 1.0
# HELP ceph_mds_metadata MDS Metadata
# TYPE ceph_mds_metadata untyped
ceph_mds_metadata{ceph_daemonmds.myfs-b,fs_id1,hostname10.255.82.25,public_addr172.20.166.175:6801/2538469664,rank0,ceph_versionceph version 17.2.3 (dff484dfc9e19a9819f375586300b3b79d80034d) quincy (stable)} 1.0
ceph_mds_metadata{ceph_daemonmds.myfs-a,fs_id1,hostname10.255.82.27,public_addr172.20.135.49:6801/1468538095,rank0,ceph_versionceph version 17.2.3 (dff484dfc9e19a9819f375586300b3b79d80034d) quincy (stable)} 1.0
# HELP ceph_mon_metadata MON Metadata
# TYPE ceph_mon_metadata untyped
ceph_mon_metadata{ceph_daemonmon.b,hostname10.255.82.25,public_addr10.68.225.251,rank0,ceph_versionceph version 17.2.3 (dff484dfc9e19a9819f375586300b3b79d80034d) quincy (stable)} 1.0
ceph_mon_metadata{ceph_daemonmon.c,hostname10.255.82.26,public_addr10.68.91.46,rank1,ceph_versionceph version 17.2.3 (dff484dfc9e19a9819f375586300b3b79d80034d) quincy (stable)} 1.0
ceph_mon_metadata{ceph_daemonmon.d,hostname10.255.82.27,public_addr10.68.243.187,rank2,ceph_versionceph version 17.2.3 (dff484dfc9e19a9819f375586300b3b79d80034d) quincy (stable)} 1.0
# HELP ceph_mgr_metadata MGR metadata
# TYPE ceph_mgr_metadata gauge
ceph_mgr_metadata{ceph_daemonmgr.b,hostname10.255.82.25,ceph_versionceph version 17.2.3 (dff484dfc9e19a9819f375586300b3b79d80034d) quincy (stable)} 1.0
ceph_mgr_metadata{ceph_daemonmgr.a,hostname10.255.82.27,ceph_versionceph version 17.2.3 (dff484dfc9e19a9819f375586300b3b79d80034d) quincy (stable)} 1.0
# HELP ceph_mgr_status MGR status (0standby, 1active)
# TYPE ceph_mgr_status gauge
ceph_mgr_status{ceph_daemonmgr.b} 0.0
ceph_mgr_status{ceph_daemonmgr.a} 1.0
# HELP ceph_mgr_module_status MGR module status (0disabled, 1enabled, 2auto-enabled)
# TYPE ceph_mgr_module_status gauge
ceph_mgr_module_status{namealerts} 0.0
ceph_mgr_module_status{namebalancer} 2.0
ceph_mgr_module_status{namecephadm} 0.0
ceph_mgr_module_status{namecrash} 2.0
ceph_mgr_module_status{namedashboard} 1.0
ceph_mgr_module_status{namedevicehealth} 2.0
ceph_mgr_module_status{namediskprediction_local} 0.0
ceph_mgr_module_status{nameinflux} 0.0
ceph_mgr_module_status{nameinsights} 0.0
ceph_mgr_module_status{nameiostat} 1.0
ceph_mgr_module_status{namek8sevents} 0.0
ceph_mgr_module_status{namelocalpool} 0.0
ceph_mgr_module_status{namemds_autoscaler} 0.0
ceph_mgr_module_status{namemirroring} 0.0
ceph_mgr_module_status{namenfs} 1.0
ceph_mgr_module_status{nameorchestrator} 2.0
ceph_mgr_module_status{nameosd_perf_query} 0.0
ceph_mgr_module_status{nameosd_support} 0.0
ceph_mgr_module_status{namepg_autoscaler} 2.0
ceph_mgr_module_status{nameprogress} 2.0
ceph_mgr_module_status{nameprometheus} 1.0
ceph_mgr_module_status{namerbd_support} 2.0
ceph_mgr_module_status{namerestful} 1.0
ceph_mgr_module_status{namerook} 0.0
ceph_mgr_module_status{nameselftest} 0.0
ceph_mgr_module_status{namesnap_schedule} 0.0
ceph_mgr_module_status{namestats} 0.0
ceph_mgr_module_status{namestatus} 2.0
ceph_mgr_module_status{nametelegraf} 0.0
ceph_mgr_module_status{nametelemetry} 2.0
ceph_mgr_module_status{nametest_orchestrator} 0.0
ceph_mgr_module_status{namevolumes} 2.0
ceph_mgr_module_status{namezabbix} 0.0
# HELP ceph_mgr_module_can_run MGR module runnable state i.e. can it run (0no, 1yes)
# TYPE ceph_mgr_module_can_run gauge
ceph_mgr_module_can_run{namealerts} 1.0
ceph_mgr_module_can_run{namebalancer} 1.0
ceph_mgr_module_can_run{namecephadm} 1.0
ceph_mgr_module_can_run{namecrash} 1.0
ceph_mgr_module_can_run{namedashboard} 1.0
ceph_mgr_module_can_run{namedevicehealth} 1.0
ceph_mgr_module_can_run{namediskprediction_local} 1.0
ceph_mgr_module_can_run{nameinflux} 0.0
ceph_mgr_module_can_run{nameinsights} 1.0
ceph_mgr_module_can_run{nameiostat} 1.0
ceph_mgr_module_can_run{namek8sevents} 1.0
ceph_mgr_module_can_run{namelocalpool} 1.0
ceph_mgr_module_can_run{namemds_autoscaler} 1.0
ceph_mgr_module_can_run{namemirroring} 1.0
ceph_mgr_module_can_run{namenfs} 1.0
ceph_mgr_module_can_run{nameorchestrator} 1.0
ceph_mgr_module_can_run{nameosd_perf_query} 1.0
ceph_mgr_module_can_run{nameosd_support} 1.0
ceph_mgr_module_can_run{namepg_autoscaler} 1.0
ceph_mgr_module_can_run{nameprogress} 1.0
ceph_mgr_module_can_run{nameprometheus} 1.0
ceph_mgr_module_can_run{namerbd_support} 1.0
ceph_mgr_module_can_run{namerestful} 1.0
ceph_mgr_module_can_run{namerook} 1.0
ceph_mgr_module_can_run{nameselftest} 1.0
ceph_mgr_module_can_run{namesnap_schedule} 1.0
ceph_mgr_module_can_run{namestats} 1.0
ceph_mgr_module_can_run{namestatus} 1.0
ceph_mgr_module_can_run{nametelegraf} 1.0
ceph_mgr_module_can_run{nametelemetry} 1.0
ceph_mgr_module_can_run{nametest_orchestrator} 1.0
ceph_mgr_module_can_run{namevolumes} 1.0
ceph_mgr_module_can_run{namezabbix} 1.0
# HELP ceph_osd_metadata OSD Metadata
# TYPE ceph_osd_metadata untyped
ceph_osd_metadata{back_iface,ceph_daemonosd.0,cluster_addr172.20.166.156,device_classhdd,front_iface,hostname10.255.82.25,objectstorebluestore,public_addr172.20.166.156,ceph_versionceph version 17.2.3 (dff484dfc9e19a9819f375586300b3b79d80034d) quincy (stable)} 1.0
ceph_osd_metadata{back_iface,ceph_daemonosd.1,cluster_addr172.20.104.37,device_classhdd,front_iface,hostname10.255.82.26,objectstorebluestore,public_addr172.20.104.37,ceph_versionceph version 17.2.3 (dff484dfc9e19a9819f375586300b3b79d80034d) quincy (stable)} 1.0
ceph_osd_metadata{back_iface,ceph_daemonosd.2,cluster_addr172.20.135.32,device_classhdd,front_iface,hostname10.255.82.27,objectstorebluestore,public_addr172.20.135.32,ceph_versionceph version 17.2.3 (dff484dfc9e19a9819f375586300b3b79d80034d) quincy (stable)} 1.0
# HELP ceph_disk_occupation Associate Ceph daemon with disk used
.....
.....
.....
[rootnode1 examples]#8.2部署prometheus-operator
[rootnode1 examples]#
kubectl apply -f https://raw.githubusercontent.com/coreos/prometheus-operator/v0.40.0/bundle.yamlPrometheus-operator部署后以容器方式运行
[rootnode1 examples]# kubectl get pod | grep prometheus-operator
prometheus-operator-5944b5f9dd-5r789 1/1 Running 0 8d
[rootnode1 examples]#8.3 部署prometheus实例
[rootnode1 monitoring]# pwd
/opt/rook/deploy/examples/monitoring
[rootnode1 monitoring]#
[rootnode1 monitoring]# kubectl apply -f prometheus.yaml -f prometheus-service.yaml -f service-monitor.yamlprometheus默认提供了9090端口访问这里更改nodeport类型方式访问[rootnode1 monitoring]# kubectl get svc -n rook-ceph | grep rook-prometheus
rook-prometheus NodePort 10.68.232.216 none 9090:30900/TCP 8d
[rootnode1 monitoring]#prometheus访问地址http://node_ip:309008.4部署grafana
grafana是一个数据展示的平台数据展示主要依赖后端的数据源。这里使用prometheus作为数据源grafana作为展示。grafana部署在kubernetes中参考grafana on kubernetes官方yaml文件。地址如下根据自己需求进行修改。 https://grafana.com/docs/grafana/latest/setup-grafana/installation/kubernetes/
Grafana.yaml部署资源文件
---apiVersion: v1kind: PersistentVolumeClaimmetadata:name: grafana-pvcspec:accessModes:- ReadWriteOnceresources:requests:storage: 1Gi---apiVersion: apps/v1kind: Deploymentmetadata:labels:app: grafananame: grafanaspec:selector:matchLabels:app: grafanatemplate:metadata:labels:app: grafanaspec:securityContext:fsGroup: 472supplementalGroups:- 0containers:- name: grafanaimage: grafana/grafana:9.1.0imagePullPolicy: IfNotPresentports:- containerPort: 3000name: http-grafanaprotocol: TCPreadinessProbe:failureThreshold: 3httpGet:path: /robots.txtport: 3000scheme: HTTPinitialDelaySeconds: 10periodSeconds: 30successThreshold: 1timeoutSeconds: 2livenessProbe:failureThreshold: 3initialDelaySeconds: 30periodSeconds: 10successThreshold: 1tcpSocket:port: 3000timeoutSeconds: 1resources:requests:cpu: 250mmemory: 750MivolumeMounts:- mountPath: /var/lib/grafananame: grafana-pvvolumes:- name: grafana-pvpersistentVolumeClaim:claimName: grafana-pvc---apiVersion: v1kind: Servicemetadata:name: grafanaspec:ports:- port: 3000protocol: TCPtargetPort: http-grafanaselector:app: grafanasessionAffinity: Nonetype: LoadBalancer# kubectl apply -f grafana.yaml查看grafana运行状态grafana对外访问使用nodeport形式。
[rootnode1 rook]# kubectl get pod,svc | grep grafana
pod/grafana-b8b88d68-z8qpf 1/1 Running 2 (8d ago) 8d
service/grafana NodePort 10.68.99.199 none 3000:30780/TCP 8d
[rootnode1 rook]#grafana访问地址如下默认用户名和密码均为admin。登录后需要修改密码。
http://node_ip:307808.5配置grafana监控ceph模板
通常下面模板已满足ceph集群监控信息
ceph-cluster模板ID2842 ceph-osd 模板ID5336 ceph-pool 模板ID5342
导入模板ID步骤1 导入模板ID步骤2输入ID载入即可
8.6 在grafana上查看ceph集群状态 九.常见故障排查
9.1 ceph集群出现警告mgr modules have recently crashed
解决方法
# kubectl exec -it rook-ceph-tools-5d8c78cd5b-kr6m9 -n rook-ceph -- bashbash-4.4$ ceph crash ls-new
ID ENTITY NEW
bash-4.4$ ceph crash archive 2022-09-30T07:59:23.681099Z_31814cfb-a08d-423e-b8dd-b5f0fd4fb097
bash-4.4$bash-4.4$ ceph health
HEALTH_OK
bash-4.4$9.2 ceph集群出现警告 mons are allowing insecure global_id reclaim
解决方法
ceph config set mon auth_allow_insecure_global_id_reclaim false 9.3 rook部署ceph集群某个pod异常或者pending状态
解决问题思路 1.查看pod log查看容器内部异常日志信息 2.通过describe查看pod事件异常信息
9.4 PVC处于pending状态
解决问题思路 1.集群中确认是否有OSD 2.CSI配置程序pod未运行或者未响应配置存储的请求
9.5 rook-ceph osd down格式化硬盘重新挂载
// 重新格式化硬盘准备
# yum -y install gdisk
# kubectl -n rook-ceph scale deployment rook-ceph-operator --replicas0
deployment.apps/rook-ceph-operator scaled// 查询osd的状态找到要移除的osd id
# ceph osd status// ID为2的osd标识为out此时会进⾏元数据的同步
# ceph osd out osd.2
# ceph osd purge 2 --yes-i-really-mean-it// 删除ID为2的OSD
# ceph auth del osd.2
entity osd.2 does not exist// 删除相关osd节点的deployment
# kubectl delete deploy -n rook-ceph rook-ceph-osd-2
deployment.apps rook-ceph-osd-2 deleted// 删除硬盘分区信息
# sgdisk --zap-all /dev/sdb
Creating new GPT entries.
GPT data structures destroyed! You may now partition the disk using fdisk or
other utilities.// 清理硬盘数据hdd硬盘使用ddssd硬盘使用blkdiscard二选一
# dd if/dev/zero of/dev/sdb bs1M count500000 oflagdirect,dsync
5000000 records in
5000000 records out
524288000000 bytes (524 GB) copied, 258.146 s, 2.0 GB/s// ssd硬盘选择此命令
# blkdiscard /dev/sdb// 删除原osd的lvm信息如果单个节点有多个osd那么就不能用*拼配模糊删除而根据lsblk -f查询出明确的lv映射信息再具体删除
ls /dev/mapper/ceph-* | xargs -I% -- dmsetup remove %
rm -rf /dev/ceph-*
lsblk -f// 恢复rook的operator使检测到格式化后的osd硬盘osd启动后ceph集群会自动平衡数据
kubectl -n rook-ceph scale deployment rook-ceph-operator --replicas1
deployment.aps/rook-ceph-operator scaled十.ceph集群常用命令
10.1查看集群状态命令
ceph -v //查看ceph的版本
ceph -s //查看集群的状态
ceph -w //监控集群的实时更改|查看正在操作的动作
ceph osd tree #查看osd目录树
ceph osd df //详细列出集群每块磁盘的使用情况|查看osd的使用信息
ceph osd stat #查看osd状态
ceph mon stat //查看mon状态
ceph mds stat # 检查 MDS 状态
ceph osd find osd.o//查看osd.0节点ip和主机名
ceph auth get client.admin # 查看ceph授权信息
10.2 Ceph mds命令
ceph mds ceph mds stat #查看msd状态
ceph mds dump #msd的映射信息
ceph mds rm 0 mds.node1#删除一个mds节点
10.3 ceph osd命令
ceph osd stat #查看osd状态
ceph osd dump #osd的映射信息
ceph osd tree#查看osd目录树
ceph osd down 0 #down掉osd.0节点
ceph osd rm 0#集群删除一个osd硬盘
ceph osd crush remove osd.4#删除标记
ceph osd getmaxosd#查看最大osd个数
ceph osd setmaxosd 10#设置osd的个数
ceph osd out osd.3#把一个osd节点逐出集群
ceph osd in osd.3#把逐出的osd加入集群
ceph osd pause#暂停osd 暂停后整个集群不再接收数据
ceph osd unpause#再次开启osd 开启后再次接收数据
ceph osd df //查看osd的使用信息
要定位对象只需要对象名和存储池名字即可例如
ceph osd map {poolname} {object-name}
10.4 ceph pg命令
ceph pg stat#查看pg状态
ceph pg dump#查看pg组的映射信息
ceph pg map 0.3f#查看一个pg的map //查看单个pg和osd的映射信息
ceph pg 0.26 query#查看pg详细信息
ceph pg dump --format plain#显示一个集群中的所有的pg统计
ceph pg {pg-id} query //获取pg的详细信息
10.5 ceph osd pool命令
ceph osd lspools #查看ceph集群中的pool数量
创建和删除存储池
ceph osd pool create myPoolName 100#创建一个pool 这里的100指的是PG组
ceph osd pool delete myPoolName myPoolName --yes-i-really-really-mean-it #删除集群名字需要重复两次
rados df#显示集群中pool的详细信息
ceph osd pool get data pg_num #查看data池的pg数量
ceph osd pool set data target_max_bytes 100000000000000#设置data池的最大存储空间为100T默认是1T)
ceph osd pool set data size 3 #设置data池的副本数是3
ceph osd pool set data min_size 2 #设置data池能接受写操作的最小副本为2
ceph osd pool set data pg_num 100#设置一个pool的pg数量
ceph osd pool set data pgp_num 100#设置一个pool的pgp数量
ceph osd pool ls //查看集群中的存储池名称
ceph osd pool ls detail //查看池的的详细信息
ceph osd pool stats //查看池的IO情况
10.6 rados命令
rados lspools#查看ceph集群中有多少个pool 只是查看pool)
rados df #查看存储池使用情况多少个pool,每个pool容量及利用情况
rados mkpool test#创建一个pool名字:test
rados create testobject -p testpool#testpool中创建一个对象testobject
rados rm test-object-1 -p test#删除test存储池的一个对象object
rados -p test ls #查看存储池test的对象
