来自社区交流,供同行参考
Ceph 分布式存储硬件规划,运维的考虑?
对于一个考虑搭建ceph集群的企业,很多时候大多只是有个概念,那么我们具体到具体的硬件投入,规划,拓扑方面,又有哪些参考的意见?
1.机型的选择,2U还是4U
2.CPU的选择,10core以上还是一下,主频2.2还是多少
3.内存的选择,64G还是128或者256
4.硬盘10k,15k,是sas还是sata,还是ssd,容量2T还是8T,还是混合解决方案
5.网络万兆交换机还是infiband等
6.节点的投入和位置的摆放
7.副本的选择和硬件是否配合raid及热备的配置
等等以上问题,看似很泛泛,其实最终围绕着一个主题,在行业经验基础之上,争取做到:少投入,多产出,重稳定,易维护,性价比高。哪些同学再实际使用过程当中有具体的经验欢迎分享。
问题来自社区会员 @董志卫 李宁����,�ύ(中国)
@zhuqibs Mcd 软件开发工程师:
机型:2U还是4U并不重要,主要是磁盘容器和接口是不是够;
A、cpu:
(1)mds服务器应该有足够的处理能力(如 4 核或更强悍的 CPU),所以,尽可能的多一点。
(2)OSD 运行着 RADOS 服务、用 CRUSH 计算数据存放位置、复制数据、维护它自己的集群运行图副本,因此 OSD 需要一定的处理能力。
B、内存:越大越好
(1) mds、monitor服务器必须可以尽快地提供它们的数据,所以他们应该有足够的内存,至少每进程 1GB;
(2)OSD 的日常运行不需要那么多内存(如每进程 500MB )差不多了;然而在恢复期间它们占用内存比较大(如每进程每 TB 数据需要约 1GB 内存)。通常内存越多越好;
C、硬盘:最好ssd,不看大小,看性能
(1)HDD: 分别在单独的硬盘运行操作系统、 OSD 数据和 OSD 日志,全部分开;
(2)SSD: 读密集的应用选用廉价的ssd,写密集的需要选用贵的ssd;顺序读写能力很重要,需要做为重要采购指标,因为OSD的日志都是顺序写的;SSD使用分区需要分区对齐;
D、网络交换机:带宽越大越好,当然是infinband,但也要有钱啊
(1)每台服务器2张网卡,最好万兆;
(2)核心交换机:40Gps~100Gps
节点:6台mds,6台monitor,7台osd
副本: 不要太多,2~3个可以了
@花花世界 系统架构师:
1、根据 Ceph 应用场景配置选用不同处理器,比方说全闪存场景(所有数据盘都使用 SSD 的场景)就需要更高性能的处理器
2、内存:官方文档建议每个 OSD 进程配置 2GB 内存
3、网卡:根据实际需要选择即可,建议每台服务器配置 2 个 10GE 以上的网口
4、HDD:使用 HDD 作为数据盘,SSD 作为 db/wal 分区起加速作用,如果服务器 配置有 RAID 卡,建议将数据盘设置为直通模式(JBOD)
4、SSD:建议选用 NVMe SSD 加速效果更佳