LH Family |XDFS高性能分布式存储落地北京大学
北京大学物理学院下辖2个教学实体单位,8个研究系所,同时依托学院建立了人工微结构和介观物理国家重点实验室等多个科研机构,研究方向涵盖了物理科学及相关的主要领域。
用户目前使用的是传统的磁盘阵列存储,存储空间几乎占满,扩容成本巨大,而且随着硬盘框的扩容,存储性能逐渐递减,数据保护机制远不及分布式存储,其业务场景是对科研数据的存储(如Matlab、Nlc等专业软件绘图),并对这些数据进行分析、处理,与XDFS在大文件场景下的使用十分契合。
1
分布式存储系统的特点
TaoCloud
用户考虑采用更为先进的分布式存储架构,采购一套5节点的XDFS分布式存储系统,裸容量不低于1070TB,做4+1纠删码卷后,有效容量856TB,并考虑性能、扩展能力和可靠性。通过对用户当前应用环境和未来业务扩展的分析,总结用户对本次分布式存储系统建设具有以下的需求和特点。
1、更快的IO性能
用户是北京大学物理学院,主要存储并分析一些科研数据,是典型的大文件存取,大IO操作,需要持续的高性能。此外,文件数量一直保持快速增加状态,需要文件系统具备很强的文件组织和管理能力。
2、极高的写入带宽
应用环境中,有17台客户端对图片或视频等素材并发读取或写入,这对存储 I/O 带宽、数据吞吐量有极高要求。网络和存储性能直接影响整个的效率。
3、完善的数据保护机制
业务数据是客户的核心资产,也是业务系统赖以运行的基础,需要进行可靠、有效的数据保护。
4、全天候可靠性
存储系统支持多台客户端的并发读取和整个图文视频应用的在线服务,需要7x24不间断运行。
2
XDFS解决存储空间不足,读写性能低等问题
TaoCloud
根据用户的需求并结合用户的实际应用场景,在该项目中采用XDFS分布式文件系统存储,为用户构建海量、高效、可扩展的分布式文件系统存储。
本次项目配置5个XDFS存储节点,单个节点配置2块480G SSD硬盘,22块12TB NL-SAS硬盘,单个节点数据盘做两组RAID5,划分为4个VD。创建4+1纠删码卷。单个节点配置1个千兆网口作为管理网络,2个IB网口(做绑定)作为业务网络。客户端使用rdma协议挂载。
3
高性能、弹性扩展、高可靠·高可用
TaoCloud
1、卓越的性能
XDFS分布式文件存储系统,提供分布式的文件读写和共享服务,本次配置的5节点集群单客户端挂载可实现1.5GB/s的写性能,1GB/s的读性能。5个客户端并发可实现6GB/s的写性能,4GB/s的读性能。
2、弹性的可扩展存储架构
采用完全去中心化的的分布式文件存储架构,无独立元数据服务器设计,消除元数据信息交互瓶颈;Scale-out动态扩展,快速在线增删节点,最高可实现1024个节点集群,可管理近100PB的海量数据,并以全局命名空间的形态实现存储资源的呈现,为客户端提供统一的逻辑视图和资源访问入口。
3、极高的可靠性与可用性
分布式集群架构,全活冗余节点,节点故障后可在数秒内实现故障接管;实时一致的数据副本及智能自修复机制;可选采用纠删码保护,提升容量利用率。整个集群存储具有数据的可靠性、可恢复性和存储服务的高可用性,可有效支持业务的连续性。
关于领航新界
领航新界资本成立于2018年,创始团队经验丰富,兼具国际水准,擅长赋能型投资,凭借对智能科技、生物医疗2大赛道的专业专注,依托领航生态中专业孵化器、美元基金、人民币基金的完整布局,打造出有竞争力的差异化VC创新模式,投资成果斐然。投资的多家企业在A股和纳斯达克成功上市,IRR回报率在行业内名列前茅。同时,领航新界也是一家深度参与价值创造的资本产业公司,坚持长期价值投资,横跨中美两地,以资本为手段完成产业整合,积极促进中国企业的创新与成长,推动产业的进步与发展。领航新界携手投资人为创业者提供有力的支持,共同打造世界级公司。