宝德大数据存储系统解决方案

欧冠杯下注官网

解决方案

以客户为中心,提供定制化或一站式的全栈解决方案,赋能千行百业

宝德大数据存储系统解决方案
项目布景

xx台新媒体天天产生大量的视音频媒体节目,为超过百万用户提供多内容、全业务、高质量的节目办事。随着视频内容的日益积累、内容分发范围不竭增大,对出产系统和存储系统都提出更高的要求,所以成立一套系统完善、安全性高的素材存储系统便是如今最主要的工作之一。

新项目的建设,将为xx台新媒体媒资库存储提供高性能的数据存储平台。满足存储空间的同时,还要求存储系统不变可靠、高性能、易扩展、易维护等特性。针对xx台新媒体媒资库存储的需求,细化阐发如下:

1.按照当前和近几年数据容量的增长预估,存储系统需要提供近500TB的有效存储空间。

2.存储系统具有良好的扩展性,以应对媒资系统扩容后更大存储规模需求

3.业务系统要求存储系统提供3GB/s的不变带宽。

4.高可用存储,系统具备完善的自治能力,确保数据不丢失,存储办事不竭机。

5.多协议撑持,便于各类办事器和工作站接入并获取存储资源。

6.配置简洁,维护便捷,便利使用和后期治理。

方案介绍

按照用户的需求并结合用户的实际应用场景,在该项目中采用PL-XDFS分布式文件存储系统,构建海量、高效、可扩展的分布式存储系统。

通过PL-XDFS分布式存储系统丰富的协议撑持、强大的横向扩展能力、超高的吞吐性能为媒资系统提供高性能、动态高可扩展的CIFS/FTP存储办事。同时结合其强大的动态扩展能力,可随着业务成长,快速实现性能或容量的动态扩展,大大简化系统规划难度、降低前期投入。

此次方案中配置了5个PL-XDFS节点,每个节点配置24块8TB硬盘,总裸容量达到了960TB,配合4+1的纠删码冗余策略,考虑到单盘容量较大,呈现故障依靠网络恢复的时间较长,对业务系统的负载影响较大,在每节点内部配置RAID庇护,每24颗磁盘配置2组12颗盘的RAID5+HotSpare,因此最终容量操作率为960TB*20/24*0.8*0.91=582TB。每个节点提供600MB/s的带宽输出,总输出带宽可以达到3GB/s以上。容量和性能均可满足业务需求。

每个PL-XDFS配置2*10Gbe+2*1Gb网卡,5个PL-XDFS节点之间采用万兆网络互连,流媒体和新媒体工作站采用万兆网卡接入万兆网络,其他业务办事器通过千兆网卡与每个PL-XDFS的千兆网口实现业务组网。

PL-XDFS同时撑持POSIX/NFS/CIFS/FTP协议, 无需安装任何客户端,即可实现多客户端跨平台拜候,满足了媒资平台不同主机平台共享拜候媒体资源的需求。

PL-XDFS除纠删码庇护外,还撑持副本庇护,未来对于部门要求更高可靠性的数据,可采用副本方式进行增强庇护。

PL-XDFS的核心是XDFS分布式文件系统,XDSF是宝德基于业界领先和广泛使用的GlusterFS分布式文件系统,结合技术团队多年的工程化及系统优化经验,针对非布局化数据应用环境推出的海量分布式存储系统。XDFS可实现动态的容量及性能扩展、卓越的系统高可用性;借助虚拟化和并行化的卷组、文件系统资源治理,可构建大规!⒏咝阅堋⒍衫┱沟墓蚕泶娲⒓芄。XDFS可实现192PB的海量存储规! 可线性扩展的高性能。

方案解析

1、分布式存储集群,去中心化架构,无需独立元数据办事器

2、基于DHT算法智能数据定位,有效提升媒资素材检索效率

3、全以太网单网架构,无需专用的光纤通道设备(FC-SAN)

4、综合采用RAID、纠删码数据庇护,有效实现了节点内、节点间的复合数据

庇护,并合理控制了数据修复的系统资源占用和网络占用

5、尺度客户端设计,无需在业务主机安装任何客户端,让业务主机专注应用

6、可扩展副本庇护,增加要害数据的可用性

7、高密度设备,采用4U/24bay设备,有效降低空间和能耗,合理控制成本

8、系统无单点故障,数据高可用,存储办事不竭机

9、系统撑持数据分层,未来可增加SSD或SAS,按数据热点实现主动分级存储

方案优势
  • 软件定义存储、弹性的可扩展存储架构

    PL-XDFS采用完全去中心化的的分布式文件存储架构,无独立元数据办事器设计,消除元数据信息交互瓶颈;Scale-out动态扩展,快速在线增删节点,最高可实现1024个节点集群,可治理近100PB的海量数据。

  • 卓越的性能

    PL-XDFS提供分布式的文件读写和共享办事,本次配置的5节点集群可实现3GB的性能,可治理海量文件,未来可通过集群扩展,实现100GB的带宽;撑持万兆网卡及Infiniband网络,通过RDMA优化并发读写性能。并可通过SSD实现数据分层或小文件性能优化。

  • 极高的可靠性与可用性

    PL-XDFS提供副本和纠删码两种数据/集群庇护模式,节点内部还可选RAID庇护,用户可按照应用类型、数据主要性、性能、成本平衡选择配置模式,实现数据高可用庇护和存储办事高可用庇护。XDFS可实现不竭机的在线扩展,大大缩减或消除计划内的停机时间。

欧冠杯下注-首页 欧冠杯下注-首页 欧冠杯下注-首页 欧冠杯下注-首页 欧冠杯下注-首页 欧冠杯下注-首页欧冠杯下注-首页 欧冠杯下注-首页 欧冠杯下注-首页 欧冠杯下注-首页