YRCloudFile新版本携数据分层功能闪亮发布

  • 日期:08-02
  • 点击:(1044)


最近,Shenrongyun正式发布了新版YRCloudFile 6.0。从容器存储使用场景和底层存储架构两个维度,芙蓉云不断改进和创新产品,以满足连续细分的应用需求。

接下来,让我们来看看YRCloudFile 6.0的核心功能和主要创新。本次发布主要包括三个部分:

底层分布式存储系统的新功能:Smart Tiering可自动压缩冷数据,支持磁盘阵列的后端安装,并实现基于磁盘阵列的单一副本的高可用性。

集装箱存储连续优化:基于CSI的集装箱调度实现故障动态感知;管理接口,实现PV QoS设置; PV标签检索,过滤;基于Prometheus监控的集群,提供Grafana显示模板。

进入高性能存储行业的国际视野,并列入国际过度计算会议(ISC2019)发布的IO500列表。

智能分层

对于大多数客户应用场景,数据具有定期热点访问的特征。在一段时间内,超过80%的数据逐渐冷却。无需使用高性能存储资源和介质来存储这些冷却数据。

YRCouldFile文件存储系统的Smart Tiering功能可以根据客户端应用程序的实际特性自定义冷热数据,使冷数据自动流向低成本对象存储,并仍提供标准POSIX文件访问服务接口。用户可以根据数据量和数据特征随时添加冷数据层。在冷热数据分层之后,无论是有状态容器应用程序还是通过POSIX接口直接访问YRCloudFile文件系统的业务应用程序,都不需要修改,数据很冷。热数据层之间的流动完全未被察觉。

YRCloudFile能够通过设置数据流策略和冷数据迁移的执行时间来避免业务访问高峰。通过智能分层,热数据层可以保证上层业务的接入性能,而冷数据可以有效地保存在低成本的对象存储中,有效降低了总体成本。

img_pic_1562659651_0.png

自动压缩冷数据

当数据从YRCloudFile热数据层流向冷数据层时,系统自动压缩冷数据,这不仅有助于减少冷数据存储空间,还可以降低网络传输压力,从而进一步降低存储系统的总体成本。根据实际测试,对于特定文件类型(如日志文件),压缩文件大小可以减少95%。

Container Orchestration对CSI失败的动态感知

容器存储接口(CSI),从v1.9引入的容器存储接口,以及v1.13中的正式GA。此接口的目标是为容器编排系统Container Orchestration Systems(CO)建立标准化机制,以将任何存储系统暴露给容器化工作负载。事实上,CSI是整个容器生态系统的标准存储接口,也适用于其他容器集群调度系统,如Mesos和Docker Swarm。

可以说CSI接口的出现解决了许多开发人员存储使用方面的问题,例如卷插件(FlexVolume)和Kubernetes之间紧密耦合导致的维护困难。但CSI接口是否解决了K8S持久存储的所有问题?答案是否定的。当CSI接口存在问题(例如存储链路中断)时,容器编排系统如何在网络故障情况下感测并执行有效调度。在上述故障场景中,Kubernetes集群主节点无法确定工作节点通过CSI接口连接的持久存储是否不可用,或者新创建的有状态Pod是否连续分发到节点。这使主节点重复无用的分发,从而影响整个Kubernetes集群的性能。

img_pic_1562659651_1.png

基于上述问题,齐荣云开发了YRCloudFile CSI接口的故障动态识别功能。当CSI状态出现问题时,K8S可以标记节点,从而阻止主节点将新的有状态Pod分发到CSI故障节点。

管理接口实现PV性能QoS

QoS是企业或服务运营商的关键技术。当大量应用程序共享有限的资源时,QoS可以帮助系统控制每个应用程序如何使用这些资源,并且可以限制和避免那些昂贵或异常的进程。存储性能QoS包括管理和控制服务所需的IOPS性能,带宽等。

img_pic_1562659651_2.png

img_pic_1562659651_3.png

YRCloudFile 6.0版可以在管理界面中设置持久卷的IOPS和带宽BW,以实现存储资源的有效利用。

PV Label搜索,过滤

在超大规模的Kubernetes系统中,大量的PV使管理员难以定位和排除PV故障。基于此应用场景,YRCloudFile 6.0引入了基于PV Label的过滤和检索功能,以帮助用户轻松使用和管理存储和容器业务系统。

集群监控Grafana模板

在以前的版本中,YRCloudFile提供了一个自定义Prometheus导出器,用于向Prometheus服务器提供集群监视数据。新版本继续改进,并提供基于Grafana的集群监控Web演示模板。

后端可以装入磁盘阵列以实现单拷贝高可用性

传统IT用户在采用分布式存储系统之前使用某些阵列。 HA的单个副本是为满足客户的旧方案而开发的功能。磁盘阵列提供的存储空间由磁盘阵列本身支持。 YRCloudFile使用单拷贝模式安装磁盘阵列提供的LUN设备,并实现YRCloudFile集群节点之间的HA。此功能在不影响整个环境可靠性的情况下不占用任何存储空间,磁盘阵列提供的LUN设备形成统一的命名空间,便于管理。

入围IO500名单

IO500由来自国际知名制造商和存储行业学者的代表组成。接受全球制造商和研究机构提供的存储系统性能测试数据并公布结果是公平的。 IO500排名已成为高性能存储领域的重要评估指标。

YRCloudFile正在参与IO500 10节点测试。 IO500 10节点测试将基准性能测试限制为10个节点,并评估10个节点的系统最佳性能。这种簇大小非常接近大多数中小型应用场景,其测试数据对客户也非常有用。这种规模的YRCloudFile群集优化也可以为大量用户提供最佳实践。

YRCloudFile支持新的高性能设备和技术(如RDMA和NVMe)以及高效的读写引擎,从而降低了数据读写的开销。可扩展的元数据集群有效地响应大规模文件场景中基于系统的元素。数据操作的压力(MDTest Hard)使YRCloudFile能够在其有限的硬件配置环境中执行出色的性能并实现理想的性能基准测试结果。

荣荣云是中国创业公司中唯一被选中的公司。它在全球存储供应商中排名第八,并且是DDN,戴尔EMC,WekaIO,小发猫,NetApp和浪潮等一线制造商。

YRCloudFile的新层引入了智能分层,容器编排和接口CSI故障的动态感知,所有这些都是容器存储供应商的重要创新。从用户的角度来看,严荣云对当前用户在容器的存储和使用中的痛点有着深刻的理解。通过整个开发团队的不懈努力,公司不断改进产品,为客户提供更好的云存储环境存储解决方案。