发布时间:2017-12-05 16:08 类别:技术文章
数据信息爆炸的时代,对存储的性能以及业务要求越来越高。对象存储正处于极速增长,对于对象存储,我们可能是通过互联网厂商或是云服务商开始了解的,对象存储是相对于传统的SAN存储和NAS存储的。本文的重点就是:
对象存储究竟有什么优点?对象存储是怎样更好的适应当下的数据环境的?
以下是来自社区相关交流中,数位架构师、存储工程师的解读及分析:
刘东 东软集团
相对于传统的SAN存和NAS存储,对象存储具有以下优点:
1、降低数据存储成本
对象存储可以使用低廉的X86服务器+对象存储软件实现,存储成本比较低。
2、数据可用性
RAID,当一个RAID磁盘出现故障,系统会慢如蜗牛需要数小时或数天来重建阵列。
大多数对象存储使用纠删码技术存储数据,经过合理设施后,可以以较低的副标数量保证数据的可用性。而数据恢复只需要数分钟便可以完成,而且数据可用性不会中断,性能也不会明显退化。
3、大容量和高扩展性
对象存储系统中,没有目录层次结构(树),对象的存储位置可以存储在不同的目录路径中易变检索。这就使得对象存储系统可以精准到每个字节,而且不受文件(对象)数量、文件大小和文件系统容量的限制。
对象存储系统可以不需要文件名、日期和其他文件属性就可以查找文件。他们还可以使用元数据应用服务水平协议(SLA),路由协议,备灾和灾难恢复,备份和数据删除删除以及自动存储管理。这些是文件系统所不能解决的问题。
4、容灾备份优势
对象存储系统如果设计合理,并不需要备份。多个副本可以确保数据始终保持可用状态,而且异地灾难恢复备份也可以被自动创建。、
5、性能优势
利用分布式实现大规模I/O并行读写。每个节点都是独立的,提供了集群的切入点,并运行相同的代码。这使得工作量可以平均分配到集群中的所有节点上,避免NAS和集群文件系统中常见的热节点问题的出现。自动负载均衡可以让I/O自动选择合理的节点,保证系统性能最大化。
潘延晟 通化网航
取自网上的答案
差异点\产品 | ServerSAN | 分布式NAS | 分布式对象存储 |
接口协议 | 块(SCSI协议) | 文件(NFS、CIFS协议) | 对象(OpenStack SWIFT、Amazon S3) |
时延 | 较低(<10ms左右) | 中(10ms~100ms) | 高(60ms以上) |
一致性 | 强一致性 | 强一致性 | 最终一致性 |
应用场景 | 分布式云平台、数据仓库、虚拟机;客户为企业客户 | 文件共享,如媒资、医疗影像归档、卫星图片 | 云服务,如Amazon S3;客户为个人客户 |
1, 适配云化环境,有良好的扩展伸缩能力ServerSAN:
2,适配未来云化环境下的自动资源分发以及资源管理需求。
3,由于企业的云数据中心主要承载企业业务,因此对性能时延也有一定的要求,设计采用了支持IB组网,支持SSD cache加速等提高性能的设计。
4,数据需要有强一致性,任何时刻的数据必须保证一致性以及可靠性。(为了性能采用多副本跨界点分布等方式来保证数据可靠性)
5,由于数据分块以及跨节点的数据转发,并不适合大文件顺序流读写场景。
分布式NAS:
目标是面对高性能计算,大吞吐量的数据处理,大数据处理等企业存储需求。
1, 为了大吞吐量,支持高效IB互联等技术
2, 支持SSD作为cache加速等
3, 应用场景,媒资、HPC等场景都是使用NAS来做的,支持NFS/CIFS接口
对象存储:
1, 为了满足大并发,我们的节点就不能有主备等角色之分,而是每个节点都能处理业务,而不是内部进行转发
2,元数据采用链接地址的方式转嫁给最终个人用户去保存,减少元数据的结构,快速响应(serversan中这部分资源管理采用X86 CPU资源,并且在存储中保存元数据LUN)
超大规模数据管理能力(性能不下降)是Object存储相对于文件存储的最大优势。File Storage采用了树形结构对所有文件和目录进行管理,当文件或目录过多时,文件或目录的检索性能就会极大下降。Object Storage只有目录和对象两层结构,这种扁平化的结构即使对象数量达到百亿级别,对象的检索速度依然不会有大的变化。但对象存储接口是应用级接口,而不是系统级接口,因此传统应用迁移到对象存储时需要重新开发,这是对象存储规模应用的最大困难。
1, Object storage相对于file storage 核心差异有几点
海量并发,直接面对终端用户(1k-1M以上的并发),文件存储一般并发都在1K以下
不确定的数据增长,超大容量的弹性扩展
2, 为了实现终端用于的海量并发以及超大容量的扩展,传统B树等元数据组织模式是无法满足这种需求的
3, 文件存储因为面对的是企业客户访问需求因此通过CIFS/NFS等协议,设计理念就是为了解决文件的共享,并不是为了解决大规模的网络用户访问
因此,对象存储一般采用HTTP协议来传输数据。(via Pierson_Wu)
ibmfuqiang IBM
对比传统存储,对象存储有自己独特的优势,特别是针对海量非结构或半结构化数据的管理。
传统的SAN File存储
适合 SoR (System of Record)
数据量小
对IOPS要求高,响应时间要求短
交易型应用,结构化 Block 存储
不适合System of Engagement
数据量大
对OPS (Operation per Second)要求高,响应时间不太敏感
非结构化
新的互联网编程模式:Restful API ,简单通用
成本敏感,在价值尚未发现之前
不适合System of Insight data landing
成本敏感,在价值尚未发现之前
新的编程模式 Cognitive API
非结构化
请看下表:
Garyy 大地保险
一、存储成本与数据价值一致
面向对象存储系统省去了使企业存储系统时刻处于生产工作状态的复杂和昂贵的管理成本。面向对象存储是基于单一的,平面地址空间,可以实现数据合理自动路由的存储系统,并且根据系统在数据生命周期内的价值和不同阶段形成合理的层级和保护级别。
二、较RADI更好地数据可用性
面向对象存储系统经过合理配置后,数据被复制成最少2个副本以保证连续数据的可用性。如果其中一个磁盘宕机,所有集群中的其他磁盘可以进行替代并保证系统照常运行。数据恢复只需要数分钟便可以完成,而且数据可用性不会中断,性能也不会明显退化。相反,当一个RAID磁盘出现故障,系统会慢如蜗牛需要数小时或数天来重建阵列。
三、性能呈现集群性
当新服务器运行在额外增添的对象存储集群设备上,性能就可以突破瓶颈实现进程和I/O大规模并行读写。这一点特别适合于多媒体文件存储和读取。
四、提供无限容量和可扩展性
面向对象存储系统中,没有目录层次结构(树),对象的存储位置可以存储在不同的目录路径中易变检索。这就使得对象存储系统可以精准到每个字节,而且不受文件(对象)数量、文件大小和文件系统容量的限制。
五、内置归档和规范
稳定的归档功能对于任何一个存储系统来说都十分必要。据估计,从创建之后起有70%的数据为被访问一直处于静态,而20%的数据属于半激活状态很少被访问。对于合规性要求,state-of-the-art 对象存储系统会针对新创建的文件内容建立起一个全局唯一的128位ID公开地址。结合数字指纹(hash或者digest),文件标识数值可以被封装起来。活跃的访问和长期归档可共存于同一个单一的基于对象的存储层。
六、文件系统无法实现的元数据利用
面向对象存储系统可以不需要文件名、日期和其他文件属性就可以查找文件。他们还可以使用元数据应用服务水平协议(SLA),路由协议,备灾和灾难恢复,备份和数据删除删除以及自动存储管理。这些是文件系统所不能解决的问题。
七、无需备份
一个设计良好的对象存储系统并不需要备份。如果需要的话,多个副本可以确保数据始终保持可用状态,而且异地灾难恢复备份也可以被自动创建。一旦主集群不可用,可以使用备份。因为集群中所有内容的UUID与副本中所存储的UUID是一致的。而这些在文件系统中是几乎不可能发生的,它们需要克服繁琐的备份窗口和既漫长有艰难的备份还原操作。
八、自动负载平衡
一个设计良好的对象存储集群几乎是完全对称的,这意味着每个节点都是独立的,提供了集群的切入点,并运行相同的代码。这使得工作量可以平均分配到集群中的所有节点上,避免NAS和集群文件系统中常见的热节点问题的出现。自动负载均衡可以让I/O自动选择合理的节点,保证系统性能最大化。
九、常规移植
在对象存储架构中,可以免却传统硬件移植或者大规模硬件升级的麻烦。对象存储结构只需要采用常规移植就可以实现。整个过程中都可以随时添加新的设备并会自动加载到集群中,而旧的设备单元只需要一个命令就可以解除。
十、无需硬件锁定
根据存档和法规要求,存储的数据需要保持数年。技术更新的成本和复杂性是一个需要考虑的重要因素,特别是连接到昂贵的专有硬件平台系统,这种因素更加需要予以重视。部署只有软件的对象存储系统而无需考虑底层硬件,允许用户选择使用任何一种商业服务器技术和无中断升级(当新硬件被推出的时候)。
十一、更高的磁盘利用率
相比块存储,对象存储可以提供更高的磁盘利用率。对象存储可以让你知道文件大小信息,因此无需采用基于块的超额拨备解决方案,这意味着对象存储可以提高至少90%的磁盘利用率,而基于块系统——即使得到最优优化后,磁盘利用率最多能提高70%。
十二、高可用性和灾难恢复
高可用性和灾难恢复内置在对象存储体系中。故障恢复并不需要专门HA配置来处理。 对象存储,与出版商和内容分发的用户相结合,可以很容易地建立一个高可用性和灾难恢复配置。
十三、化繁为简
常规存储都使用一些标准协议,其他的则有专有的接口和架构——这些存储性能快达到极限不能有任何提升了。而对象存储可以被看作是得益于网络协议栈模型的一个新兴开放和分层存储架构的并行可扩展底层,它提倡的是这样一种概念:允许其内容可以连接至更高层次和各多功能的数据库中。
十四、新旧互不干扰
触发基于服务器信息的传统文件的归档是看响应时间。这使得IT管理没有其他选择,只能从服务器中删除一些“旧数据”腾出空间给“新数据”。由于对象存储不会因对象计数功能的分层文件系统而降低性能。因此不会因技术原因而让对象存储集群的内容删除,它可以简单地称为“归档到位”。
韩斐 汉中供电局
对象存储具有以下优点:
1、降低数据存储成本
2、数据可用性
3、大容量和高扩展性
4、容灾备份优势
5、性能优势
小型机、服务器信息查询深海鱼发布