数据背后的价值——AWS的存储创新之道

2020-11-30 21:18:47   作者:徐鹏   来源:中关村在线

  不确定性已成为2020年的“新常态”,那些应对积极且业务有足够韧性的企业在迈向数字化的道路上抢先一步,率先走出了“阴霾”。在数字经济时代,数据堪比石油一样重要,驱动着企业精准决策、客户体验提升、工作效率改善。与此同时,多元化的数据类型和庞大的数据规模对企业在挖掘数据价值时也构成了不小的考验。“石油,只有少数人能够占有和控制,而我们在座的每一个人都有自己的数据,你会每天产生无数的数据。而今天的企业在数字化过程中,最不缺的就是数据。当然,如果数据不能用起来,是无法产生价值的。”AWS大中华区产品部总经理顾凡说。

  从业务报表到仪表盘、数据仓库,再到数据湖,企业数据的元素逐渐趋于非结构化,需要采用不同的分析引擎在不同场景中对其进行分析,如数据库的需求是低延迟、高可靠的块存储,大数据分析的需求则是高并发、高吞吐,在扩展时通过对象存储作为支撑。需要具备数据素养的企业员工角色也渗透到了从高到低的各个岗位,数据工程师、数据科学家开始由后端走向前台。此外,供应商为数据提供的服务也不再是存储那么单一,跨平台的迁移、备份、容灾、合规缺一不可。

  以云上托管文件存储为例,此前没有该服务时客户会购买第三方的商业文件存储软件许可证,以在云上自建共享文件存储,需要花费大量时间和精力进行软件安装、维护、存储空间配置、高可用管理、自建数据备份方案、负责软件补丁更新,实施复杂的文件系统性能优化;有些客户采用开源的方案自建共享文件存储,除了以上复杂的管理开销外,遇到技术问题,很难得到及时有效的技术支持。

  11月10日,亚马逊云服务(AWS)宣布在AWS中国(宁夏)区域(由西云数据运营)和AWS中国(北京)区域(由光环新网运营)同时上线两项全新的文件存储服务:Amazon FSx for Windows File Server和Amazon FSx for Lustre,这两款完全托管的服务满足了用户在云和高性能计算方面的需求。为Windows工作负载提供的文件存储服务Amazon FSx for Windows File Server,主要应用于用户文件共享、Web网站服务、企业内容管理、Windows应用程序和工作负载、数据分析业务等。高性能文件存储服务Amazon FSx for Lustre可广泛应用于机器学习、高性能计算、电子设计自动化、生命科学、自动驾驶和视频渲染等需要高性能共享存储的工作负载。

  与以往采用开源或第三方商用的文件存储服务相比,这两项AWS托管的存储服务可以极大地降低运维复杂性,将安装部署文件系统的时间从过去的数周甚至数月,缩短至数分钟,同时也可以实现系统的灵活扩展。AWS使用了SMB协议可以无缝对接Windows,也可以支撑Linux和MacOS的负载。同时,文件系统的性能和成本也得到了较好的兼容。

  Amazon FSx for Windows File Server同样提供跨三个可用区的部署,以确保高可用性和持久性,可选SSD和HDD配置。通过对Microsoft AD的集成,客户在使用时可以大幅简化权限管理、配额设定等流程。利用数据去重功能,可以在80%去重度的条件下对文件系统进行选择性存储,最大程度节约存储成本。

  Infor是一家知名的企业级应用软件及服务供应商。该公司使用Amazon FSx for Windows File Server,让他们只需要简单的应用维护就能进行IT扩展,并且通过多可用区架构减少停机时间。最终,Amazon FSx for Windows File Server让Infor的存储成本降低了50%,应用性能提高了80%。有了FSx for Windows服务之后,Infor进行了快速导入,把业务部署时间从数天缩短至约30分钟就可以完成。Amazon FSx for Lustre可以提供亚毫秒级延迟、每秒数百GB的吞吐量和百万级的IOPS,为计算密集型工作负载提供经济高效的高性能存储。使用者可以在需要的时候再调用Lustre,而无需浪费额外的空间,这主要得益于Lustre与S3的互通,后者可以接收算完的数据以释放Lustre的空间。

  丰田研究院开展对象识别的机器学习训练,需要使用Amazon FSx for Lustre并行文件系统处理大型数据集。通过使用Amazon FSx for Lustre,丰田研究院缩短了机器学习训练的时间。同时,Amazon FSx for Lustre还能很好地与Amazon S3等AWS服务集成,成为了丰田研究院高性能文件存储的理想选择。未来,还会有更多来自中国市场的客户陆续使用Lustre服务。

  通过使用这两项新的文件存储服务,客户可以通过 AWS 管理控制台或AWS命令行界面,在几分钟之内轻松地创建高可靠的共享文件系统,而无需自己管理底层的存储服务,从而可以把更多的时间和精力释放出来,投入到应用开发和业务流程上,提高开发效率和业务创新。这两项存储服务都提供多种存储类型选择,例如全闪盘介质、闪盘+磁盘混合介质,客户可以根据实际业务需求,选择经济或高效的部署选项。

  有了Amazon FSx for Windows File Server、Amazon FSx for Lustre,再加上Amazon Elastic File System,使得AWS在中国区域集齐了存储服务“全家桶”,全面覆盖了对象存储、块存储、Linux文件存储、Windows文件存储、高性能文件存储、低成本归档存储以及云上备份存储,同时提供云服务实现PB级数据传输上云,以及本地IT环境与云存储的集成。在顾凡看来,安全可信、至广至深、高度集成、开放生态是AWS存储服务处于领先的四大要素。

  客户数据的安全是AWS的最高优先级,如S3的访问控制会精准到非常细的颗粒度,VPC会在网络接入进行可信任组的识别和界定,TMS会保障数据从传输到存储的安全性,访问审计上则可以实时监控用户行为。过去的十四年间,久经考验的S3安全承载了指数级增长的客户业务需求。

  客户可以从对象存储、文件存储和块存储服务组成的AWS整套存储服务,以及备份和数据迁移选项中进行选择,构建云上IT环境,降低成本、提高业务敏捷性和加速创新。由此,也可以看到AWS存储服务的至广和至深。除了S3、EBS、EFS、FSx for Windows File Server、FSx for Lustre、Backup等多种存储类型和备份组件,AWS在数据传输和边缘处理方面同样有丰富的工具,能够满足不同数据规模、线上或离线的使用需求。

  

数据背后的价值——AWS的存储创新之道

 

  AWS存储服务“全家桶”

  从广度来看,S3就可分为六层,即S3 Standard、S3 Intelligent-Tiering、S3 Standard-IA、S3 One Zone-IA、S3 Glacier、S3 Glacier Deep Archive,可以满足客户对于热冷数据存储和存储成本的要求,可依照数据访问频率、应用负载、性能需求、备份状态等为用户提供最佳存储层和具有性价比的解决方案。例如Intelligent-Tiering就能利用机器学习对数据进行冷热归档,用Tiering来分担存储负载。

  从深度来看,AWS的块存储分为三类,覆盖计算存储一体化、计算存储分离的HDD类型和SSD类型。“很多客户会用SAN做高可用集群,两台服务器的节点会访问一个存储,当一台服务器节点挂掉的时候,另一台服务器的节点就接管过来继续转。”顾凡表示,“在云存储中,只有AWS在EBS里面可以支持,而不是软件层面。我们能做到EBS可以被挂载到多个实例上支持多重挂载。从应用集群来说,像Oracle的RAC高可用集群就可以用了。”

  AWS的存储产品能够与计算、分析、机器学习、迁移、备份等云服务高度集成。S3运行着数万家客户的数据湖应用,向下支持各类传输工具,确保数据注入无缝兼容,之后利用Glue对S3中的数据进行ETL数据清洗和源数据管理。有了开放数据标准文件后,就能选择相应的工具对场景进行分析。无论是Amazon EMR、Amazon Redshift,还是Amazon Athena、AWS Glue、AWS ES,都可以给出快速分析支持业务决策。

  

数据背后的价值——AWS的存储创新之道

 

  基于Amazon S3构建数据湖

  丰田车联网每天要对车辆传感器采集的数十亿条消息、约数十TB的实时数据进行分析,需要经历注入、存储、解码、清洗、转换、分析等完整的数据流程。借助Amazon KDS,流数据会通过Kinesis注入,同时调取Lambda触发对数据进行解码,之后将解码后的数据再注入到S3,形成可分析的数据池,再用EMR对这些数据进行分析,结合车联网应用为客户提供服务。

  

数据背后的价值——AWS的存储创新之道

 

  加州理工学院使用EFS提升容器部署效率

  开放生态是AWS在整体产品设计时一直秉承的理念,S3的API经过过去十四年的发展已成为行业的通用组件,不仅连接了主存储,还有数据的备份恢复、灾备等功能,为客户提供了开放的应用场景选择。顾凡表示:“我们永远抱着开放的心态,用我们的产品和合作伙伴的解决方案,一起帮客户去解决他们在行业中和业务方面的问题。”

  

数据背后的价值——AWS的存储创新之道

 

  AWS存储服务客户

  可以看到,AWS中国区域上线新服务的速度正在不断加快。今年以来,AWS中国区域已经发布了290项新服务或新功能,远远超过了2019年的数量总和。新服务和新功能不仅涉及大数据分析、人工智能与机器学习、物联网等热门领域,也包括最新发布的文件存储这样的基础设施服务。

  

数据背后的价值——AWS的存储创新之道

 

  中国区域集齐AWS存储服务“全家桶”

  “两项全新的文件存储服务的落地,让AWS中国区域形成了完整而强大的存储服务阵容。”顾凡谈到,“AWS大中华区团队的首要任务就是根据中国市场需求的发展,按照中国客户需求的优先级,通过与光环新网和西云数据的紧密合作,迅速地推动AWS全球领先的、经过验证的服务在中国区域的部署,助力中国客户的数字化转型与创新。”

相关热词搜索:AWS 存储创新

上一篇:显示器该咋挑 看这几项硬指标即可
下一篇:最后一页

分享到: 收藏