大数据云计算存储管理大趋势

1©Copyright2011EMCCorporation.Allrightsreserved.大数据存储管理大趋势2©Copyright2011EMCCorporation.Allrightsreserved.TheDigitalUniverse2010年数据1.2ZETTABYTES1,200,000,000,000,000,000,0003©Copyright2011EMCCorporation.Allrightsreserved.2020年将达到35ZETTABYTES35,000,000,000,000,000,000,0004©Copyright2011EMCCorporation.Allrightsreserved.大数据正在改变企业存储2009201020112012201320140102030405060708090来源:IDC基于文件:60.7%CAGR基于块:21.8%CAGR到2012年,80%存储空间用于基于文件的数据大数据来源5©Copyright2011EMCCorporation.Allrightsreserved.文件，非结构化数据….“大数据”Video&GraphicsGeneticSequencingSatellitePhotosComputerModelingSeismicExplorationMusic/AudioPDFsMedicalImaging6©Copyright2011EMCCorporation.Allrightsreserved.纵向扩展技术不适合大数据扩展性性能管理可靠性成本存储网络服务器7©Copyright2011EMCCorporation.Allrightsreserved.垂直扩展与横向存储性能容量峰值存储设备性能低峰值存储设备性能中峰值存储设备性能中高峰值存储设备性能高痛苦的系统迁移复杂的系统管理重复的系统投资8©Copyright2011EMCCorporation.Allrightsreserved.如何满足大数据需求:无与伦比的容量和性能扩展性.9©Copyright2011EMCCorporation.Allrightsreserved.存储大数据架构的转变—横向扩展扩展性性能管理可靠性成本StorageNetworkServer10©Copyright2011EMCCorporation.Allrightsreserved.垂直存储与横向存储性能容量性能扩展适合快速增长单一文件系统单一系统管理灵活双向扩展海量数据存储11©Copyright2011EMCCorporation.Allrightsreserved.传统存储与集群存储传统存储集群存储Faster…………………………………………………………….Slower…………………………………………………………….TRAINSTOPS!!!!!!!!!!!!TRAINKEEPSGOING!!12©Copyright2011EMCCorporation.Allrightsreserved.平衡性能和容量X200企业级特性数据保护强劲分析能力新EMCIsilon横向扩展解决方案极速性能S20013©Copyright2011EMCCorporation.Allrightsreserved.(可选第二个交换机)IsilonIQ存储层内部Infiniband万兆互联层服务器客户/应用层NFS,CIFS,FTP,HTTP(可选第二个交换机)标准千兆以太网层服务器服务器IsilonIQ网络架构14©Copyright2011EMCCorporation.Allrightsreserved.向IsilonIQ集群写入一个文件（可选第二个交换机）（可选第二个交换机）服务器NFS,CIFS,FTP,HTTP（可选第二个交换机）服务器服务器15©Copyright2011EMCCorporation.Allrightsreserved.向IsilonIQ集群写入一个文件(可选第二个交换机)16©Copyright2011EMCCorporation.Allrightsreserved.向IsilonIQ集群写入一个文件(可选第二个交换机)服务器NFS,CIFS,FTP,HTTP(optional2ndswitch)服务器服务器(可选第二个交换机)从IsilonIQ集群读取一个文件17©Copyright2011EMCCorporation.Allrightsreserved.从IsilonIQ集群读取一个文件(optional2ndswitch)服务器NFS,CIFS,FTP,HTTP(可选第二个交换机)服务器服务器18©Copyright2011EMCCorporation.Allrightsreserved.19©Copyright2011EMCCorporation.Allrightsreserved.最大的可扩展文件系统传统文件系统100倍的扩展性OneFS™单个文件系统可从18TB扩展到15.5PB60秒完成扩展，无停机无需修改客户端设定世界最快的扩展速度20©Copyright2011EMCCorporation.Allrightsreserved.AutoBalance:节点间自动数据均衡减少了存储扩容的成本、复杂程度和风险最大的可扩展文件系统•AutoBalance可以在线将生产环境中的数据均衡到新的存储节点•不需要手动参与，不需要重新配置，不需要修改服务器或客户端的挂载点以及应用程序配置空空空空空满满满满均衡均衡均衡均衡均衡21©Copyright2011EMCCorporation.Allrightsreserved.最可靠的存储系统(可选第二个交换机)高可用集群架构使用N+1保护时，如果单个驱动器或者节点不可用，数据100%可用Isilon提供业界最快的驱动器重建时间——一小时之内！当使用N+2,N+3,和N+4保护级别时,数据在多个磁盘或者节点不可用时仍然100%可用100%可用性故障100%可用性100%可用性100%可用性100%可用性100%可用性100%可用性100%可用性故障22©Copyright2011EMCCorporation.Allrightsreserved.具有最高可用性的存储虚拟热备•能够使用集群全部剩余空间重建数据–不像传统系统受限于卷和RAID的重建X失效23©Copyright2011EMCCorporation.Allrightsreserved.SMARTPOOLI/OPOLICYPROTECTIONPOLICYGloballyCoherentCacheVDMKDataLatencyGloballyCoherentCache大数据单一文件系统保护级别灵活和数据自动分层S200Random+1X200Sequential+2NLInherited+4HPCDataI/OpsFileDataMB/sArchiveSelectSelectSelectS200-SSDS200-SASX200NLI/OsThroughputArchiveRandomSequentialInherited+1+2+3+42xS200-SSDRandom2xFileDataMB/sFileDataMB/sFileDataMB/s24©Copyright2011EMCCorporation.Allrightsreserved.SmartConnect高级版配置•IP地址池地址会被指定的网络接口使用\\storage.isilon.com\ifs•SmartConnectZone（区域）名称是客户端要访问的全名•可以在4种连接均衡策略中选择–RoundRobin（轮流）–CPUUtilization（CPU使用率）–ConnectionCounting（连接数）–AggregateThroughput（吞吐量）•地址池必须制定SmartConnect服务子网，子网上也必须配置SmartConnect服务IP25©Copyright2011EMCCorporation.Allrightsreserved.OneFS6.5操作系统增强企业级的访问和安全增强验证支持CIFS协议支持NFS4.0协议KerberizedNFSv3support26©Copyright2011EMCCorporation.Allrightsreserved.SmartQuotas概览•SmartQuotas是授权的软件模块•可以让管理员在存储利用方面有更大的控制力•配额可以针对用户，组或者目录/文件夹•强制型和记账型配额都支持•根据配额的类型，支持多种提示方法27©Copyright2011EMCCorporation.Allrightsreserved.IsilonSnapShotIQ概览•可以与备份解决方案整合–当创建point-in-time型快照时效果更好•可以与MicrosoftShadowCopyService整合–支持新版本的Microsoft操作系统•快照中只保存变更的数据块•SnapshotIQ使用Point-in-Time(PIT)和Copy-on-Write(COW)方式来生成快照–大多数快照都是使用其中一种方式生成的–OneFS会根据写入操作的不同动态选择生成快照的方式•PIT用于大型持续写入操作•COW用于小文件改变28©Copyright2011EMCCorporation.Allrightsreserved.SyncIQ概览•SyncIQ是异步文件复制模块–需要购买的授权模块•从Isilon集群复制数据到其他Isilon集群–参与集群的大小和型号不必相同•通过任何IP链路复制–WAN（广域网）或者LAN（局域网）•SyncIQ3.0复制数据块，而不是新的/修改过的文件。29©Copyright2011EMCCorporation.Allrightsreserved.30©Copyright2011EMCCorporation.Allrightsreserved.SmartLock经济高效地防范意外、过早或恶意地删除或修改数据31©Copyright2011EMCCorporation.Allrightsreserved.InsightIQ1.5业界领先的横向扩展综合分析32©Copyright2011EMCCorporation.Allrightsreserved.扩展节点平台节点大数据横向扩展存储解决方案S-SERIESX-SERIESNL-SERIESACCELERATORANDBACKUPACCELERATORISILONEXNODES硬件应用软件操作系统33©Copyright2011EMCCorporation.Allrightsreserved.Isilon特性•业界证明的云存储解决方案领先者，国内外最大容量的集群存储系统，APPLE（12PB），华大基因（4PB）,金山软件（2.8PB）。•单一分布式文件系统，最大可扩展到15.5PB•全局单一命名空间访问•仅由模块化存储节点组成，内部Infiniband高速互联，完全横向扩展，完全对称架构，无需管理节点和接入节点。•无需部署客户端软件。•非常容易部署和管理，可以实现60秒内不停机的快速扩容，扩容同时性能也线性增加。•最大支持4个节点同时损坏，单个目录支持1024个快照，整个系统支持无限多个快照。34©Copyright2011EMCCorporation.Allrightsreserved.Scale-outNAS领域的领导者35©Copyright2011EMCCorporation.Allrightsreserved.谢谢