400-8014011
    资 讯
    您的位置:首页 >> 资 讯 >> 行业资讯 >> 正文
    浅析重复数据删除

    点击:   发布日期:2012-09-05

    本文来自 江苏快三遗漏
           有数据显示,至少有30%的IT部门在部分数据上使用了重复数据删除技术,厂商也推出了换代产品,专门为简化和无破坏性部署做了优化,但这并不意味着每个 解决方案都是一样的,大多数重复数据删除厂商都经过了一个学习曲线,无论是在经验,参考文档还是在技术支持方面都已经有了很大的积累。

          从市场上不断增长的供应商数量可以得到印证,重复数据删除技术(复删技术)现在已经从实验室走向产品化,并逐渐成为主流,这些技术方案供应商已经有标准的重复数据删除产品,或在其备份产品中整合了这部分功能。

     

            文件级别复删技术消耗少

            如果到现在你还不知道重复数据删除的作用,看来你在火星旅程已经经历了2,3个年头。

             一般来说,重复数据删除技术是在子文件级发现冗余数据的一种方法,它用一个指针代替重复的数据,这项技术可以有效减少磁盘存储空间需求,并降低数据传输的网络带宽需求。

             基于所采用的不同技术,数据是否重复可以有不同的检测方式,基于文件级的重复数据删除方法是最简单的。举例来讲,文件级的重复数据删除(亦称为实例存 储,SIS)可以识别完全一样的文件,将其仅保存一次,并将后续完全一致的拷贝替代为指向该文件的一个指针。

           文件级别的重复数据删除技术的劣势在于精细度不够,这意味着一个文件中即便有很小的一处改动也会被认为是一个全新的文件而另外储存。文件级别的重复数据删除一般用于邮件环境,这其中同样的附件会被同时发送给诸多参与者。

            我们市场上可以看到的基于文件级别的重复数据删除技术有Novell公司的GroupWise和Microsoft公司的Exchange邮件系统(虽然 在Exchange 2010中并不支持SIS)。EMC公司同样在其存储阵列上提供文件级别的重复数据删除,包括Clariion、Celerra和其最新的VNX系列。

            不过,文件级别的重复数据删除并不适用于结构化数据环境中,这种环境下诸如数据库等会持续变化,重复数据删除的效果就会大大折扣。

    数据块级别复删技术效率高

           为了解决文件级别的重复数据删除技术缺乏精细度的特点,各厂商将数据分割成更小的“数据块”,以固定或变化的长度。只存储唯一性的数据段并将识别出重复的其它数据段的用指针方式代替,这样就能够实现更高的数据删除率。

            在众多提供重复数据删除技术方案的厂商有CommVault公司、FalconStor公司和NetApp公司都是采用块级别重复数据删除技术的厂商;与 之不同的,EMC收购的Data Domain、Avamar和Sepaton公司的产品都是基于长度变化的数据段的。这和数据块级别重复数据删除技术的不同之处在于,数据块的方式下,一 个数据块的变化会引起整个数据集中所有数据块都被作为新的数据块存储,因为整个数据集变了。

             在长度变化的数据段的重复数据删除技术下这种情况会好些,不过这种技术更为复杂并消耗很多资源。次文件重复数据删除技术(块级别或长度变化方式)在备份环境中经常使用,这种环境下多个文件备份版本通常仅包含很小的改动。

    复删技术形式多样:在线/离线

           复删技术从实现过程来划分又可分为在线(或称带内)方式,即数据在写入存储介质时分析是否有重复,以及相应的,离线处理(带外或称后处理)方式则在数据写 入磁盘后再进行重复数据删除操作。离线的重复数据删除技术的优势在于其不会影响写入性能,不过这样就要求有足够的磁盘空间来存储所有数据,直到业务非高峰 时刻时进行的重复数据删除操作。

            另一方面,在线的重复数据删除技术可以在第一时间减少空间占用,不过其更耗资源,这有可能会影响写入的性能。采用在线还是离线处理方式对于实时数据减少和性能之间的权衡,不过随着技术的进步,性能减少的影响将更容易被接受。

            在线重复数据删除产品包括FalconStor的产品,以及EMC的Data Domain和Sepaton,IBM公司的ProtecTier(之前的Diligent产品);而NetApp则提供带外的重复数据删除技术。

    复删技术形式多样:源端/目标端

             另外,基于复删技术处理的位置来划分我们有可以看到在源端(数据发出端)或者目标端(数据接受端)进行。区别在于所针对的备份环境,备份环境通?;诳突Ф?服务器模式(也有称之为发送端/接收端模式)。

            源端复删实现方式是在备份客户端上安装软件,客户端和备份服务器都必须支持重复数据删除。这意味着在现有的备份环境中可能需要进行修改。与之对应,目标端 重复数据删除通常不需要更改环境,支持重复数据删除的目标设备会被备份服务器认为另一台磁盘阵列或虚拟磁带库。

            源端重复数据删除适用于降低所要通过网络传输的数据,如远程办公环境中备份至中心节点。权衡选择两种方式在于源端的重复数据删除会影响客户端的性能,并从 而波及到整个备份环境,并且重复数据删除仅限于客户端级别的数据,而不会考虑多个备份客户端可能有相同的数据。

    没有最好的方案 只有最适合你的方案

           上面介绍了这么多的复删技术的分类和实现原理,我们您可以看出不同的技术实现手段其性能表现,需要的工作空间,对不同软件支持的难易 程度,以及设置复制的难度也有所不同。但对于用户来讲就应该采用哪种技术不重要,关键是每个方法都有其优缺点,为了找到一个最适合自己环境的方法,首先应 该从系统现在的瓶颈出发进行衡量,如你现在的媒体服务器利用率如何,以及你需要一个什么样水平的集成环境等等,最终只要能完美解决你现在面临的问题就好方 案。



?
  • 什么让湖北这两家百年老企基业常青? 解码“年轻秘笈” 2019-03-13
  • 业界专家热议金融科技创新:从严监管利好市场长远发展 2019-03-09
  • 日本大阪6.1级强震4死逾300伤 工厂及店铺恢复运营 2019-03-09
  • 我国居民人均预期寿命又提高了 2017年提高至76.7岁 2019-02-17
  • 重庆 民俗文化进校园(我们的节日·端午) 2019-01-28
  • 台媒体人:当局几乎已宣告“寿终正寝” 2019-01-28
  • 十大投行成独角兽主保荐机构!从发行门槛到投资者参与,且看CDR新玩法 2019-01-26
  • 江苏全面启动扶贫跟踪审计 严查弄虚作假及不作为 2019-01-26
  • 首份《中国企业电商化采购发展报告》发布 我国企业电商化采购比例已达20% 2019-01-14
  • 张雪迎搞笑配音“小猪佩奇” 与粉丝庆祝生日 2019-01-14
  • 食物-热门标签-华商生活 2019-01-12
  • 德国缺少劳动力愿意接受“难民”还讲的过去,法国呢,巴黎的郊区和非洲一些国家的城市有一比。[微笑][微笑] 2018-12-22
  • 杭州西湖天气,杭州西湖天气预报,杭州西湖天气预报一周 2018-12-22
  • [鄙视]江湖片子又脑残瞎举例了,尔幼稚到连“顺应民心就是人民主导”这个简单的道理都不懂?! 2018-12-05
  • 乌鲁木齐34个小区垃圾分类试点五年成效明显 居民准确分类垃圾分开收运 2018-12-05
  • 261| 991| 439| 174| 673| 833| 823| 820| 728| 617|