网络存储:数据社会行为准则
来源:中国计算机报 更新时间:2012-04-13

 

  这是一个信息爆炸的时代。

  摩尔定律给了信息产业一个基本的树状链发展框架,然而这个框架并未适时地将信息技术的发展和信息量的膨胀框在同一级树杈上。  
 
  一个数据好比一个人, 都处在一个有着规范才能积极运转的社会里.

  有着海量级,甚至宇宙级信息量的数据社会如何正常运转?这正考验着网络时代的数据存储技术。

  东西多了、乱了就得要仓库,仓库有了就得请保安,东西再多了还得要更多的仓库,仓库多了还跨地区就得上物流管理系统。

  与仓储管理类似,网络存储也是这么一步一步被需求和技术推上了台面的。

  这个年头,信息数据处理技术的发展一直和信息的几何式膨胀如影相随。信息时代离不开数据的存储和采集,而数据的合理存储和有效采集又是促进信息技术发展的根本动力。简而言之,单一设备对数据进行存储和采集的时代早已过去,基于网络的数据存储和数据采集,以及数据共享则是当前数据处理技术中几项非常重要的课题。

  对所有存储数据随时、随需的检索、提取、应用和传送也成了当代信息应用系统的发展需求。种种迹象都告诉我们,时代对存储,尤其是网络存储的技术需求非常迫切。

  网络存储是啥?和之前的磁带存储、硬盘存储相比对应着什么特殊的应用?现在怎么就这么火?简单的说,网络存储就是通过网络存储设备,包括专用数据交换设备、磁盘阵列或磁带库等存储介质以及专用的存储软件,利用原有网络或构建一个存储专用网络为用户提供统一的信息系统信息存取和共享服务。

  信息数据无处不在,人们对数据的有效采集和控管却显得有些束手无策。当摩尔定律反映信息产业必然以树状形态无限膨胀时,线性增长、指数级增长、海量增长这些词汇都难以描述越发庞大的扩增信息量。有人甚至用宇宙级增长来形容当下的信息量级数。面对浩瀚的网络时空,信息的宇宙级量变又将会引发怎样的网络存储挑战呢?

  治混乱

  “看来网络存储的作用还真不赖。”提起上马不久的网络存储系统,21世纪便利公司信息部门负责人顾峻峰一脸笑意:“门店数据集中管理一直是连锁企业急需攻克的难题,也曾让21世纪便利一度茫然。上马网络存储系统后,公司大量的数据信息终于找到了守护神,原本散乱的数据通过合适的管理和利用后,成为企业决策的重要依据。”

  对21世纪便利而言,旗下600个门店每天都要产生大量业务数据,几年下来,这些业务数据的维护和管理已经成为信息部门的一个沉重负担。然而,对于业务部门来说,这些财务数据、客户资料和业务信息都是一笔宝贵的财富,如何对之妥善存储、合理利用是数据异构化时代企业IT部门必须考虑的重要问题。

  每个企业都会产生大量的关键数据,这些数据需要备份。这意味着这些数据要存储在容易访问和检索的地方。任何企业都可能遭遇停电、火灾、盗窃、洪水和意外损坏等天灾人祸,如果企业没有备份关键的数据和信息,将会导致灾难性后果,恢复这些数据的成本十分高昂。数据存储已经成为目前的一个热点技术,它将网络带入以数据为中心的时代,基于网络的存储在今天的企业存储领域扮演着愈来愈重要的角色。

  新型网络存储技术的应用极大提高了信息存储系统的性能和容量,但数据增长没有止境,数据的种类也在不断地扩展。越来越多的非结构化信息不断出现,无论是制造业、金融业或是能源业,企业的信息数据都涵盖各种报表、账单、电子文档、网站等各种元素、图片、传真、扫描影像,以及大量多媒体音频、视频信息等。

  统计数据表明,各行业中来自交易的数据年增长速度为61%,而其他各种信息的年增长率高达92%。数据的爆炸性增长导致存储系统容量的持续增加,对于企业与组织来说,不但要控制数据存储的成本,而且面临如何有序地存储、管理并利用这些数据的巨大挑战,尤其是那些大量的非结构化数据。

  怎样才能够简化存储管理?业界的技术人员也曾提出一些独到的见解。来自博科公司的SAN技术顾问李华祥指出,要简化存储管理,必须借助相应的管理软件,通过相应的管理模块,所有的信息都可以集中到管理员的管理台或者信箱里,帮助管理员随时把握系统运行状态。

  在李华祥的思路里,我们可以看到软件是简化存储资源管理的一种必要手段,而统一资源管理是一种实现的方式。但是在复杂的存储环境中,这种统一管理实现的可能性有多大?

  存储虚拟化技术,则能够将多组异构存储系统融入一个公共存储池,实现数据在存储层间的无缝迁移,消除互操作性障碍,统一管理并共享功能。它通过掩盖物理层的复杂状态,为用户提供一个统一、可视、易操作的管理界面,达到降低管理难度的目的。

  在扩展系统的情况下,用户可以使用一个具有不同功能的存储系统集合,它对用户和管理员而言,就像一个大型存储池一样,用户能够访问他们需要的精确存储类型,无论对于长期备份高容量 ATA 磁盘,还是对于高可靠性、完全冗余和完全复制的企业存储的宝贵财务数据。

  虚拟化系统使管理员能够像在管理一个大型系统一样管理独立存储系统。使用虚拟化,不仅可以向用户隐藏系统复杂性,而且可以对管理员降低复杂性。

  治安全

  最近《印度时报》披露一条消息:印军正采取积极行动,准备应对来自网络这一虚拟世界的威胁。原因是印巴之间的黑客战让印度军方感觉到提高网络安全的紧迫感。可见网络安全的重要性无论对个人、企业还是政府,都到了不用提也会十分重视的地步。

  对于网络存储,存在着太多威胁,包括数据更改、破坏、窃取、拒绝服务攻击、恶意软件、硬件窃取,以及未授权访问等。针对这些威胁,未雨绸缪的事前控制非常重要,比如用户验证策略、反入侵策略、访问控制策略等等。

  一、用户验证策略

  用户验证策略包括验证性、授权性和确认性。验证性指的是检验核实某人确实是他所声称的那个人。比如智能卡、语音识别、指纹识别等都是常用的手段。授权性是指确定已被识别和验证的用户可以访问某特定资源的过程。确认性指在系统上记录事件的跟踪机制,这里常用到审计。

  二、反入侵策略

  在反入侵策略中,关键是保证数据的机密性,保护数据不被入侵者获取,判断数据在传输过程中是否已被篡改完整性。

  为防止入侵者获得数据,一般都采用加密机制。把原始数据加密后,如果没有密钥,则密文不可读,即使被窃也毫无意义,被窃的数据仍然保持机密性。所有的加密协议都是为了使被窃数据不可读,从而保证机密性的。完整性指的是检验数据,以确保未被篡改。举例来讲,在IPSec密钥交换过程中,最初的交互使用MD5或SHA完整性验证方法,来保证在此过程中数据未被篡改。

  三、访问控制策略

  访问控制指的是控制某用户可以或不可以访问网络、资源、文件等。为了确保网络存储资源的安全性,必须认真考虑或确认每一个用户的访问级别,然后通过设置具体的访问控制策略来在保证用户合法权限的同时,大大地规范访问秩序和降低访问漏洞的策略。

  访问控制策略主要包括强制访问控制(MAC)、自主访问控制(DAC)和基于角色的访问控制(RBAC)。

  其中,强制访问控制最为严格,只有网络管理员或管理程序可以对数据、系统、资源的访问和权限进行控制或修改。这种保密性极高的访问控制策略适用于军事部署、财政、医疗系统等特定系统,否则,应用在别的行业系统中恐怕有因噎废食的嫌疑。自主访问控制策略中,控制权在创建访问对象的那个人手中。比如,用户A创建了一个文件夹,则由A来决定谁将拥有对此文件夹的访问权。在基于角色的访问控制策略中,访问权是由用户在组织中所代表的角色决定的。网络用户被赋予特定的角色,比如版主、一级用户、二级用户等等。同类角色的用户自成一组,通过这些用户在网络上的角色决定访问控制权。

  这些都给网络存储带来了技术驱动,未雨绸缪,方能先发“治安”。

  求发展

  河南移动早在2000年就已经开始使用网络存储。当时,河南移动计费中心根据业务需要,先后建立了综合业务系统、运营支撑系统(BOSS系统)以及计费与营业账务等多个子系统,并分别为子系统在后端搭建了独立的SAN平台。

  这就造成为企业治理和决策分析提供依据的业务数据被存储在各个不同的平台上。每个业务子系统均需单独与BOSS系统建立数据接口,执行任务时均需向BOSS系统发出请求,BOSS系统经由服务器从磁盘阵列中取数据,然后再将数据传输到各个子系统。各子系统在利用收到的数据完成运算后,再将数据结果由上述相反的传输方向传回到BOSS系统。

  随着公司业务的突飞猛进,客户数量与网络容量大幅上扬,上述流程占用了大量的服务器和存储资源,造成数据交换效率低,数据安全性和准确性不高,并成为河南移动业务发展的瓶颈。为了搭建统一信息平台,实现数据和存储资源的互联互通与共享,提升数据交换的效率,应对未来仍将激增的数据量,今天,河南移动不得不着手对各个SAN孤岛进行整合。

  其实,与河南移动一样,在构建自身的网络存储系统时,很多用户由于最初设计定位不明确,导致早期建立的网络存储架构不能满足后来业务发展需求,不得不实施整合,甚至重构,造成许多浪费与损失。因此,在设计架构网络存储系统时,除了需要注意解决网络存储管理与安全外,还应当积极考虑其可持续发展问题。

  根据IDC的调查,系统可用性和业务持续性是IT管理人员最优先考虑的问题。在这个数据密集的世界中,正确的存储系统和网络软件可能决定一个公司的兴衰。当数据量的增长和业务强度增加时,架构一个可持续发展的存储系统比以往任何时候都显得更加重要。一个低效率的IT基础架构可能会导致各种各样的问题,包括螺旋式上升的成本、糟糕的性能、管理效率低下和对IT人员低效率的使用。

  保证业务连续性已成为企业IT基础设施关键所在,用户在组建存储系统时首先就应当考虑支撑业务的连续性。但实际上,许多用户的存储系统在实际应用中却表现出了系统架构封闭、扩展性差、交互性弱等问题,甚至形成网络时代的存储孤岛。此时,用户需要通过新兴技术搭建运营级的存储系统。

  今天,网络存储处正处于不断变化与发展之中。基于IP协议的技术标准 iSCSI,实现了SCSI和TCP/IP协议的连接。相对于以往的网络接入存储, iSCSI的产生解决了开放性、容量、传输速度、兼容性、安全性等问题,其优越的性能使其自发布之始便受到市场的关注与青睐。

  而基于InfiniBand的网络存储技术,实现了一种全新的互联方式。它不但可用于服务器内部的互连、服务器之间的互连、集群系统的互连,还可用于存储系统的互连,提供了高带宽、低延迟、可扩展的I/O互连,克服了传统的共享I/O总线结构的诸多弊端。

  上述诸多技术的出现,让网络存储架构步入一个更加开放的阶段。但与此同时,网络存储系统的开放除了需要新兴技术的支撑外,还需要存储厂商在其产品架构与互操作性上的开放。只有通过这两方面的共同努力,类似河南移动的存储孤岛才能真正冰消雪融。

  网络存储介质 一路走来

  信息时代的核心是信息技术,信息技术的核心无疑是信息处理与存储,而存储介质则是以海量数据形式存在的信息的“安身立命”之所。

  磁带存储介质

  磁带存储可谓到目前为止最古老的存储方式之一。从1952年第一台13mm磁带机在IBM公司问世以来,磁带存储已经走过50多年,它是一种安全、可靠、易用的数据备份方法。

  目前而言,磁带有0.5英寸、8mm、4mm、0.25英寸等规格,容量从几十MB到几个GB各不相等。在具体使用过程中,有几点需要考虑。首先,随着磁带技术不断更新,为保证新的机器能够读取以前保存的磁带,就要求磁带具有向下兼容的功能;其次,对于保存期限要求高的数据文件,应考虑选用使用寿命长的磁带类型,一般螺旋扫描式磁带由于结构复杂,在读写数据时对磁带的磨损较严重,而直线记录式磁带由于结构简单,磨损也小,所以使用寿命较长。

  近年来,随着企业数据信息不断增长,自动加载磁带机或磁带库作为基于磁带的备份系统成为更多企业用户的新选择。自动加载磁带机是一个位于单机中的磁带驱动器和自动磁带更换装置,它可以从装有多盘磁带的磁带匣中拾取磁带并放入驱动器中,或执行相反的过程,自动为每日的备份工作装载新的磁带,可备份100GB~200GB或更多的数据。

  而磁带库则具有更先进的技术特点。它可以多个驱动器并行工作,也可以几个驱动器指向不同的服务器来做备份,存储容量达到PB(1PB=100万GB)级,是集中式网络数据备份的主要设备。

  硬盘存储介质

  硬盘是目前计算机使用的主要存储设备,这是因为它的访问速度比软盘和光盘都快,因此它最适合储存那些需要经常访问和需要快速访问的程序和文件。

  转速是硬盘所有指标中除容量外最引人注目的性能参数,以每分钟多少转(RPM)为单位,转速越快,硬盘取得和传送数据的速度也越快。从容量上看,硬盘容量与盘片数、面密度关系密切,这两项数值越大则容量越大。但是盘片数的增加会使硬盘体积增厚。单碟容量的大小直接关系到整个硬盘容量的大小。因为目前的硬盘里一般只能放进4~5张碟片,只有提高每张碟片的容量才可以不断地增加硬盘的容量。

  缓存也是硬盘相当重要的一个参数,其大小也会直接影响到硬盘的整体性能,因为缓存容量加大可以容纳更多的预读数据,大大缩短系统等待时间。目前,主流硬盘的缓存已达2MB。

  另外,平均寻道时间指的是磁头到达目标数据所在磁道的平均时间,它直接影响硬盘的随机数据传输速度。磁头平均寻道时间除了和单碟容量有关外,最主要的决定因素是磁头动力臂的运行速度。目前,硬盘平均寻道时间大约为7~9毫秒。

  总之,硬盘技术的发展正向着高容量、高速度和可靠性的方向发展。现在大多数家用 PC 所使用的硬盘盘片直径一般都是3.5英寸,与软盘盘片的直径相同。但是硬盘存储容量远远超过了软盘。

  闪存存储介质

  我们常说的闪存是一个笼统的称呼,准确说来,它是非易失随机访问存储器(NVRAM)的俗称,断电后存储的数据不会消失,因此可以作为外部存储器使用。闪存可分为NOR型和NAND型两大类。

  NOR型闪存更像内存,有独立的地址线和数据线,但容量较小;而NAND型更像是硬盘,地址线和数据线共用I/O线,容量较大。因此,NOR型闪存适用于频繁随机读写的场合,手机就是使用NOR型闪存的大户。而NAND型闪存则主要用来存储资料,我们常用的闪存产品,如闪存盘、数码存储卡都是NAND型闪存。

  NAND型闪存的操作方式效率低,这和它的架构设计和接口设计有关,它的操作方式、性能特点都与硬盘相似:小数据块操作速度很慢,而大数据块速度就很快,而且这种差异远比其他存储介质大得多。