浅谈云存储技术架构

    目前利用科技手段辅助城市管理的建设模式已经由以前的以视频监控为主的平安城市建设转向以多传感技术为主的智慧城市建设，在这一过程中，虽然当前主要的数据量仍然来自视频监控摄像头产生的图像数据，但由各类传感器产生的数据量和数据种类正在加速增长，例如各城市道路的交通流量信息、特种车辆的运行轨迹和车况状态信息、移动终端的身份采集信息等，对这些海量信息的存储、分析和利用，除了提供传统的安全防范、事后查证功能外，更为城市建设科学规划、科学管理提供了充分的数据基础，同时，在这样一个海量大数据的时代，对于数据的安全存储和应用也需要与之相适应的新的技术手段，而以分布式和并行处理为基础的云计算和云存储技术，在此过程中也得到了极大地发展。

浅析云存储技术架构

　　相对传统存储而言，云存储改变了数据垂直存储在某一台物理设备的存放模式，通过宽带网络（比如万兆以太网或Infiniband技术）集合大量的存储设备，通过存储虚拟化、分布式文件系统、底层对象化等技术将位于各单一存储设备上的物理存储资源进行整合，构成逻辑上统一的存储资源池对外提供服务，从而在存储容量上得以从单设备PB级横向扩展至数十、数百PB，由于云存储系统中的各节点能够并行提供读写访问服务，系统整体性能随着业务节点的增加而获得同步提升。同时，通过冗余编码技术、远程复制技术，进一步为系统提供节点级甚至数据中心级的故障保护能力。容量和性能的按需扩展、极高的系统可用性，是云存储系统最核心的技术特征。

　　通常，从云存储的技术实现层次上看，从底层向上，可以分为存储层、管理调度层、访问接口层、应用服务层等四个层次，其中存储层是云存储的基础，一台云存储节点设备通常能安装24个以上的硬盘，通常通过IP接口将大量的存储设备互连在一起形成存储设备资源池，在一个云存储系统中，底层物理存储设备数量庞大，而且设备形态理论上也允许异构（这样也可以接入传统的IPSAN或FCSAN），在物理存储设备之上是一个统一的存储设备管理层，实现对物理存储设备的逻辑虚拟化管理、状态监控和维护等功能。

　　管理调度层是云存储最核心的部分，这一层的主要功能是在存储层提供的存储资源上部署分布式文件系统或者建立和组织存储资源对象，并将用户数据进行分片处理，按照设定的保护策略将分片后的数据以多副本或者冗余纠删码的方式分散存储到具体的存储资源上去。同时，在本层还会在节点间进行读写负载均衡调度以及节点或存储资源失效后的业务调度与数据重建恢复等任务，以便始终提供高性能、高可用的访问服务。不过，在具体实现时，该层的功能也可能上移，位于访问接口层和应用服务层之间，甚至直接嵌入到应用服务层中，和业务应用紧密结合，形成业务专用云存储。

　　访问接口层是业务应用和云存储平台之间的一个桥梁，提供应用服务所需要调用的函数接口，通常云存储系统会提供一套专用的API或客户端软件，业务应用软件直接调用API或者使用云存储系统客户端软件对云存储系统进行读写访问，往往会获得更优的访问效率，但由于一个云存储系统往往需要支持多种不同的业务系统，而很多业务系统只能采用特定的访问接口，例如块接口或者POSIX接口，因此一个优秀的云存储系统，应该同时提供多种访问接口，例如ISCSI、NFS、CIFS、FTP、REST等，以便在业务适配方面具有更好灵活性。

    业务应用层通过云存储系统提供的各种访问接口，对用户提供丰富的业务类型，例如高清视频监控、视频图片智能分析、大数据查找等。部分云存储系统也会在这一层的应用业务平台上实现管理调度层的功能，将业务数据的冗余编码、分散存储、负载均衡、故障保护等功能和各种业务的实现紧密结合，形成具有丰富业务特色的应用云存储系统，而在存储节点的选择方面，则可以采用标准的IPSAN、FCSAN或者NAS设备，例如宇视科技的视频监控云存储CDS(CloudDirectStorage)解决方案就是这种应用云存储的典型代表。

　　CDS解决方案继承了宇视科技视频ISCSI块直存高性能的优点，采用宇视最先进的裸数据存储技术，可极大程度发挥存储设备读写性能，实现云存储中的秒级检索和回放，通过采用标准的IPSAN设备，通过CDV存储虚拟化组件，并通过CDM云存储管理服务器集中统一管理底层的存储资源，构成全局统一的虚拟存储空间，当前端应用设备要进行读写时，首先向CDM请求可以访问的存储空间，并将数据离散存储到各底层标准的存储节点上去，当某一存储节点发生故障时，CDM会自动重新分配一个新的空间给前端设备进行访问，从而实现业务不停顿的读写。CDS系统支持海量的云存储节点管理能力，可管理高达2048个存储节点，支持动态扩容和缩容，提供不间断的视频和图片存储服务。同时也能提供视频实况、视频点播回放、报警管理、布防撤防、地图应用等多种视频业务。