【转】工商银行上海数据中心备份方案解析
一、中国工商银行上海数据中心数据备份和恢复的需求
1.1. 用户的需求
中国工商银行上海数据中心(以下简称上海数据中心),每天需要对 VSE/ESA 生产主机 和 OS/390 生产系统上的生产和系统数据进行备份,包括批处理前和批处理后的数据备份。上海数据中心每天需要从 8 个 VSE/ESA 系统和 8 个 OS/390 系统上的数百个 3390-3 型磁盘卷上备份大量 VSAM 文件(业务数据) 和备份磁盘卷的整卷数据。现在,每个VSE/ESA 生产系统的每天的数据备份量达 200 盘 3490E 磁带,其中有 60 盘左右为对磁盘卷的备份。为了不间断业务运行,缩短批处理时间,不影响生产运行。上海数据中心对数据备份操作的要求是:
确保数据安全性和完整性。
缩短备份时间,减少由于备份对业务的中断。
如果需要进行数据恢复时,恢复操作要准确、迅速,时间短。
备份和恢复操作要简捷,便于操作员的日常使用。
为了将数据备份时间缩短到最小,上海数据中心希望利用磁盘快速复制技术,或者虚 拟磁带系统来快速完成备份操作。
上海数据中心最终备份的的数据是 VSAM 文件。单个文件的数据量不大,但是文件数量众多。对这种类型数据的备份和恢复,虚拟磁带系统(VTS)技术将是最好的解决方案。上海数据中心最终利用 StorageTek 公司 的、运行在 OS/390 操作系统上的 HSC 和 VTCS 软件,配合以运行在 VSE/ESA 操 作系统上的、MT Consultant 公司的 LMS/VSE 软件来完成这些备份任务的。
二、方案介绍
由于上海数据中心需要备份的数据量庞大,将来的备份磁带数量一定很多。因此,上海数据中心应该采用自动磁带库来管理备份磁带。并采用物理磁带及 和虚拟磁带机相结合的数据备份和恢复技术,来提高数据备份的效率和存储空间的利用率。 9490 磁带机与 3490E 磁带机完全兼容,采用 IDRC 压缩和 3490E E-cart,单盘磁带的容量为 2.4 GB。由于上海数据中心的磁盘卷大多数为 3390-3 型,容量为2.89 GB,将占用 2 盘 3490E E-cart 磁带。上海中心采用 9490 磁带机 EE-tape 功能,一盘磁带的容量可以高达 4.8 GB (压缩后)。对于 OS/390 磁盘卷整卷的备份,上海数据中心采用 StorageTek 9310 自动磁带库和 9840高性能、大容量磁带机。如果配合 StorageTek exHPDM 软件,可以将数个磁盘卷同时 备份到一盘 9840 磁带上。将能充分发挥 9840 磁带机的性能和充分利用 9840 磁带的容量。
根据工商银行上海数据中心对数据备份和恢复的要求,采用 StorageTek 公司 9310 自动磁带库加 StorageTek 公司的 VSM(虚拟存储系统)的综合磁带解决方案。
VSM 主要处理大量小文件的备份和恢复,如 VSAM 文件、CICS 日志、数据库增量 备份等。而对大型文件备份和恢复,则直接使用 9310 自动磁带库中磁带驱动器,如对磁盘卷的整卷备份、数据库的全备份等操作。
本方案涉及的硬件和软件产品
1 1套 StorageTek 9310 自动磁带库系统
2. 1套 StorageTek VSM 虚拟存储系统
3. 8 套 HSC (主机软件部件) 软件
4. 1套 VTCS (虚拟磁带控制软件)
5. 8 套 LMS/VSE 软件及 8 套 5193 磁带库管理网关
6. 磁带管理软件
在 OS/390 系统上采用 CA 公司的 CA-1/TMS 磁带管理软件。
在 VSE/ESA 系统上采用 CA 公司的 DYNAM/T 磁带管理软件。
2.4. 磁带库和 VSM 系统硬件连接方案
若要实现虚拟磁带卷的迁移和回迁,VSM 至少需要 9310 磁带库中的 2 台 9840 物 理磁带驱动器与其相连接。如果迁移和回迁的工作量比较大,则需要更多的磁带机驱动器。由于 VSM 主要用于处理大量小文件的备份和恢复。而对大型文件的备份和恢复仍需要直接使用 9310 自动磁带库中 9840 磁带驱动器。因此 9310 自动磁带库必须要有 直接(或通过 ESCON 通道转接器)连接到 OS/390 主机上的磁带机驱动器。如果主机上同时提交了多个大型文件的备份或恢复作业,则需要有多个磁带机驱动器。否则,将会有作业因没有可用的磁带驱动器而等待。 如果将 9310 中的多个磁带驱动器给 VSM 专用,再将另一些磁带驱动器给主机专用,则需要更多的磁带驱动器。直连的优点是,日常操作比较简便。但是,这样做投资 比较大,而且磁带驱动器不能得到充分的利用。这样如何充分、有效地利用磁带库 中磁带驱动器,则是需要解决的问题。
上海中心每个VSE系统每天的数据备份量平均为 200 盘 3490E 磁带。不含磁盘卷的备份磁带。按照实际存储在每盘磁带上的数据量平均为 100 MB,那么 8 个 VSE 系统每天的备份数据总量为 160 GB。如果这些备份数据驻留在 VSM 的时间为 1 天,那么VSM的容量至少为 160GB。如果这些备份数据的保留时间为 30 天,则总的数据容量为 9.6 TB。 自动磁带库中将 需要至少 120 盘 9840 磁带来保留这些备份磁带。如果将每天每个 VSE 系统的备份数 据迁移到一盘 3490E 磁带中, 30 天则需要 240 盘 3490 磁带。 如果 OS/390 系统的备份的数据量与 VSE/ESA 系统的相近,则对 VSM 容量的要求将 与以上分析大体相近。
三、方案技术要点
虚拟磁带存储管理是对磁带和自动磁带库解决方案的重大革新。它是自从磁带库出现以来,第一个为批量处理而发明的新技术。虚拟磁带使现有的技术能够得到充分地利用。虚拟磁带技术将批处理中的磁带操作变得更加有效,使高密度介质、高性能磁带机和高速通道得以充分利用。
VSM 虚拟磁带系统所带来的最大利益是极大地提高了批处理的性能,这是用户可以直接感受到的虚拟磁带技术所带来的影响。其带来的间接利益还有很多,包括:充分利用现有的磁带机和磁带资源,解决磁带驱动器紧张的问题,简化了磁带管理。
对于小型批处理文件的备份,装带和卸带时间占整个磁带操作时间(占用磁带机驱动器的时间)的很大一部分。利用虚拟磁带技术,将没有装带和卸带的 时间,所以整个磁带操作时间将显著降低。 这将带来两大好处:第一,批处理作业将运行地更快,从而缩小批处理窗口;第二, 虚拟磁带机驱动器的利用率更高,减少作业等待驱动器的时间,降低了对驱动器数 量的需求。再加上虚拟磁带系统提供的虚拟磁带驱动器数量很多,使系统可以同时 处理大量批处理备份作业,减少作业的等待时间。如果需要从仍驻留在 VSM 中 虚拟磁带中恢复数据,由于该虚拟磁带卷仍然驻留在缓存中,VSM 将会直接将它恢复到主机磁盘上。整个过程不需要装带/卸带操作,缩短了恢复的时间,也缩短了批处理的时间。用户可以定义虚拟磁带卷驻留的时间。