http://book.51cto.com/art/201004/196350.htm

Lustre[5]文件系统是一个基于对象存储的分布式文件系统，并且与PVFS一样，Lustre也是一个开源项目。Lustre项目与1999 年在Carnegie Mellon University启动，现在已经发展成为应用最广泛的分布式文件系统。Lustre已经运行在当今世界上最快的集群系统里面，比如Bule Gene，Red Storm等计算机系统，用来进行核武器相关的模拟，以及分子动力学模拟等等非常关键的领域。

Lustre的组织结构在其官方文档中有详细的介绍，如图 5.5所示，Lustre集群组件包含了MDS（元数据服务器）、MDT（元数据存储节点）、OSS（对象存储服务器）、OST（对象存储节点）、Client（客户端），以及连接这些组件的高速网络。

1）元数据存储与管理。MDS负责管理元数据，提供一个全局的命名空间，Client可以通过MDS读取到保存于MDT之上的元数据。在 Lustre中MDS可以有2个，采用了Active-Standby的容错机制，当其中一个MDS不能正常工作时，另外一个后备MDS可以启动服务。 MDT只能有1个，不同MDS之间共享访问同一个MDT。

（点击查看大图）图 5.5  Lustre集群架构

2）文件数据存储与管理。OSS负载提供I/O服务，接受并服务来自网络的请求。通过OSS，可以访问到保存在OST上的文件数据。一个OSS对应 2到8个OST，其存储空间可以高达8TB。OST上的文件数据是以分条的形式保存的，文件的分条可以在一个OSS之中，也可以保存在多个OSS中。 Lustre的特色之一是其数据是基于对象的职能存储的，跟传统的基于块的存储方式有所不同。

3）Lustre系统访问入口。Lustre通过Client端来访问系统，Client为挂载了Lustre文件系统的任意节点。Client提供了Linux下VFS（虚拟文件系统）与Lustre系统之间的接口，通过Client，用户可访问操作Lustre系统中的文件。

Lustre集群中的各个节点通过高速的以太网或Quadrics Elan、Myrinet等多种网络连接起来。

（点击查看大图）图 5.6  Lustre文件系统架构

在Lustre官方手册中给出了Lustre文件系统的架构，如图 5.6所示。Lustre文件系统也是一个3方架构，包括了MDS、OSS和Client这3个模块。文件的打开（open）和关闭（close）、元数据以及并发访问控制都在Client和MDS之间进行；文件I/O操作以及文件锁在OSS和Client之间进行；文件备份，文件状态获取以及文件创建等在MDS和OSS之间进行。目前Lustre文件系统最多可以支持100000个Client，1000个OSS 和2个MDS节点。

同PVFS类似，Lustre系统中既可以运行一个功能模块，也可以同时运行2个或3个功能模块，这取决于系统的规模。不过Lustre一般运行于高性能计算机系统之上，为了提高Lustre文件系统的性能，通常MDS、OSS和Client是分开运行在Lustre不同的节点之上的。

实验与应用已经证明，Lustre文件系统的性能和可扩展性都不错。不仅如此，Lustre文件系统还拥有基于对象的智能化存储、安全的认证机制、比较完善的容错机制等优点，值得注意的是，Lustre还实现了部分文件锁。Lustre确保从不同Client端挂载的Lustre文件系统看到的都是一个单一的、同步的、一致的命名空间。由于Lustre部分锁机制的存在，多个Client端在同一时间点可以写同一文件的不同区域，其它Client则可以读取文件的其它区域。由于部分文件锁的存在，极大的提高了多用户对同一文件进行并发访问时系统的性能，对同一文件并发访问这在像数据库这种应用里是极为常见的。

相对于PVFS，Lustre的可用性和扩展性以及性能上都有较大的提高。然而，Lustre需要特殊设备的支持，并且Lustre目前还没实现 MDS的集群管理，虽然相比PVFS的单MDS，Lustre的双MDS在可用性上还是提高不少，但是当系统达到一定的规模之后，MDS还是很有可能成为 Lustre系统中的瓶颈。