泸州,运用 Parallel NFS 增强文件体系,伊能静

频道:新闻世界 日期: 浏览:289

这是一篇旧文,作者为Martin Streicher,于2008年宣布。尽管文章不新,但具有必定的参考价值。

通过 NFS(由服务器、客户机软件和两者之间的协议组成),一台核算机就可以和同一网络中的其他核算机同享物理文件体系。NFS 躲藏服务器的文件体系的完结和类型。关于在 NFS 客户机上运转的应用程序,同享的文件体系看起来和本地存储相同。

图 1 演示了在包含各种操作体系的网络中布置 NFS 的一般办法。这些操作体系包含支撑 NFS 秀媛堂美容店加盟规范的 Linux、Mac OS X 和 Windows。(NFS 是 Inte王亚辰rnet Engineering Task Force 专一支撑的文件体系)。

图 1. 简略的 NFS 装备

在图 1 中,Linux 机器是 NFS 服务器;它同享或导出(用 NFS 的话讲)一个或多个物理顺便文件体系。Mac OS X 和 Windows 机器是 NFS 客户机。它们别离运用或挂载同享的文件体系。实践上,挂载 NFS 文件体系和挂载本地驱动分区的结果是相同的 — 在挂载时,应用程序仅依据拜访操控读写文件,而不留意耐久化数据所需的技巧。

关于通过 NFS 进行同享的文件体系,Read 和 Write 操作 — 由蓝色暗影标明 — 从客户机(这儿是 Windows 机器)遍历到服务器。这个服务器终究履行获取或耐久化数据的恳求或修正文件元数据的恳求,比方权限或最终的修正时刻。

NFS 的功用十分强壮,从广泛将它用作 Network Attached Storage (NAS) 就可以看出来。它可以在 Transmission Control Protocol (TCP)qq大盗 和 User Datagram Protocol (UDP) 上运转,而且相泸州,运用 Parallel NFS 增强文件体系,伊能静对简略办理。此外,NFS 的最新答应版本是 NFS version 4,它进步了安全性、增强了 Windows 和类 UNIX 体系之间的互操作性,而且通过锁租借(lock lease)供给更好的排他性。(NFSv4 于 2003 年初次取得同意)。NFS 的根底设施也不贵重,由于它一般能在一般的 Ethernet 硬件上很好地运转。NFS 可以处理大部分的问题。

不过,NFS 处理高功用核算(HPC)一向不行抱负。高功用核算涉及到的数据文件十分巨大,而且 NFS 客户机的数量或许到达几千台。(想一想具有数千个核算节点的核算集群或网格泸州,运用 Parallel NFS 增强文件体系,伊能静)。在这儿,NFS 是一个担负,由于 NFS 服务器的局限性 — 比方带宽、存储容量和处理器速度 — 约束了整体核算功用。NFS 在这儿成了瓶颈。

或许,至少曾经 是这样。

NFS 的下一个修正版是 version 4.1,包含一个扩展 Parallel NFS(pNFS),它将一般 NFS 的优势和并行输入输出(I/O)的高传输率结合起来。运用 pNFS 时泸州,运用 Parallel NFS 增强文件体系,伊能静,客户机也像曾经相同可以从服务器同享文件体系,但数据不通过 NFS 服务器。相反,客户机体系将与数大晴天旅行网据存储体系泸州,运用 Parallel NFS 增强文件体系,伊能静直接衔接,为大型数据传输供给许多并行的高速数据途径。在简略的初始化和握手(handshaking)进程之后,pNFS 服务器开端退出 “舞台”,不再阻止传输速率。

图 2 显现一个 pNFS 装备。顶部是核算集群的节点,比方很多廉价的、依据 Linux 的刀片服务器群。左面是 NFSv4.1 服务器。(为了便利评论,咱们称之为 pNFS 服务器)。底部是一个大型的并行文件体系。

图 2. pNFS 的概念安排结构

像 NFS 相同,pNFS 服务器也导出文件体系,而且保存和保护数据仓库中描绘每个文件的规范元数据。pNFS 客户机和 NFS 相同 — 在这儿是集群中的一个节点 — 挂载服务器导出的文件体系。类似于 NFS,每个节点都将文件体系看作本地的物理附加文件体系。元数据的更改通过网络传回给 pNFS 服务器。但是,与 NFS 不同的是,pNFS在Read或Write数据时是在节点和存储体系之间直接操作的,如图 2 的底部所示。从数据业务中移除 pNFS 服务器为 pNFS 供给了显着的功用优势。

因而,pNFS 保存了 NFS 的一切长处,而且改善了功用和可伸缩性。扩展存储系泸州,运用 Parallel NFS 增强文件体系,伊能静统的容量简直不会影响客杀杀草纸户机装备,一起还可以增加客户机的数量以进步核算才能。您只需同步 pNFS 目录和存储体系。

pNFS 的详细细节

那么,它是怎么作业的呢?如图 3 所示,枪恋33天pNFS 是由 3 个协议构成的。

图 3. pNFS 的 3 个协议

pNFS 协议 在 pNFS 服务器和客户机节点之间传输文件元数据(正式名称是布局)。可以将布局幻想成地图,它描绘怎么在数据仓库之间分配文件。别的,布局还包含答应和其他文件特点。布局捕捉到元数据并在 pNFS 服务器中耐久化这些数据之后,存储体系仅需女排新星颜值逆天履行 I/O。

存储拜访协议指定客户机从数据仓库拜访数据的方法。可以猜到,每个存储拜访协议都界说自己的布局方式,由于拜访协议和数据安排有必要保持一致。

操控协议同步元数据服务器和数据服务器之间的状况。同步是对客户机躲藏的,比方从头安排介质上的文件。此外,NFSv4.1 并没有规则操控协议;因而它有多种方式,这在功用、本钱和特性方面的竞赛为供货商供给了灵活性。

有了这些协议之后,您就可以实践以下客户机拜访流程:

  1. 客户机为当时的文件恳求一个布局。
  2. 客户机通过打开元数据服务器上的文件取得拜访权。
  3. 客户机取得授权和布局之后,就可以直接从数据服务器拜访信息。依据存储类型所需的存储拜访协议,拜访继续进行。(后边还对此进行论说)。
  4. 假如客户机更改了这个文件,则会相应地更改布局的客户机实例,而且将一切更改提交回到元数据服务器。
  5. 当客户机不再需求这个文件时,它将窦骁雷宇铮提交剩下的更改,并将布局副本回来给元数据服务器,然后封闭文件。

特别需求留意的是,Read 操作是由一系列协议操作组成的:

  1. 客户机向 pNFS 服务器发送一个 LOOKUP+OPEN 恳求。服务器会回来一个文件句柄和状况信息。
  2. 客户机通过 LAYOUTGET 指令恳求从服务器获取一个布局。服务器将回来所需的文件布局。
  3. 客户机向存储设备宣布一个READ恳求,该恳求一起初始化多个Read操作。
  4. 当客户机完结读操作时,它以LAYOUTRETURN标明操作完毕。
  5. 假如与客户机同享的布局由于别离活动而过期,服务器将宣布CB_LAYOUTRECALL,标明该布局无效,有必要铲除和/或重蒂姿琳新获取。

Write 操作类似于 Read 操作,不同的当地是客户机有必要在LAYOUTRETURN将文件更改“发布” 到 pNFS 服务器之前宣布 LAYOUTCOMMIT。

布局可以缓存到每个客户机,这进一步提升了功用。假如一个客户机不再运用时,它会主动抛弃从服务器获取布局。服务器金童玉子还能约束 Write 布局的字节规模,以防止配额约束或削减分配开支等等。

为了防止缓存过期,元数据服务器将收回不精确的布局。收回发作之后,每个相关的客户机有必要中止 I/O,而且有必要从头获取布局或从一般的 NFS 拜访文件。在服务器测验办理文件(比方搬迁或从头区分)之前有必要履行收回进程。

方位是要点

如前所述,每个存储拜访协议都界说一个布局类型,而且可以随意增加张冰洁自传新的拜访协议和布局。为了使 pNFS 可以独立运用,pNFS 阜宁焦爱芹视频的供货商和研究人员现已界说了 3 种存储技巧:文件目标存储:

  • 文件存储 一般是由传统的 NFS 服务器完结的,比方由 Network Appliance 生成的服务器。存储群是由一组 NFS 服务器组成的,而且每个文件都跨过一切服务器或服务器的子集,从而使客户机可以一起获取文件的各个部分。在这儿,布局枚举持有文件片段的服务器、每个服务器上文件片段的巨细,以及每个片段的 NFS 文件句柄。
  • 块存储 一般是运用由许多磁盘或 RAID 阵列组成的存储区域网络(SAN)来完结的。许多供货商都供给 SAN 处理方案,包含 IBM 和 EMC。有了块存储之后,文件可以被区分为块并散布到不同的驱动器中。块存储布局将文件块映射到甘家口修建书店物理存储块。存储拜访协议便是 SCSI 块指令集。
  • 目标存储 类似于文件存储,但有一点不同,这儿运用的是目标 ID 而不是文件句柄,而且文件切割功用愈加杂乱强壮。建议 pNFS 开发的 Panasas 公司(pNFS 依据该公司的 DirectFLOW 架构)是 pNFS 目标完结我国四海控股有限公司的首要创造者。

不论布局的类型是什么,pNFS 都运用通用的泸州,运用 Parallel NFS 增强文件体系,伊能静形式来引证服务器。引证服务器时运用的是仅有兴盛电气江苏有限公司的 ID,而不是主机名或卷名。这个 ID 被映射到特定于拜访协议的服务器引证。

关于这些存储技能,哪个最好呢?答案是 “依状况而定”。应该选用哪种存储技能由预算、速度泸州,运用 Parallel NFS 增强文件体系,伊能静、伸缩性修改星视频教程、简略性等要素一起决议。

pNFS 的现状

在进行出资之前,咱们先看看 pNFS 的现状。

到 2008 年 11 月编撰此文停止,NFSv4.1 的 Request for Comments (RFC) 草案现已进入最终阶段。这个阶段有两个月的时刻,首要任务是在发布 RFC 使其饱尝全职业的查验之前搜集和评价定见。发布之后,RFC 的正式审阅期是一年。

除了对大众揭露以外,这个草案选用的 RFC 规范为实践产品开发打下坚实的根底。由于在将来的审阅期只可以对这些规范进行小的改动,所以供货商现在就可以规划和构建可行的、有商场价值的处理方案。许多供货商的产品将于下一年上市。

可以这样说,在几个月之内,您可以找到 pNFS 的开源完结。Panasas 和密歇根大学信息技能集成中心(CITI大雄的钥匙城历险记)是开发 NFSv4.1 和 pNFS for Linux 的领先者。当它们发布时,前期选用者可以通过构建简略的 pNFS 网络来探究该软件。

实践上,pNFS 的前身和根底技能现已投入运用,尽管受到约束但体现不俗。世界上最快的超级核算机(在 Top 500 查询中排名第左氏幻觉一),一起也是第一台到达一个 petaflop 的核算机运用 Panasas 构建的并行文件体系,该体系是 pNFS 规范的中心。(一个 petaflop 是指核算机每秒核算一千万亿次)。这个运tickleboy行 Linux 的巨大体系坐落 Los Alamos National Laboratory,具有 12,960 个处理器,它被颁发称谓 Roadrunner,而且是第一台运用不同类型处理器的超级核算机,如图 4 所示。AMD Opteron X64 处理器和 IBM 的 Cell Broadband Engine™ 都提升了核算才能。在 2006 年,运用 Panasas 前期并行文件体系的 Roadrunner 的传输速率峰值是 1.6 GB 每秒。在 2008 年,Roadrunner 并行存储体系可以保持数百 GB 每秒的速率。相比之下,传统的 NFS 的峰值一般是几百兆字节每秒。

图 4. Roadrunner,第一台到达每秒核算一千万亿次的超级核算机

NFSv4.1 规范和 pNFS 是 NFS 规范的巨大改善,它是对一个具有 20 多年前史的老技能的最大改动,该技能由 Sun Microsystems 的 Bill Joy 在 20 世纪 80 时代创造。通过 5 年的开发,NFSv4.1 和 pNFS 现在现已准备好为超级核算机供给超级存储速度。

并行存储将成为未来存储技能的主导!

热门
最新
推荐
标签