為一項(xiàng)已被廣泛使用的技術(shù),集群可提供按比例增加的服務(wù)器或存儲資源的性能、容量、可靠性及可用性,突破了單機(jī)設(shè)備的種種限制。傳統(tǒng)的存儲系統(tǒng)由于受到其物理組成(如:磁盤驅(qū)動器的數(shù)量,所連接服務(wù)器的數(shù)量,內(nèi)存大小和控制器性能)的限制,會造成很多功能上的局限(如:支持文件系統(tǒng)的數(shù)量,快照或復(fù)制的數(shù)量等)。一旦遇到存儲系統(tǒng)的瓶頸,就會不斷地促使用戶升級到更大的存儲系統(tǒng)和添加更多的管理工具。
普通集群中可調(diào)整的特性包括:
● 性能(帶寬、IOPS——每秒輸入輸出次數(shù)——等)可提高到滿足大型順序讀或?qū)懖僮鳎蛘呤菍r間敏感(Time-sensitive)的隨機(jī)讀寫面向事務(wù)型(transaction-oriented)處理。
● 可用性——消除單點(diǎn)故障,透明的故障轉(zhuǎn)移(Failover)或自我修復(fù)(Self-healing)能力。
● 存儲容量和服務(wù)的連接訪問(FC、以太網(wǎng)和InfiniBand接口)。
● 可訪問性(Accessibility)——包含塊級(iSCSI、FC和InfiniBand)或NAS(NFS、CIFS或其它私有文件系統(tǒng))和數(shù)據(jù)共享。
● 基于開放或私有的硬件和軟件,使用緊密或松散的互聯(lián)技術(shù)來實(shí)現(xiàn)完全不共享、部分共享或完全共享架構(gòu)(Shared nothing, shared something or shared everything architectures)。
通過下表,我們看到了很多不同類型的集群存儲方案,其中包括集群和并行文件系統(tǒng)、集群文件服務(wù)器、集群NAS、集群iSCSI和FC存儲等。大多數(shù)的集群實(shí)現(xiàn)方式都滿足了容量和可用性的需求。一些集群存儲方案也支持通過控制吞吐量和I/O操作的方式來對性能進(jìn)行調(diào)整,以達(dá)到簡化使用和管理的目的。
集群存儲的眾多特征和例子
存儲 塊級集群(SAN FC/iSCSI) 文件級集群(NAS) 集群和并行文件系統(tǒng)
訪問 iSCSI或FCP NFS,CIFS NFS,CIFS,HTTP或其他
特征 性能、容量或可用性可以升級 虛擬NAS服務(wù)器,性能可升級 基于主機(jī)軟件或應(yīng)用
適用環(huán)境 微軟Exchange、SQL和其它基于敏感塊的應(yīng)用 普通的文件共享和相關(guān)的應(yīng)用需求 可能需要專門的軟件或合適的硬件,適用于對帶寬需求大的應(yīng)用
代表廠商 EqualLogic、LeftHand Networks、3PAR NetApp、ONStor、BlueArc Ibrix、PolyServe、Isilon、Verari、Panasas、Lustre、SGI、Crosswalk
對于集群存儲產(chǎn)品的實(shí)際能力的評估,主要通過其容量及性能伸縮的能力,可訪問性(Accessibility,塊或文件級)、可用性和使用的難易程度的幾方面來考核。集群存儲并非就是那些高不可攀的、聯(lián)合HPC(High performance computing,高性能計(jì)算)環(huán)境一起使用的大型順序帶寬(Sequential bandwidth)或并行文件系統(tǒng)的代名詞。多用途的集群存儲支持傳統(tǒng)的商業(yè)應(yīng)用,如電子郵件、數(shù)據(jù)庫和在線事務(wù)處理(OLTP)等。
任何等級的不同應(yīng)用和環(huán)境都能從靈活的集群存儲系統(tǒng)所提供的可伸縮性(包括性能、容量、可用性和模塊性)和虛擬化特性中受益。例如,中小企業(yè)環(huán)境最初可以部署一個小型的多節(jié)點(diǎn)存儲系統(tǒng)來滿足專門的應(yīng)用需求,而后隨著企業(yè)的成長而不斷增加系統(tǒng)的性能、容量和功能?! M足不同應(yīng)用性能和服務(wù)的需求
消除單點(diǎn)故障對于增強(qiáng)數(shù)據(jù)可用性、可達(dá)性和可靠性是非常重要的。集群方案可以有效防止單點(diǎn)故障的發(fā)生,其N+1冗余特性,以及部件的熱插拔特性和自我診斷能力可保證在錯誤造成麻煩前就將其發(fā)現(xiàn)、隔離并排除。
還有一種具有N+1冗余架構(gòu)的存儲系統(tǒng)一直處于灰色地帶,人們對其是否屬于集群還存在爭議。在N+1冗余架構(gòu)模式中,存在兩個或更多個(N個)主要I/O節(jié)點(diǎn)或控制器,也就是所謂的NAS頭,和備用或故障轉(zhuǎn)移節(jié)點(diǎn)。例如EMC的Celerra NSX和Pillar Axiom。是廠商的命名體系才使得這種N+1模式顯得十分混亂,如將包含有雙控制器的RAID陣列或雙NAS頭的方案稱作提高可用性的集群。
一個集群就是一個Grid(網(wǎng)格)嗎?這取決于你對Grid的定義。你把Grid看作是一項(xiàng)服務(wù)、架構(gòu)還是基于硬件或軟件的,跨越距離的其它能力呢。因此,對于怎樣才算服務(wù)器和存儲環(huán)境組成了一個Grid或集群這件事,存在著很多不同的廠商和行業(yè)定義和意見。雖然我已經(jīng)在這個領(lǐng)域內(nèi)工作了很多年,我發(fā)現(xiàn)我還經(jīng)常在關(guān)于Grid的基本成分,數(shù)據(jù)采集與監(jiān)控系統(tǒng)(Supervisory control and data acquisition ,SCADA)的討論中迷失。因此對于Grid-cluster的討論中就充滿了變數(shù)。
各種集群存儲方案中的不同之處包括:
● 節(jié)點(diǎn)彼此之間如何連接(松散地或緊密地連接,開放或私有);
● 節(jié)點(diǎn)間的I/O性能和負(fù)載平衡;
● 適當(dāng)?shù)挠布?,開放,現(xiàn)有產(chǎn)品(off-the-shelf),或支持第三方服務(wù)器或存儲;
● 文件共享,包含集群文件系統(tǒng)軟件,基于主機(jī)的代理或驅(qū)動;
● 本地或遠(yuǎn)程的鏡像或復(fù)制,及時點(diǎn)(Point-in-time)拷貝或快照;
● 具備虛擬化的存儲模塊增長,實(shí)現(xiàn)自動負(fù)載均衡;
● 性能自適應(yīng)順序讀寫或隨機(jī)訪問;
● 分布式鎖管理(Distributed lock management)和集群特性一致
理解集群存儲間不同的含義、類型和實(shí)現(xiàn)方式,將幫助你挑選最適合的方案。集群存儲非常適合那些持續(xù)增長的所有規(guī)模的不同環(huán)境,實(shí)現(xiàn)即時供應(yīng)(Just-in-time)存儲,避免破壞性升級和增加管理的復(fù)雜性。
普通集群中可調(diào)整的特性包括:
● 性能(帶寬、IOPS——每秒輸入輸出次數(shù)——等)可提高到滿足大型順序讀或?qū)懖僮鳎蛘呤菍r間敏感(Time-sensitive)的隨機(jī)讀寫面向事務(wù)型(transaction-oriented)處理。
● 可用性——消除單點(diǎn)故障,透明的故障轉(zhuǎn)移(Failover)或自我修復(fù)(Self-healing)能力。
● 存儲容量和服務(wù)的連接訪問(FC、以太網(wǎng)和InfiniBand接口)。
● 可訪問性(Accessibility)——包含塊級(iSCSI、FC和InfiniBand)或NAS(NFS、CIFS或其它私有文件系統(tǒng))和數(shù)據(jù)共享。
● 基于開放或私有的硬件和軟件,使用緊密或松散的互聯(lián)技術(shù)來實(shí)現(xiàn)完全不共享、部分共享或完全共享架構(gòu)(Shared nothing, shared something or shared everything architectures)。
通過下表,我們看到了很多不同類型的集群存儲方案,其中包括集群和并行文件系統(tǒng)、集群文件服務(wù)器、集群NAS、集群iSCSI和FC存儲等。大多數(shù)的集群實(shí)現(xiàn)方式都滿足了容量和可用性的需求。一些集群存儲方案也支持通過控制吞吐量和I/O操作的方式來對性能進(jìn)行調(diào)整,以達(dá)到簡化使用和管理的目的。
集群存儲的眾多特征和例子
存儲 塊級集群(SAN FC/iSCSI) 文件級集群(NAS) 集群和并行文件系統(tǒng)
訪問 iSCSI或FCP NFS,CIFS NFS,CIFS,HTTP或其他
特征 性能、容量或可用性可以升級 虛擬NAS服務(wù)器,性能可升級 基于主機(jī)軟件或應(yīng)用
適用環(huán)境 微軟Exchange、SQL和其它基于敏感塊的應(yīng)用 普通的文件共享和相關(guān)的應(yīng)用需求 可能需要專門的軟件或合適的硬件,適用于對帶寬需求大的應(yīng)用
代表廠商 EqualLogic、LeftHand Networks、3PAR NetApp、ONStor、BlueArc Ibrix、PolyServe、Isilon、Verari、Panasas、Lustre、SGI、Crosswalk
對于集群存儲產(chǎn)品的實(shí)際能力的評估,主要通過其容量及性能伸縮的能力,可訪問性(Accessibility,塊或文件級)、可用性和使用的難易程度的幾方面來考核。集群存儲并非就是那些高不可攀的、聯(lián)合HPC(High performance computing,高性能計(jì)算)環(huán)境一起使用的大型順序帶寬(Sequential bandwidth)或并行文件系統(tǒng)的代名詞。多用途的集群存儲支持傳統(tǒng)的商業(yè)應(yīng)用,如電子郵件、數(shù)據(jù)庫和在線事務(wù)處理(OLTP)等。
任何等級的不同應(yīng)用和環(huán)境都能從靈活的集群存儲系統(tǒng)所提供的可伸縮性(包括性能、容量、可用性和模塊性)和虛擬化特性中受益。例如,中小企業(yè)環(huán)境最初可以部署一個小型的多節(jié)點(diǎn)存儲系統(tǒng)來滿足專門的應(yīng)用需求,而后隨著企業(yè)的成長而不斷增加系統(tǒng)的性能、容量和功能?! M足不同應(yīng)用性能和服務(wù)的需求
消除單點(diǎn)故障對于增強(qiáng)數(shù)據(jù)可用性、可達(dá)性和可靠性是非常重要的。集群方案可以有效防止單點(diǎn)故障的發(fā)生,其N+1冗余特性,以及部件的熱插拔特性和自我診斷能力可保證在錯誤造成麻煩前就將其發(fā)現(xiàn)、隔離并排除。
還有一種具有N+1冗余架構(gòu)的存儲系統(tǒng)一直處于灰色地帶,人們對其是否屬于集群還存在爭議。在N+1冗余架構(gòu)模式中,存在兩個或更多個(N個)主要I/O節(jié)點(diǎn)或控制器,也就是所謂的NAS頭,和備用或故障轉(zhuǎn)移節(jié)點(diǎn)。例如EMC的Celerra NSX和Pillar Axiom。是廠商的命名體系才使得這種N+1模式顯得十分混亂,如將包含有雙控制器的RAID陣列或雙NAS頭的方案稱作提高可用性的集群。
一個集群就是一個Grid(網(wǎng)格)嗎?這取決于你對Grid的定義。你把Grid看作是一項(xiàng)服務(wù)、架構(gòu)還是基于硬件或軟件的,跨越距離的其它能力呢。因此,對于怎樣才算服務(wù)器和存儲環(huán)境組成了一個Grid或集群這件事,存在著很多不同的廠商和行業(yè)定義和意見。雖然我已經(jīng)在這個領(lǐng)域內(nèi)工作了很多年,我發(fā)現(xiàn)我還經(jīng)常在關(guān)于Grid的基本成分,數(shù)據(jù)采集與監(jiān)控系統(tǒng)(Supervisory control and data acquisition ,SCADA)的討論中迷失。因此對于Grid-cluster的討論中就充滿了變數(shù)。
各種集群存儲方案中的不同之處包括:
● 節(jié)點(diǎn)彼此之間如何連接(松散地或緊密地連接,開放或私有);
● 節(jié)點(diǎn)間的I/O性能和負(fù)載平衡;
● 適當(dāng)?shù)挠布?,開放,現(xiàn)有產(chǎn)品(off-the-shelf),或支持第三方服務(wù)器或存儲;
● 文件共享,包含集群文件系統(tǒng)軟件,基于主機(jī)的代理或驅(qū)動;
● 本地或遠(yuǎn)程的鏡像或復(fù)制,及時點(diǎn)(Point-in-time)拷貝或快照;
● 具備虛擬化的存儲模塊增長,實(shí)現(xiàn)自動負(fù)載均衡;
● 性能自適應(yīng)順序讀寫或隨機(jī)訪問;
● 分布式鎖管理(Distributed lock management)和集群特性一致
理解集群存儲間不同的含義、類型和實(shí)現(xiàn)方式,將幫助你挑選最適合的方案。集群存儲非常適合那些持續(xù)增長的所有規(guī)模的不同環(huán)境,實(shí)現(xiàn)即時供應(yīng)(Just-in-time)存儲,避免破壞性升級和增加管理的復(fù)雜性。