新聞資訊
行業(yè)資訊
RDMA是數(shù)據(jù)中心存儲(chǔ)結(jié)構(gòu)的未來(lái)嗎?
2015-12-10 00:00:00
摘要:像閃存,NVMe,以及英特爾公司Optane這樣的存儲(chǔ)級(jí)內(nèi)存正大幅提升存儲(chǔ)容量,非常適合推動(dòng)存儲(chǔ)需求最大化的工作負(fù)載,如容器,大數(shù)據(jù),機(jī)器學(xué)習(xí),以及超融合基礎(chǔ)設(shè)施,所有這些技術(shù)與應(yīng)用都使用文件和對(duì)象存儲(chǔ),而不是SAN的塊存儲(chǔ)。但是除了高速存儲(chǔ)之外,這些工作負(fù)載還需要低延遲網(wǎng)絡(luò),線程不會(huì)阻塞的CPU,尤其是使用軟件定義網(wǎng)絡(luò)的超融合系統(tǒng)。

像閃存,NVMe,以及英特爾公司Optane這樣的存儲(chǔ)級(jí)內(nèi)存正大幅提升存儲(chǔ)容量,非常適合推動(dòng)存儲(chǔ)需求最大化的工作負(fù)載,如容器,大數(shù)據(jù),機(jī)器學(xué)習(xí),以及超融合基礎(chǔ)設(shè)施,所有這些技術(shù)與應(yīng)用都使用文件和對(duì)象存儲(chǔ),而不是SAN的塊存儲(chǔ)。但是除了高速存儲(chǔ)之外,這些工作負(fù)載還需要低延遲網(wǎng)絡(luò),線程不會(huì)阻塞的CPU,尤其是使用軟件定義網(wǎng)絡(luò)的超融合系統(tǒng)。


以太網(wǎng)是一個(gè)眾所周知的協(xié)議,安裝以太網(wǎng)的網(wǎng)絡(luò)并沒(méi)有光纖通道那樣的復(fù)雜性和脆弱性,而在這種情況下,必須考慮到安裝時(shí)彎曲電纜的角度,以及限制電纜的長(zhǎng)度,其網(wǎng)絡(luò)傳輸速度不限于10Gb/s,還可以移動(dòng)到25Gb/s,40Gb/s或100GB/s。


數(shù)據(jù)中心存儲(chǔ)


但是TCP(傳輸控制協(xié)議)有很多開(kāi)銷(xiāo),這意味著CPU花費(fèi)了大量的時(shí)間來(lái)管理網(wǎng)絡(luò)傳輸,用于寫(xiě)入密集型工作負(fù)載(如數(shù)據(jù)庫(kù)),從而降低了這些工作負(fù)載的整體性能。這就是RDMA(遠(yuǎn)程直接內(nèi)存訪問(wèn))發(fā)揮重要作用的地方。


Windows Server的首席項(xiàng)目經(jīng)理Jeff Woolsey最近在微軟的Ignite技術(shù)大會(huì)上指出,“當(dāng)你對(duì)系統(tǒng)進(jìn)行大量寫(xiě)操作時(shí),超融合系統(tǒng)的性能將會(huì)下降。如果你有一個(gè)單一的節(jié)點(diǎn)正在進(jìn)行70%的寫(xiě)入,并且必須盡可能快地復(fù)制到另一個(gè)節(jié)點(diǎn),如果你沒(méi)有采用RDMA,CPU必須介入執(zhí)行操作,而在10Gb的以太網(wǎng)網(wǎng)絡(luò)接口卡(NIC)上寫(xiě)入很容易完全占用一兩個(gè)CPU的資源。”


RDMA的直接連接可以減少對(duì)CPU的影響,并且像NVMe或SCM這樣的快速存儲(chǔ)可以使得網(wǎng)絡(luò)延遲從毫秒降低到微秒。


“在存儲(chǔ)網(wǎng)絡(luò)開(kāi)始采用RDMA(特別是面向NVMe的架構(gòu),因?yàn)檫@似乎是將成為這個(gè)領(lǐng)域的標(biāo)準(zhǔn)),是為了滿足日益嚴(yán)格的大數(shù)據(jù)分析存儲(chǔ)性能的要求,特別是那些實(shí)時(shí)工作負(fù)載,更大的數(shù)據(jù)庫(kù)和更密集的工作負(fù)載整合?!盜DC企業(yè)存儲(chǔ)研究總監(jiān)Eric Burgener說(shuō)。


他補(bǔ)充道,雖然NVMe協(xié)議目前還不成熟,但是他預(yù)測(cè)說(shuō):“在未來(lái)三到四年內(nèi),外部存儲(chǔ)平臺(tái)將在協(xié)議棧NVMe方向發(fā)展,陣列背板,控制器和結(jié)構(gòu)。”


今年早些時(shí)候,英特爾公司將RDMA技術(shù)直接應(yīng)用在至強(qiáng)服務(wù)器的主板上。DataON公司正在使用新型Lightning Trac System Windows Server2016超融合系統(tǒng),這些系統(tǒng)包括Optane固態(tài)硬盤(pán),用于快速緩存層的NVMe,以及SMB3RDMA結(jié)構(gòu)。


現(xiàn)在,HPE公司在其新的Store FabricM系列存儲(chǔ)優(yōu)化交換機(jī)中使用了Mellanox基于RDMA的以太網(wǎng)存儲(chǔ)結(jié)構(gòu),為客戶提供了用于光纖通道的存儲(chǔ)管理工具。


同樣在今年召開(kāi)的Ignite大會(huì)上,一家名為Chelsio的公司展示了運(yùn)行速度為25Gbps使用RDMA網(wǎng)卡的SMB3的Windows Server 2016存儲(chǔ)副本,而光纖環(huán)路超過(guò)了50公里(不需要用于這種城域連接的擴(kuò)展設(shè)備)。


在Windows10中甚至支持RMDA。好萊塢后期制作公司使用NVMe將大多數(shù)Mac工作站和六位數(shù)光纖通道SAN與Windows PC和Windows Server存儲(chǔ)空間直接進(jìn)行替換,以便他們可以使用RDMA快速訪問(wèn)4K文件以進(jìn)行視頻編輯和VR的創(chuàng)建。


Storage Mojo公司的分析師Robin Harris表示,為了獲得高效的存儲(chǔ)系統(tǒng),企業(yè)必須做出權(quán)衡。“采用光纖通道是有意義的,因?yàn)榇鎯?chǔ)陣列非常昂貴,共享它們需要投資支付。


如今,企業(yè)可以擁有獨(dú)立的PCIe卡,與大多數(shù)存儲(chǔ)陣列一樣快,并提供了更大的帶寬,而其成本只有存儲(chǔ)陣列成本的一小部分。因此,在這種情況下,人們關(guān)注的重點(diǎn)已經(jīng)從如何共享昂貴的資源轉(zhuǎn)移到如何共享廉價(jià)資源。


“鑒于成本在這種情況下的首要地位,經(jīng)濟(jì)學(xué)家傾向于采用成本最低的網(wǎng)絡(luò)。以太網(wǎng)就是那個(gè)低成本的網(wǎng)絡(luò)嗎?是的。一旦這個(gè)協(xié)議和技術(shù)廣泛使用,我預(yù)計(jì)大多數(shù)新建的存儲(chǔ)網(wǎng)絡(luò)將將基于以太網(wǎng),RDMA是提供共享基于服務(wù)器存儲(chǔ)的一種經(jīng)濟(jì)和低延遲解決方案的關(guān)鍵因素。

Harris表示,HPE公司的交換機(jī)采用RDMA的事實(shí)證明了該技術(shù)的可行性。他說(shuō),“從市場(chǎng)的角度來(lái)看,更大的問(wèn)題是其他廠商是否會(huì)效仿HPE公司的做法?!?


擴(kuò)展光纖通道


盡管下一代架構(gòu)并不是在光纖通道的基礎(chǔ)上發(fā)展起來(lái)的,但這并不意味著它正在消失。Harris說(shuō),“我相信光纖通道的鼎盛時(shí)期已經(jīng)過(guò)去了。但是,至少在未來(lái)十年內(nèi),將有一個(gè)龐大的安裝基礎(chǔ)將繼續(xù)推動(dòng)光纖通道市場(chǎng)發(fā)展。”


Burgener對(duì)此表示認(rèn)同:“以太網(wǎng)在存儲(chǔ)領(lǐng)域的應(yīng)用顯然正在興起,但根據(jù)我們對(duì)市場(chǎng)的收入預(yù)測(cè),2017年光纖通道市場(chǎng)規(guī)模更為顯著(以太網(wǎng)為9.6億美元,光纖通道為117億美元)。NVMe可以通過(guò)光纖或以太網(wǎng)運(yùn)行,我認(rèn)為以太網(wǎng)將繼續(xù)慢慢占據(jù)光纖市場(chǎng)的收入,但是我們的預(yù)測(cè)2021年以太網(wǎng)和光纖通道的收入分別為9.8億美元和115億美元。


Burgener說(shuō),“企業(yè)數(shù)據(jù)中心往往更多地投資于光纖通道,并繼續(xù)購(gòu)買(mǎi),這樣他們就可以繼續(xù)利用現(xiàn)有的光纖通道網(wǎng)絡(luò)和管理專(zhuān)長(zhǎng)。隨著以太網(wǎng)的發(fā)展,越來(lái)越多的企業(yè)開(kāi)始使用這種方法?!?


“很少有客戶會(huì)從以太網(wǎng)轉(zhuǎn)向光纖通道,但人們會(huì)看到基于以太網(wǎng)的存儲(chǔ)網(wǎng)絡(luò)出現(xiàn)在已經(jīng)在光纖通道上投入大量資金用于新項(xiàng)目或部門(mén)項(xiàng)目的企業(yè)中。


對(duì)于網(wǎng)絡(luò)成本可能過(guò)高的小型系統(tǒng)來(lái)說(shuō)(例如,對(duì)于分支機(jī)構(gòu)中的節(jié)點(diǎn)或其他任何希望用于邊緣計(jì)算的數(shù)TB存儲(chǔ)),Thunderbolt證明是RDMA的一個(gè)替代方案。英特爾Thunderbolt 3 USB-C適配器現(xiàn)已通過(guò)Windows Server 2016認(rèn)證,DataON公司推出雙節(jié)點(diǎn)超融合存儲(chǔ)系統(tǒng),為用戶提供40Gbps和200K IOPS,CPU占用率僅為20%,雖然不如RDMA好,但比以太網(wǎng)提高更多的CPU效率,其10TB的存儲(chǔ)成本只有9000美元。

海外服務(wù)器免費(fèi)測(cè)試http://running-capacitor.com/


USA-IDC為您提供免備案服務(wù)器 0元試用
立即聯(lián)系在線客服,即可申請(qǐng)免費(fèi)產(chǎn)品試用服務(wù)
立即申請(qǐng)