存儲

現代數據中心挑戰:如何讓對象存儲也獲得高性能?

【IT168 評論】海量數據的增長催動著對象存儲的持續火熱,對于這一技術,最有趣的一點就是其用途的多樣性。雖然多數情況下,對象存儲常被用于歸檔存儲,或代替生產環境中的文件服務器,但實際上對象存儲的應用場景還有很多。如今,越來越多的供應商開始提供性能得到優化的對象存儲系統,為對象存儲帶來了一條新的發展路線。

打造高性能的對象存儲,并不僅僅是把存儲系統中的機械硬盤替換為全閃存就可以。使用閃存盤對與性能的提升當然是大有幫助的,但對象存儲系統往往存有海量的元數據,會導致延遲的增加,無法有效利用閃存的性能。

除了元數據的問題外,打造高性能對象存儲系統還有一個大的挑戰,就是基礎設施的橫向擴展能力。對象存儲系統在進行容量升級時,會將節點添加到存儲集群中,每個節點的容量匯集到集群中,創建一個存儲池。在大規模的橫向擴展集群中,通常有幾十上百個節點。聚集和管理這些節點的延遲可能很高。

AI和深度學習的對象存儲挑戰

在探討高性能對象存儲架構面臨的挑戰時,AI、深度學習這類擁有大規模、非結構化數據的工作負載是絕佳的例證。理論上,這些工作負載應該是理想的對象存儲應用場景,通常有數百萬、千萬、甚至數億的文件。存儲這些數據需要大量的容量空間,因此需要許多節點。與此同時,這些進程都是由吞吐量驅動的。

基于這些因素來看,AI和深度學習負載顯然非常適合采用典型的多節點對象存儲集群。大多數AI和深度學習框架,比如TensorFlow都常常會采用對象存儲架構。從理論上講,對象存儲基礎設施應該能夠滿足AI和深度學習工作負載的需求。

但是利用對象存儲系統支撐AI工作負載,并不是簡單地搭建一個全閃存對象存儲系統。系統必須能夠解決一些現實問題,即可能會有幾十上百個節點,還有元數據帶來的問題,以及集群管理的挑戰。

如何應對元數據挑戰

元數據是關于數據的數據,它往往是對象存儲實現高性能的一大挑戰,原因有兩個:首先,對象存儲系統需要更多的時間來管理其豐富的元數據。由于大多數對象存儲供應商會在集群中指定一定數量的節點來管理和存儲元數據,因此管理更加復雜;在AI和深度學習工作負載中,專用的元數據控制器可能經常會被元數據壓垮,成為性能瓶頸,因此導致閃存甚至機械硬盤都不能充分發揮它們的性能潛力。

元數據的第二個挑戰是集群通信。大多數向外擴展的NAS或塊存儲系統具有相對較小的節點數。在NAS和塊存儲場景中,只有6個節點的存儲集群都可以稱作是大型集群了,但在許多對象存儲部署中,6節點只是起步。節點間的通信成為一個大問題,特別是在十分考驗性能的用例中。

創建高性能的、大規模的對象存儲解決方案需要解決元數據性能和集群管理問題。下一代對象存儲將元數據分布在集群中的每個節點上,而不僅僅是幾個控制器上。元數據的分發,需要確保每個節點都擁有響應I/O請求所需的所有信息。

其他一些問題

對象存儲系統還必須解決節點間的網絡問題。在這種情況下,元數據的分布也很有幫助,因為它降低了東-西之間的通信量。供應商必須優化節點間的網絡,這樣才不會造成性能瓶頸。多數情況下,供應商會通過優化網絡通信以最小化傳輸頻率。

另一個需要優化的領域是協議仿真。例如,大多數對象存儲系統支持NFS。NFS支持至關重要,因為許多物聯網設備使用的是NFS。其中的挑戰在于,許多對象存儲系統都掛在一個獨立的組件上,該組件在NFS和對象存儲之間進行轉換,而不是在它們的軟件中本機運行NFS。轉換的性能開銷非常大,并且往往表現在高性能場景下。

NFS在對象存儲代碼中的本地集成,可以提高性能并同時訪問相同的數據。并發訪問意味著物聯網設備可以通過NFS將數據發送到對象存儲卷,同時,AI能或深度學習框架可以通過對象存儲處理數據,而不需要復制或移動數據。

關于NAS

NAS系統在當前數據中心中仍然有其價值,但它現在處于兩個極端之間。盡管高容量NAS仍然在備份存儲市場有一定競爭力,但對象存儲更像是長期存檔和備份的理想選擇。而且對象存儲也適合作為文件服務器替代品,比如性能要求不高的用戶主目錄。

高性能對象存儲非常適合需要幾十個或幾百個節點、數十PB容量的大規模工作負載。這些工作負載同時還依賴于吞吐量,并且在I/O訪問方面高度并行。介于這兩個極端之間的是高性能、非結構化的數據工作負載,這些工作負載本質上是隨機I/O,并且節點數只有十幾個。在這些用例中,NAS可能仍然是更好的選擇。

我還沒有學會寫個人說明!

升級數據治理,從制定體系化的數據治理規劃開始

上一篇

云原生之容器安全實踐

下一篇

你也可能喜歡

現代數據中心挑戰:如何讓對象存儲也獲得高性能?

長按儲存圖像,分享給朋友

ITPUB 每周精要將以郵件的形式發放至您的郵箱


微信掃一掃

微信掃一掃
大丰收注册
十一运夺金走势图一定牛 体彩p5 澳洲幸运8开奖记录 新快3怎么玩 三d走势图带连线专业版 007球探比分网& 正版马会精选资料大全 四川麻将技巧 山东十一选五专家选号 浙江快乐彩 股票基金怎么玩 幸运农场综合走势图 泳坛夺金481走势 浙江6+1彩票50期开奖‘ 波克安徽麻将作弊视频 网络赚钱项目